论文研究 ·
直觉提示法提升LLM智能体社交媒体反应模拟保真度
Thinking Less to Simulate Better: Intuitive Prompting Improves LLM Agents Simulating Individual Social Media Reactions, Including Unfamiliar Content
64进行中1 条arXiv cs.AI
AI 解读
AI 生成推荐理由帮助平台合规团队更准确模拟用户反应,优化平台政策测试。
直觉提示法可大幅提升LLM智能体的用户模拟保真度
发生了什么
研究团队为提升LLM智能体的用户模拟保真度,先通过问卷、深度访谈、书面自我介绍为8名塞尔维亚参与者建立用户画像,同步记录他们对68条社媒帖子的真实反应,再让4个大模型在5种不同提示条件下预测这些反应;验证发现要求模型直觉即时响应的提示模式效果最优,将智能体对个体差异的压缩程度从人类水平的7倍降至3倍,对陌生话题的预测效果也大幅超过人工群体基线。
关键信息
- 研究样本
- 8名塞尔维亚参与者
- 测试素材规模
- 68条社媒帖子、4个大模型、5种提示条件
- 最优提示效果
- 个体差异压缩度从人类水平7倍降至3倍
- 陌生话题表现
- 预测效果大幅超过人群基线
- 测试场景
- 模拟个体社媒反应
背景
当前平台政策越来越依赖虚拟用户开展测试,但此前的智能体验证大多聚焦是否匹配人类整体行为,很少关注智能体是否符合被模拟的用户画像;高保真虚拟用户也存在被用于操纵选举期舆论的风险。
为什么重要
对大模型开发者而言,该结论打破了复杂推理提示一定更优的认知,为不同任务的提示设计提供了新方向;对行业来说,高保真通用模拟用户可大幅降低平台政策测试成本,但也需警惕技术被滥用操纵舆论的风险;对普通用户而言,未来更难分辨线上接触的是否为模拟用户。
后续看点
后续可关注该提示方法在更大规模人群、多语言场景下的效果稳定性,以及配套的模拟用户风险防控规则进展。
由 AI 根据原文生成,可能有疏漏,以原文为准。