研究揭示AI评估中来源身份干扰判断问题

发生了什么

研究团队开展两项预注册描述性研究加后续欧洲样本补充实验，针对美国AI政策、德国债务刹车、瑞士核能领域共6篇固定文本，通过不同来源归因配对收集到2976份有效AI评分。以国家安全类议题文本为例，CODEPINK署名下平均评分0.359，共和党大学分部署名下为0.639；同议题换为民权类表述后，两来源评分差缩小到0.021，研究排除了对单一来源恒定偏好的解释。

关键信息

研究有效样本量

2976份

覆盖测试文本数

6篇

议题覆盖领域

美国AI政策、德国债务刹车、瑞士核能

代表性评分差

同一文本不同署名下最高差0.28

背景

现有AI评估大多聚焦于模型输出事实准确性，较少关注AI对文本的评判是否会被发言者身份诱导，此前相关多为人类主观评判研究。

为什么重要

该发现意味着AI生成的评估意见并非完全中立，在涉及公共政策、立场类文本评判时，若给文本搭配不同归属身份，可能得到前后矛盾的评分。对评测开发者而言，需要在立场一致性场景下额外控制身份变量；对普通用户而言，不能直接把AI对某类公开观点的评判当作客观结论。

后续看点

后续将进一步验证该偏差在大模型推理能力升级后是否会减弱，以及是否可通过提示工程消除来源立场诱导效应。