BAER：提升成对LLM评判鲁棒性的自适应证据路由

发生了什么

针对现有大模型成对评判方案不存在单一通用最优证据获取机制的问题，研究团队提出骨干自适应证据路由（BAER）方法，在保持候选答案评判对称性的前提下，搭建三类对称验证头，针对每个基准-模型组合在开发阶段选定最优验证头并在测试前冻结。在4个基准、2个8B规模评判骨干上测试，BAER在全部8个测试场景下取得最高精度，较最强外部基线提升0.87-7.32个百分点，实现全量预测覆盖。

关键信息

研究成果

BAER骨干自适应证据路由大模型评判方法

测试范围

4个评测基准、2个8B规模评判骨干，共8个测试条件

性能表现

所有测试条件下精度为对比方案最高，较最强基线提升0.87-7.32个百分点

方法特性

保持候选答案评判对称性，实现全量预测覆盖

成果出处

arXiv:2609.30751v1

背景

当前大模型成对评判的证据获取机制包含直接对比、逻辑推理、参考基准验证三类，但没有任何单一机制能在所有基准、评判模型骨干上取得最优效果，固定评判协议的泛化性存在明显短板。

为什么重要

对行业而言，BAER验证了按需适配证据收集机制比全场景固定评判协议更可靠，为大模型自动评判系统优化提供了新的技术方向；对开发者而言，该方法可提升自动评判准确率，降低人工标注评判的人力成本；对普通用户而言，更可靠的自动评判可帮助筛选出适配自身需求的大模型生成内容。