新论文提出Web智能体知识综合能力新基准

发生了什么

2026年9月28日多支独立研究团队在arXiv、HuggingFace同步发布5款垂直领域AI评估基准：含面向浏览器任务的KNOWS、面向循证文献筛选的SRBench、面向规则驱动决策的RGDT-Bench、面向量子计算任务的QC-Stark、面向自进化智能体安全的SEABench；分别配套对应自动化评估工具，实测暴露现有大模型、智能体的各类场景能力短板。

关键信息

发布时间

2026年9月28日

发布渠道

arXiv cs.CL板块、HuggingFace公开

核心基准产品

KNOWS、SRBench、RGDT-Bench、QC-Stark、SEABench共5款

覆盖场景

浏览器操作、文献筛选、规则决策、量子计算、自进化智能体安全

实测共性发现

现有主流模型/智能体在各垂直场景任务完成率、决策可靠性均存在明显短板

配套工具

多款对应垂直场景的自动评估器、专用支撑工具已同步公开

背景

此前现有通用AI评估基准无法覆盖垂直细分场景的真实能力需求，AI能力评估与办公、科研、合规、量子计算、AI安全等领域的实际应用存在明显脱节。

为什么重要

对行业而言，5款基准补全了多垂直领域的AI能力评估标尺，让测试更贴近真实生产与科研场景需求；对开发者而言，精准暴露当前模型、智能体在视觉理解、长程推理、决策可靠性、自演化安全等方面的短板，明确技术迭代方向；对普通用户而言，可帮助理性认知当前AI的实际能力边界，降低日常使用中的决策风险。

后续看点

可关注5款基准在各对应垂直场景的落地复用情况，以及基于基准反馈迭代的新一代模型、智能体的能力提升表现。