论文研究 · 至
HARDEN：生成高难度高保真测试用例的进化搜索方法
HARDEN: Constrained Evolutionary Search for Harder, Answer-Preserving Evaluation Cases
事件解读
AI 综合 2 家报道推荐理由可在保障LLM安全对齐效果的同时兼顾训练效率与推理能力。
2026年9月28日arXiv等平台发布6项大模型训练、评测、安全相关新成果
2026年9月28日HF发布PMOPD方法，可解决多教师在线蒸馏的任务干扰问题
发生了什么
2026年9月28日，arXiv cs.AI、cs.CL板块及HF Daily Papers共发布6项大模型相关研究成果：含可生成高难度评测用例的HARDEN方法、可降低TinyML架构搜索算力的教师引导框架、无需外部教师的DCE+SRCL递归自改进框架、探明蒸馏模板对安全对齐影响的研究、EOPSA高效安全对齐方法、PMOPD多教师蒸馏抗干扰方法；关键测试数据显示，HARDEN可使三档Qwen3.5模型评测平均准确率降22.7%，DCE+SRCL让Qwen3-8B推理得分较传统方法高35.62个百分点，EOPSA可将rollout计算量降约50%，PMOPD让两款主流小模型三类任务平均得分较基线提升超2分。
关键信息
- 发布时间与渠道
- 2026-09-28 arXiv cs.AI/cs.CL、HF Daily Papers
- HARDEN方法测试效果
- 使3款Qwen3.5模型评测平均准确率降22.7%，最高相对降幅49.9%
- DCE+SRCL框架测试效果
- Qwen3-8B推理得分较传统在线自蒸馏高35.62个百分点，输出长度缩7.8%
- 安全模板研究核心结论
- 对话模板蒸馏会显著降低学生模型安全对齐能力
- EOPSA方法优化效果
- rollout计算量降约50%，仅需约2% token参与反向传播
- PMOPD方法测试效果
- Qwen2.5-7B、Llama-3.1-8B三类任务平均得分较基线分别提2.54、2.09分
背景
当前大模型领域普遍存在评测集复杂度低于企业实际场景、自蒸馏依赖外部大教师模型、安全对齐成本高易损伤通用能力、多任务训练能力易此消彼长、TinyML架构搜索算力消耗大等行业共性痛点。
为什么重要
对大模型开发者而言，这批成果覆盖评测、训练、安全、多任务优化全链路，可直接嵌入现有流程降低开发与试错成本；对行业而言，填补了蒸馏环节安全影响、多任务协同优化等研究空白，推动大模型研发降本提效；对普通用户而言，后续可获得更稳定、安全、体验均衡的端侧与云端AI服务。
后续看点
后续可关注这些开源方法的社区落地情况，以及实测在企业实际业务场景中的适配与提升效果。
由 AI 综合 6 篇报道生成，有新报道会更新，可能有疏漏，以原文为准。
报道时间线
交叉验证：2 个独立主体（arXiv、Hugging Face Papers）报道了这件事，同一家公司的多个渠道只算一次。质量分在单条最高分基础上加了 10 分。
- arXiv cs.AI ↗HARDEN：生成高难度高保真测试用例的进化搜索方法HARDEN: Constrained Evolutionary Search for Harder, Answer-Preserving Evaluation Cases提出受约束的进化搜索方法，在保留标准答案的前提下生成更贴近真实场景的高难度测试用例。
- arXiv cs.CL ↗基于在线策略蒸馏的推理模型递归自改进方法Recursive Self-Improvement via On-Policy Distillation for Reasoning提出在线自蒸馏机制，消除推理模型递归自改进对外部教师的依赖。
- arXiv cs.CL ↗安全蒸馏研究：Prompt模板对模型对齐效果的影响Understanding the Role of Prompt Template in Knowledge Distillation for Safety Alignment系统分析知识蒸馏阶段prompt模板选择对学生模型安全对齐鲁棒性的影响。
- arXiv cs.AI ↗TinyML架构搜索新方法：教师引导的适应度近似框架Rank-Reliable Teacher-Guided Fitness Approximation for Expensive Evolutionary Optimization: A TinyML Architecture Search Study提出教师引导的低适应度近似框架，降低TinyML架构搜索的算力消耗。
- HF Daily Papers ↗EOPSA：高效在线自蒸馏安全对齐方法发布EOPSA: Efficient On-Policy Self-Distilled Safety Alignment提出EOPSA高效安全对齐方法，解决现有在线自蒸馏范式训练效率低、损伤推理能力的问题。
- HF Daily Papers ↗提出多教师在线蒸馏新方法PMOPDPMOPD: Task Ordering, Cycling, and Parameter-Update Subspace Protection in Multi-Teacher On-Policy Distillation论文提出PMOPD方法，解决多教师在线蒸馏中多能力聚合冲突问题。