扩散LLM多样性损失根源被找到并优化

发生了什么

斯坦福等机构研究者针对掩码扩散大模型提出的“任意顺序生成灵活性会降低输出多样性”观点展开溯源实验，最终将多样性衰减的核心原因定位为被广泛使用的低置信重遮罩（LCR）解码规则；该规则每步对所有掩码位置采样后仅保留概率最高的单个token，会随竞争位置增多指数级压低低概率token的出现概率。团队在LLaDA模型上复现了该现象，提出用首概率位置选择（TPP）替换LCR，并配套熵引导初始化（EGI）策略，最终让模型的Pass@k指标追平传统从左到右解码，多样性和下游策略优化效果超出从左到右基线。

关键信息

研究对象

LLaDA掩码扩散大模型、低置信重遮罩（LCR）解码规则

提出的替代方法

首概率位置选择（TPP）、熵引导初始化（EGI）

核心效果

替换LCR后模型Pass@k追平从左到右解码，rollout多样性、下游策略优化表现优于基线

背景

掩码扩散大模型原本支持任意顺序生成，被认为是提升输出多样性的天然路径，但近期有研究认为这种灵活排序会降低生成多样性，相关结论在学界引发讨论。

为什么重要

对扩散大模型研究而言，该结果打破了“任意顺序生成天然限制多样性”的偏见，纠正了过往把多种置信度解码规则混为一谈的认知偏差，为后续扩散LLM的解码设计指明了优化方向；对应用开发者来说，基于该结论可低成本改造现有扩散模型解码流程，显著提升代码生成、复杂推理场景下的方案覆盖能力；对普通用户而言，这意味着后续扩散大模型的多候选输出质量会更高，更适配多解场景的需求。

后续看点

后续可关注TPP+EGI方案在不同规模、不同任务的扩散LLM上的泛化效果，以及对实际推理成本的影响。