几何修正输出改进生成模型自训练效率

发生了什么

针对高质量训练数据稀缺背景下，生成模型自训练易出现模型崩溃、模型自噬退化的问题，研究团队提出几何修改输出（GMO）方法。该方法通过对生成器输入输出雅可比矩阵的奇异值重新加权，强化主导奇异方向的影响，放大普通生成输出的模式搜索特性与畸变效应，为负指导自训练提供更强更精准的负信号；在多类单步生成模型上测试，GMO可稳定提升Neon、SIMS等负指导方法的表现。

关键信息

方法名称

Geometrically Modified Outputs（GMO，几何修改输出）

技术原理

重加权生成器输入输出雅可比矩阵的奇异值，强化主导奇异方向影响

适用方法

Neon、SIMS等负指导自训练方法

适配模型范围

多类单步生成模型

背景

高质量训练数据日益稀缺，让生成模型用自身输出持续迭代的自训练方案价值凸显，但直接用模型生成样本微调会引发模型崩溃、自噬紊乱的退化问题。现有负指导自训练方法直接采用模型的标准输出作为负信号，未对负信号做强化优化。

为什么重要

对生成模型研究开发者而言，该方法无需额外采集真实标注数据，仅通过几何改造模型输出即可强化负指导自训练的效果，降低生成模型迭代的标注成本；对依赖生成内容的普通用户来说，自训练效果提升意味着现有生成模型的输出质量会在不增加人工标注投入的情况下持续优化。

后续看点

后续可关注GMO在扩散模型等非单步生成架构上的扩展适配效果。