双级优化学习鲁棒机制的分布鲁棒学习框架发布

发生了什么

研究团队提出分布鲁棒学习框架，不再靠人工穷举调参，而是用双层优化（含上下层极小极大问题）从留出数据中自动学习鲁棒机制参数；针对训练集有无分组标签两种场景给出对应实现，从理论上完成样本复杂度分析，验证其泛化能力，还在组内+组间测试分布同时偏移的严苛设置下完成实测，验证方法效果与可扩展性。

关键信息

方法核心

双层优化上下层均为极小极大问题，从留出数据学习鲁棒机制参数

适配场景

覆盖训练集有、无分组标签两种设置

理论特性

泛化能力与穷举网格搜索相当，计算效率更高

实测设置

组内、组间测试分布偏移同时发生

背景

传统分布鲁棒学习的鲁棒机制参数多依赖人工大规模调参、穷举网格搜索，计算成本高，此前应对同时存在组内、组间分布偏移的严苛场景表现有限。

为什么重要

对学界而言，该范式降低了鲁棒模型调参的算力消耗，为样本复杂度分析提供新依据；对开发者而言，无需耗费大量算力做网格搜索，就能训练出适配复杂分布偏移的模型；对普通用户而言，相关技术落地后会让自动驾驶、风控等场景的AI模型应对异常情况的稳定性更强。

后续看点

后续可关注该框架在真实工业数据集、更复杂分布偏移场景下的落地效果。