Q学习惩罚Transformer用于安全离线强化学习

发生了什么

研究团队针对安全离线强化学习需同时满足安全约束、最大化奖励、适配离线数据集三重相互制衡目标的难题，提出QPT训练推理一致框架。该框架训练Transformer策略时，基于轨迹上下文、目标收益与成本生成动作，通过学习到的奖励、成本Q函数给序列训练施加Q形惩罚，推理阶段用同一Q函数约束成本阈值、选高收益可行动作，在DSRL基准的38个任务上表现稳定优于同类基线方法。

关键信息

方法名称

Q-learning Penalized Transformer（QPT）

技术路线

训练-推理一致框架，融合条件序列建模与约束感知价值估计

基准测试成绩

DSRL基准38个任务上稳定优于安全离线RL强基线

特殊能力

可零样本适配不同安全约束阈值

背景

安全离线强化学习需基于离线数据集训练满足安全约束的策略，长期面临安全合规、奖励最大化、离线数据行为正则化三者难以平衡的核心挑战。

为什么重要

对强化学习落地场景而言，该框架打通了训练与部署的安全逻辑，无需额外海量在线安全试错即可训练合规策略，大幅降低自动驾驶、工业控制等高风险场景的RL落地成本；对普通用户来说，这类安全约束强化学习技术的成熟，也能让更多自动化应用的使用可靠性得到实质提升。

后续看点

后续可关注该框架在真实工业安全控制、自动驾驶仿真等更复杂场景的落地验证效果。