MIT团队发布LASER:潜在空间熵正则化离线RL算法,自报40项基准测试达SOTA
LASER通过潜在空间伴随匹配实现熵正则化,解决离线RL模式坍塌,自报在40个OGBench任务中用固定超参数超越基线。
重要性实质性证据E2 未复现写法快讯
MIT研究团队于2026年10月6日提交预印本LASER(Latent Space Adjoint Matching for Support-Constrained Entropy-Regularized Offline RL),提出一种新的离线强化学习算法。该工作已被NeurIPS 2026接收。
离线强化学习允许从静态数据集优化策略而无需昂贵的在线交互,但面临执行分布外(OOD)动作的风险。近期方法通过流匹配学习行为克隆策略并在其约束潜在空间内进行RL,但直接优化潜在策略易导致模式坍塌或利用学习评论家的尖锐伪影。
LASER的核心发现是熵正则化对潜在空间RL至关重要。该算法应用潜在空间伴随匹配,在使用表达性流策略的同时实现熵正则化,并避免时间反向传播。作者在40个具有不同数据质量的挑战性OGBench任务上进行实验,报告LASER使用固定方法特定超参数即可超越包括任务和数据集特定调优的基线,达到自报的最先进性能。
此为作者自测结果(E2级证据),尚未见独立复现。项目网站位于mit-realm.github.io/laser。