稳定训练、数据高效，清华大学提出「流策略」强化学习新方法SAC Flow

主要观点总结

本文介绍了一种使用高数据效率强化学习算法SAC训练流策略的新方案，名为SAC Flow。该方法能够将流策略视为一个residual RNN，并使用GRU门控和Transformer Decoder两套速度参数化。在MuJoCo、OGBench、Robomimic上达到了极高的数据效率和显著的性能。研究背景是流策略在机器人学习领域的热门应用，强化学习是提高流策略性能的有效途径。文章介绍了以往工作中遇到的问题以及解决思路。实验结果证明了SAC Flow的稳定性、快速性和样本效率。关键词：序列化、稳定训练、数据高效。

关键观点总结

关键观点1: 核心思想

把流策略视作一个residual RNN，使用GRU门控和Transformer Decoder两套速度参数化。

关键观点2: 创新点

直接使用off-policy RL的代表算法SAC来训练流策略，实现数据高效、更快、更稳的收敛。

关键观点3: 实验验证

在MuJoCo、OGBench、Robomimic等环境下进行实验，证明了SAC Flow的稳定性、快速性和样本效率。