融资20亿美元的Thinking Machines Lab首次公开：破解LLM随机性，实现可复现的“...

主要观点总结

这篇文章深入探讨了大型语言模型（LLM）推理结果不确定性的根本原因，并提出了一套解决方案，通过重写Transformer模型中的RMSNorm、矩阵乘法和注意力机制这三个关键计算模块，使它们具备“批次不变性”，确保计算过程不受批次大小干扰。实验结果表明，该方案可以有效地消除LLM推理中的不确定性，实现可复现的结果。作者还讨论了同策略强化学习的概念，并展示了该方案如何帮助实现真正的同策略RL。

关键观点总结

关键观点1: 大型语言模型推理结果不确定性的原因

文章揭示了大型语言模型推理结果不确定性的根本原因并非普遍认为的“并发计算与浮点数误差”，而是核心计算算子缺乏“批次不变性”（Batch Invariance）。推理服务器会将不同用户的请求动态地打包（batch）在一起处理，而当前主流的底层计算库在设计上，会导致单个请求的计算过程受到整个“批次”大小的影响，引入不确定性。

关键观点2: 解决方案的实现

文章提出并实现了一套解决方案，即重写Transformer模型中的RMSNorm、矩阵乘法和注意力机制这三个关键计算模块，使它们具备“批次不变性”，确保计算过程不受批次大小干扰。实验结果证明了这一点，在标准环境中，一个请求重复1000次会得到80个不同版本的结果；而在他们的方案下，1000次请求的结果则完全一致。

关键观点3: 同策略强化学习的概念

作者讨论了同策略强化学习的概念，并展示了该方案如何帮助实现真正的同策略RL。传统的强化学习通常涉及到训练与推理之间的数值差异，这导致隐式地将同策略RL变成了异策略RL。而通过实现可复现的推理结果，可以在训练和推理之间获得逐比特相同的结果，实现真正的同策略RL。