罗福莉的两个反共识

主要观点总结

本文介绍了小米MiMo大模型的负责人罗福莉在小米“人车家全生态合作伙伴大会”上的公开发表演讲。罗福莉介绍了小米发布的大语言模型MiMo-V2-Flash的特点和优势，包括更强的代码和工具调用能力、更高推理效率和更低成本、更强的强化学习训练等。她还谈到了AI的发展路径和小米在大模型方面的创新，包括模型架构的创新和扩展强化学习训练的思考。同时，她也提出了对当前AI行业的反共识看法，认为大模型需要从感知磨砺和与世界产生交互的环节入手，需要有一个和物理世界产生交互的物理模型，真正的智能是在交互里产生的。此外，她还强调了研究文化和研究方法的重要性，认为算力和数据不是真正的AI护城河。

关键观点总结

关键观点1: 罗福莉介绍了小米发布的大语言模型MiMo-V2-Flash的特点和优势。

MiMo-V2-Flash具有更强的代码和工具调用能力、更高的推理效率和更低的成本。采用了Hybrid Attention架构，包括混合滑动窗口注意力和全局注意力的混合使用。也挖掘了MTP（多令牌预测）的潜力，提升了基座模型的潜能。

关键观点2: 罗福莉对当前AI行业的反共识看法。

罗福莉认为大模型的发展像是空中楼阁，缺乏与现实世界的交互。她强调AI的下一个起点是需要一个和物理世界产生交互的物理模型，真正的智能是在交互里产生的。

关键观点3: 小米在大模型方面的创新和思考。

小米在大模型方面进行了模型架构的创新和强化学习训练的思考。除了预训练方面的创新，小米也在思考如何扩展强化学习训练。罗福莉提出了MOPD（多教师在线策略蒸馏）范式，这是一种学习效率更高的模式。