「世界开源新王」跌落神坛？重测跑分暴跌实锤造假，2人团队光速「滑跪」

主要观点总结

文章主要介绍了开源新王Reflection 70B被质疑作弊的事件。发布后被质疑数据造假，套壳其他模型等争议。负责人Sahil Chaudhary和Matt Shumer对此进行了复盘并公开道歉。文章还介绍了模型开发过程、发布情况、网友质疑和最终回应等内容。

关键观点总结

关键观点1: Reflection 70B模型的争议

Reflection 70B模型被质疑数据造假，套壳其他模型（如Claude、GPT等），其基准测试结果无法复现。

关键观点2: Sahil Chaudhary和Matt Shumer的复盘和回应

负责人Sahil Chaudhary和Matt Shumer对事件进行了复盘，并公开道歉。他们承认在模型开发和发布过程中存在疏忽和不当行为，并提供了模型权重、训练数据、训练脚本和评估代码以便公众复现。

关键观点3: 模型的发布和验证问题

模型发布时未经过充分的验证，导致出现一系列问题。网友质疑模型的表现和基准测试结果的可靠性。

关键观点4: 模型的训练和开发过程

Sahil Chaudhary介绍了模型的训练和开发过程，包括使用Llama 3.1作为基础模型进行微调，以及迭代数据集和模型规模的过程。

关键观点5: 社区反响和后续行动

事件引起开源社区的广泛关注和讨论，网友们对模型的性能和真实性提出质疑。负责人表示将采取措施改进模型开发和发布流程，并继续研究反思微调方法。