AI圈惊天丑闻，Meta作弊刷分实锤？顶级榜单曝黑幕，斯坦福MIT痛斥

主要观点总结

新智元报道，关于LMArena的争议引发关注。来自不同机构的研究者发表新论文，指控AI公司利用LMArena作弊刷分。论文详细分析了LMArena的280万场战斗，涉及43家提供商的238个模型。研究显示，少数公司通过特定策略在排行榜上名列前茅，存在过度拟合现象。同时发现闭源商业模型在LMArena中的参与度更高，开源模型的对战次数较少且容易被移除，导致数据访问不平等现象。LMArena的官方回应称论文存在大量错误和误导性陈述。此外，论文还提出了LMArena需要改进的地方。同时，也有其他声音认为科技公司对LLM的投入使得LMArena成为了一个重要的评测平台，但如今其公正性受到质疑。

关键观点总结

关键观点1: 论文指控LMArena存在作弊行为

研究者发现一些AI公司通过特定策略在LMArena上获得高分，包括私下测试多个模型变体、选择性撤回低分模型等方式。

关键观点2: 研究者分析LMArena的数据

论文分析了LMArena中的280万场战斗数据，揭示了不同模型的表现和参与者之间的差异。

关键观点3: 数据访问不平等现象

研究发现闭源商业模型在LMArena中的参与度更高，开源模型的对战次数较少且容易被移除，导致数据访问不平等。

关键观点4: LMArena的官方回应和争议

LMArena官方回应称论文中存在事实错误和误导性陈述，并指出论文中的一些数字与实际情况不符。

关键观点5: 其他观点和建议

有观点认为科技公司对LLM的投入使得LMArena成为一个重要的评测平台，但现在其公正性受到质疑。论文还提出了LMArena需要改进的地方，包括提高透明度、确保移除模型的公平性等。