建议你不要再相信AI基准测试，排行榜已经没啥公信力了

主要观点总结

文章讨论了AI大模型在基准测试中的表现，以及这些测试是否真实反映模型能力。文章指出，大模型更新虽然带来新测试成绩，但实际应用效果令人失望，可能存在作弊现象。一些评测平台可能不公正，大型公司更容易获得测试资源。文章还提到，数据集污染和刷榜现象普遍，模型训练数据可能覆盖测试集。此外，AI基准测试体系存在结构性缺陷，测试集过于静态，没有考虑到实际应用中的复杂问题。尽管评测机制被质疑，新的尝试也在探索中，希望更真实地测试模型能力。文章还讨论了AGI的未来，包括非表征学习在创造新工具和实现超模态学习中的优势，以及在大尺度上AI与人类的合作。

关键观点总结

关键观点1: 大模型在基准测试中的表现

大模型更新虽带来新测试成绩，但实际应用效果令人失望，可能存在作弊现象。

关键观点2: 评测平台可能不公正

大型公司更容易获得测试资源，评测平台可能不公正。

关键观点3: 数据集污染和刷榜现象普遍

模型训练数据可能覆盖测试集，导致测试结果不准确。

关键观点4: AI基准测试体系存在缺陷

测试集过于静态，没有考虑到实际应用中的复杂问题。

关键观点5: 新的尝试和探索

尽管评测机制被质疑，新的尝试也在探索中，希望更真实地测试模型能力。

关键观点6: AGI的未来

讨论了非表征学习在创造新工具和实现超模态学习中的优势，以及在大尺度上AI与人类的合作。