AI大牛karpathy点赞SEAL榜单，LLM评估的状况过去是非常糟糕的！

主要观点总结

文章介绍了SEAL Leaderboards作为LLMs（大型语言模型）评估的竞争对手，强调了其私密、专家和持续更新的评估原则。文章还讨论了LLM评估的复杂性以及所面临的挑战，包括防止测试集渗透到训练集中的困难，以及涉及人类评估时的变量控制问题。此外，文章还提到了一些大模型的评估结果。

关键观点总结

关键观点1: SEAL Leaderboards的评估原则

SEAL Leaderboards强调私密、专家和持续更新的评估原则，旨在进行领先前沿模型的私密、专家评估。

关键观点2: LLM评估的挑战

LLM评估面临诸多挑战，包括如何防止测试集渗透到训练集中，如何涉及人类评估并控制相关变量等。

关键观点3: SEAL Leaderboards的一些大模型评估结果

文章提到了SEAL Leaderboards对一些领先大模型的评估结果，包括GPT-4o、GPT-4 Turbo等。