谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分

主要观点总结

文章探讨了当前大型语言模型（LLM）与人类顶级水平之间的显著差距，通过LiveCodeBench Pro项目评估了一系列前沿大模型，包括Gemini 2.5 Pro、o4-mini-high 和 DeepSeek R1等。文章还分析了不同算法范式上的表现，发现大语言模型在知识密集型和逻辑密集型问题上表现更佳，而在观察密集型问题或分类讨论上表现较差。此外，文章还探讨了增加尝试次数（pass@k）对模型性能的影响，以及推理模型与其非推理对应模型的比较。

关键观点总结

关键观点1: LLM与人类的显著差距

文章指出当前的大型语言模型虽然在一些领域取得了显著进展，但在某些方面仍然与人类顶级水平存在显著差距。

关键观点2: LiveCodeBench Pro项目评估

文章介绍了一个名为LiveCodeBench Pro的项目，该项目评估了一系列前沿大模型在竞技编程领域的表现。

关键观点3: 大语言模型在不同算法范式上的表现

文章分析了大语言模型在不同算法范式上的表现，发现在知识密集型和逻辑密集型问题上表现较好，而在观察密集型问题和分类讨论上表现较差。

关键观点4: 增加尝试次数（pass@k）对模型性能的影响

文章探讨了增加尝试次数对模型性能的影响，发现随着尝试次数的增加，模型的评分显著提高。

关键观点5: 推理模型与非推理模型的比较

文章比较了推理模型与其非推理对应模型的表现，发现推理能力在某些领域如组合数学中带来最大提升，而在观察密集型类别中提升相对较小。