AI替代程序员？一项最新测试的结果恰恰相反 | 企服国际观察

主要观点总结

近日，一支由国际算法奥赛金牌得主组成的科研团队对市面上常见的大模型产品进行了测试，结果显示，在中等难度和难题上，这些模型的通过率较低，尤其是需要观察和创造力的观察密集型问题。尽管AI编程成为热门赛道，但在某些编程场景下，程序员的价值依旧很大。该团队还指出了LLM的一些弱点，如概念错误和推理能力的不足。

关键观点总结

关键观点1: 大模型产品在中等难度和难题上的通过率较低。

在没有外部工具的情况下，表现最佳的模型在中等难度问题上的通过率仅为53%，在难题上通过率为0%。这表明在某些领域，人类专家的能力仍然远超AI。

关键观点2: AI编程成为热门赛道但存在挑战。

尽管AI编程已经成为科技大厂必争的市场，但目前的大模型产品在某些编程场景中仍存在明显的不足。例如，在涉及微妙算法推理和复杂案例分析的问题上，大模型表现出不佳，常常生成看似正确实则错误的推理。

关键观点3: 程序员的价值依旧很大。

在某些非知识密集型的编程场景下，程序员的价值依旧很大，能力自然也超过AI。因此，在企业数字化过程中，有经验的程序员依旧是企业中坚力量。

关键观点4: 大模型的优势主要集中在知识密集型的场景下。

大模型目前的优势主要体现在知识密集型的场景下，如编程领域等。在这些场景下，AI能够帮助企业实现降本增效。不过距离通用人工智能还有很大的差距。

免责声明