OpenAI「草莓」模型再次跳票，凌晨发布的SWE-bench Verified是个啥？

主要观点总结

本文主要介绍了OpenAI推出的改进版本SWE-bench Verified，针对AI编程能力评估基准测试SWE-bench存在的问题进行改进。新版本的测试集经过人工筛选和改进，确保单元测试的准确性和问题描述的明确性，以提高SWE-bench的稳健性和可靠性。同时，介绍了SWE-bench Verified的测试方法和改进方向，以及新数据集对AI编程智能体性能的影响。

关键观点总结

关键观点1: SWE-bench Verified的推出

为解决原始SWE-bench存在的问题，OpenAI推出了改进版本SWE-bench Verified。新版本测试集经过人工注释，确保单元测试的准确性和问题描述的明确性。

关键观点2: SWE-bench Verified的测试方法和改进方向

为提高SWE-bench的稳健性和可靠性，开发团队确定了三个主要的改进方向，包括评估解决方案正确性的单元测试的具体性、问题描述的明确性，以及设置可靠的SWE-bench开发环境。为解决这些问题，OpenAI与SWE-bench的作者合作，发布了SWE-bench Verified，并提供了人工注释和新的评估工具。

关键观点3: 新数据集对AI编程智能体性能的影响

在新的SWE-bench Verified数据集上进行的测试表明，AI编程智能体的性能得到了提高。与原始SWE-bench相比，新数据集更能反映智能体的实际能力。