从「记忆解题」到「深度推理」：港科大推出首个本科数学动态评测基准 UGMathBench

主要观点总结

UGMathBench是一个针对本科数学的多元化动态评测体系，旨在全面评估LLM在本科阶段各类数学主题下的推理能力。它与现有基准测试如GSM8K和MATH相比，更具挑战性，并采用了动态基准测试来避免测试集污染。UGMathBench包含广泛的数学主题、答案类型和测试示例，并具有较高的动态性和全面性。其评估结果揭示了当前LLM的短板，如推理的不稳定性和面对高阶概念推理的不足。未来，UGMathBench预计开发多模态版本，支持多语言数学问题评估，并探索模型自适应训练以缩小推理差距。

关键观点总结

关键观点1: UGMathBench的特点

UGMathBench是首个针对本科数学的多元化动态评测体系，专为评估LLM的推理能力而设计。它提供了动态多样的评估工具，将数学推理评测带入「动态污染防控」时代。该基准测试与现有基准测试相比，具有更多的挑战性和更高的评估标准。

关键观点2: UGMathBench与现有基准的区别

UGMathBench与现有基准测试如GSM8K和MATH的主要区别在于其专注于本科数学推理，并采用了动态基准测试来避免模型通过训练数据接触测试题目而导致的污染问题。此外，UGMathBench还引入了多项创新指标，如平均准确率（Acc）、鲁棒效率（RE）、有效准确率（EAcc）和推理差距（Δ）来全面评估模型的性能。

关键观点3: UGMathBench的评估结果

UGMathBench的评估结果揭示了当前LLM在推理能力上的不足，包括推理的不稳定性和面对高阶概念推理的困难。此外，闭源模型和开源模型之间在评估结果上存在一定的差距。

关键观点4: UGMathBench的未来发展和挑战

未来，UGMathBench预计开发多模态版本，支持多语言数学问题评估，并探索模型自适应训练以缩小推理差距。此外，开发“大型推理模型”是实现高有效准确率和完美鲁棒性的目标之一。