ICML 2025 | 大模型能在信息不完备的情况下问出正确的问题吗？

主要观点总结

本文介绍了香港浸会大学可信机器学习和推理课题组提出的主动推理问题及其基准测试AR-Bench。文章概述了大语言模型在主动推理方面的挑战和不足，包括信息不完整的场景和主动获取信息的推理需求。此外，文章还介绍了AR-Bench的构成，包括新问题、新基准和新发现。通过广泛的测试实验，揭示了当前顶尖大语言模型在主动推理方面的短板，并提出了未来工作的拓展方向。最后，介绍了课题组的情况，包括研究方向、成果展示、合作机会等。

关键观点总结

关键观点1: 主动推理问题的提出与定义

文中提出了主动推理这一亟待研究的新问题，并系统定义了其相对于被动推理的核心挑战。在主动推理范式下，模型需要获取部分信息，通过与外部环境（如数据库、API或人类用户）的交互来主动提问，以获取缺失的关键信息来解决问题。

关键观点2: AR-Bench基准测试的构建

为了系统地评估和衡量大语言模型的主动推理能力，构建了AR-Bench基准测试。该测试模拟了真实世界中的信息获取场景，包括三种不同类型的任务，旨在全面刻画模型的主动推理能力。

关键观点3: 新发现和实验结果

通过对多个先进的大语言模型以及基于prompting和基于训练的推理方法的广泛测试，发现目前的语言模型和推理方法都无法有效解决AR-Bench提出的问题。实验结果表明，大语言模型的主动推理能力严重不足。

关键观点4: 课题组的介绍与合作机会

介绍了香港浸会大学可信机器学习和推理课题组的情况，包括研究方向、成果展示、合作机会等。课题组长期招收博士后研究员、博士生、研究助理等，并欢迎访问博士后研究员、博士生和研究助理的访问申请。

免责声明