上海交大/上海AI Lab翟广涛：当评测不再重要，AGI就实现了

主要观点总结

本文介绍了上海交通大学教授、上海人工智能实验室双聘研究员翟广涛对AI评测体系的观点。他认为完美的AI评测体系等同于通用人工智能，并提出当前AI评测体系存在数据污染、原子化能力评测的局限性等问题。翟广涛强调评测的核心应是模型在多大程度上提升人类完成任务的效率和体验，并提出回归‘以人为本’的坐标系。他带领的上海人工智能实验室大模型开源评测司南团队提出了一个由三大支柱构成的评测框架，并设计了技术路径和解决方案来应对AI评测中的问题。最终，他认为当评测变得不再重要时，AGI可能才真正到来。

关键观点总结

关键观点1: 翟广涛认为完美的AI评测体系等同于通用人工智能。

他认为目前的AI评测体系存在数据污染和原子化能力评测的局限性等问题。

关键观点2: 翟广涛强调评测的核心应是模型在多大程度上提升人类完成任务的效率和体验。

他提出了回归‘以人为本’的坐标系来解决当前评测的问题。

关键观点3: 上海人工智能实验室大模型开源评测司南团队提出了一个由三大支柱构成的评测框架。

该框架包括信息质量、问题解决能力和交互体验三个方面。

关键观点4: 司南团队设计了技术路径和解决方案来应对AI评测中的问题。

他们提出了演进的、动态的、粒度的、生态的技术路径，并投入精力建立了一个规模超十万道题的高质量内部题库。

关键观点5: 翟广涛认为当评测变得不再重要时，AGI可能才真正到来。

他认为构建终极评测体系的努力本身就是通往AGI的最重要路径。

免责声明