OpenAI放了一个重磅大招，AI医疗已经提上日程。

主要观点总结

OpenAI发布了一个全新的开源健康基准HealthBench，用于评估大模型在真实医疗场景中的表现。该基准由医生共同开发，涵盖多轮医疗对话，支持多语言，并提供了详细的评分标准，全面考察模型在准确性、沟通质量、上下文感知等多个维度的能力。文章还讨论了HealthBench对未来AI医疗技术的影响以及OpenAI在医疗方向的相关举措。

关键观点总结

关键观点1: OpenAI发布HealthBench基准

HealthBench由262名医生共同开发，涵盖5000个多轮医疗对话，涉及60个国家、26个专业，支持多语言。医生自定义的评分标准全面考察模型在多个维度的能力。

关键观点2: HealthBench的影响及OpenAI的举措

HealthBench对AI医疗技术有重大影响，OpenAI已组建健康和医疗团队，并将其作为未来的重点方向。作者认为这是OpenAI在医疗方向的一个重要举措，且HealthBench是开源的。

关键观点3: Evals的重要性及结构

评估（Evals）在AI的下半场比训练更重要。明确要解决什么问题以及如何评估问题的解决效果变得至关重要。文章提供了一个具体的Evals示例，包括用户问题、AI回复以及针对回复的评分标准和等级。

关键观点4: 不同模型在HealthBench上的表现

OpenAI使用HealthBench基准测试了市面上主要模型在医疗方面的表现。其中o3表现最好，得分为60%，其次是Grok 3和Gemini 2.5 Pro。Claude 3.7的表现稍差一些。

关键观点5: HealthBench的意义及未来展望

HealthBench为医疗领域的垂直AI代理提供了关键的评估标准。过去大多数基准关注通用LLM的表现，而HealthBench更注重准确性和实际场景的相关性。作者认为这推动了行业建立专业AI评估标准的开端。

免责声明