OpenAI近期发布了一项名为HealthBench的创新评估工具，该工具专为大型语言模型（LLMs）在医疗领域的实际应用和安全性设计。这一开创性项目的成功落地，得益于全球60个国家、26个医学专业的262名医生的积极参与与专业指导。HealthBench旨在填补当前评估体系中的空白，特别是在真实临床场景模拟、专家意见整合以及诊断范围覆盖方面。
传统的医疗AI评估方法往往局限于结构化的测试形式，例如选择题，这些形式虽然对初步筛选有效，但难以全面反映临床互动的复杂性和多样性。相比之下，HealthBench采用了一种更为贴近现实的评估模式，它包含了5000场模拟对话，这些对话发生在模型与普通用户或医疗专家之间，每场对话均以用户提问收尾，模型的回答则根据医生制定的详细评估标准进行打分。
HealthBench的评估框架精心设计了七个核心领域，涵盖了紧急转诊决策、全球健康状况理解、健康数据处理、背景信息探寻、针对性沟通策略、回答的深度以及面对不确定性的反应能力。每个领域都代表了医疗决策和患者互动中面临的不同挑战。OpenAI还推出了两个评估变体，进一步丰富了评估维度：
一是HealthBench Consensus，它聚焦于34项经医生验证的关键标准，旨在评估模型在提供紧急护理建议或寻求额外背景信息等方面的行为表现；二是HealthBench Hard，这是一个更具挑战性的子集，包含了精心挑选的1000场对话，专门用于测试当前最先进模型的能力极限。
在评估过程中，OpenAI对多个模型进行了测试，包括GPT-3.5Turbo、GPT-4o、GPT-4.1以及更新的o3模型。结果显示，模型间的性能差异显著：GPT-3.5的得分为16%，GPT-4o提升至32%，而o3模型更是达到了60%的高分。值得注意的是，小型且成本效益高的GPT-4.1nano模型，其表现甚至超越了GPT-4o，同时推理成本降低了25倍，展现了作为临床辅助工具的巨大潜力。
评估还发现，模型在不同评估领域和维度上的表现各不相同。在紧急转诊和针对性沟通方面，模型表现相对较强；而在背景信息探寻和回答完整性方面，则面临更多挑战。当将模型输出与医生回应进行对比时，尽管未辅助的医生初始回应得分较低，但在处理模型生成的草稿时，特别是在使用早期版本模型时，医生能够取得明显进步。
为确保评估结果的可靠性，HealthBench还引入了评估模型一致性的机制。OpenAI通过超过60,000个注释示例进行的元评估显示，作为默认评估者的GPT-4.1在大多数评估领域中，其表现不逊色于个体医生，这进一步证明了其作为一致且可靠评估工具的潜力。
感兴趣的读者可以访问OpenAI的GitHub页面（https://github.com/openai/simple-evals），了解更多关于HealthBench项目的详细信息和最新进展。
