斯坦福大学近期公布了一项关于临床医疗人工智能模型的深度评估结果，DeepSeek R1凭借其卓越的表现，在这场九强争霸中脱颖而出，以66%的胜率及0.75的宏观平均分荣膺桂冠。此次评估不仅涵盖了传统医疗执照考试的内容，更深入模拟了临床医生的日常工作环境，为评估增添了实战色彩。
为了全面而准确地评估各模型的性能，斯坦福大学的评测团队精心打造了一个名为MedHELM的综合评估体系，该体系包含35项基准测试，广泛覆盖了22个医疗任务子领域。这一体系的科学性和实用性得到了29名来自14个不同医学专科的执业医生的验证与认可。评估结果显示，DeepSeek R1在各项测试中均表现出色，稳定性极高，胜率标准差仅为0.10。紧随其后的是o3-mini和Claude3.7Sonnet，它们分别以64%的胜率和0.77的最高宏观平均分，以及64%的胜率获得了第二和第三名的佳绩。
值得注意的是，o3-mini在临床决策支持方面的表现尤为抢眼，展现了其在特定医疗场景下的强大实力。而Claude系列模型，如Claude3.5和3.7Sonnet，虽然未能夺冠，但也以不俗的胜率紧随DeepSeek R1和o3-mini之后，显示出其在医疗AI领域的竞争力。
此次评估还采用了创新的大语言模型评审团（LLM-jury）方法，该方法的结果与临床医生的评分高度吻合，进一步验证了其评估的有效性和准确性。同时，研究团队还进行了成本效益分析，发现推理模型的使用成本相对较高，更适合对精度和性能有较高要求的用户；而非推理模型则成本较低，更易于普及和应用。
斯坦福大学的这项评估不仅为医疗AI的发展提供了重要的数据参考，也为未来的临床实践提供了更多的选择和可能性，推动了医疗AI技术的不断前进。
