加州大学圣克鲁兹分校与NVIDIA研究团队联合构建的医学AI评估平台AUTOMEDBENCH引发学界关注，该系统通过模拟完整科研流程，对当前最先进的AI系统进行系统性能力测试。这项以预印本形式发布于arXiv平台的研究（编号2606.01961），首次将医学AI评估从"结果导向"转向"过程导向"，为行业提供了全新的能力评估维度。
传统医学AI评估通常聚焦最终答案准确性，如同仅通过期末考试成绩评判学生能力。AUTOMEDBENCH则创新性地将研究流程拆解为计划制定、环境搭建、小样本验证、全量推断、结果提交五个阶段，每个阶段均设置独立评分标准。这种设计使研究者能精准定位AI系统的薄弱环节——是医学知识理解不足，还是工程执行存在缺陷，或是最终交付格式错误。
评估结果显示，当前AI系统呈现显著能力分化。Claude Opus 4.6以66.5分领跑，GLM-5和Gemini 3.1 Pro分列二三位，但最高分与最低分差距达15.3分。不同任务类型表现差异更为突出：病灶检测任务中各系统得分普遍较高且差距微小，报告生成任务则出现巨大分差，VQA领域更出现总分第一系统排名第五的反常现象。这种"偏科"现象表明，现有AI系统尚未形成全面均衡的医学研究能力。
流程阶段评分暴露出关键能力短板。虽然各系统在环境搭建阶段表现优异（平均得分率82%），但验证阶段得分率骤降至49%，成为制约整体表现的核心瓶颈。研究发现，76%的失败运行源于提交格式错误（38%）和验证疏漏（37%），而真正因医学知识理解错误导致的失败仅占0.9%。这揭示当前AI系统更擅长执行预设流程，却缺乏对研究结果的批判性检验能力。
成本效益分析带来意外发现。最高成本系统（Claude Opus 4.6）的单次运行费用是最便宜系统（Qwen3.5）的10.8倍，但分数差距不足三成。在视觉问答任务中，成本与得分甚至呈现负相关（r=-0.06）。进一步分析显示，将计算资源有效分配至验证调试环节，比单纯增加算力投入更能提升结果质量。
错误恢复能力成为区分系统优劣的关键指标。领先系统在触发多重错误后仍能完成任务的概率（恢复率）达34.6%，而末位系统该指标接近零。这种差异体现在：优秀系统能像经验丰富的研究员那样，在出现张量形状不匹配等错误时，自动调整模型参数或修改数据处理流程，而普通系统往往因单个错误导致全流程崩溃。
该研究团队已开源全部评估框架和测试代码，支持其他研究者在统一标准下扩展测试任务。随着更多医学研究场景被纳入评估体系，这套"过程透明化"的评估方法有望推动医学AI从"能运行"向"可靠用"的关键跨越。对医疗行业而言，这意味着未来选择AI研究助手时，不仅要看其宣传的参数规模，更要考察其在验证调试、错误恢复等隐性能力上的实际表现。
