11月21日消息,当地时间11月20日,OpenAI推出名为MedChemBench的基准,用于衡量AI模型在药物化学研究中的推理水平。该基准关注的任务包括辨认分子结构、理解实验结果、比较不同化合物以及预测分子性质。
OpenAI称,模型在重建分子结构和根据实验依据作出解释时表现较稳,但在化合物筛选、数值性质预测等环节仍有明显提升空间。MedChemBench共含99道题,来自117篇论文与专利,覆盖761个不同分子结构。大多数题目会给出研究推进到某一阶段的背景,包括生物靶点、研究人员目标、此前研究过的化合物以及部分实验结果。
官方把评测拆成四个方面。分子结构部分要求模型根据结构图和化学基团组装分子,重点看原子连接和立体化学是否正确;科学解释部分要求回答有给定证据支撑,比如说明为何在多个化合物中选中某一个;排序与选择部分检查化合物排序和最终选择是否满足题目要求;性质预测部分则对照原始材料中的数值或类别,既包括实测性质,也包括计算得到的性质。

在xhigh推理档下,GPT-6.2 Astra得到84.5%的可用分数,GPT-6 Astra为83.3%,GPT-6.1 Sol为82.0%,GPT-5.6 Sol为58.2%。官方表示,提高推理档位能带来分数上升,但不同模型之间的差距依然不小。分项看,Astra在xhigh档的分子结构部分拿到95.4%的可用分数,在化合物选择与数值性质预测两项上只有约一半分数。
官方还举出一道题目:模型需要以给定中心结构和两个侧基组装分子,同时保留一个18原子环。在11个模型共用的xhigh档下,GPT-6 Astra的十次回答全部正确;GPT-5.6 Sol和GPT-5.6 Luna十次全部出错,前者生成的环只有15个原子,后者把分子拆成两个互不相连的片段。
另一道题来自PRMT5抑制剂研究,PRMT5是肿瘤药物研发中受关注的蛋白。题目要求预测三种相关化合物在细胞内阻断PRMT5的强度、穿过细胞屏障的难易,以及在实验室检测中被肝酶降解的速度。题目隐去的后续实验显示出取舍:化合物23能在更低浓度下于细胞内阻断PRMT5,化合物24更容易穿过细胞屏障,在肝酶检测中的降解速度也更慢。
OpenAI表示,这些结果不能说明模型已经能够发现新药或改善实验室决策。官方也无法排除模型此前接触过已发表资料的可能;每一次回应都没有工具、反馈或新实验。该基准依据历史证据构建,并非真实药物发现过程,但可用于辨认模型在哪些方面取得进展、哪些方面仍面临挑战。


