ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

OpenAI推出99题基准 测试药物化学AI推理

时间:2026-11-21 10:42:03来源:互联网编辑:快讯

11月21日消息,当地时间11月20日,OpenAI推出名为MedChemBench的基准,用于衡量AI模型在药物化学研究中的推理水平。该基准关注的任务包括辨认分子结构、理解实验结果、比较不同化合物以及预测分子性质。

OpenAI称,模型在重建分子结构和根据实验依据作出解释时表现较稳,但在化合物筛选、数值性质预测等环节仍有明显提升空间。MedChemBench共含99道题,来自117篇论文与专利,覆盖761个不同分子结构。大多数题目会给出研究推进到某一阶段的背景,包括生物靶点、研究人员目标、此前研究过的化合物以及部分实验结果。

官方把评测拆成四个方面。分子结构部分要求模型根据结构图和化学基团组装分子,重点看原子连接和立体化学是否正确;科学解释部分要求回答有给定证据支撑,比如说明为何在多个化合物中选中某一个;排序与选择部分检查化合物排序和最终选择是否满足题目要求;性质预测部分则对照原始材料中的数值或类别,既包括实测性质,也包括计算得到的性质。

在xhigh推理档下,GPT-6.2 Astra得到84.5%的可用分数,GPT-6 Astra为83.3%,GPT-6.1 Sol为82.0%,GPT-5.6 Sol为58.2%。官方表示,提高推理档位能带来分数上升,但不同模型之间的差距依然不小。分项看,Astra在xhigh档的分子结构部分拿到95.4%的可用分数,在化合物选择与数值性质预测两项上只有约一半分数。

官方还举出一道题目:模型需要以给定中心结构和两个侧基组装分子,同时保留一个18原子环。在11个模型共用的xhigh档下,GPT-6 Astra的十次回答全部正确;GPT-5.6 Sol和GPT-5.6 Luna十次全部出错,前者生成的环只有15个原子,后者把分子拆成两个互不相连的片段。

另一道题来自PRMT5抑制剂研究,PRMT5是肿瘤药物研发中受关注的蛋白。题目要求预测三种相关化合物在细胞内阻断PRMT5的强度、穿过细胞屏障的难易,以及在实验室检测中被肝酶降解的速度。题目隐去的后续实验显示出取舍:化合物23能在更低浓度下于细胞内阻断PRMT5,化合物24更容易穿过细胞屏障,在肝酶检测中的降解速度也更慢。

OpenAI表示,这些结果不能说明模型已经能够发现新药或改善实验室决策。官方也无法排除模型此前接触过已发表资料的可能;每一次回应都没有工具、反馈或新实验。该基准依据历史证据构建,并非真实药物发现过程,但可用于辨认模型在哪些方面取得进展、哪些方面仍面临挑战。

更多热门内容
AI 协作数学证明引关注 黎曼猜想结论仍待验证
阿尔波格还表示,他的证明不仅解决了黎曼猜想本身,还证明了范围远比原始猜想广泛的广义黎曼猜想。后者一旦得到证实,意味着整个数学世界蕴藏着无数尚未发现的深层规律,大量以广义黎曼猜想成立为前提的数学结论也将随之得…

2026-11-21

Claude宣称证明黎曼猜想,数学界验证尚需时日
数学家 Elliot Glazer 在初步检查后表示,阿尔珀格发布的 Lean 文件中形式化的数学命题“确实是广义黎曼猜想”。 《科学》杂志2026 年 10 月的一篇报道也指出,AI 生成的 Lean …

2026-11-21

苹果推进自研AI Agent 计划最早2027年底推出
此前,苹果官网11月16日发布的公告称,该公司将在macOS 27.3 beta 2中调整设备控制与数据访问以及完整磁盘访问两类权限。 据彭博社11月20日报道,苹果还在一定程度上增加了第三方Agent控制…

2026-11-21

Anthropic研究员预计2027年底AI可比肩顶尖专家
IT之家 11 月 21 日消息,11 月 15 日在接受 Palisade Research 采访时,Anthropic 公司技术团队成员Tao Lin 预测到 2027 年年底,在编程、电影制作等几乎所…

2026-11-21

ChatGPT Plus可创建协作空间 支持多人共同编辑
该功能此前仅面向 Pro、Business 和 Enterprise 等付费方案用户提供,现在每月支付 20 美元(IT之家注:现汇率约合133.8 元人民币)的 Plus 用户也可以创建自己的空间,与其他…

2026-11-21

Claude宣称证明黎曼猜想 数学界启动核验
智东西11月21日报道,昨夜,Anthropic数学家莱文特·阿尔珀格(Levent Alpöge)在个人网站上发布声明,宣称自己与Claude合作,找到了黎曼猜想及其更强版本——广义黎曼猜想(GRH)的证…

2026-11-21