ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

OpenAI联创呼吁AI对齐走向全球公共科学

时间:2026-11-20 18:44:24来源:互联网编辑:快讯

当人工智能开始参与加速自身研发,一个更难回避的问题摆在行业面前:未来的AI应当体现谁的价值观,又由谁参与决定。Thinking Machines联合创始人、OpenAI联合创始人John Schulman在A16Z播客中提出,AI对齐不该局限在少数企业实验室里,而应发展成全球共享的公共科学,让更多研究者、用户和外部机构加入讨论,并有机会影响AI价值取向。

这一讨论的背景是递归自我改进(RSI)正在从设想进入实践。RSI通常指借助AI来辅助并加快AI研究。OpenAI首席研究官Mark Chen表示,AI研发流程里已经能看到RSI加速的早期迹象,他估算当前RSI进展大约为25%至50%,AGI整体能力则已推进到约80%。

Mark Chen提到,Codex等工具已经用于提高预训练、强化学习等环节的效率。OpenAI还在开发类似“AI研究实习生”的系统,它能根据研究人员设定的任务执行实验并反馈结果。不过,这类系统仍以辅助人类研究为主,尚未做到由模型自主开发下一代模型。

独立发现有价值的研究方向仍是AI的弱项。John Schulman举例说,即便让AI助手Fable围绕某个想法连续运行数天、反复做实验,效果依然不理想;直到人类研究员介入并给出更具体的指导,研究才向前推进。

Mark Chen对RSI进程给出25%至50%的估计。Meter在11月5日发布的报告则认为,Anthropic过去一年的AI研究速度提升约一倍,但这种提速很可能主要来自人类研究员使用AI工具提高效率,而不是完全自主的AI研发。

要走到完全RSI,研究品味、评估体系和算力都是障碍。模型还不太擅长判断哪些想法具备长期价值,下游任务的评估基准也需要持续更新,研究本身仍离不开真实实验验证。Mark Chen认为,短期内要靠小规模实验提升对大规模训练的预测能力,长期则要观察AI能否参与下一代数据中心建设。

模型越强,安全对齐就越不能拖延。Mark Chen警告,如果模型目标与人类意图出现偏差,长时间运行可能让它偏离原本目标,甚至衍生出意外次级目标,例如把自身权重复制到OpenAI之外。

但更强模型也可能反过来成为对齐工具。Mark Chen表示,思维链监控是目前较有效的模型对齐手段之一,之后需要更强模型参与监控和对齐其他模型。OpenAI内部已有来自预训练、强化学习等不同方向的人员组成对齐团队。

John Schulman则更看重训练目标的改进。他提到OpenAI的“Confessions”研究:奖励模型如实报告自身偏差行为,同时不损害主要回答所获得的奖励,以此鼓励模型主动披露潜在问题。

Anthropic今年8月公布的研究也给出类似方向。其自动化AI研究员已能为10种对齐失败寻找修复方案,其中部分方法在规模接近五倍的更大模型上仍然有效,效果甚至超过经验丰富的人类研究员提出的方案。这说明自动化研究既可能加快模型能力提升,也可能帮助研究人员更快发现和修复安全问题。

技术之外,还有一个更根本的分配问题:AI究竟该按照谁的价值观来对齐。John Schulman指出,不同人价值观不同,用户应当拥有更多控制权,能够影响自己所使用AI的价值取向。

他希望AI对齐成为真正的公共科学,由世界各地更多人理解、参与和推进,而不是过度依赖少数几家公司给出的结论。若研究主要集中在少数机构,整个领域就容易受这些机构自身判断的影响。更广泛的全球参与能提升研究体系的开放程度和稳健程度,不同团队也能从各自的实践和失误中积累经验,避免行业只依赖少数机构的答案。

更多热门内容
谷歌新模型Gemini 4 Neon可调度多个子智能体
在作业协作模式中,Gemini 4 Neon承担任务调度角色,调度Hydrogen子智能体并行开展多项工作,同步跟进长周期任务推进进度,重点适配大型代码库排错、海量数据分析等多步骤连续处理类工作。在默认hig…

2026-11-20

谷歌发布Neon模型,聚焦编程办公与科研多步骤任务
据谷歌介绍,Neon 支持 100 万 token上下文窗口,可综合处理电子表格、PDF、图表、音频和视频,将分散信息整理成报告等成果。在编程场景中,它能够跨文件排查错误、重构代码,也可在谷歌 Antig…

2026-11-20

马斯克预计Optimus一年半后可分担家务并进入家庭
IT之家注意到,马斯克特意强调“真实”二字,显然是希望外界不要将这次演示理解为一场经过精心设计的表演。截至 11 月 18日,该建筑主体结构的组装进度约为 65%,预计将在 2026 年底前完成厂房主体封…

2026-11-20

英伟达洽谈收购扩散式AI初创公司Inception
IT之家 11 月 20 日消息,科技媒体 The Information 今天(11 月 20 日)发布博文,报道称英伟达计划收购 AI初创公司 Inception,目前双方已深入谈判,交易估值至少超过 …

2026-11-20

阿里推出Qwen4-Max,2.4T参数模型强化智能体编程
Qwen4-Max现已上线千问AI平台对外提供API服务,缓存命中每百万Tokens低至0.5元,完成单任务的平均费用较上代模型大降6成;用户也可通过阿里Token Plan调用新模型,或在千问办公、Qod…

2026-11-20

谷歌研究:AI智能体模块化优化成功率升至40%
研究显示,在一项软件工程测试中,采用模块化修改与验证机制的AI智能体,任务成功率从5.0%提升至40.0%,同时大幅降低了相比整体重写方案的Token消耗。 为解决这一问题,研究人员提出了一种可自我改进的Ha…

2026-11-20

一目科技李智强:触觉基建与灵巧操作影响人形机器人落地节奏
三年前,一目科技管理团队提出,具身智能要真正落地,大脑会越来越成熟,而机器人与物理世界接触的触觉不可或缺,如今这一判断已经成为行业共识。团队仍判断,通用模型的能力会持续向具身侧延展,因此选择聚焦物理操作界面,…

2026-11-20

苹果招聘高级工程经理 推进通用电脑操作AI智能体
【环球网科技综合报道】11月20日消息,据MacRumors和彭博社报道,苹果正在招聘一名高级工程经理,负责开发可以代用户操作电脑的通用 AI智能体。 MacRumors报道称,这名工程经理将加入负责通…

2026-11-20