ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

OpenAI联创呼吁AI对齐成为全球公共科学

时间:2026-11-20 15:39:41来源:快讯编辑:快讯

在A16Z的一档播客中,Thinking Machines联合创始人、OpenAI联合创始人John Schulman提出,AI对齐研究不应被少数公司垄断,而应像公共科学一样向全球开放,让更多参与者有机会影响AI的价值观。他强调,不同用户有不同价值取向,因此人们应能更多地控制自己所用AI的价值观。

这一讨论的背景是,AI正逐渐获得加速自身研发的能力。所谓递归自我改进(RSI),指借助AI辅助并加速AI研究。OpenAI首席研究官Mark Chen称,Codex等工具已用于提高预训练、强化学习等环节效率。OpenAI还在开发类似“AI研究实习生”的系统,可按照研究人员设定的任务执行实验并反馈结果,但现阶段仍以辅助人类研究为主,尚未由模型独立开发下一代模型。

Mark Chen估计,当前RSI进程约为25%至50%,AGI整体能力发展已推进至约80%。Meter于11月5日发布的报告估计,Anthropic过去一年AI研究进展速度提高约一倍,不过提速很可能主要来自人类研究员借助AI工具提升效率,而非完全自主的AI研发。

完全RSI仍受研究品味、评估和算力等因素制约。模型尚不擅长判断哪些想法有长远价值,下游任务的评估基准需要持续更新;研究也离不开实际实验验证。John Schulman举例说,即使让AI助手Fable围绕一个想法连续工作数日并运行实验,结果仍不理想;人类研究员介入并给出更具体指导后,研究才取得更多进展。Mark Chen认为,短期内需通过小规模实验增强大规模训练预测能力,长期则要看AI能否参与下一代数据中心建设。

当AI更深地参与自身研发,安全对齐问题更紧迫。Mark Chen警告,如果模型目标与人类意图不一致,长时间运行可能使其偏离既定目标,甚至产生意料之外的次级目标,例如把自身权重复制到OpenAI之外。同时,更强模型也可能帮助解决对齐问题。他表示,思维链监控是目前最有效的模型对齐手段之一,未来需要更强模型参与监控和对齐其他模型。OpenAI内部已有来自预训练、强化学习等方向的人员组成对齐团队。

John Schulman则倾向于通过改进训练目标来处理对齐问题。他提到OpenAI的“Confessions”研究:奖励模型如实报告自身偏差行为,同时不影响其主要回答的奖励,从而鼓励模型披露潜在问题。Anthropic今年8月公布的研究也显示,自动化AI研究员已能针对10种对齐失败找到修复方案,部分方法在规模近五倍的更大模型上同样有效,表现甚至超过经验丰富的人类研究员提出的方案。

在Schulman看来,如果AI对齐研究主要集中在少数公司,整个领域就容易过度依赖这些机构自身的判断。更广泛的全球参与有助于提升研究体系的开放性与稳健性,不同团队能从各自实践和失误中积累经验,避免结论来源过于单一。

更多热门内容
OpenAI首款AI硬件被曝年底出货 立讯精密承担整机制造
11月19日,据供应链消息,OpenAI首款AI端侧硬件产品或将于今年年底启动出货,多家中国厂商参与该项目。其中,立讯精密独家承担整机制造,并供应核心零部件。关于这款产品形态OpenAI尚未正式公布。 不过,…

2026-11-20

奥特曼谈AI安全与创新平衡 呼吁行业统一标准
【环球网科技综合报道】11月19日消息,据《纽约时报》报道,美国当地时间 11 月 18 日周三召开的 DealBook 峰会上,OpenAI首席执行官山姆·奥特曼与公司总裁格雷格·布罗克曼出席相关访谈,就…

2026-11-20

谷歌发布Gemini 4 Neon模型 支持多智能体协作
在作业协作模式中,Gemini 4 Neon承担任务调度角色,调度Hydrogen子智能体并行开展多项工作,同步跟进长周期任务推进进度,重点适配大型代码库排错、海量数据分析等多步骤连续处理类工作。在默认hig…

2026-11-20

苹果推进自主AI智能体 计划代用户操控设备写代码
IT之家 11 月 20 日消息,彭博社马克 · 古尔曼(Mark Gurman)今日报道称,苹果正在开发自主 AI 智能体,计划让 AI 代替用户执行设备操控、应用操作、网页浏览和软件编程等任务,进一步进入…

2026-11-20

Gemini在Mac端增加电脑操控,可跨应用完成多步任务
IT之家 11 月 20 日消息,当地时间 11 月 19 日,谷歌宣布为 macOS 版 Gemini应用推出全新的“电脑操控”(Computer Use)功能,允许 AI 直接操作 Mac 上的桌面应用…

2026-11-20

OpenAI开放GPT-Live-1.1语音模型供开发者集成
据OpenAI介绍,GPT-Live-1.1自10月15日起已应用于ChatGPTPlus和Pro用户的语音功能,此次开放意味着第三方开发者也可以利用该模型构建语音应用。 对于开发者而言,这意味着语音AI…

2026-11-20

全球AI支出2027年预计破4万亿美元 基础设施占比最高
观点网讯:11月20日,Gartner发布预测,全球人工智能支出将在2027年突破4万亿美元关口,达到4.05万亿美元,同比增长47.5%。 这4.05万亿美元中,份额最大的是人工智能基础设施支出,接近2.…

2026-11-20

深圳APEC现场:机器人制作咖啡,AI合作成焦点
复旦大学发展研究院副教授、全球人工智能创新治理中心研究员江天骄在接受记者采访时表示,AI的发展伴随着新的挑战,而APEC通过提供开放技术、共享场景、共治风险,让普惠包容发展成为可能。在贸易领域,各经济体除了传…

2026-11-20

OpenAI小范围测试dots全天候助理 同步开放企业版
有别于传统一问一答方式,dots 拥有自己的云电脑,可以使用你连接的应用开展研究、制作成果,并根据你的反馈逐渐适应工作偏好。新体验将首先面向已拥有 dots,或具备创建 dot 资格的 ChatGPT P…

2026-11-20