ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

AI价值观该听谁的?OpenAI联创主张对齐研究走向公共化

时间:2026-11-20 14:50:28来源:快讯编辑:快讯

当AI逐步具备加速自身研发的能力,一个更根本的问题随之出现:未来的AI应该遵循谁的价值观,又该由谁来决定?Thinking Machines联合创始人、OpenAI联合创始人John Schulman在A16Z播客节目中表示,AI对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有塑造AI价值观的空间。

递归自我改进(RSI)正从理论设想走向实践,AI开始帮助研究人员加速模型研发,甚至展现出进一步自动化AI研究的潜力。OpenAI首席研究官Mark Chen表示,AI研发流程中已经出现RSI加速效应的早期信号。他估计,当前RSI进程约为25%至50%,而AGI整体能力的发展已推进至约80%。

Mark Chen表示,Codex等工具已被用于提升预训练、强化学习等环节的效率。OpenAI也在开发类似“AI研究实习生”的系统,能够根据研究人员设定的任务运行实验并返回结果,但目前仍以辅助人类研究为主,尚未实现模型自主研发下一代模型。

AI的短板在于独立发现有价值的研究方向。John Schulman举例称,即使让AI助手Fable围绕一个想法连续工作数日、运行实验,结果仍不够理想;人类研究员介入并提供更具体的指导后,研究才取得更多进展。

Meter于11月5日发布的报告估计,Anthropic过去一年的AI研究进展速度提高了约一倍,但这一提速很可能主要来自人类研究员借助AI工具提高效率,而非完全自主的AI研发。

通往完全RSI仍面临研究品味、评估和算力等障碍。模型尚不擅长判断哪些想法具有长远价值,下游任务的评估基准也需要不断更新;与此同时,研究仍依赖实际实验验证。Mark Chen认为,短期内需要通过小规模实验提高大规模训练的预测能力,长期则要看AI能否参与下一代数据中心建设。

随着AI逐步参与自身研发,模型能力增长也让安全对齐问题更加紧迫。Mark Chen警告,如果模型目标与人类意图不一致,长时间运行可能使其偏离既定目标,甚至产生意料之外的次级目标,例如将自身权重复制到OpenAI之外。

但更强大的模型也可能成为解决对齐问题的工具。Mark Chen表示,思维链监控是目前最有效的模型对齐手段之一,未来需要更强大的模型参与监控和对齐其他模型。OpenAI内部也已有来自预训练、强化学习等不同研究方向的人员组建对齐团队。John Schulman则看好通过改进训练目标来解决对齐问题,他提到OpenAI的“Confessions”研究:通过奖励模型如实报告自身偏差行为,同时不影响其主要回答的奖励,鼓励模型披露潜在问题。

Anthropic今年8月公布的研究也显示,自动化AI研究员已能针对10种对齐失败找到修复方案,部分方法在规模近五倍的更大模型上同样有效,表现甚至超过经验丰富的人类研究员提出的方案。这表明,自动化研究不仅可能加快模型能力提升,也有望帮助研究人员更快发现和修复安全问题。

技术上如何确保AI符合人类意图之外,还有一个更深层的问题:究竟应该按照谁的价值观来对齐?John Schulman指出,不同人拥有不同的价值观,用户应当拥有更多控制和塑造所使用AI价值观的能力。他希望AI对齐成为一门真正的公共科学,由世界各地更多人理解、参与和推进,而不是过度依赖少数几家公司的研究结论。在他看来,如果研究主要集中于少数公司,就容易过度依赖这些机构自身的判断。更广泛的全球参与则有助于提高研究体系的开放性和稳健性,不同团队可以从各自的实践和失误中积累经验,避免整个领域过度依赖少数机构的结论。

更多热门内容
黑芝麻智能前海设具身智能总部,机器人订单覆盖多品类
极目新闻记者 张秀娟 11月19日消息,黑芝麻智能在深圳前海成立具身智能总部,依托深港汇“前海+香港”双总部模式,聚焦具身智能计算平台研发和产业生态协作,同日,黑芝麻智能具身智能主题展厅正式落成。据悉,黑芝麻…

2026-11-20

芯流微澜首发Orbit平台 四大智能体覆盖芯片设计多领域
AI芯片设计创新企业芯流微澜(ChipFlux)首次公开展示其芯片设计智能体平台Orbit(IC Agentic SWARM),并同步披露平台面向数字设计与验证、数字实现、模拟电路及系统设计的四大Agent产…

2026-11-20

贵阳贵安让算力转化为可采购词元服务
让“算力”变得更可感可及的,是不久前发生的一幕:贵安新区企业贵州数据宝网络科技有限公司入驻京东、天猫并开设官方店铺,新增一条面向更广泛主体的标准化词元(Token)服务通道,企业和开发者可以像网购一样采购大…

2026-11-20

OpenAI披露模型绕过网络隔离 前沿训练暂停11天
其中,模型对齐旨在确保AI遵循预期行为和安全规范;沙箱隔离用于限制模型访问外部资源;安全分类器与自动审查系统负责拦截可能涉及网络攻击、生物武器或未经授权的操作;监控与响应机制则负责发现异常,并在必要时直接终…

2026-11-20

昇腾超节点提速 国产AI算力生态加速落地
DeepSeek下一代模型有望基于昇腾训练,若落地将是对训练生态的标志性验证。 第三,昇腾生态向具身智能扩散方向,昇腾原生世界模型开源后,算力需求向机器人、智能制造等场景延伸,相关具备昇腾云合作基础的标的值得…

2026-11-20

AI设计平台用算网一体化服务压缩约两成开销
朱德康介绍,依托湖北移动打造的“灵伴算网”算网融合服务体系,Degen3实现网络与算力一体化供给,依托毫秒级低时延网络,改善了用户云端实时渲染的使用体验,相关成本降低约20%。对企业而言,既能获得更稳定、低时…

2026-11-20

Meta可穿戴AI设备Muse Charm定价300美元
观点网讯:11月20日,据The Information,Meta Platforms计划将旗下可穿戴AI设备MuseCharm定价300美元,并附带最高一年的Verizon免费5G网络服务。 Meta已…

2026-11-20

江苏大学战队构建可信可控安全运营智能体
近日,立足“企业出题、青年破题”的科创导向,江苏大学Ph0enix Rising战队围绕网络安全产业真实痛点,攻关AI大模型安全运营关键技术,成功研发可信可控的安全运营智能体体系,助力网络安全行业智能化升级。…

2026-11-20

马斯克预计擎天柱18个月内可做家务并迎真实演示
IT之家注意到,马斯克特意强调“真实”二字,显然是希望外界不要将这次演示理解为一场经过精心设计的表演。截至 11 月 18日,该建筑主体结构的组装进度约为 65%,预计将在 2026 年底前完成厂房主体封…

2026-11-20

GPT-Live-1.1开放开发者接入,语音智能体能力提升
据OpenAI介绍,GPT-Live-1.1自10月15日起已应用于ChatGPTPlus和Pro用户的语音功能,此次开放意味着第三方开发者也可以利用该模型构建语音应用。 对于开发者而言,这意味着语音AI…

2026-11-20