当人工智能开始参与加速自身研发,一个更难回避的问题摆在行业面前:未来的AI应当体现谁的价值观,又由谁参与决定。Thinking Machines联合创始人、OpenAI联合创始人John Schulman在A16Z播客中提出,AI对齐不该局限在少数企业实验室里,而应发展成全球共享的公共科学,让更多研究者、用户和外部机构加入讨论,并有机会影响AI价值取向。
这一讨论的背景是递归自我改进(RSI)正在从设想进入实践。RSI通常指借助AI来辅助并加快AI研究。OpenAI首席研究官Mark Chen表示,AI研发流程里已经能看到RSI加速的早期迹象,他估算当前RSI进展大约为25%至50%,AGI整体能力则已推进到约80%。
Mark Chen提到,Codex等工具已经用于提高预训练、强化学习等环节的效率。OpenAI还在开发类似“AI研究实习生”的系统,它能根据研究人员设定的任务执行实验并反馈结果。不过,这类系统仍以辅助人类研究为主,尚未做到由模型自主开发下一代模型。
独立发现有价值的研究方向仍是AI的弱项。John Schulman举例说,即便让AI助手Fable围绕某个想法连续运行数天、反复做实验,效果依然不理想;直到人类研究员介入并给出更具体的指导,研究才向前推进。
Mark Chen对RSI进程给出25%至50%的估计。Meter在11月5日发布的报告则认为,Anthropic过去一年的AI研究速度提升约一倍,但这种提速很可能主要来自人类研究员使用AI工具提高效率,而不是完全自主的AI研发。
要走到完全RSI,研究品味、评估体系和算力都是障碍。模型还不太擅长判断哪些想法具备长期价值,下游任务的评估基准也需要持续更新,研究本身仍离不开真实实验验证。Mark Chen认为,短期内要靠小规模实验提升对大规模训练的预测能力,长期则要观察AI能否参与下一代数据中心建设。
模型越强,安全对齐就越不能拖延。Mark Chen警告,如果模型目标与人类意图出现偏差,长时间运行可能让它偏离原本目标,甚至衍生出意外次级目标,例如把自身权重复制到OpenAI之外。
但更强模型也可能反过来成为对齐工具。Mark Chen表示,思维链监控是目前较有效的模型对齐手段之一,之后需要更强模型参与监控和对齐其他模型。OpenAI内部已有来自预训练、强化学习等不同方向的人员组成对齐团队。
John Schulman则更看重训练目标的改进。他提到OpenAI的“Confessions”研究:奖励模型如实报告自身偏差行为,同时不损害主要回答所获得的奖励,以此鼓励模型主动披露潜在问题。
Anthropic今年8月公布的研究也给出类似方向。其自动化AI研究员已能为10种对齐失败寻找修复方案,其中部分方法在规模接近五倍的更大模型上仍然有效,效果甚至超过经验丰富的人类研究员提出的方案。这说明自动化研究既可能加快模型能力提升,也可能帮助研究人员更快发现和修复安全问题。
技术之外,还有一个更根本的分配问题:AI究竟该按照谁的价值观来对齐。John Schulman指出,不同人价值观不同,用户应当拥有更多控制权,能够影响自己所使用AI的价值取向。
他希望AI对齐成为真正的公共科学,由世界各地更多人理解、参与和推进,而不是过度依赖少数几家公司给出的结论。若研究主要集中在少数机构,整个领域就容易受这些机构自身判断的影响。更广泛的全球参与能提升研究体系的开放程度和稳健程度,不同团队也能从各自的实践和失误中积累经验,避免行业只依赖少数机构的答案。

