AI领域近期掀起了一场关于发展速度与安全风险的激烈讨论。Anthropic公司发出惊人警告，称AI技术正以超出预期的速度向"自我迭代"阶段迈进，建议全球暂停相关研究以规避潜在风险。该公司内部数据显示，AI系统已展现出加速自身发展的能力，递归式自我改进的路径可能比预想中更早出现。
OpenAI后训练团队负责人Yann Dubois在访谈中提出了截然不同的观察视角。他指出AI能力的提升呈现线性增长特征，但用户体验到的"实用性"却呈现阶梯式跃升。这种反差源于AI需要跨越特定的"可靠性阈值"——在达到这个临界点前，AI如同会变戏法的玩具；突破后则成为可信赖的工作伙伴。据OpenAI内部评估，这一转折点出现在去年12月前后。
Dubois揭示了AI研发中的三个关键推动力：首先是模型能力突破后形成的自我加速效应，当AI足够强大时，它开始反哺研发过程，形成"以AI养AI"的循环；其次是强化学习技术的升级，从专注解决可验证问题转向优化真实场景中的用户体验；最后是编程领域出现的显著变化，研究人员发现AI已成为不眠不休的编程助手，极大提升了工具链搭建和模型训练的效率。
关于AI研发的本质，Dubois提出了颠覆性观点。他认为AI构建更接近传统手工艺而非现代科学，这个高度依赖算力的领域，最终胜出的关键因素竟是类似炼金术的直觉与灵感。他特别指出，当前AI系统存在固有缺陷——随着运行时间延长，智能体犯错的概率会呈指数级上升，提升可靠性本质上就是不断降低单位时间内的错误率。
在应用落地层面，Dubois强调"最后一公里"的重要性。他提出一个大胆假设：如果冻结现有模型发展，仅通过优化垂直应用系统，许多领域就能感受到通用人工智能（AGI）的实质影响。当前真正的瓶颈不在于模型智能程度，而在于权限配置、数据连接、接口打通等具体业务环节。他特别指出，持续学习能力的缺失仍是重大挑战，现有AI系统缺乏人类"越用越懂"的学习曲线，这个问题将成为未来研发的重点方向。
这场争论折射出AI领域正在经历的范式转变。当技术突破从实验室走向产业应用，关于发展节奏与安全管控的讨论愈发激烈。Anthropic的警告与OpenAI的实践形成鲜明对比，而两者共同指向一个核心命题：在追求技术突破的同时，如何建立有效的风险控制机制，确保AI发展始终处于人类可控范围内。
