在人工智能领域，一场关于通用人工智能（AGI）的讨论正如火如荼地进行。近日，OpenAI前研究主管Bob McGrew的一番言论，为这场讨论增添了新的燃料。他宣称，AGI所需的关键突破已经实现，关键在于如何将推理能力落地，并重塑价值创造路径。
Bob McGrew作为OpenAI的研究主管，见证了AI技术的飞速发展，从GPT-3的横空出世，到如今推理模型的遍地开花。他认为，实现AGI的三大支柱是Transformer、规模化预训练和推理。在过去的五年里，AI能力持续增强，技术发展的迅猛态势令人兴奋，且这一趋势仍在延续。
在红杉的“训练数据”系列播客中，Bob McGrew分享了他对AI的深刻洞见。他指出，除了预训练、后训练、推理这三部分外，未来可能不会再出现根本性的技术突破。这一观点虽然颇具争议，但他认为，如果穿越到2030年，回顾实现更高智能所需的关键概念，最终会得出全部关键点：基于Transformer的语言模型、大规模预训练、推理能力的引入与不断提升，以及越来越多的多模态能力。
Bob进一步强调，推理是AGI拼图中的重要一环。从2023年9月的o1-preview到2024年4月发布的o3，仅用了六个月时间，推理技术就取得了迅猛进展。同时，OpenAI多年开发的推理能力正在向其他公司扩散，如Google、DeepSeek、Anthropic等，这足以说明推理是各大实验室今年的重点研究方向。
然而，Bob也承认，随着推理能力趋于成熟，技术潜力将逐渐被“消耗殆尽”，进展速度可能会放缓。但他坚信，预训练仍然重要，只是其角色已经发生了变化。现在的预训练更多依赖于架构的改进，以提高推理时的效率、支持更长的上下文或更好地利用上下文。
在谈及后训练时，Bob表示，后训练不提升智能，而是塑造模型的“人格”。这是一个与智能完全不同的“厚问题”，需要思考的是希望智能体表现出什么样的个性和行动方式。这更像是人类多年与他人互动的成长过程，需要深刻理解人性，才能将人类对“好人格”的定义转化为真实、吸引人的AI人格。
最后，Bob谈到了推理为何如此关键。他认为，推理是AGI缺失的关键拼图。预训练可以让模型对问题有一种“直觉式的理解”，但人类天生就需要“在回答前思考”，这是早期模型所不具备的能力。OpenAI意识到模型可以自己引导推理过程，这种能力非常强大且可以被训练出来。因此，OpenAI坚定地押注在推理范式上，并取得了显著的进展。
尽管Bob认为行业一线依旧能看到大量新想法和细节上的改进，但局外人已经看不懂了。很多进展已经不会公开出现在论文中，而是成为了各大公司和实验室的核心竞争力。因此，AGI的实现之路仍然充满挑战和未知，但Bob的言论无疑为这场讨论注入了新的活力和方向。
