即将告别效力近十二年的meta,图灵奖得主杨立昆(Yann LeCun)在近期播客访谈中直言不讳地批评大语言模型技术路线,并宣布将创办专注于世界模型研究的新公司Advanced Machine Intelligence(AMI)。这位深度学习先驱认为,仅靠扩展语言模型无法实现通用人工智能(AGI),而构建具备预测和规划能力的世界模型才是突破智能瓶颈的关键路径。
在长达两小时的对话中,杨立昆系统性阐述了其技术路线分歧。他指出当前硅谷盛行的"扩展法则"存在根本性缺陷:语言模型依赖的文本数据仅占人类感知信息的极小部分,30万亿token的训练量远不及4岁儿童通过视觉接收的1.5万小时视频信息。这种结构化数据的匮乏,使得LLM在处理现实世界复杂场景时暴露出本质性局限。
针对meta近年转向封闭研究的战略转向,杨立昆表达强烈不满。他透露原属FAIR(人工智能研究实验室)的长期研究项目正被压缩,资源向短期商业应用倾斜。这种转变与其科学理念严重冲突:"真正的进步需要开放协作,当研究成果无法公开发表验证,就可能沦为自欺欺人的妄想。"新公司AMI将延续开源传统,在抽象表示空间构建预测模型,而非直接生成像素级内容。
世界模型的核心优势在于处理高维连续数据的能力。杨立昆以流体力学模拟为例,说明抽象表示如何通过忽略分子级细节实现更可靠的长期预测。其团队研发的联合嵌入预测架构(JEPA)通过引入各向同性高斯嵌入和SIGReg正则化技术,成功解决了传统自监督学习中的表示崩溃问题。这种在抽象空间进行预测的方法,被视为突破现有技术瓶颈的关键突破。
对于AGI的实现路径,杨立昆提出颠覆性观点:达到类狗智能的难度远超人类水平。他解释称,哺乳动物感知系统的进化历时数亿年,而人类语言能力仅在最近百万年才出现。当前LLM虽能模拟语言中枢功能,但要实现真正智能还需世界模型承担前额叶皮层的规划决策角色。这种双模型架构需要突破多项基础理论,预计需要数十年持续研究。
现年65岁的杨立昆将此次创业视为科学使命的延续。他坦言妻子希望其退休安享晚年,但提升人类智能的终极目标驱使他继续奋斗。回顾职业生涯,这位纽约大学教授最遗憾的是反向传播算法等重要发现被他人抢先发表,但他强调科学进步本质上是集体智慧的结晶。这种开放共享的理念,与其新公司坚持的开源路线形成完美呼应。
