在NeurIPS 2025的一场备受瞩目的炉边谈话中，AI领域的两位标志性人物——Geoffrey Hinton与Jeff Dean，展开了一场关于人工智能发展历程与未来展望的深度对话。这场访谈不仅回顾了AI从早期突破到如今引领技术潮流的辉煌历程，还揭秘了诸多鲜为人知的幕后故事。
访谈一开始，Hinton便抛出了一个引人深思的问题：谷歌是否后悔发表了奠定现代AI基石的Transformer论文？Jeff Dean毫不犹豫地回应：“不后悔，因为它对世界产生了深远的影响。”这一回答不仅彰显了谷歌对技术共享的开放态度，也凸显了Transformer在推动AI技术普及与应用中的关键作用。
Hinton在对话中透露，自己对模型规模扩展（Scaling）重要性的深刻认识，源自于Ilya Sutskever的一次演讲。他坦言，自己本应在更早的时候意识到算力与模型规模之间的紧密联系，但直到2014年，听完Ilya的报告后，才彻底醒悟Scaling的至关重要性，并坚信这一趋势将持续下去。
回顾AI发展史上的重要时刻，2012年AlexNet的诞生无疑是一个里程碑。Hinton分享了这段经历中的趣事：当时，他们申请项目资助续期时遭遇了挫折，被评审认为项目缺乏工业应用价值。然而，正是这一不被看好的项目，在纠正了权重衰减参数的错误后，凭借在ImageNet上的出色表现，引发了AI领域的革命性变革。Hinton幽默地提到，训练AlexNet的两块英伟达GTX 580 GPU，不仅为多伦多大学节省了成本，还让Alex在自家卧室里完成了这一历史性的训练。
Jeff Dean则回忆了谷歌大脑（Google Brain）的诞生过程。他提到，这一项目的灵感源自于一次在谷歌茶水间的偶遇闲聊。当时，Andrew Ng提到他的学生用神经网络取得了不错成果，这句话激发了Jeff Dean的灵感：既然谷歌拥有海量的CPU资源，为何不尝试训练超大规模的神经网络呢？于是，谷歌大脑应运而生，通过模型并行与数据并行的技术，成功训练出了参数达20亿的庞大模型，验证了Scaling Laws的可行性。
在谈到谷歌与Hinton团队的合作时，Jeff Dean透露了一段鲜为人知的拍卖故事。为了吸引更多资源支持，Hinton团队决定将自己包装成一家“公司”，并在南太浩湖的赌场举办了一场拍卖会。尽管楼下老虎机的声音不绝于耳，但楼上的竞价却异常激烈。最终，谷歌在这场拍卖中脱颖而出，成功将Hinton及其团队纳入麾下。Hinton坦言，这一决定背后，是他对谷歌实习生经历的深刻认同。
在访谈的后半部分，两位嘉宾还就AI的未来发展方向进行了探讨。Jeff Dean对Scaling注意力机制的触达范围表示兴奋，他设想未来模型将能够直接访问所有科学论文和视频资源，而非将海量信息压缩进有限的模型参数中。同时，他也指出了当前模型缺乏持续学习能力的局限性，并透露谷歌正在探索更动态、脑启发的架构设计。Hinton则对AI在医疗与教育领域的变革潜力表示乐观，他认为大模型将能够压缩巨量知识，发现人类未见的共通性，从而展现出非凡的创造力。
