无需大规模预训练，仅凭76K参数的神经网络模型，就能在通用人工智能（AGI）基准测试中解决20%的难题——这一突破性成果来自最新研究CompressARC。该研究由卡内基梅隆大学（CMU）博士生Isaac Liao主导，其团队通过引入最小描述长度（MDL）理论，颠覆了传统智能依赖海量数据训练的认知。在ARC-AGI-1基准测试中，CompressARC成为首个仅依赖单个样本推理的深度学习方法，并凭借此成果斩获2025年ARC Prize第三名，更令人惊讶的是，整个研究仅使用单张GPU完成。
传统神经网络通过学习输入到输出的映射规则实现泛化，而CompressARC的核心逻辑截然不同：它试图用最短的计算机程序“描述”给定的谜题。这一思路源于MDL理论——现象的最简程序表达往往蕴含其本质规律。在ARC-AGI场景中，模型需将谜题的输入输出对及测试输入编码为最短程序，程序长度越短，意味着找到的规则越简洁本质。研究团队遵循奥卡姆剃刀原理，假设最短程序具备最强泛化能力，因此完全摒弃外部训练集，仅依赖谜题本身的少量示例进行推理。
ARC-AGI-1基准测试要求模型通过少量示例（通常2-3对输入输出）推断隐藏规则，并生成正确输出网格，其设计初衷正是检验AI的类人抽象推理能力。此前表现最优的预训练大语言模型o3在该测试中得分88%，而未预训练的神经网络最高分仅40.3%。CompressARC则另辟蹊径：它不追求学习通用规则，而是针对每个谜题“定制”最短程序。实验显示，在2000个推理训练步骤（约20分钟/谜题）的预算下，模型成功解决20%的评估集谜题和34.75%的训练集谜题，尽管得分低于预训练模型，但其零数据依赖的特性为AGI研究开辟了新路径。
技术实现层面，研究团队设计了固定程序模板，将寻找最短程序的问题转化为优化种子（硬编码数值）和神经网络权重的问题。为解决组合搜索空间爆炸的难题，他们借鉴变分自编码器（VAE）原理，通过KL散度惩罚随机噪声z的信息量，并用交叉熵衡量输出与真实谜题的匹配度，从而将问题转化为可微分的优化任务。这一创新使梯度下降等深度学习标准方法得以应用，避免了穷举所有可能程序的计算不可行性。
模型架构方面，CompressARC采用四大关键设计：其一，内置等变性处理，使网络默认赋予旋转、翻转等变换后的谜题相同概率，避免用冗长代码描述对称性；其二，引入多张量数据结构，用不同形状的张量存储不同粒度信息，强化抽象推理能力；其三，核心骨干采用类Transformer结构，通过4层残差连接和线性投影实现信息交互，但参数仅76K——大部分参数用于通道维度投影，核心操作本身无参数；其四，定制无参数操作集，包括信息汇总传播、单像素几何平移、累积最大值拓扑操作等，直接体现对谜题规则的先验知识。这些设计共同确保了程序描述的极致压缩。
该研究挑战了“智能必源于大规模预训练”的共识，证明MDL与压缩原理的结合可激发模型惊人的泛化能力。作者Isaac Liao目前专注于MDL、变分推断及超网络等领域，其本科与硕士均毕业于麻省理工学院（MIT），师从Mamba架构提出者Albert Gu教授。而ARC-AGI基准的创立者François Chollet（Keras深度学习库创始人、Google AI研究员）于2019年设计该测试时，正是为了弥补传统基准在评估类人抽象推理能力上的不足——如今，CompressARC的突破为这一目标提供了全新解决方案。
