训练大语言模型时,昂贵的GPU显存往往被两类对象分食:一类是主干网络权重,另一类是为记住词组搭配而额外加入的embedding表。后者记录诸如某个词组后面常接哪些词,训练中需要频繁读写,因此通常只能和模型主体一起挤在显存里,而主机上相对便宜的大容量内存却长期闲置。
N-gram是连续出现的N个词组成的片段。若给每种组合都配独立向量,词汇稍大就会遇到组合爆炸:十万词规模下,三元组的可能性已是天文数字,存储无从谈起。Over-Encoding、N-grammer等做法于是借助哈希函数,把海量N-gram压缩进有限大小的表,让不同组合共享参数。
这类哈希式方案虽然扩展了容量,但表里的向量仍是从头学出来的可训练参数。训练时要更新,就必须占据GPU资源。论文设定中,学习型N-gram表与主干模型按1比1配置,1B参数模型的显存空间因此被分走一半,主干模型能用的容量随之下降。
华盛顿大学和艾伦人工智能研究所的研究者把注意力转向另一种路径:不学习新的N-gram向量,而是先在训练前离线扫描语料,统计每个历史片段后面出现过哪些词、各出现多少次。得到的频率表只读,不参与梯度更新,可以放在主机内存中。系统名为COUNT,即Counting Offline Unlocks N-gram Transformers。
频率如何进入神经网络,是COUNT设计中的关键。它没有另建向量表,而是复用语言模型末端的unembedding矩阵。对于当前文本,系统先找出能匹配的最长历史片段,再从统计表中取出这些片段最常见的续接词及分数,以分数为权重,对续接词在unembedding矩阵中的行向量做加权求和,形成新向量并叠加到原词向量上,送入Transformer第一层。
整个流程没有增加可学习参数。统计表是固定数据,unembedding矩阵原本就存在,权重计算是数学运算。与需要学习N-gram表的方法相比,COUNT把存储负担从GPU转移到主机内存,同时不影响主干模型的参数预算。
研究者在60M到1B参数规模上进行了对比实验,覆盖不同训练数据配比。语言模型验证损失方面,COUNT带来的改善相当于标准Transformer多投入46%到89%的计算量;在74个下游任务上,以bits per byte衡量的任务损失改善,相当于标准模型多花6%到56%的计算量。若以可训练参数总量为横轴,COUNT在多数参数预算下处于更优位置,因为它的收益不消耗学习参数。
统计表还具备替换能力。团队用数学、生物医学和法律领域的小规模语料分别统计专用表,其中数学语料约106.6亿token,三张表大小均在80GB左右,而预训练通用表为797GB。推理时将通用表与领域表按比例插值,在领域表权重为0.25时,数学和法律任务损失下降,准确率提升;生物医学领域的准确率则出现波动。
部署条件受限时,表也可以缩小。1B模型原本797GB的通用表被压缩到最小17.1GB,体积缩小四十多倍后,模型表现仍优于不使用COUNT的标准Transformer。性能随压缩而平缓变化,没有出现突然失效。
工程开销方面,团队在8张H200上测试。1B规模下,COUNT保留标准Transformer训练吞吐量的93.1%到97.8%;推理预填充阶段保留95.5%到95.8%,逐词生成阶段保留95.9%到96.7%。实现依赖多线程主机查表、训练和预填充阶段提前预取下一批查询,以及把向量收集与加权求和合并,减少中间存储。
这一思路与后融合方法形成对照。kNN-LM、Infini-gram等在模型输出末端把神经预测与检索统计混合;COUNT则在第一层就把统计信息编码进共享向量空间。论文中的对比显示,后融合对通用性能的提升不如COUNT明显;在190M规模上,给后融合方案单独安排预训练后,结果并未超过仅在推理阶段套用统计表的做法。
研究团队还比较了基向量选择:用输入token embedding矩阵替代unembedding矩阵后,任务损失和准确率都变差,语言模型损失仍好于标准Transformer。这说明两个矩阵编码的信息并不对称,unembedding矩阵更贴近下一词预测任务的结构。相关统计方法可追溯到Jelinek与Mercer、Kneser与Ney的回退计数理论,Neubig与Dyer也曾尝试把计数分布与神经网络预测结合;COUNT则把离线计数、只读内存表和现有unembedding矩阵拼接成一套无需新增学习参数的方案。

