信息论创始人香农与妻子贝蒂在客厅进行的一项实验，意外揭示了语言预测与数据压缩之间的深层联系。这场看似简单的字母接龙游戏，实则为现代大语言模型的核心机制埋下了伏笔。实验中，香农逐字朗读书籍内容，每到一个字母便询问贝蒂下一个可能出现的字符。贝蒂的每次猜测结果都被详细记录：猜对时用横线标记，猜错则写下正确字母。这种记录方式将原始文本转化为可预测部分与不可预测部分的混合体。
实验产生的特殊文本引发了新的思考。当贝蒂能够准确预测的字母被横线替代后，原文长度显著缩短，但关键信息并未丢失。理论上，只要保留完整的横线标记与错误字母，具备相同语言能力的读者仍能还原原始文本。这种现象直观展示了"可预测性即压缩可能性"的原理——日常交流中，人们通过省略可预测内容实现高效沟通，从完整词汇缩写到表情符号的使用，本质都是对语言冗余度的压缩。
该实验存在明显局限性。作为人类受试者，贝蒂的预测准确性受主观因素影响，同一文本在不同时间可能产生不同结果。为解决这个问题，香农在后续研究中引入更系统的测量方法。他招募多名受试者，不仅记录预测正确与否，还统计猜测次数。猜测次数越少，说明当前上下文中该字母的可预测性越强。这种方法将主观猜测转化为对语言概率分布的量化测量，为信息论奠定了实验基础。
香农的实验设计暗含现代语言模型的核心逻辑。贝蒂实质上扮演着人类语言预测器的角色，她的大脑根据语法规则、上下文关联和语言习惯进行概率判断。这种基于上下文的预测机制，与当前Transformer架构中自注意力机制的工作原理惊人相似。不同之处在于，贝蒂使用的是生物神经网络，而现代模型依赖参数化的数学运算。
语言压缩与预测的内在联系在后续研究中得到深化。香农发现，文本的可压缩程度与其信息熵密切相关。高熵文本包含更多意外信息，难以预测和压缩；低熵文本则呈现明显规律性。这种特性在机器人指令系统中得到验证：当四个移动方向出现概率均等时，需要固定长度的编码；若某方向出现频率显著高于其他，采用变长编码可大幅减少平均信息量。语言处理同样遵循此规律，模型通过捕捉上下文规律降低预测不确定性，实质上是在进行动态信息压缩。
现代大语言模型的训练过程完美延续了香农的思想。交叉熵损失函数直接衡量模型预测与真实文本的差异，其数值大小反映模型对语言规律的掌握程度。当模型准确预测下一个token时，损失值降低，表明该token的可预测性强、信息量低；反之则说明模型尚未捕捉到相关规律。这种机制迫使模型不断压缩语言中的可预测结构，将语法规则、事实知识和推理模式编码进参数矩阵。
