一台没有安装任何独立显卡的老旧服务器，最近完成了一项看似不可能的任务：成功运行参数规模高达2.8万亿的超大模型Kimi K3。这场极限测试由一名玩家在社区公开分享，整台机器所依赖的算力核心，是一颗配备40个核心的第三代至强可扩展处理器。
Kimi K3出自月之暗面之手，采用混合专家架构。该模型总参数量达到2.8万亿，不过在推理过程中，每个token实际只需激活约1040亿参数，官方标称的上下文长度可达104万token。
要把这样的庞然大物装进内存并非易事。即便压缩到极致的1bit量化，模型体积仍需要数百GB的内存空间才能容纳，远超普通家用主板的承受能力。为了绕开这一硬件瓶颈，这名玩家将目光投向了已经停产的傲腾持久内存200系列——这款产品单条容量最高可达512GB，与40核至强处理器搭配后，为模型提供了足够的驻留空间。
傲腾这条产品线其实早已退出历史舞台。2022年第二季度，英特尔着手收缩傲腾业务，当季计入了5.59亿美元的库存减值，此后该系列再无后继产品问世。
软件层面的部署同样颇具巧思。玩家借助llama.cpp完成整套方案，并将傲腾持久内存设置为App Direct模式。在这种配置下，傲腾介质以内存的身份直接供程序读写，而不是充当由操作系统调度的硬盘缓存。
这种平民化方案的代价体现在速度上。实测数据显示，1bit量化下的生成速度仅为每秒0.85个token；关闭DAX直接访问模式后，速度最高可提升至每秒1.5个token。若将量化精度放宽到3bit，速度反而回落至每秒0.75个token左右。以此推算，模型写出几百字的文本需要等待好几分钟，而完整输出5万个token则要耗费长达18.5小时。
功耗与发热同样考验着这套系统。依据官方规格数据，该代傲腾内存单条功耗上限为18瓦，当介质温度达到83摄氏度时设备便会开始降频，一旦飙升至85摄氏度，系统将触发保护性关机。
