随着AI技术高速演进，大模型推理的成本账正在越算越细。Agent 任务、高并发对话、长上下文处理等场景中，推理过程会持续产生大量中间数据 KV Cache。谁能把这份高价值的缓存数据存得住、调得快、复用得起，谁就能帮企业在同样的算力投入下跑出更多的 Token。缓存分层架构由此成为大模型推理基础设施的必选项，而KV Cache存储，正是补齐内存与本地盘之间缺口的关键一层。
近日，华瑞指数云（ExponTech）自研的 WQS 极速 AI 语义存储系统正式合入 LMCache 社区主干。作为 AI 原生 KV Cache 存储，WQS 完全匹配NVIDIA 分层缓存体系中的 G3.5 层存储定位，成为 LMCache 官方支持的 L2 存储后端之一，这也是AI 原生KV Cache存储，首次接入大模型推理核心业务链路。
LMCache 是面向大模型推理的主流开源 KV Cache 管理社区，核心项目 LMCache 作为独立的 KV Cache 管理层，致力于把 KV Cache 从推理过程中的临时中间数据，转变为可持久化、跨引擎复用的 AI 原生数据资源。社区围绕 KV Cache 的卸载、共享与复用构建完整分层缓存体系，覆盖显存、内存、本地 NVMe 直至外置分布式存储等多层级，能够与 vLLM 等主流推理引擎深度协同。
在推理链路中，一旦命中历史 KV Cache，推理引擎便可跳过重复的 Prefill 计算，有效降低首 Token 延迟、提升 GPU 有效利用率，尤其适配 Agent 任务、长上下文、多轮对话、RAG 等场景。伴随社区生态持续扩容，外置分布式存储后端，也成为社区支持图谱中备受关注的演进方向。华瑞指数云WQS顺利适配并合入LMCache社区，为行业用户提供了高性能、可落地的KV Cache外置存储解决方案，进一步助力企业实现大模型推理算力降本增效。
华瑞指数云 WQS 通过`wqs_store`适配器实现对 LMCache L2 存储后端的原生接入。在数据存取链路层面，WQS 采用 RDMA 高速网络、SPDK 用户态 NVMe 与 HugePage 共享内存的软硬协同架构，绕开内核协议栈，消除冗余内存拷贝，专门面向大模型推理高并发、小粒度 KV Cache 读写特征，提供低时延、高吞吐的数据访问能力。
依托全自研存储引擎，WQS 以集群形态对外交付可池化的缓存容量与带宽，适配企业级生产环境落地。从产品价值层面来看，本次合入直击大模型推理缓存分层的三重痛点。一，纯内存方案容量有限、单位成本高，难以承接长上下文与高并发场景下的缓存洪峰，WQS 将缓存下沉至外置分布式存储，突破硬件内存的固有容量桎梏，以更低的成本实现缓存资源规模化扩容。二，本地 SSD 缓存方案受制于单节点硬件约束，存在容量有限、故障域孤立、扩容弹性不足的短板，无法实现跨推理节点的缓存资源共享复用，WQS 以全域池化服务能力实现 KV Cache 全域流转、全局复用，大幅提升缓存资源利用率。三，针对行业AI基础设施重复建设、资源浪费的普遍痛点，WQS 支持训推一体化基础设施共用，让一套存储底座同时承载数据留存、缓存加速、算力增效多重能力，有效降低企业AI基建叠加投入。对企业客户而言，这意味着更低的 AI 运行成本、更高的 GPU 利用率，以及一条可平滑落地的生产级缓存分层路径。
依托本次合入 LMCache 社区的契机，华瑞指数云与开源大模型推理生态的协作将持续深化。完善 AI 原生存储的生态适配，是华瑞指数云长期坚持的生态战略。未来，华瑞指数云将持续反哺社区、共建标准，携手推理引擎与开源社区伙伴，让 AI 原生数据基础设施下沉到大模型业务的每一个关键链路，助力各行各业平稳、高效地完成智能化转型。
