当你在手机上与语音助手对话，或使用AI将文字转为语音时，系统背后往往以固定频率处理声音信号——就像节拍器始终以相同节奏敲击，无论输入是短暂停顿还是复杂语句。这种固定帧率模式虽简单可靠，却存在明显缺陷：在处理无声片段或简单语气词时，系统仍会消耗大量计算资源，且用户无法根据设备性能或网络状况调整处理速度。针对这一难题，香港中文大学（深圳）与字节跳动联合研发的FlexiSLM系统，通过动态帧率与可控帧率技术，为语音大模型引入了"智能变速"能力。
传统语音模型采用固定帧率处理音频，常见设置为每秒12.5帧或25帧。这种模式类似乐队中鼓手始终以固定节奏敲击，无论其他乐器是否演奏。研究团队开发的FlexiCodec语音编码器则像爵士乐鼓手，能根据音频内容动态调整处理节奏——当检测到相邻声音片段相似度高时，系统会自动合并帧以减少计算量；若内容变化显著，则保留细粒度处理。实验数据显示，该技术可将平均帧率从12.5赫兹降至6.25赫兹，计算量减少约50%，同时保持语音质量。此前该技术仅在小规模文字转语音系统中验证，FlexiSLM首次将其应用于完整的端到端语音大模型。
FlexiSLM的系统架构由"思考者"与"说话者"两部分组成。音频编码器首先将原始声音波形转换为每秒25帧的连续特征序列，帧合并模块通过计算相邻帧的余弦相似度决定是否合并，最终生成动态帧率序列输入大语言模型主干。该主干基于Qwen2.5-7B-Instruct模型构建，与传统模型不同，它在整个对话过程中持续"思考"而非仅处理输入阶段。输出端的Talker Transformer模块接收思考者的隐藏状态，结合目标帧率信号和已生成的语音令牌，并行输出语义令牌与帧长度属性，支持动态语音生成。为确保语音与文字同步，系统设计了5帧延迟机制，使语音流略落后于文字流。
该系统的核心技术突破在于实现帧率的精准控制。研究团队发现，通过调整合并阈值间接控制帧率的方法效果不稳定，相同阈值在不同句子中产生的帧率差异可达6赫兹以上。为此，他们开发了直接帧率控制方案：训练时随机采样合并阈值并计算实际帧率，将该数值作为条件信号输入说话者模块；推理时用户指定目标帧率，系统自动调整内部合并强度。通过正弦位置编码技术，帧率数值被转化为连续向量信号，使模型能平滑覆盖4至12.5赫兹的任意帧率。实验表明，目标帧率为6.25赫兹时，实际输出均值偏差小于0.06赫兹，标准差仅0.03至0.06。
训练过程分为三个阶段：首先预训练说话者模块，使其掌握语音生成基础能力；随后通过多任务LoRA微调，在混合数据集上同步训练帧合并模块与大语言模型主干；最后进行全参数微调，优化12.5赫兹最高质量档位的性能并增强低帧率鲁棒性。研究团队构建的FlexiSLM-Data数据集包含140万条语音对话样本，通过多轮过滤确保数据质量。训练损失由文字令牌、语音令牌和帧长度令牌的预测损失加权组成，其中文字损失权重是其他两项的两倍。
在Kimi-Audio-evalkit评测体系中，FlexiSLM-7B在12.5/12.5赫兹配置下综合得分达72.4/67.2，显著优于同参数规模的Qwen2.5-Omni-7B、Kimi-Audio-7B等模型。当输出帧率降至6.25赫兹时，其综合得分几乎不变，语音令牌数量减少50%而质量损失极小。输入输出均降至6.25赫兹时，得分仍优于所有基线模型。推理速度方面，12.5赫兹配置下实时因子（RTF）为1.17，较Qwen2.5-Omni-7B提升34%；输出帧率降至6.25赫兹时，RTF降至0.59，处理速度比实时快近一倍。计算量从4.57 TFLOPs降至2.73 TFLOPs，主要得益于自回归语音生成阶段的优化。
语音质量评估显示，FlexiSLM在12.5赫兹下文字转语音的识别错误率为2.14%，优于Qwen2.5-Omni的3.18%；对话语音的识别错误率为4.52%，较Qwen2.5-Omni降低1.81个百分点。音频理解任务中，该系统在LLaSO-eval基准上平均准确率达65.8%，超越Gemini 2.5-Pro和LLaSO-3B。值得注意的是，音频理解性能在帧率从12.5赫兹降至4.0赫兹过程中几乎保持稳定，表明情感、口音等全局特征不受帧合并影响。消融实验证实，动态帧合并比均匀合并使语音对话得分提升2分，文字转语音错误率降低59%；输入端动态合并对复杂指令跟随任务帮助显著；直接帧率控制较阈值控制的质量优势明显。
这项研究为语音大模型带来重要突破：通过动态帧率技术减少30%-50%计算量，同时保持语音质量；首次实现推理阶段的帧率精准控制，用户可指定4-12.5赫兹任意目标帧率；在语音问答、识别和理解等任务中达到行业领先水平。目前研究团队已开源代码，并在arXiv平台发布论文。不过该系统仍存在局限性：暂不支持流式输出，需完整生成回答后再播放；未经过RLHF或DPO对齐训练，多轮对话和复杂指令支持有待提升。这些不足为后续研究指明了方向。
