在人工智能领域，大语言模型的强化学习训练常被视为推动技术进步的核心动力。然而，天津大学与阿里巴巴联合研究团队发现，当前主流的训练机制存在一个被长期忽视的隐患：训练过程中看似不断优化的模型，在实际部署时可能并未提升性能，甚至可能退化。这一发现挑战了传统强化学习的优化逻辑，并为解决该问题提出了创新方案。
研究指出，大语言模型的训练与部署涉及两套独立系统：训练引擎负责模型参数更新，推理引擎负责生成用户可见的输出。尽管两者共享同一套参数，但由于数值精度、计算架构等底层差异，训练引擎的优化成果在同步到推理引擎后，可能因“翻译失真”导致实际效果偏离预期。这种差异在采用FP8量化推理等低精度计算时尤为显著，会进一步放大训练与部署环境的不匹配程度。
团队将这种现象定义为“目标错位”：传统强化学习以训练引擎的性能提升为目标，但用户实际交互的是推理引擎，二者表现未必同步。例如，训练引擎在某一轮迭代中得分提高，但推理引擎因系统差异可能输出更低质量的答案。研究通过数学不等式证明，训练引擎的进步（J(π_k+1) ≥ J(π_k)）无法直接推导出推理引擎的同步改善（J(μ_k+1) ≥ J(μ_k)），二者存在本质脱节。
为解决这一问题，研究团队提出“单调推理策略改进原则”（MIPI），并设计了两步实施框架“MIPU”。第一步通过“以采样方为参照的策略更新”调整训练信号的基准：传统方法以训练引擎新旧版本的差异计算更新幅度，而MIPU改用推理引擎与训练引擎新版本的差异作为参照，并引入截断机制防止极端偏差主导训练方向。第二步采用“感知推理侧差距的更新接受机制”，在参数同步后通过代理指标T_post评估推理引擎的实际表现。若该指标低于阈值，则回滚更新，确保只有真正提升推理性能的改动被保留。
实验在参数量为17亿和40亿的Qwen3模型上展开，覆盖MATH500、AIME24等五个数学推理基准。结果显示，MIPU在40亿参数模型上平均得分达66.71%，较标准GRPO基线提升2.29个百分点；在17亿参数模型上得分53.97%，领先基线3.11个百分点。更关键的是，MIPU显著提升了训练稳定性：基线方法在训练中途普遍出现性能崩溃，而MIPU的训练曲线持续平稳上升，未出现明显退步。
消融实验进一步验证了两步框架的互补性。仅使用第一步时，模型得分有所提升但训练仍不稳定；仅使用第二步时，虽避免崩溃但无法提升质量；两步结合方能达到最佳效果。研究通过对比随机回滚对照组排除“拒绝更新次数”的干扰，证明MIPU的价值在于精准捕捉推理侧的实际表现，而非单纯减少更新频率。
该研究揭示了强化学习优化中的关键矛盾：训练对象与使用对象的分离可能导致“虚假进步”。MIPU的解决方案通过直接监控推理引擎性能，为行业提供了新的优化范式。不过，团队也指出，当前方法在超大规模模型上的适用性、动态容忍度参数的普适性，以及代理指标的计算效率等方面仍需进一步探索。
针对技术细节，研究团队解释，T_post指标的计算结合了组相对优势与重要性修正权重。前者衡量答案相对于同批样本的优质程度，后者通过长度归一化的序列比值补偿训练与推理引擎的概率差异，避免极端数值干扰。这种设计使代理指标能够可靠反映推理引擎的实际表现，为更新决策提供依据。
与传统方法相比，MIPU的核心差异在于优化目标的转变。MIS和LR-decay等方案仍以训练引擎的稳定性为间接目标，通过过滤样本或调整学习率减少不匹配干扰；而MIPU直接以推理引擎的性能改善为最终标准，从源头重构了优化逻辑。这一思路在工业领域具有常识性，但在大语言模型的强化学习中尚属首次系统化应用。
