在深度学习领域，实现差分隐私训练一直是研究热点。近期，由英国南安普顿大学和广州大学的研究者组成的团队，提出了一种名为SlaClip的自适应梯度剪裁方法，该方法应用于差分隐私随机梯度下降（DP-SGD），为这一领域带来了新的突破。相关研究论文“SlaClip: Gradient Norm Slacks can be Indicator for Adaptive Clipping in DP-SGD”已被ICML 2026接收为Spotlight。
DP-SGD是深度学习中实现差分隐私训练的经典方法，其通过“逐样本梯度剪裁 + 高斯噪声”的方式，限制单个样本对模型更新的影响。具体而言，DP-SGD的基本流程可分为三步：首先计算每个样本的梯度，接着对梯度进行剪裁，最后在剪裁后的梯度上添加高斯噪声并聚合，以此完成模型更新。然而，传统的DP-SGD采用固定剪裁阈值，这种方式存在一定局限。
为解决固定剪裁阈值的问题，此前已有研究提出了自适应剪裁阈值方法，如Adap-Clip。该方法追踪当前批量中未发生剪裁的梯度占比，并将剪裁阈值调向固定目标比例，例如50%。这种自适应裁剪思想已被纳入主流差分隐私训练工具链，像meta的PyTorch Opacus和Google生态中的TensorFlow Privacy都采用了该思想。不过，此类方法在差分隐私训练中会引发两个问题。一方面，估计当前批量中未剪裁比例通常需要额外的隐私评估，这会消耗更多隐私预算或者加入更强的噪声；另一方面，固定的目标未剪裁比例并非总是合适，由于梯度范数分布会随训练过程变化，训练后期出现的大量小范数梯度对聚合更新的贡献可能很小，甚至容易被DP噪声淹没，若机械维持固定未剪裁比例，剪裁阈值可能会持续下降。
基于此，研究团队提出了SlaClip方法，试图在不引入额外隐私查询的情况下，获取类似梯度范数分布信息，用于自适应调节剪裁阈值。SlaClip的核心观察在于，剪裁的“slack”并非无用信息。在这种设计下，SlaClip无需额外隐私消耗，就能获得关于梯度范数分布的有用反馈信号。
那么，Slack Indicator究竟能获取什么信息呢？经过聚合、高斯噪声和归一化后，SlaClip得到的Slack Indicator可被理解为一个带噪声的、分箱的累积分布函数（CDF）估计。这意味着，Slack Indicator不仅能告知“有多少梯度被剪裁”，还能提供更细粒度的分布信息，比如哪些梯度接近当前阈值，哪些梯度集中在较小范数区域。其中，靠近阈值的坐标可提供类似未剪裁比例的反馈，功能上接近Adap-Clip所使用的剪裁/未剪裁统计；SlaClip还利用CDF中靠近零的坐标来估计小梯度比例，动态调节目标未剪裁比例，使剪裁阈值更新更符合当前训练阶段的梯度分布，且这一过程在整个训练过程中持续进行，能实时动态调节剪裁比例。
为比较不同剪裁方法，研究团队采用了匹配相同隐私预算下的公平调参协议对比实验，对每个方法、数据集和隐私预算都在相同的超参数池中进行网格搜索。实验结果显示，SlaClip在多个数据集和隐私预算设置下取得了有竞争力的结果，经常达到最佳或第二好的差分隐私训练准确率。相比之下，一些传统自适应剪裁阈值方法的高精度区域更加集中，对学习率和初始阈值的组合更敏感，这表明SlaClip的Slack Indicator能在一定程度上缓解初始剪裁阈值选择带来的不稳定性。
SlaClip具有诸多显著特点。其一，它不引入额外隐私查询，保证了隐私保护的有效性；其二，它是“即插即用”的方法，且额外计算开销较低，便于在实际应用中部署；其三，它提供了比单一剪裁/未剪裁统计更丰富的信息，有助于更精准地调节剪裁阈值。
该研究团队长期致力于人工智能与网络安全交叉方向的研究，重点关注隐私保护机器学习、差分隐私优化、可信AI训练机制以及大模型安全等方向。此次提出的SlaClip方法，为差分隐私训练领域提供了新的思路和方法，有望推动该领域进一步发展。
