近日，快手首次提出生成式强化学习出价技术，并将其应用于大规模广告系统中。该项技术显著提升了广告竞价的智能化水平，实现了出价策略从传统“依赖单步状态决策”到新一代“序列决策”的关键跨越，在为广告主带来更高投放回报的同时，也提升了平台整体收益，真正实现了双赢。2025年至今，该技术已成功推动快手广告收入提升3%，成效显著。
广告出价：实时竞价中的“智能大脑”
在实时竞价(RTB)广告系统中，出价模块作为连接广告主与流量的核心枢纽，需要在多重约束条件下实现广告投放效果的最优化。
这一过程面临三大挑战。首先是既要控制支出，又要追求效益。广告主不仅需要将单日花费严格控制在预算范围内，还应力求降低每次转化的成本，实现成本效益的双重优化。
其次是，未来环境的不确定性。系统难以预知即将到来的流量状况与竞争对手行为，因此必须依赖实时花费与成本等数据，动态调整出价策略以应对波动市场。
最后是决策之间的连锁影响。每一次出价不仅直接影响广告的展示与消耗，还会改变账户状态(如剩余预算)，进而干扰后续出价决策，形成一个连续且复杂的序列决策问题。
三代技术革新，快手提出新一代生成式强化学习出价技术
快手出价技术已历经三代演进：从PID控制——基于当前状态与目标的偏差进行调节，响应直接但适应性有限，难以应对复杂多变的竞价环境;到第二代MPC预测模型——能够预测短期未来并优化动作，但预测范围有限，易陷局部最优;再到第三代强化学习——通过历史数据学习不同状态下的最优出价策略，最大化长期收益，兼顾效果与安全性。
近年来，尽管强化学习在自动出价中表现优异，但其决策仍依赖单步状态信息，对序列历史利用不足。而生成式模型擅长对序列数据进行建模和生成，却不擅长直接优化目标收益。
面对这一挑战，快手创新融合两类技术，提出生成式强化学习出价技术——在继承生成模型序列建模能力的基础上，引入强化学习的目标导向优化机制，实现出价策略在长序列决策中的新突破。
两大核心算法实现广告出价“多维思考”，助推智能决策升级
在将生成模型应用于强化出价策略的过程中，主要面临两大挑战：一是对高质量数据集的依赖较强，限制了泛化能力;二是生成模型难以直接优化序列整体收益，导致出价策略与广告主全局目标存在偏差。
针对这些挑战，快手提出了GAVE和CBD两大创新算法。GAVE算法融合了Score-based RTG机制与价值函数引导的动作探索策略，显著提升了离线训练中的探索能力，该成果助力团队荣获NeurIPS 2024自动出价竞赛双赛道冠军。
CBD算法则聚焦于生成模型与优化目标的对齐问题，引入“Completer(扩散补全)”和“Aligner(偏好对齐)”双模块，通过补全未来状态轨迹并进行校准，使出价策略更贴合广告主真实需求，提升了系统长程规划与决策可解释性。
2025年至今，生成式强化学习出价技术已在快手广告系统中全面部署，并推动平台广告收入提升3%。在多项关键客户指标上实现突破——如在成本控制场景中，消耗提升2.0%，CPA达标率提升1.9%。
展望未来，快手将围绕两大方向持续演进。一是构建出价基座大模型，整合多场景数据训练通用模型，发挥规模效应;二是发展出价推理大模型，引入大语言模型增强推理能力，提升可解释性与复杂决策水平。
快手将继续推动自动出价技术向更高层次的智能化迈进，为数字营销行业注入创新动力。
