字节跳动AB实验经验分享：企业如何构建数据驱动的实验文化？

近日，CCF TF举办了第123期分享活动，本期主题为“用户体验工程”。 CCF TF是中国计算机学会为企业界计算机专业人士创建的企业间常态化合作交流平台，本期分享邀请到了来自火山引擎、牛游谷公司等在用户体验工程领域有着良好实践的专家，共同探讨在数智化时代，面对复杂用户场景和超高体验要求，如何通过有效的体验测量和管理、利用A/B测试技术，在新趋势下持续追求卓越并提升产品竞争力。

在活动中，来自火山引擎AB测试平台的专家结合字节跳动的AB实验经验，进行了《数据驱动的实验文化》为主题的现场分享。AB测试是用户体验优化过程中必不可少的一环，也被称为效果衡量的“金标准”，字节跳动具有数据驱动的实验文化，在这样的土壤中，AB测试也成为了字节跳动优化用户体验的利器。

在企业中，能让AB实验发挥最大效用的企业实验文化搭建，可以从组织、方法论与工具应用三个维度关注。在企业组织层面，需建立完善AB实验的流程机制，字节的AB实验与产品的设计研发紧密嵌合，每个小决策都会得到实验验证才推全上线。与此同时，组织机制的配套同样重要，通过搭建AB测试接口团队，运行好从实验设计到开发、上线、完成决策的整个链路。火山引擎DataTester这样的“工具+咨询服务”双轨机制，在字节内部应用的同时，也正在面向外部企业提供服务。

在方法论层面，一个AB实验文化能良性运转的企业，是将增长思路与AB实验理念相结合的企业，将业务目标转化为核心衡量指标，并通过AB实验的设计、运行、迭代，不断选取最优策略逼近业务目标;企业也应通过搭建指标体系、设立优化目标、管理实验效果以及积累决策经验四步，辅助实现科学评估效果。

在工具层面，一个可靠灵活的AB实验平台可以为企业节约很多人力成本与时间成本。在字节跳动，“万物皆可AB测试”，而火山引擎DataTester在经历了字节多年业务打磨后，也具备了易学易用、快速安全、可处理复杂场景实验需求的能力。2023年中数据显示，字节已通过DataTester累计做过240万余次AB实验，日新增实验 4000余个，同时运行实验5万余个。

对于用户体验优化而言，体验度量的难点包含评价主观性和用户多样性等，AB测试能帮助业务团队提供更为科学的数据参考，通过客观的数据对比来反馈产品体验的好坏，但同时需要数据实验文化理念与先进工具的良好结合。

在成熟的实验文化与AB实验工具支撑下，字节跳动践行出了一条行之有效的产品用户体验提升之路，而企业可以参考上述经验，通过自建或引入AB测试“工具+咨询服务”双轨机制的方式，从组织、方法论与工具应用三个维度入手，搭建属于企业自己的数据驱动的实验文化，用实验科学决策，用数据驱动增长。(作者：胡智城)