日前,在WOT全球创新技术大会上,火山引擎DataTester技术负责人韩云飞做了关于字节跳动A/B测试实践分享。DataTester是字节跳动内部应用多年的A/B实验平台,至今已承载了字节内部500余条业务线的A/B实验任务,累计开展的实验多达150万次。
字节跳动内部有着非常浓厚的数据文化和实验文化。抖音、今日头条的名字都经由A/B测试确定,而A/B测试也被作为基础环节,嵌入在了字节内部产品研发的链路中。
通常来说,一个产品新功能的研发流程如下所示:
而字节内部的产品新功能研发流程则会在常规的基础研发流程中,额外嵌入两个环节:埋点设计与A/B实验方案设计。
A/B实验在字节,就像研发敲代码、产品写需求文档一样,是产品从构思、设计到上线全流程中不可或缺的一环。
举个例子,假如抖音团队希望提升产品的用户活跃度,计划通过给产品增加一个“熟人Tab”的方式进行,那么整个的产品优化改动流程是什么样子的呢?
首先,从产品经理做PRD方案的时候开始,就会提供不止一种产品方案,包括用户路径方案、按钮位置方案等,不同的方案对于用户在抖音上的使用及留存数据,影响一定是不同的。多种方案的数据效果,将通过A/B测试进行量化。
下方的页面样式,就是“熟人Tab”放置的3种不同方案示例:
V0组:不设置“熟人Tab”,不出现“熟人关注内容”,不出现熟人投稿后展示
V1组:设置“熟人Tab”,出现“熟人关注内容”,熟人投稿后展示在“关注Tab”页
V2组:设置“熟人Tab”,不出现“熟人关注内容”,熟人投稿后展示在“熟人Tab”页
上述3组方案即为在DataTester中开启实验的A/B实验组。由于抖音的用户体量大,如果草率的决定某个产品设置可能会对整个生态有很大的影响,因此会首先开启小规模、小流量的多重A/B实验。A/B实验的目的,一方面要验证这个功能是否能有效达成初始设计目标,另一方面也要验证新功能是否对抖音大盘核心数据有正向影响,如是否能长期提升用户活跃度以及投稿的意愿等。
在上述提到的例子中,DataTester的实验结果显示V2组试验指标各项均更为优秀,说明新增“熟人Tab”对比其他方案而言能对抖音价值有更为明显的提升,那么后续在产品迭代中,会考虑全量上线这个产品优化策略。
DataTester而今也通过火山引擎对外开放服务,截至目前,已服务了包括美的、得到、凯叔讲故事等在内的上百家外部企业,为业务的提效、增长、产品迭代、运营活动等各个环节提供了科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。
首降300元叠加次日达 买iPhone 17系列新机只上京东
国庆长假正在进行中,京东为iPhone 17系列带来重磅价格优惠与极速物流双重新惊喜。国庆期间,京东特别上线全国通用的300元消费券,适用于256GB与512GB版本的iPhone 17 Pro Max,领券下单即可直接抵扣。以256GB版本为例,原价9999元,领券后到手价仅9699元,这也是iPhone
2025-10-03
《向往的生活》十年骑行搭档:绿源以“长效主义”重塑品牌营销新范式
9月26日,第八季《向往的生活》温暖回归,观众们再次跟随黄磊、何炅、张艺兴等嘉宾的脚步,逃离喧嚣都市,体验田园生活的宁静与美好。与此同时,绿源电动车以“十年骑行搭档”身份亮相,延续了与节目IP的深度合作。在营销追求短平快的当下,绿源与《向往的生活》达成了
2025-10-03
寸土不让,风声犹在
西北的秋天,风沙大得出奇。戈壁深处,那座废弃的边境哨所孤零零地立在荒原上,像一块被遗忘的石碑。段元诚和吕先生沿着干裂的土路走近。路两旁只有低矮的灌木,风一吹就沙沙作响。哨所的白墙早已斑驳,铁皮屋顶锈迹斑斑,旗杆倾斜着,顶端什么也没有。“以前每天清晨都会升旗
2025-10-03
Altera进一步扩展 Agilex™ FPGA 产品组合,全面提升开发体验
在2025年Altera创新者大会上,Altera 推出全新FPGA软硬件解决方案,以进一步拓展可编程逻辑在工业、视觉、通信及数据中心等领域的应用广度与扩展能力。作为全球最大专注于FPGA的解决方案提供商,Altera 将凭借自身独特的优势,为当今由AI驱动的世界提供更加安全、可扩展
2025-10-01
鸿蒙游戏进入指数爆发期!超12000款已上架,两个月数量翻倍
一个全新的游戏生态已然极速崛起!2025年第三季度,鸿蒙游戏生态迎来了它的“爆发拐点”——游戏数量从8月初的6500款猛增至超12000款,实现惊人倍增。这背后,是2000万HarmonyOS 5终端设备奠定的用户基础,以及超1000家游戏厂商、30余个品类游戏的全力奔赴。当手游市场步
2025-09-30
一群“数贸新生代”即将从义乌搅动全球
接过父辈的“算盘”,他们从“鸡毛换糖”到“键盘敲遍全球”。鲸商(ID:bizwhale)原创作者 | 李清乐在“世界超市”义乌,一场静默而深刻的新老接力正在发生。当90后、00后厂二代与商二代们带着全球视野、海归背景和崭新的商业梦想,纷纷回归家族生意,他们不仅接过了市
2025-09-30
玩转K2系列,狂撒10万现金!——创想三维创作大赛正式开启
创想三维“玩转K2系列”创作大赛正式启动,总奖金高达10万元!本次活动面向所有K2系列用户开放,旨在激发创客、设计师和爱好者的无限潜能,见证每一个灵感通过3D打印变为现实。优秀作品将有机会在创想三维全球超级旗舰店展示,更有机会与创想三维达成商业化合作,帮你把
2025-09-30