ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

火山引擎DataTester:A/B实验如何应用在抖音的产品优化流程中?

时间:2023-03-15 17:55:37来源:互联网编辑:汪淼

日前,在WOT全球创新技术大会上,火山引擎DataTester技术负责人韩云飞做了关于字节跳动A/B测试实践分享。DataTester是字节跳动内部应用多年的A/B实验平台,至今已承载了字节内部500余条业务线的A/B实验任务,累计开展的实验多达150万次。

字节跳动内部有着非常浓厚的数据文化和实验文化。抖音、今日头条的名字都经由A/B测试确定,而A/B测试也被作为基础环节,嵌入在了字节内部产品研发的链路中。

通常来说,一个产品新功能的研发流程如下所示:

而字节内部的产品新功能研发流程则会在常规的基础研发流程中,额外嵌入两个环节:埋点设计与A/B实验方案设计。

A/B实验在字节,就像研发敲代码、产品写需求文档一样,是产品从构思、设计到上线全流程中不可或缺的一环。

举个例子,假如抖音团队希望提升产品的用户活跃度,计划通过给产品增加一个“熟人Tab”的方式进行,那么整个的产品优化改动流程是什么样子的呢?

首先,从产品经理做PRD方案的时候开始,就会提供不止一种产品方案,包括用户路径方案、按钮位置方案等,不同的方案对于用户在抖音上的使用及留存数据,影响一定是不同的。多种方案的数据效果,将通过A/B测试进行量化。

下方的页面样式,就是“熟人Tab”放置的3种不同方案示例:

V0组:不设置“熟人Tab”,不出现“熟人关注内容”,不出现熟人投稿后展示

V1组:设置“熟人Tab”,出现“熟人关注内容”,熟人投稿后展示在“关注Tab”页

V2组:设置“熟人Tab”,不出现“熟人关注内容”,熟人投稿后展示在“熟人Tab”页

上述3组方案即为在DataTester中开启实验的A/B实验组。由于抖音的用户体量大,如果草率的决定某个产品设置可能会对整个生态有很大的影响,因此会首先开启小规模、小流量的多重A/B实验。A/B实验的目的,一方面要验证这个功能是否能有效达成初始设计目标,另一方面也要验证新功能是否对抖音大盘核心数据有正向影响,如是否能长期提升用户活跃度以及投稿的意愿等。

在上述提到的例子中,DataTester的实验结果显示V2组试验指标各项均更为优秀,说明新增“熟人Tab”对比其他方案而言能对抖音价值有更为明显的提升,那么后续在产品迭代中,会考虑全量上线这个产品优化策略。

DataTester而今也通过火山引擎对外开放服务,截至目前,已服务了包括美的、得到、凯叔讲故事等在内的上百家外部企业,为业务的提效、增长、产品迭代、运营活动等各个环节提供了科学的决策依据,将成熟的“数据驱动增长”经验赋能给各行业。

更多热门内容
【首发|IEDM 2025放榜】北京大学以21篇论文蝉联全球第一,长鑫存储领跑产业界
转自公众号“微扬智源”IEEE国际电子器件会议(International Electron Devices Meeting, IEDM)是半导体器件领域的全球顶级学术会议,被誉为该领域的“奥林匹克盛会”。近日,2025年IEDM大会入选论文名单正式公布,论文总数再创新高。本文将通过关键数据深度解读全球研

2025-10-06

首降300元叠加次日达 买iPhone 17系列新机只上京东
国庆长假正在进行中,京东为iPhone 17系列带来重磅价格优惠与极速物流双重新惊喜。国庆期间,京东特别上线全国通用的300元消费券,适用于256GB与512GB版本的iPhone 17 Pro Max,领券下单即可直接抵扣。以256GB版本为例,原价9999元,领券后到手价仅9699元,这也是iPhone

2025-10-03

《向往的生活》十年骑行搭档:绿源以“长效主义”重塑品牌营销新范式
9月26日,第八季《向往的生活》温暖回归,观众们再次跟随黄磊、何炅、张艺兴等嘉宾的脚步,逃离喧嚣都市,体验田园生活的宁静与美好。与此同时,绿源电动车以“十年骑行搭档”身份亮相,延续了与节目IP的深度合作。在营销追求短平快的当下,绿源与《向往的生活》达成了

2025-10-03

网易云上线Taylor Swift《The Life of a Showgirl》 12首佳作开启歌舞新篇章
2025年10月3日,泰勒·斯威夫特(Taylor Swift)全新专辑《The Life of a Showgirl》正式上线网易云音乐。该专辑围绕“歌舞女郎的生活”展开,以大胆、华丽的视觉风格和音乐基调,延续了泰勒在专辑《THE TORTURED POETS DEPARTMENT》后的强劲创作势头,从内省沉重的情感思

2025-10-03

寸土不让,风声犹在
西北的秋天,风沙大得出奇。戈壁深处,那座废弃的边境哨所孤零零地立在荒原上,像一块被遗忘的石碑。段元诚和吕先生沿着干裂的土路走近。路两旁只有低矮的灌木,风一吹就沙沙作响。哨所的白墙早已斑驳,铁皮屋顶锈迹斑斑,旗杆倾斜着,顶端什么也没有。“以前每天清晨都会升旗

2025-10-03

2025京东双十一活动时间确定:从10月9日开始到11月14日结束双11活动时间表、红包口令和满减规则!
“史上最早双十一” 正式官宣!京东 2025 年双 11 大促将于 10 月 9 日 0 点全面开启,持续至 11 月 14 日 24 点,以 37 天 “超长待机” 刷新纪录,较 2024 年开卖节点提前 3 天,让消费者拥有更充足的时间 “慢慢选、狠狠省”。这份涵盖红包口令、阶段时间表、核心玩法

2025-10-03

Altera进一步扩展 Agilex™ FPGA 产品组合,全面提升开发体验
在2025年Altera创新者大会上,Altera 推出全新FPGA软硬件解决方案,以进一步拓展可编程逻辑在工业、视觉、通信及数据中心等领域的应用广度与扩展能力。作为全球最大专注于FPGA的解决方案提供商,Altera 将凭借自身独特的优势,为当今由AI驱动的世界提供更加安全、可扩展

2025-10-01

鸿蒙游戏进入指数爆发期!超12000款已上架,两个月数量翻倍
一个全新的游戏生态已然极速崛起!2025年第三季度,鸿蒙游戏生态迎来了它的“爆发拐点”——游戏数量从8月初的6500款猛增至超12000款,实现惊人倍增。这背后,是2000万HarmonyOS 5终端设备奠定的用户基础,以及超1000家游戏厂商、30余个品类游戏的全力奔赴。当手游市场步

2025-09-30

一群“数贸新生代”即将从义乌搅动全球
接过父辈的“算盘”,他们从“鸡毛换糖”到“键盘敲遍全球”。鲸商(ID:bizwhale)原创作者 | 李清乐在“世界超市”义乌,一场静默而深刻的新老接力正在发生。当90后、00后厂二代与商二代们带着全球视野、海归背景和崭新的商业梦想,纷纷回归家族生意,他们不仅接过了市

2025-09-30

玩转K2系列,狂撒10万现金!——创想三维创作大赛正式开启
创想三维“玩转K2系列”创作大赛正式启动,总奖金高达10万元!本次活动面向所有K2系列用户开放,旨在激发创客、设计师和爱好者的无限潜能,见证每一个灵感通过3D打印变为现实。优秀作品将有机会在创想三维全球超级旗舰店展示,更有机会与创想三维达成商业化合作,帮你把

2025-09-30