Forrester咨询：火山引擎A/B测试给企业运营带来新变革

随着增量市场逐渐收窄，越来越多的行业进入到存量市场竞争阶段。在这个过程中，企业普遍面临客户增长的放缓以及业务需求的日渐多样化。而随着疫情和经济转型等问题的叠加，更为企业带来了更严峻的挑战。在当前背景下，企业如果想赢得先机，掌握主动，势必要升级旧有的运营思路，引入新的工具。

4月26日，全球最具影响力的独立研究咨询公司之一Forrester受火山引擎委托调查并撰写的《火山引擎 A/B 测试总体经济影响白皮书》(以下简称《白皮书》)正式发布，通过对三家企业的采访，深度了解分析复杂竞争环境下企业面对的挑战。《白皮书》中，Forrester调研了多家使用火山引擎A/B测试的企业，发现这些企业的广告营收和会员运营收益均有明显提升。综合财务分析来看，企业使用A/B测试的ROI（投资回报率）达到126%。

《白皮书》发现，随着愈发激烈的竞争，企业当前面临的挑战主要有以下四点：

首先是决策方式粗放低效。某受访企业CTO表示，一般来说，产品的迭代更新或运营优化策略，需要通过几轮内部头脑风暴和方案评审，主要依靠经验判断，反复试错，不但效率低、成本高，并且目前除此之外，还缺乏科学有效方法来进一步提升决策效率。

其次是广告营收增长乏力。在经历了前期的高速发展后，用户的增长进入平稳发展期，同业竞争进一步加剧，企业往往会采取较为保守的广告业务策略，未大规模增加广告的展现，企业营收持续面临压力。

第三是会员营收难以持续增长。目前，会员运营已经成为很多企业的核心业务模式，基于会员收费模式，可以为用户提供更加优质、更加个性化的服务是保障企业持续成长的关键。然而，受访企业此前仅依靠传统的用户行为分析，缺乏有效方法对多种影响用户行为因素的探究，无法找到提升用户转化的关键驱动因素。

最后是运营成本高、效率低。在产品迭代、发布上线以及数据分析方面，缺乏有效工具提升效率，帮助企业进一步降低运营成本。

Forrester在研究中发现，受访组织普遍表示，需要提供解决方案的技术供应商具有成熟且经过广泛验证的 A/B 测试产品;具备丰富的 A/B 测试方法论和实践经验，可以帮助企业降低应用 A/B 测试的门槛;能够提供在不同场景下的实验设计、执行以及数据分析等功能，以及多场景下积累的分流模型、分析模型等，帮助企业应对复杂的业务需求;并且能够提供完善的服务以及技术支持和相关服务;而且其提供的解决方案，应易于与企业现有以及未来新增的包括数据埋点、报表分析等在内的系统进行集成。

《白皮书》以数据形式，详细列举了某受访APP企业在使用火山引擎A/B测试产品前后的运营效果对比，为全面展现使用火山引擎 A/B 测试产品的影响，Forrester还特别综合考量了受访企业的规模、所处行业、使用规模及场景等关键因素，将其使用体验整合为一个虚拟的复合式组织进行量化呈现。

《白皮书》指出，使用火山引擎A/B产品前，该APP注册用户超过 8000 万，月活用户数超过 900 万。主要营收来自于广告业务、付费会员服务。经历了前几年的用户高速增长，已经进入稳定增长期，用户增长以及营收逐渐面临瓶颈，迫切希望通过有效手段提升营收和降低运营效率。为了更加有效率地提升用户洞察、运营策略的持续优化，XYZ 公司决定在内部引入 A/B测试方法来提升决策的科学性、探索广告及会员营收增长的机会以及提升整体运营效率。

在使用火山引擎A/B产品后，该公司的整体运营效率得到明显提升。其中每年广告利润增加值在经风险调整后，第一年约为36万元，第二年就达到了接近90万元，第三年更是一举超过了150万元。同时，日活用户数也逐年递增，从第一年的30万，增加到第三年的70余万。《白皮书》指出，A/B 测试对该公司利润增加的贡献度，每年都保持在60%左右，效果是十分明显的。

Forrester在《白皮书》的引言中表示，随着经济增长的放缓、人口红利逐渐消退，各行各业面临着不断增长的产业升级压力。金融、互联网、零售等行业发展更是逐渐进入瓶颈期，迫切需要由过去的粗放式运营模式转变到以专注客户体验、不断提升运营效率为核心的精细化运营模式。在这种情况下，A/B测试产品作为实用的运营工具，正在给以上行业企业的运营带来一场新的变革，助力这些企业提升运营效率，利于其更长远的发展。

作者：方宏