航通社首发原创文章，未经授权禁止转载 微博：@航通社 微信搜一搜：航通社
4 月 20 日，字节跳动在自家会议室举办了一个技术开放日，主要介绍了自建并对外商用的火山引擎 A/B 测试工具。中国有句俗话说“教会徒弟，饿死师傅”，再怎么惊世的神功，传给后人的时候总是留一手，因此“一代不如一代”。在观察现在互联网巨头的竞合过程时，人们也总喜欢套入这种思想。与此相对的是，字节不断把自己用着顺手的“吃饭家伙”拿出来给市场上其他人使用。像巨量引擎、飞书和火山引擎这样，将内部知识和经验产品化再对外输出，是字节文化中特别有意思的一个现象。对外输出经验，字节不“出书”
全世界做得比较大的互联网公司老总，大多都出过书。从比尔·盖茨的《未来之路》，到官方授权的艾萨克森版《乔布斯传》；从黎万强被“雷总布置的作业”《参与感》，到据说有阵子只要去 360 做客，一定会被送一本的周鸿祎《我的互联网方法论》，不一而足。更不用说，走到机场和火车站书店里，书架和电视机上最醒目的位置，很长一段时间都属于那么几个孤独的男人。
对于几年之间快速成长起来的小巨人字节跳动，外界对它如何成长为如今的样子有很多猜测，也写了很多商业分析的书。不同于其他大公司的是，张一鸣或其他高管没有出书的爱好，也不常“抛头露面”。但来自字节官方内部的经验总结，其实正源源不断地以多种方式对外输出，并未“藏私”。除了几家媒体对字节有细致入微的深度报道，字节在多个场合的内部演讲、技术分享等内容，也会以完整的文字实录直接放到官方公众号上，这也是在同级别巨头那里不多见的。比如，张一鸣在字节年会上讽刺“互联网黑话”，当天已经有员工传出这个段子，《晚点》也在自己的报道引用。由于是凭记忆回想，其表述有细微差异。
巨头们不都是这么开诚布公，可能更常见的是口吻堪比新闻发言人的“内部邮件”。也许在它写出来的那一刻，其实已经有了很多雕琢过的部分，读完只剩下一种“我的成功可以复制”的错觉。就像一个段子：“三人坐电梯上到了十楼。接受媒体采访时，他们一个说自己原地跑步，一个做俯卧撑，一个是用头撞墙上楼的。没人说自己是坐电梯上来的。”这也许可以解释大公司喜欢出一些整理后的“教科书”和“内部信”的原因。首先，给创业历史做一个对企业更有利的归因，有助于树立良好的企业形象。其次，因为大厂员工外流，产业链上下游的交互等原因，大厂形成的一些风格做派，可能会“上行下效”传遍整个行业，就像“互联网黑话”一样，给全行业都打上浓重的印记。但截至目前，你都没办法在字节跳动身上找到官方这么做的痕迹。不论对国内还是海外媒体，他们对于不需要掩盖的问题，都很直白地提供了原始材料。字节内部经验转化的 B 端产品
也许是嫌这样都不够直接生动，字节最近在做的很多工作，是把自己内部使用的技术、流程和方法论转化成 B 端产品。这产生了三个主要的成果：营销经验——巨量引擎、
OKR 管理方式——飞书、
增长方法——火山引擎。
（1）巨量引擎
巨量引擎的原理很简单，数据很大，分门别类，细分定位精准。客户在使用过程中，可以自然明白字节是怎么给人群画像的。张一鸣在年会上举例说明，不要错误归因，把外因当内因，把运气当能力，要找出成功或失败的真实原因。“我们最早做短视频，城市用户的留存不太好。讨论时，一个同事觉得肯定是因为城市白领做脑力劳动多，更倾向于图文表达。总结的逻辑乍一听很有道理。现在我们知道，事实并不是这样。”
巨量引擎的产品逻辑已经蕴含了“正确归因”这个前提，它有助于纠正一些当时看来正当无比，事后回忆傻里傻气的操作。在传统渠道不能准确推送的前提下，车企推出不同形式的广告，很可能产生错配——让不合适的人看到了不合适的广告类型，无法唤起购买意愿。车企可能给 A 推送广告，却不知道 A 喜欢的不一定还是自己这个牌子。
B 最可能被车企的投放策略定位到，但实际上 B 的价值最低。
相反，默默无闻的 C 可能表面上体现为对母婴感兴趣，实际上却是价值最高的用户。
很显然，这样精确的用户画像举例必然源于生活实际，只有见得多了才能想到，所谓“久病成良医”；而要想让广告平台也能注意到这些刁钻古怪的案例，就只有让数据足够大，算法足够密集，标签足够多……才行。这是巨量引擎对很多广告主产生吸引力的原因之一。（2）飞书
飞书、钉钉和企业微信三者各有自己鲜明的特点。钉钉是典型的“面向老板编程”，它直接搬到客户公司里面驻场办公的故事已经成为一段佳话。从花样翻新的考勤系统到配套的硬件方案，钉钉产品的每一次更新，都越来越鲜明地体现了全国老板的意志。与此相对，飞书说到底只是字节内部交流产生的“副产品”，所以虽然它也有商业化目标，但却不愿意为了迎合企业需求而根本改变，并没有打算适应除了 OKR 之外的其他企业组织方式。当然，企业微信的最大卖点非常简单——因为大家都在用微信，而只有企业微信可以跟微信打通，又提供了还算不错的企业级功能。作为 KPI 的某种“升级版”，OKR 这个概念不说是由字节一手带进国内互联网的，也差不多。飞书是一套围绕着 OKR 理论完整设计起来的工具。所以也有人说飞书“不好用”，这是因为它们的企业本身不都是采用 OKR 来组织团队的——“10 个公司推 OKR，9 个都做回了 KPI”。但反过来，当有的团队被飞书的其他部分——比如说界面、交互、其他能力所吸引，并且逐步觉得它“好用”的时候，可能顺便也认识到了什么是 OKR 以及这适不适合自己。社长认为，由引入飞书开始，不断熟悉 OKR 管理方式的团队应该不在少数。A/B 测试法和字节的 A/B 测试
社长参加了火山引擎 20 日的技术开放日。整个活动与其说是对火山引擎的产品推介，还不如说是对 A/B 测试方法的科普。甚至新闻稿都要拿出一段来布道：“A/B 测试是指对不同策略进行对比实验，根据结果选择最优方案。A/B 测试不是互联网公司发明的，而是最早应用在医学领域。18 世纪，一位英国医生把患有坏血病的水手随机分成六组，用不同方法进行治疗，从而确定了柠檬和橘子能有效治疗坏血病，这是人类有记载最早的 A/B 测试……”
就像字节和 OKR 的强绑定一样，这种布道同时也让字节跟 A/B 测试深度绑定在一起。但 A/B 测试并不全等于字节，实际上其它能用同一思想的公司也能取得成功，甚至不局限于互联网行业。据媒体报道，元气森林唐彬森在 2020 年底的经销商大会上说，尚有 95% 的产品未推向市场。其主要产品“燃茶”的上市是将几十种饮料反复在互联网上测试的结果。在其他饮料公司仍可能踩进“预先生产大批量产品、发现问题再喊停”这个坑的同时，元气森林已经习惯了在快速测试中遇到问题及时调整或终止，试错成本已降低至每批次 40-50 万左右，不及最初的 1/10。字节旗下一个 App 或一个项目的诞生、投入或消亡背后都隐藏着极致的理性。对 ofo 创始人戴威而言，自己亲手做出的项目就像亲生的孩子一样宝贵，就算战斗到最后一刻且造成了大量损失，也不愿放手。字节的想法做法可能与之完全相反。就拿抖音来举例子。据媒体报道，抖音是在 2016 年秋天首先以 A.me 的名字上线的。配套 logo 是一个桃红色音符躺在深黑底板上方，显得“呆滞”。
三个月后，团队放弃了 A.me 这个名字，改用“抖音”及其 logo 的组合。而“抖音”这个名字，也离不开A/B测试的验证。
字节跳动负责算法和数据技术的副总裁杨震原介绍，在 2016 年，他们建立了支持大规模产品实验的 A/B 测试平台。也正是在这一年，他们采用 A/B 测试的方法，为A.me改名做了实验。“我们就把这个 demo（演示）产品起成不同的名字，用不同的 logo，在应用市场商店做 A/B 测试。同样的预算，同样的位置。这能测出用户对这个名字的关心程度，吸引力程度，下载转化率等等——但其实也是非常短期的。”
这次小规模 A/B 测试当中“抖音”的排名并不是第一。杨震原说：“当时负责抖音的产品经理讨论应该用哪个名字。我们就没有采纳排名第一的名字。大家觉得，‘抖音’长期来讲更符合认知，更能体现它的形态，所以就选择了‘抖音’这个排名第二的选项。”
杨震原用抖音的例子来证明“尽信书则不如无书”，也不要盲从 A/B 测试的结果。但实际上这个决策并没有脱离理性范畴，因为产品在刚刚开始的时候，一切都还有待决定。此前，有初期就在抖音团队的成员回忆当时日活跃用户数才 40 万，说：“40万在字节算产品吗？不算好吗？！”总之，抖音这个名字的由来“莫的感情”是确定的。后人如何分析这个名字抓住用户，乃至从风水啥的角度探索，都与其自身无关。2016 年建起的这个 A/B 测试平台之后陆续接入全线业务，字节把 A/B 测试应用在方方面面的决策上——产品命名、交互设计、推荐算法、用户增长、广告优化，还有市场活动。在开放日现场，第一个提问的潘乱问道：“市场活动投放如何进行 A/B 测试？”杨震原回答：“好像挺难做的。我可以举个 Facebook 的例子，Facebook 做市场活动时会做分地区实验。我们也会做一些，但是多数是做不了的。有一种方法是按地区来分，因为它们之间交叉影响比较弱，或者按国家区分做实验，隔离性也非常好。也有其他的办法，还是有一些能做的。”
即使如此，A/B 测试应该是一种在控制其它变量的基础上做的实验，而市场活动的特性使其天生难以满足控制变量的条件。所以，只能运用 A/B 测试的理念和思想，让非 A/B 测试的评估方法也可以尽量改进分析精准程度。“可以用这样的分析方法：我们去预估，如果没有这个活动，它本来趋势是什么样子，如果把这个估得比较准。再分析有这个活动之后，用这个差减一下，来得到可能的分布。这个分布比不做预估直接操作更准。但是准的程度有多少，就仁者见仁，智者见智了。”
由于此时得出的预估结果并不如真的 A/B 测试那么准，所以如果遇到有经验的人下定决心要战略决策时，当然也可以直接上。但是至少在此之前，整个项目不是纯“拍脑袋”，而是经过了一个理性分析的过程。在对外开放的火山引擎上进行 A/B 测试的工具，跟字节内部使用的工具如出一辙。为了节省人们熟悉工具的时间，这套工具被设计得非常简单，自动化程度高，基本 0 代码，而且实验报表和结论都可以智能产出。一些企业客户已经提前接触到产品，并且应用在自家 App 的数据分析上。悟空租车通过火山引擎进行了 70 多次 A/B 测试，约有 60% 为正向实验，提升产品转换率约 40%，将需求复盘周期从一周缩短到一天。而更重要的是，如同使用巨量引擎让企业客户学会科学决策，使用飞书让企业掌握 OKR 管理一样，火山引擎 A/B 测试工具也让使用者越来越明白 A/B 测试的精髓所在，以及如何才是正确的使用。现场有一位客户提问说，他们做 A/B 测试在开始前几天时是 A 组置信，后几天突然变到了 B 组置信的情况。这时候该选哪一组合适呢？火山引擎数据应用产品负责人张锦波解答说，有一个常见问题叫“吸引性效益”：新功能上线之后，很多用户因为好奇心驱使点击尝试，导致这个功能想监测的核心指标上升，但长期观察的结论可能是，该功能并没有显著提升产品的核心能力。“所以我的建议是，在开启实验时不要马上显著了就直接关停实验，而是要等待一段时间，能够覆盖用户群体完整生命周期后，再做一个相对综合的全面的决策，否则有可能会被类似‘吸引性效益’的问题左右。”
除了这些可能的误区之外，还涉及到宏观“战略”和微观“战术”之分。A/B 测试显然适合细节打磨，而根本的战略型决策，也许依然需要综合多种方式思考，此时只做“A/B 测试”跟掷骰子无异。杨震原说，企业应充分意识到 A/B 测试的优势和缺陷，对目标选择适合的评估方法。A/B 测试是一款用来促进业务增长的数据产品。字节更多的技术能力和增长方法，比如视频编辑、文字-图像识别、个性化推荐等技术能力，多媒体、数据、研发、移动等技术中台，容器云、私有云、短信服务等统一产品服务，都被一同打包在“火山引擎”的品牌下，提供给企业客户。字节为什么是“饿不死”的师傅
我们还是回到文章开头的问题上。“教会徒弟，饿死师傅”这种事情为什么没有在倾囊相授的字节身上发生？一个成功的组织，如果需要对外传导它的价值观和经验，最好办法就是将它先自我总结，沉淀下来，做成结构化、体系化、最好可复制的东西。即使不考虑外部影响力，这对组织内部也有好处。就像学生准备考试的方法之一是做小抄——在抄写、整理关键信息的过程中，自己的思路也会慢慢清晰起来，这样即使不带去考场，抄写的过程也能有所帮助。在这方面，最初是公司整理内部文档以及确立价值观，乃至对外出书。而字节除了更大规模的公开原始资料，还尽量把文档上升成为工具产品。只要企业客户接入此类产品，就能用到跟字节内部员工（基本上）一样的工具，来做自己的事。而在用这个工具的过程中，只要找到了其中的窍门，自然也就懂得字节的人是用怎样的方法来组团队，做产品，调参数，搞营销。文档能起多大作用，取决于看的人是否有能力消化吸收；而写文档的人也不会在公司留一辈子，难免会有“一朝天子一朝臣”的问题。但工具对使用者的要求大为降低，其标准化程度高，结果可预期。蕴含在工具内部的思路和思想也清晰成形，更易于分发、复制和传播，也更容易让新来的人上手，这样就没有什么人是不可替代的。广义上，这也是一种脱离小手工作坊式打磨的，工业化的思路和体系的延伸。字节的各种工具也是构成其业务中台的基础。“中台”概念在被很多企业蜂拥模仿的过程中，出现过很多的水土不服。但这也是因为单靠“葵花宝典”式的案例分析，让企业自己摸索才出的问题。字节的强大中台已经支撑起一个又一个成功的产品。比如一位抖音人士向腾讯科技总结的：“抖音成功离不开字节的大中台，字节核心能力圈有三：高效的推荐算法做人和信息匹配；高效的用户增长；高效的商业化。”
为了能让这些核心能力被传承下去，特别是将团队中优秀的个人能力沉淀为组织能力，让企业脱离对关键人物的依赖也可以正常运转和传承，字节实际上把这些核心能力全都做成了工具。除核心算法外，用户增长和商业化工具都已经通过火山引擎和巨量引擎对外开放。传承公司积累的技术、流程和方法论，最好的方式就是通过工具。工具会形塑人们惯常使用它的心理定位，逐步引导使用者走上预定好的轨道；而工具也允许创意的，意料之外的用法，这会反过来促进已有经验的增长和创新。就是这样，字节将自己的经验凝结成人人可用的工具，在对外输出能力的同时，又创造了新的业务增长点，形成下一轮循环。
参考资料
https://mp.weixin.qq.com/s/A5LIEmaxQx8lp7hy620K9w
https://mp.weixin.qq.com/s/AgvuGQuHjstezvZAA7Wcpw
https://mp.weixin.qq.com/s/iuSO2Uyrjo4oR-k5hmSPFA
https://mp.weixin.qq.com/s/gxaq0ezNk0ydqns_VOnW6g
https://mp.weixin.qq.com/s/XgWXrrWUbBjYFzEZtAl8QA
https://mp.weixin.qq.com/s/9j3BnR3UqA-lnJDoM5Hrvg
https://mp.weixin.qq.com/s/syz_0WO1QwPUFJqa3SiDjQ
转载本文 / 商务合作请咨询航通社助理微信号：hangtongshe 或邮箱：coop#lishuhang.me
