品牌需要实验精神

在数字营销和创新中，线上测试可能会改变游戏规则。然而，许多公司却并不具有“实验精神”——并非缺乏技术，而是源于企业文化。当数字测试的实证结果与高层意见相冲突时，品牌将做何种选择？

旅行网络平台Booking曾做过一个“激进”的实验：在繁忙的假日旅游旺季之前，由设计总监主导，着手一项测试公司主页的全新布局。

与现有的主页不同，新的主页不会提供大量的酒店、度假租赁和旅游交易选项，而是弹出一个小窗口，询问客户想去哪里、什么时候去和参加人数。与此同时，它只提供3个简单的选项：“住宿”“航班”和“租车”。Booking花费数年优化的所有内容和设计元素，包括图片、文本、按钮和消息都将被取消。

时任Booking首席执行官的吉莉安·坦斯(Gillian Tans)对此表示怀疑。她担心这一变化会在公司的忠实客户中造成混乱。时任该公司核心测试团队负责人的卢卡斯·弗米尔（Lukas Vermeer）也赌上了一瓶香槟，认为这项测试将失败，因为这意味着将压低公司的关键业绩指标：客户转化率，也就是有多少网站访问者最终会下单预定。

鉴于这种悲观情绪，为什么公司高级管理层不干脆否决这一测试呢？因为这样做会违反Booking的核心宗旨之一：公司的任何人都可以测试任何东西，即使没有得到管理层的许可。

事实上，Booking可以同时运行1000多个严格的测试。而据《哈佛商业评论》杂志估计，Booking网站每年有超过25000个测试。所有这些测试都帮助该公司在不到20年的时间里，从一家荷兰的小型初创公司转变为世界上最大的在线旅行平台。

测试系统给了Booking团队所需的自主权

另一大在线旅游公司Expedia 集团同样致力于“数字实验”。公司首席执行官马克·奥克斯特罗姆（Mark Okerstrom）表示，“在一个日益数字化的世界里，如果你不做大规模的测试，从长期来看你就没有出路了。在任何时候，我们都在运行数百个同时进行的测试，涉及数以百万计的使用者，让他们告诉我们究竟想要什么。”旅行平台并不是唯一发现网络测试力量的公司。亚马逊（Amazon）、Meta、谷歌（Google）和微软（Microsoft）等数字巨头都十分重视这一领域。例如，微软的搜索引擎必应（Bing）就进行了数十次月度改进，使用户每次搜索的收入每年增加10%到25%。

但《哈佛商业评论》研究了另外十几家公司，分析了1000多个测试的数据后却发现，Booking、Expedia等案例其实是一种例外。事实上，许多公司并没有每年进行成百上千次的在线测试，而是只运行了几十次，几乎没有对自身经营产生什么影响。

该杂志认为，核心问题出在公司文化上：每一次成功的实验，代价可能会是近10次的失败。在许多强调效率、可预测性和成功的公司看来，这些失败都是浪费时间。

但为了成功创新，公司需要让测试成为日常生活中不可或缺的一部分。这意味着创造一种环境，在其中，员工的好奇心得到培养、数据凌驾于观点之上、任何员工都可以自己展开或委托他人进行测试。

培养好奇心

公司中的每个人，无论领导层还是基层，都需要重视“惊喜”。尽管很难给“惊喜”分配具体的 KPI，而且无法预测其发生的时间和频率，但当公司鼓励这种心态时，好奇心将占上风，人们将把失败视为学习的机会，而不是代价高昂的错误。

一个经典的例子是亚马逊发生的一起事件，涉及对其初涉手游领域的游戏产品《空中爱国者》（Air Patriots）的一次修改。

在这款移动设备游戏中，玩家操作一队飞机保卫塔楼免受攻击。当亚马逊发布新版本时，开发团队对其客户反应大吃一惊：7天的用户留存率下降了惊人的70%，收入下降了30%。很快，该团队就发现了原因：新版本在不经意间将游戏的难度提高了约10%。

亚马逊随后发布了修复版本，但开发者们想知道，让游戏变得更简单是否能在留存率和收入方面带来巨大的收益。为了找出答案，他们进行了一项测试：增加4个新的难度水平，结果发现最简单的版本最受欢迎。经过进一步的改进，亚马逊推出了游戏的又一个版本。这次，用户玩的时间延长了20%，收入增加了20%。

《哈佛商业评论》认为，亚马逊公司的一次意外导致了一个令人惊讶的洞察，这成为了未来展开新测试的起点。不幸的是，在许多公司中，与测试相关的风险使管理层不愿将资源分配出来。但是，那些实现了企业文化“飞跃”的公司所享受到的收益，应该会给其他公司带来这么做的勇气。

许多公司对测试的性质和数量也过于保守。实 际上，进行大量测试的风险比进行少量测试的风险要小。Booking发现，虽然只有大约10%的测试产生了积极的结果，但是当进行大量测试时，低成功率仍然会转化为大量的成功，这反过来又会降低失败的经济和心情成本。如果一家公司1年只做几次测试，那么它可能只有1次成功，如果运气不好，可能1次也没有。这就意味着，失败是一件大事。

现在负责Booking测试团队的人士表示，“公司员工们好奇心强、思想开放、渴望学习并解决问题，即使被证明是错的也没关系。”而这一族类正是该公司的招聘人员所寻找的人。为了确保他们有能力跟随自己的直觉，公司会让新员工通过严格的入职程序，其中包括测试培训，然后让他们使用所有测试工具。

数据为王

当数字测试的实证结果与高层意见相冲突时，都必须以数据为准，这就是 Booking 的态度。但这在大多数公司是罕见的，原因在于人性。我们往往乐于接受证实我们观点的“好”结 果，但质疑与我们的假设相悖的“坏”结果。

不过，这并不是说所有的管理决策都可以全依靠或基于在线测试。有些事情即便并非不可能进行测试，也很难真的这么做，例如，是否收购一家公司的战略预测。

值得关注的是，如果方案在网上都进行了测试，其结果仍可能最终为管理决策服务。有时，高层甚至可能做出与测试数据相左的决定。

以下这个案例很值得思考。Netflix在2015年推出了一部喜剧剧集，《华尔街日报》2018年发表的一篇文章披露，网络测试显示，当该片的广告宣传片中只出现主演莉莉·汤姆林（Lily Tomlin）时，点击量比同时有其搭档简·方达(Jane Fonda)出现，更能获得潜在观众的点击量。对于这一结果，公司高管感到非常纠结。内容团队担心，将简·方达排除在外会疏远这位著名女演员，并可能违反与她签订的合同。

在激烈的辩论中，测试数据和战略考虑相互对立。最终，Netflix 还是选择了包含两位女演员的宣传片。尽管之前的测试数据并不支持这一决定，然而《哈佛商业评论》却认为，它们可以让高层得取舍变得更加透明。

领导层职责

如果大多数决策都通过测试产生，那么除了制定公司的战略方向和处理重大决策之外，高级领导人还能做些什么呢？

领带层绝非“一无是处”，因为员工需要通过他们了解自己的测试如何支持公司的战略目标。Booking的高层领导在指导设计在线体验时，就要求员工提出自己的假设和相关验证指标。例如，在网站重要文本下面加下划线，是否会使关键信息更容易被看到，以此来提高转化率。

其次，领导层应该优化公司架构，以便进行大规模测试。负责测试的团队模式主要有集中式和分散式两种，它们各有优劣，各公司应视自身情况选择。

在集中式团队中，开发人员、用户界面设计人员和数据分析师等专职专家可以为整个公司运行测试，并专注于引入最先进的方法和工具。但如果测试仅限于一小群专家，就很难扩大规模，改变一家公司的文化。在分散测试团队中，公司将专家分布到不同的业务部门。虽然这种方法将测试扩展到组织的更多部分，但它可能会阻碍知识共享，并导致目标冲突和专家之间协调不力。

Booking最初使用分散团队在整个公司推广测试，但发现他们太忙于支持用户，没有时间专注于建立全公司的测试能力。为了解决这个问题并更好地协调团队，Booking最近转向了集中模式，采用更标准化的实验方法。

保持谦虚

领导者必须和其他人一样遵守规则，让自己的想法经受考验。事实上，老板们应该表现出谦逊姿态，勇于承认自己“不知道”。正如西方科学方法之父弗朗西斯·培根（Francis Bacon）说过的，“如果一个人以确定开始，他将以怀疑结束；但如果他愿意从怀疑开始，他将以确定结束。”

在以测试为导向的公司中，领导者需要放手，并授权员工进行自己的测试。但这不是简单地告诉员工只要这样做就能实现目的，而是需要像 IBM那样齐心协力。2015年，测试并不是 IBM的核心活动；该公司的IT部门提供了运行测试的服务，但测试成本很高，需要向业务部门申请费用，而且必须遵循严格的流程。测试部门中只有一名专家是关键人物，他也是把关人，他拒绝了许多员工提议的测试，因为他觉得这些测试不够重要。因此，该公司在那一年只进行了97次测试。

IBM授权全球5500多名营销人员进行自己的测试

然后，时任IBM营销分析主管的阿里·辛金（Ari Sheinkin）接管了测试部门，并在首席营销官的支持下，授权全球5500多名营销人员进行自己的测试。

为了吸引他们参与，辛金采取了一系列措施。他创建了一个提供支持的测试中心，引入了一个有规章制度的测试框架，为每个员工提供培训，并为所有部门提供免费的在线测试。他还进行了最初的“测试闪电战”，在此期间，营销部门必须在30天内总共进行30次在线实验。在那之后，他还每季度举办一次竞赛，评选最具创新性或最具可扩展性的测试。最终，这些努力奏效了——到2018年，IBM年度测试次数激增至2822次。

《哈佛商业评论》总结认为，其实，任何一项测试的成败并不那么重要，重要的是公司如何在不确定的情况下做出决定。也就是说，企业不应该仅仅基于领导层的个人观点，而应该随时接受测试考验。

LINK

链 接

人人都来为Booking做测试

Booking的任何员工都可以在没有管理层许可的情况下，对数百万名客户进行测试。在 其1800名技术和产品员工中，约有75%的人积极使用该公司的测试平台。

测试的标准模板允许他们以最小的投入设置测试。测试的每个环节——用户招募、随机化、访问者行为记录和报告等过程都是自动化的。公司的4个中央测试团队会向产品团队中的专家汇报工作。

为了让测试继续进行，个人 或团队需 要填写一份公开的电子表格，其中包括测试的名称、目的、主要受益者 (客户或供应商 )、过去的相关测试以及在对比测试中尝试的修改次数。

一旦测试启动并运行，团队就会在最初的几个小时内密切关注它；如果它的主要或次要指标迅速下降，团队就可以停止测试。在最初的阶段之后，该平台会持续、自动运行数据质量检查，并在出现异常时发送警告消息。

为了鼓励开放性，Booking打造了一个可搜索的测试结果存储库，每个人都可以看到正在进行的测试所产生的实时信息。

Booking负责人表示：“每个人都使 用相同的工具，这促进了对彼此数据的信任，并使讨论和问责成为可能。虽然微软、Meta 和谷歌等公司在机器学习等领域的技术上更先进，但我们使用简单的对比测试，更成功地让所有人都参与进来。”

当然，这样的“民主化”测试也有其挑战。其中之一是团队或个人可能会破坏Booking高流量网站上的某些内容，导致其崩溃。

因此，每个团队都必须设定自己的方向，并弄清楚自己想要解决哪些用户问题。这需要在团队成员之间进行广泛的培训和持续的讨论，以确定什么是正确的问题。

讨论也是受到鼓励的，如果人们发现任何让他们觉得有问题的事情，都会主动联系同事。就像任何人都可以发起测试一样，任何人都可以阻止测试。然而，只有在测试出现灾难性错误的罕见情况下才会发生这种情况。例如，如果有人晚上独自一人在办公室，看到一项测试导致客户转换率等关键指标暴跌，一旦继续下去，公司将损失数百万美元的收入。

这套测试系统给了Booking团队所需的自主权，让他们可以尝试他们认为有价值的新方法，并允许整个公司的人们监控测试并实时提供反馈。它真正解放了每个员工，让他们可以测试任何有机会改善Booking业务的想法。

撰文—Al

编辑—邹健