1. 使用机器学习模型的项目将带来巨大的商业价值
2. 模型表现并不代表商业绩效
3. 明确你要解决的问题
4. 预测服务的延迟很重要
5. 尽早获得有关模型质量的反馈
6. 使用随机对照试验测试模型对业务的影响

我们发现，推动真正的业务影响非常困难，而且很难隔离和理解建模工作与观察到的影响之间的联系……我们的主要结论是，构建机器学习支持的 150 种成功产品有一个基础，那就是一个与其他学科相结合的，迭代的，受假设驱动的过程。

• 您可能听说过 “全球最大的在线旅行社”  Booking.com 。为了使向用户提供出色的体验，目前有许多挑战摆在它的面前
• 推荐的风险很高：在错误的地方预定住宿比播放不喜欢的电影要糟糕得多！
• 用户在预订旅行时仅提供很少的信息，我们很难明白用户到底在寻找什么
• 住宿供应受到限制，不断变化的价格会影响客人的喜好
• 用户的喜好可能会在他们每次使用该平台时发生变化（例如，每年仅预订一次或两次）
• 住宿的信息过于丰富，这可能会让用户不知所措

• 旅行者偏好模型：在语义层中运行，并对用户偏好（例如灵活性程度）做出广泛的预测。
• 旅行者上下文模型：也是语义模型，用于预测旅行发生的上下文（例如，与家人，与朋友，商务……）。
• 项目空间导航模型：跟踪用户的浏览内容，可为用户的历史记录和整个目录提供建议。
• 用户界面优化模型：优化 UI 的元素，例如背景图像，字体大小，按钮等。有趣的是，“ 我们发现，几乎没有一个特定的值是一个整体最优的情况，因此我们的模型考虑了上下文和用户信息，从而决定最佳的用户界面。”
• 内容策划模型：策划人为生成的内容，例如评论，以决定显示哪些内容
• 内容增强模型：计算有关行程要素的其他信息，例如当前具有较高价值的选择、区域价格趋势等。

一个有趣的发现是，提高模型的性能并不一定会转化为业务价值的增长。

问题构建过程将业务案例或概念作为输入，并输出定义明确的建模问题（通常是监督式机器学习问题），这样就能提出一个好的解决方案，从而有效地对给定业务案例或概念进行建模。

总的来说，我们发现最好的问题往往不是立即想到的，改变设置是提高价值的卓越方法。

延迟对于机器学习模型尤其重要，因为它们在进行预测时需要大量的计算资源。即使是数学上简单的模型也可能会引入相关的延迟。

当模型满足请求时，监视其输出质量至关重要，但这至少带来了两个挑战……

• 由于难以观察真实标签，反馈不完整
• 反馈会有延迟，例如在预订时做出的关于用户是否会留下评论的预测，直到旅行完成后才能进行评估。

…响应分布分析已被证明是非常有用的工具，可让我们尽早发现模型中的缺陷。

在这项工作中，绝大多数成功的机器学习成功案例都是通过复杂的实验设计实现的，这些实验设计既可以指导开发过程，也可以检测其影响。

• 如果并非所有受试者都有资格接受更改（例如，他们没有模型所要求的特征），则从合格子集中创建实验组和对照组。

• 如果模型仅产生影响用户体验的一个小方面的输出，则进一步将实验组和对照组进行限制，即模型仅产生用户可观察到的输出的情况（当然在对照组）。为了评估性能的影响，需要添加第三个控制组，在控制组中不会调用该模型。

• 在比较模型时，我们对两种模型不一致的情况很感兴趣。我们将使用一个调用当前模型的对照组作为基准（假设针对改进后模型，我们对当前模型进行测试）。实验设计如下：