Netflix在游戏分析工程中的调研：实用案例总结

本文是Netflix在年度内部Analytics Engineering会议上分享的一系列Analytics Engineering工作的第二篇。没看过的可以先看看第一篇。本文将介绍一些激动人心的业务分析应用，最后一篇文章将深入探讨技术细节。

Yimeng Tang, Claire Willeck, Sagar Palao

or alternatively,

尹梦唐, 克莱尔·威利克, 萨加尔·帕劳

Netflix 在过去三年里一直在推出游戏，并在此期间展开了各种营销活动，包括用户获取（UA）活动，以在不同国家推广这些游戏。这些 UA 活动通常会在 Google、Meta 和 TikTok 等平台上发布静态广告、启动视频和游戏评论视频，从而吸引更多的用户。这些活动的主要目标是吸引更多的用户安装并体验这些游戏，因此，增加的安装量和用户参与度是衡量这些活动效果的关键指标。

大多数UA活动都是在国家层面上进行的，这意味着目标国家的所有用户都会看到这些广告。然而，由于这些国家没有对照组，我们采用合成对照框架的方法来估算反事实场景。这包括创建未受UA活动影响的国家的加权组合，作为接受活动国家的对照组。为了方便用户轻松访问增量结果，我们开发了一个基于该框架的交互式工具。该工具允许用户直接查看游戏安装量和参与度的增长，查看接受活动国家和合成对照单元的图表，并评估虚拟测试的p值。

为了更好地指导未来营销活动的设计和预算，我们正在开发一个增量投资回报模型。该模型结合了增量效果、增加的参与度、新增注册用户以及活动运行成本等因素。除了使用前面提到的方法来评估增量效果之外，我们还采用了其他评估方法，例如增量账户生命周期价值（博客文章），来评估这些活动带来的增量参与和注册的价值。

Netflix 是一种订阅服务，会员购买的是包含游戏的订阅，而不是单独购买个别游戏。这使得很难衡量不同游戏发布对会员获取的影响。我们只能看到注册情况，但不知道会员为什么要注册。

这意味着我们需要估算增量注册人数。我们采用了Netflix开发的一种方法来估算增量获取用户（技术论文）。这种方法基于一些简单的假设来估算新成员开始玩游戏的速率。

因为游戏与电视剧/电影不同，所以验证这种方法对于游戏至关重要。理想情况下，我们会从A/B测试中获得因果推断法的因果估计值以用于验证，但由于没有这样的测试，我们使用另一种因果推断法作为我们验证方法之一。这种因果推断法涉及我们设计的一个系统性框架，用于测量游戏中的事件，这种方法基于合成控制法（博客文章）。

如上所述，我们在选定的国家推出了用户获取（UA）活动，以提升游戏参与度和吸引新会员。我们可以通过这些跨国家的变化来形成合成控制组，并衡量UA活动带来的额外注册用户。虽然UA活动带来的额外注册用户与游戏本身的注册量不同，但它们应该是相似的。当我们在活动期间估算的额外获取量与使用合成控制组计算的额外获取量相似时，我们对衡量游戏的额外注册用户的方法更有信心。

在 Netflix Games，我们旨在每月让大量成员活跃于游戏，这些成员被称为月活跃用户（Monthly Active Users, MAU）。为了评估我们朝此目标的进展并找到提升 MAU 的方法，我们将玩家的旅程建模为一个状态机。

我们追踪每日的状态转换概率，展示账户在各状态之间的转换。

Netflix流媒体播放器的状态机历程

将玩家的旅程建模成状态机，让我们能够预测未来状态并评估达到参与目标的进度。最基本的操作是通过将每日状态转换矩阵与当前状态值相乘来计算出次日的状态值。

这样一来，我们就能探索各种场景了。

• 常数趋势：如果转换率保持不变，我们可以通过反复将每日状态转换乘以新的状态值来预测未来的状态，从而帮助我们评估在不变条件下向年度目标的进展。
• 动态场景：通过修改转换率，我们可以模拟复杂的场景。例如，通过模拟游戏上线时转换率的变化，我们可以预测类似未来上线的影响，通过在特定时期内调整转换率值。
• 稳定状态：我们可以计算不包括新玩家的状态转换矩阵的稳定状态来估算MAA，以了解所有账户尝试了Netflix游戏后长期留存和重新激活的影响。

我们使用状态机进行敏感度分析，找出哪些转换速率最影响MAA。通过轻微调整每个转换速率，我们计算出相应的MAA并评估其影响。这指导我们在优先考虑前端优化、会员留存或会员召回。

亚历克萨·戴蒙德的领英个人资料: https://www.linkedin.com/in/alexandra-diamond-b04902219/

在 Netflix，我们制作各种娱乐内容：电影、剧集、纪录片、单口喜剧特别节目等。每种格式都有不同的制作流程和不同的现金支出模式，称为我们的“内容预算”。展望未来，Netflix 会制定一个计划，确定我们打算制作多少作品，它们的类型以及制作时间表。由于我们尚未知晓这些内容最终会变成哪些具体作品，这些通用占位符被称为“待定槽位”。我们“内容预算”中的很大一部分是“待定槽位”。

大多数企业都有一个现金预测流程，告诉企业在一个特定时间段内需要多少现金来继续执行他们的计划。随着计划的变化，现金预测也会随之变化。Netflix 也有一个现金预测，预测我们为了制作计划中的作品预计需要多少现金。这引发了一个问题：因为我们还不知道这些未定档期的作品具体内容会是什么，我们如何最优化地预测这些未定档期的现金需求？

我们绝大多数的作品在制作过程中都会获得资金支持——从开始开发节目到拍摄实际的节目和电影，直至在我们的Netflix平台上发布。

因为现金支出是由制作过程中的具体情况决定的，我们将其拆分为以下三个步骤来进行建模。

1. 使用历史数据估计每个生产阶段的持续时间
2. 估算每个生产阶段的现金支出比例
3. 模拟每个阶段内的现金支出形态

把这些三个部分放在一起，我们就能估算出从发行日期前后每天大概的现金支出（作为“完成”的替代指标）。我们可以将这些支出在线性分配到各个阶段，但这样可以更细致地捕捉到支出模式的变化，这些模式可能是逐渐增加，也可能是开始时集中然后逐渐减少。

在开始任何数据分析之前，我们需要确保有一个高质量的历史数据。数据质量在这个工作中起着重要作用。例如，如果我们发现80%的资金在生产开始之前就已经被花费了，可以说，要么生产日期（手动记录的）不正确，要么这部电影有独特的支出模式，我们不希望未来的作品也会遵循这种模式。

在前两个步骤中，即找到估计的阶段持续时间和每个阶段的现金比例，我们发现简单的数学方法最适用，这样既易于理解又具有一致性更好。我们使用加权平均值来计算“清除了异常值的历史实际数据”，以生成这些估计值。

为了模拟消费形状在每个阶段，我们进行受约束优化以拟合一个三次多项式模型。约束包括：

-

1. 必须通过点 (0,0) 和 (1,1)。这确保了在阶段刚开始时，没有任何资金被使用；同样，在阶段结束时所有资金都已使用。
2. 导数必须是非负的，这确保了函数是持续增加的，避免出现任何负支出的预测。

目标函数旨在优化，使平方残差之和最小化，并返回指导各阶段现金花费形状的多项式系数。

一旦我们有了这些系数，就可以对这个多项式在预期阶段的每一天进行评估，然后将结果乘以每个预期阶段的预期现金。经过一些进一步的数据处理，这将得出在发射日期之前和之后每一天预期的现金支出百分比，我们可以据此进行预测。

Tanguy Cornau注：此链接直接指向领英个人主页。

精彩的故事可以来自任何角落，并且可以在各地受到喜爱。在 Netflix，我们努力让我们的作品在全球范围内易于获取，跨越语言障碍与全球观众建立联系。我们实现这一目标的一个关键方式是制作多语言配音。

从原始标题的文字转录到配音完成，我们融合创新与人类专业知识，确保保留原始的创意意图。

利用诸如助听语音识别（ASR）等技术，我们希望让语言学家的转写工作更加高效。转写在我们这里是指将口语对话逐字记录下来，并附上精确的时间信息，以便文本与原视频完美同步。使用ASR，语言学家不再需要从头开始转写，而是可以基于预先生成的初步结果进行编辑，以确保完全准确。

这种效率使语言学家们能够更多地专注于其他创造性任务，例如添加文化注释和参考，这对配音后期来说非常重要。

借助语音识别（ASR）等新技术及其增强功能，严格的分析和测量对于这些技术的成功至关重要。为了有效评估我们的ASR系统，我们建立了一个多层次的测量框架，可以全面了解其性能，涵盖了多个维度，例如文本准确性和时间预测的准确性，包括离线和在线两种情况。

语音识别系统（ASR）在不同语言上的表现可能有所不同；因此，总体来看，我们按节目原始语言跟踪指标，以评估语音识别的整体效果并识别不同语言环境下的趋势。我们进一步从各种维度细分性能，例如内容类型、流派等，以帮助我们找出ASR系统可能遇到困难的具体方面。此外，我们的框架允许我们对各个节目的转录进行深入分析，重点关注文本和时间准确性等关键质量指标。通过集中分析系统表现不佳的部分，我们获得了宝贵的见解，使我们能够进一步细化对ASR性能的理解。

这些测量层次共同使我们能够持续监控、识别改进领域，并实施有针对性的改进，使我们的ASR技术越来越准确和有效，帮助各种语言和内容类型的语言学家。通过这些创新改进我们的配音流程，我们旨在不断提高配音质量，帮助精彩的故事走向世界，为我们的用户带来欢乐。

分析工程团队在构建我们在 Netflix 的深厚数据文化方面起到了关键作用，我们很自豪拥有一群优秀的同事，他们不仅在应用，而且在提升我们在 Netflix 的分析能力。2024 年分析峰会继续成为让大家了解我们跨业务领域的成果、庆祝我们共同的成就以及展示 Netflix 数据分析未来发展方向的一个绝佳方式。

想要了解更多，请关注我们的Netflix Research Site，可以了解更多资讯。也可以看看我们开放的职位，说不定有适合您的机会。如果您也想加入娱乐世界的行列，不妨一试。