Netflix大规模实现内容发布监控的挑战与解决方案

作者： Varun Khaitan (领英: https://www.linkedin.com/in/varun-khaitan/)

特别感谢我的杰出的各位同事：Mallika Rao，Esmir Mesic，Hugo Marques等。

在《第一部分》中，我们探讨了奈飞（Netflix）在实现标题发布的可观察性时所面临的挑战的“是什么”。本文将重点转向“如何做”。我们如何确保每个标题都能顺利发布，并且被正确的观众发现呢？

在技术这个快速变化的世界里，很容易被急于解决问题的心态所吸引。但通往持久成功的关键在于先退一步——理解更广泛的背景后，再深入解决问题。这种深思熟虑的方法不仅解决了眼前的难题，还为未来打下了坚实的基础，增强了弹性和可扩展性。让我们来看看这种心态是如何带来成果的。

让我们全面审视所有相关的要素以及它们是如何相互关联的。我们应该尝试回答一些问题，比如：对于业务来说，什么是最重要的？哪些问题是必须解决的？我们是怎么走到这一步的？

这个过程涉及：

1. 识别利益相关者: 确定受该问题影响的人以及成功解决问题所需的关键意见。在此情况下，主要利益相关者有：

• 标题发行操作人员
  角色: 负责将标题及其元数据设置到我们的系统中。
  挑战: 不理解其设置对这些看似黑箱的个性化系统所产生的连锁影响。

• 个性化系统工程师
  角色: 开发和运行个性化系统。
  挑战: 会不必要地花费时间在标题发布和个性化调查上。

• 产品经理
  角色: 确保为我们的会员提供最佳的体验。
  挑战: 会员可能无法找到最相关的标题。

• 创意代表
  角色: 在内容创作者和 Netflix 之间充当调解者。
  挑战: 在内容创作者与 Netflix 之间建立信任。

1. 绘制现状地图: 通过绘制当前的局势，我们可以确定哪些领域亟待改进并避免重复的工作。在零散的解决方案和临时脚本之外，很明显没有建立标题发布可观察性的解决方案。这表明这个领域已经有一段时间没有得到重视，可能需要大量的投资。这种情况既带来了挑战，也带来了机会；虽然可能会更难取得初步进展，但有很多容易获胜的机会。

2. 明确核心问题: 通过明确界定问题，我们可以确保我们的解决方案解决根本原因而不是表面症状。虽然有很多问题和问题可以解决，但这里的核心问题是确保我们的个性化系统公平对待每一个标题。如果我们可以确保公平处理并提高所有利益相关者的透明度，我们就可以解决他们的所有挑战。

3. 评估业务优先级: 理解组织最看重的事物有助于有效分配行动和资源。在这个背景下，我们的重点是开发确保成功标题发布并建立内容创作者与我们品牌之间的信任，同时减少工程操作负担的系统。虽然这是一个关键的业务需求，我们应该解决它，但评估它与其他领域优先事项的相对重要性至关重要。

在这个模糊的空间中导航需要一个共同的理解来促进清晰和协作。为了应对这种情况，我们提出了“标题健康”的概念，旨在帮助我们有效沟通并捕捉每个标题的可见性和性能的细微变化。这种共同的语言成为了讨论这个领域的复杂问题的基础。

“健康指数”包括了各种指标和衡量标准，反映标题在可发现性和会员参与度方面的表现情况。我们主要想回答的问题是：

1. 这个标题对任何成员都可见吗？
2. 这个标题对适当的受众可见吗？
3. 这个标题是否触及了所有的适当受众？

定义了“标题健康”的概念，提供了一个监控和优化每个标题生命周期的框架，使我们能够与合作伙伴在建立解决方案之前就基本原则和要求达成一致。它确保每个标题都能无缝地触达其目标受众。这种共同语言不仅有效地介绍了问题领域，还加速了跨团队之间的合作与决策。

为了构建一个稳健的标题发布监控计划，我们首先需要对遇到的问题类型进行归类。这种结构化的方式让我们能够全面审视标题的健康状况。

目前，这些问题分为三个主要类别：

1. 标题设定

一个标题的配置包括诸如元数据（例如，发行日期、音频语言、字幕语言和编辑标签）和资产（例如，艺术品、预告片和其他补充信息）等基本属性。这些元素对于标题的资格认定、个性化的准确性以及吸引人的展示至关重要。由于这些属性直接被算法使用，任何延迟或错误都可能在整个系统中产生连锁反应。

可观测系统必须确保标题配置完整并及时完成验证，识别潜在的瓶颈，确保顺利启动。

2. 个人定制系统

标题可以在这些地方被推荐，包括首页、即将上线、消息、搜索等。个性化推荐系统负责这些界面的标题推荐和展示，利用微服务、缓存、数据库、代码和配置等资源来构建这些产品界面。

我们希望验证在标题发布的所有阶段，其标题在个性化整个流程中的所有合适的产品展示区域中都是符合资格的。

3. 算法

复杂的算法驱动每个个性化的产品体验，推荐符合每个成员喜好的标题。这里的监控性意味着验证算法推荐的所有标题的准确性。
算法性能可能受多种因素影响，比如模型的局限性、不完整的输入信号、异常特征，或者标题间的相互影响。解决这些问题有助于保持推荐的准确性和有效性。

通过将这些问题分类到这些领域，我们可以系统地应对挑战，并为平台上的每个标题提供可靠且个性化的服务体验。

(Note: Given the expert suggestions, the "瑞典" (Sweden) part should actually be removed as it is not present in the source text. The corrected translation should be:)

让我们也了解一下我们多久会遇到这些问题，以及解决它们需要多少功夫。

从上图可以看出，设置方面的问题是最常见的，但它们也最容易解决，因为回去修正某个标题的元数据相对简单。系统问题主要表现为我们的个性化微服务中的 bug，很常见，解决这些问题需要一定的时间和精力。虽然较少见，解决算法问题却相当棘手，因为这通常需要解释并重新训练复杂的机器学习模型。

现在我们更清楚地了解了我们想要解决的问题以及我们应该如何优先考虑资源。让我们回到之前讨论的两个选项，并做出明智的选择。

最终，我们意识到这个空间需要我们所讨论的全部功能。但问题依然存在：我们该从哪里入手呢？
经过仔细考虑，我们选择首先专注于主动发现问题。在发布前主动发现问题能最大程度地减少业务风险，确保了更顺畅的发布、更好的会员体验以及更强的系统可靠性。

这个决定不仅是为了应对今天的挑战，更是为了建立一个能够随着我们平台不断发展而灵活扩展的稳固系统。

接下来

在接下来的一次迭代中，我们将讨论如何为所有个性化系统设计一个适用的可观测性端点。在创建微服务API端点的过程中，我们需要关注哪些主要事项？我们如何确保标准化的一致性？涉及的系统架构是怎样的？

期待我们下一个绝对值得刷的剧集！