反向ETL—入门

过去三年中，数据基础架构经历了不可思议的发展。我们已经从提取，转换，加载（ETL）转移到ELT，在ELT中，原始数据从源系统复制并加载到数据仓库或数据湖中，然后进行转换。现在，团队正在采用另一种称为“反向ETL”的新方法，即将数据从数据仓库移至第三方系统以使数据可操作的过程。反向ETL解决方案的出现是堆栈中有用的组件，可以更好地利用数据。

随着团队从ETL到ELT的重新架构，数据仓库成为数据真相的唯一来源，包括可以分散在不同系统中的客户数据。支持这种新架构的解决方案包括EL的Fivetran和Airbyte，T的DBT以及数据仓库的Snowflake和Redshift。传统上，存储在数据仓库中的数据用于分析工作负载和商业智能应用程序，例如Looker和Superset。数据团队现在意识到，这些数据可以进一步用于运营分析，“通过将实时数据自动传递到最有用的确切位置，无论组织中的哪个位置，来推动行动。”

将数据实时发送到SaaS系统有助于确保所有系统上的客户视图一致。反向ETL有很多用例。从数据仓库将数据推送到Salesforce意味着您可以拥有高生命周期价值客户或每月花费超过500美元的客户的最新列表。通过支持包含产品指标的个性化消息，在对讲机中镜像产品使用情况数据可以帮助改善与客户的互动。将内部客户数据同步到Zendesk中可以在响应支持请求时节省时间，也可以在消息进入时自动对消息进行优先级排序。

直到最近，团队才编写了自己的API连接器，从数据仓库到SaaS产品，以将数据通过管道传输到Salesforce，Marketo，HubSpot等操作系统中。由于端点可能很脆弱，而大多数API却并非如此，因此编写这些连接器可能很难可以处理实时数据传输，因此团队必须设置批处理，重试和检查点以避免速率限制。从数据仓库到SaaS产品的字段映射需要花费时间。我们的研究表明，编写其中一些连接器可能需要几天到一周的时间。从那里开始，随着时间的推移维护连接器可能会面临挑战，因为API规范会发生变化。由于这些挑战，出现了反向ETL解决方案。

反向ETL解决方案是诸如Fivetran之类的EL工具的另一面。它们为许多系统提供了开箱即用的连接器，因此团队不再需要编写和维护它们。以前，由于解决长尾问题的工程负担，团队可能只为他们的顶级SaaS产品编写了一些连接器。借助反向ETL工具，他们现在可以将数据推送到更多系统中，从而更好地利用其数据。此外，反向ETL工具提供了一个可视界面，可以选择使用哪些查询输出列来填充标准和自定义SaaS字段。它们使您能够连续同步或定义什么触发两个系统之间的同步。例如，在运行dbt作业后，它可以触发文凭同步。反向ETL解决方案记录并监视同步状态和进度，并在需要注意时通知团队。解决方案可以通过可视化分析界面或可以推向下游的dbt模型输出来创建客户细分，受众和潜在顾客评分。

数据团队和GTM团队都将从反向ETL中受益。现在，数据团队只需维护一个数据管道，而不是多个。他们不再需要编写脚本并具有对同步的可见性和控制力。销售，市场，增长和分析团队可以分析相同的，一致的和可靠的数据并对其采取行动。由于职能团队即使使用不同的SaaS产品也要处理相同的数据，因此数据一致性有助于在整个业务中创建连续性。SaaS产品中的最新数据有助于改善决策并加快决策速度。

现在，有少数新兴公司正在构建反向ETL产品，包括Hightouch，Census，Grouparoo（开源），Headsup，Polytomic和Seekwell。

一些读者可能会问：“我不能使用细分角色吗？”角色是与核心细分捆绑在一起的，不是自助服务。Segment Personas的SQL导入器可以从仓库中导入数据，包括非细分源的数据以及dbt转换的结果。用户可以向细分角色用户和帐户添加自定义字段（字符串，数字，布尔值），然后通过细分将这些字段发送到目的地。例如，SQL导入可以添加一个自定义字段，例如“ Zendesk票证数量”。但是，数据必须符合细分受众群的数据模型，这意味着必须将其应用于用户或帐户的媒体资源。反向ETL解决方案没有用户和帐户，因此没有此限制。简单来说，他们将数据直接传送到目的地。

Personas还不支持将其他对象类型发送到目的地（例如Salesforce / CRM自定义对象，Zendesk票证上的元数据或Stripe费用）。角色使用流API，但批量加载，因此API速率限制可能是一个问题。如果您处于受管制的行业，请务必注意，Personas存储了所有客户数据的副本。反向ETL解决方案不会发生这种情况。

我们还听说客户将Tray.io和Workato视为反向ETL解决方案的替代方案。Tray.io和Workato是可视化编程解决方案，用于在声明反向ETL时配置数据管道。他们每次运行都发送所有数据，而不仅仅是发送与上次运行的差异。反向ETL解决方案使用批处理API，并且仅处理发送已更改的行。

反向ETL解决方案正在成为数据堆栈的核心部分。随着生态系统的发展，我们很高兴看到。如果您或您认识的某个人正在从事反向ETL启动或邻近产品，那么很高兴收到您的来信。