使用 Python 安排 Google Cloud Dataflow 作业

Question

目前，这些是我知道的安排 Dataflow 作业执行的选项：使用 App Engine Cron 服务或 Cloud Functions。这个例子是用Java写的，有没有官方用Python这么简单的例子？此示例使用 Python，但我不确定当前是否仍然是一个不错的选择或“已弃用”来自 Compute Engine 中的 cron 作业这个有教程吗？在流管道中使用窗口我认为这是最简单的，但是，总成本是最好的想法吗？云调度器这是一个有效的方法吗？

Answer 1

有多种方法，但我认为对您来说非常方便的一种方法是使用Apache Airflow的DataflowPythonOperator。

GCP 以Cloud Composer的形式为 Apache Airflow 提供托管服务，您可以使用它来安排 Dataflow 管道或其他 GCP 操作。