在 GCP Composer 上创建 Airflow DAG

Question

我刚刚了解了 GCP Composer 并且正在尝试将 DAG 从我的本地气流实例移动到云中，并且有几个关于转换的问题。在本地实例中，我曾经HiveOperator从 hive 读取数据并创建表并将其写回 hive。如果我必须在 GCP 中这样做，这怎么可能？我是否必须将我的数据上传到 Google Bucket 并且 HiveOperator 在 GCP 中工作？我有一个 DAGsensor用于检查另一个 DAG 是否完整，这在 Composer 上可行吗？

Answer 1

作曲家有连接存储。请参阅菜单管理--> 连接。检查可用的连接类型。

传感器可用。

Answer 2

是的，Cloud Composer 只是托管 Apache Airflow，因此您可以做到这一点。

确保您使用与本地使用的相同版本的 Airflow。Cloud Composer 目前支持 Airflow 1.9.0 和 1.10.0。