我可以将 gcs 中的 python callable 添加到大查询运算符气流中吗

Question

我正在尝试将 json 文件从 Google 云存储上传到大查询。但是这个 json 文件在被推送到大查询之前需要预处理。我打算使用 airflow operator gcs_to_bq。在这种情况下，如何处理 json 数据？请赐教。我也可以使用python_operator，但如果有任何干净的解决方案来使用现有的运算符，那么它也很好。先感谢您

Answer 1

gcs_to_bq运算符基本上包装了 BigQuery 功能以从 storage加载JSON 文件。这意味着 JSON 数据直接从 GCS 进入 BigQuery，而无需通过 Composer 集群。

此外，加载操作没有指定 python_callable 或以其他方式预处理数据的选项。考虑到这一点，使用 apython_operator进行预处理似乎是一个不错的选择。

如果数据量很大并且开始导致集群出现内存问题，您可以考虑使用Dataflow等替代方法在将数据插入 BigQuery 之前对数据进行预处理。