BigQuery - 在 Airflow 运算符中使用 table_resource

Question

我想使用 Airflow 创建一个 BigQuery 表（通过 bigquery hook 或 bigquery 空表创建器）。不幸的是，无法使用范围分区进行创建。有人提出了 PR，但为了最小化气流操作员界面，他们建议跳过它。他们给出了这样的解决方法。you can use the table_resource argument to pass any table definition you want, no need to specify every single parameter.我不清楚，在气流中如何使用与范围分区相关的 JSON。有人能给我一个如何使用/实施它的例子吗？我尝试了以下操作，但它创建了没有分区的表。（它用于时间分区，但 BQ 运算符有一个参数，但我想尝试使用table_resource.resource="""{    "TimePartitioning": {        "type": "DAY",        "field": "created_at"    }}"""schema="""[{"mode": "REQUIRED", "name": "code", "type": "STRING"}, {"mode": "REQUIRED", "name": "created_at", "type": "DATETIME"}, {"mode": "REQUIRED", "name": "service_name", "type": "STRING"}]"""def bq_create(**kwargs):    table_schema = 'bhuvi'    table_name = 'sampletable'    create = BigQueryCreateEmptyTableOperator (        task_id='create_bq_{}'.format(table_name),        project_id = 'myproject',        dataset_id=table_schema,        table_id=table_name,        schema_fields=json.loads(schema),        bigquery_conn_id='bigquery_default',        table_resource =json.loads(resource)        )    create.execute(context=kwargs)bqcreate = PythonOperator(            task_id="bqcreate",            python_callable=bq_create,            provide_context=True,            dag=dag        )bqcreate

Answer 1

根据文档，时间分区的正确键是timePartitioning，这不是问题吗？ https://cloud.google.com/bigquery/docs/reference/rest/v2/tables#Table