如何使用 Python API 激活 Dataproc 集群的计划删除？

Question

对于手动创建Dataproc 集群的计划删除，我可以使用下一个参数--max-idle=30m。但是如何使用 Python API激活计划删除？任何提示我应该在哪里检查？

Answer 1

可以看一下代码，v1beta2Dataproc API Python client 中好像有。

以下是如何设置它的示例（来自Airflow DataprocClusterCreateOperator）：

cluster_data['config']['lifecycleConfig']['idleDeleteTtl'] = '1800s'

Answer 2

这是另一种方法。

尝试从您运行的程序中删除集群。完成计算后，让您的程序调用 delete cluster 命令本身。

    print("Try to delete cluster %s " % job_args['cluster_name'] )

    result = subprocess.call(['gcloud',

                              'dataproc',

                              'clusters',

                              'delete',

                              job_args['cluster_name'],

                              '--quiet',

                              '--async'])

    print("Sent command result: %s" % str(result))