导出所有气流变量

Question

我在从代码下载所有 Airflow 变量时遇到问题。有机会从 UI 导出，但我还没有找到任何以编程方式进行导出的方法。我发现了唯一Variable.get('variable_name')返回一个 Airflow 变量的方法。没有获取气流变量列表的变体。在源代码中搜索也没有帮助。你知道一些简单的方法吗？先感谢您。

Answer 1

您可以使用 Airflow CLI 将变量导出到文件，然后从 Python 代码中读取它。

airflow variables --export FILEPATH

以编程方式，您可以使用BashOperator来实现此目的。

Answer 2

我在这个用例中使用 BashOperator 有问题，所以我将 bashcommand 的结果复制到一个变量并在我的程序中使用它。

import subprocess

output = (subprocess.check_output("airflow variables", shell=True)).decode('utf-8').split('pid=')[1].split()[1:-1]

print(output)