如何在气流中有多个分支？

Question

我试图弄清楚如何管理我的 dag Apache Airflow。我需要几个主要步骤。例如，假设step 1并且step 2应该始终在分支之前执行。然后步骤A, B, C, D, E应该都在之后同时分支出来step 2，并且每个步骤都有自己的步骤......所以就像和A1, A2..一样B~E。管理它的最佳方法是什么？看起来有，BranchOperator但它说它对警报非常有用，我不想在这里做警报，但实际上使用运算符进行A1, A2..步骤。应该A-E都是subdags吗？如果是这样，我如何触发 subdags？

Answer 1

如果你想要这样的结构：

               -> A1 -> A2 -> ...

              /

step1 -> step2 -> B1 -> B2 -> ...

              \ 

               -> C1 -> C2 -> ...

然后你可以在你的 DAG 中将依赖项设置为

step1 >> step2

step2 >> A1 >> A2 >> ...

step2 >> B1 >> B2 >> ...

step2 >> C1 >> C2 >> ...

当您有条件分支时使用 BranchOperator（如果 X 则执行 A 否则 B）。

Answer 2

您想同时执行所有任务 A、B、C..等吗？如果是这样，那么branchOperator可能不合适。branchOperator根据一些逻辑选择一个特定的分支。