为了账号安全,请及时绑定邮箱和手机立即绑定

气流任务在 Bash 中工作,在计划时失败

气流任务在 Bash 中工作,在计划时失败

PIPIONE 2021-05-30 11:51:12
我在跑:Ubuntu 16.04airflow v1.8.1python 3.5气流在Docker容器中运行。我有一个气流 dag,它是一个单一的任务——一个运行 python 脚本的 BashOperator:from airflow import DAGfrom airflow.operators.bash_operator import BashOperatorfrom airflow.operators.python_operator import PythonOperatorfrom airflow.operators.sensors import ExternalTaskSensorfrom airflow.operators import DummyOperatorfrom datetime import date, datetime, timedeltastart_date = date.today() - timedelta(1)default_args = {    'owner': 'airflow',    'depends_on_past': False,    'start_date': datetime(start_date.year, start_date.month, start_date.day),    'retries': 0,    'retry_delay': timedelta(minutes=5)}dag = DAG('$MY_DAG_NAME', default_args=default_args, max_active_runs=1, schedule_interval="35 */2 * * *")dag.catchup = Falset1 = BashOperator(dag=dag,                  task_id='$TASK_1',                  bash_command='python /airflow/scripts/$MY_PYTHON_SCRIPT.py')t1当我python /airflow/scripts/$MY_PYTHON_SCRIPT.py以bash运行时,它就很好了。我使用htop监视内存使用情况,但我没有达到内存总数的三分之一以上-该脚本的MEM%使用率约为10%。但是,我大约有三分之二的时间以气流方式运行此程序,但似乎是随机出现的以下错误(三分之一的时间不会有问题!):[2018-08-22 07:36:33,979] {helpers.py:233} INFO - Terminating descendant processes of ['/opt/conda/envs/python35/bin/python', '/opt/conda/envs/python35/bin/airflow', 'run', '$MY_DAG_NAME', '$TASK_1', '2018-08-22T12:35:00', '--job_id', '650', '--raw', '-sd', 'DAGS_FOLDER/$MY_PYTHON_SCRIPT.py'] PID: 5200[2018-08-22 07:36:33,979] {helpers.py:237} INFO - Terminating descendant process ['bash', '/tmp/airflowtmpwsq8ozwo/$TASK_122bzex5b'] PID: 5209[2018-08-22 07:36:33,984] {helpers.py:195} ERROR - b''[2018-08-22 07:36:33,984] {helpers.py:196} INFO - Killed process 5209 with signal 15[2018-08-22 07:36:33,984] {helpers.py:237} INFO - Terminating descendant process ['python', '/airflow/scripts/$MY_PYTHON_SCRIPT.py'] PID: 5210[2018-08-22 07:36:33,989] {helpers.py:195} ERROR - b''[2018-08-22 07:36:33,989] {helpers.py:196} INFO - Killed process 5210 with signal 15有没有人遇到过这个问题或有任何调试技巧?它让我发疯。
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 157 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号