为了账号安全,请及时绑定邮箱和手机立即绑定

Spark 无法分配请求的地址:服务驱动程序在 16 次重试后失败

Spark 无法分配请求的地址:服务驱动程序在 16 次重试后失败

白猪掌柜的 2021-10-20 16:13:22
我有一个由 3 个工人组成的 Spark 集群。(worker-1, worker-2, worker-3) 与 Spark 2.0.2 一起运行。Spark Master 在 worker-1 上启动。我使用以下脚本提交我的申请:#!/bin/bashsparkMaster=spark://worker-1:6066mainClass=my.package.Mainjar=/path/to/my/jar-with-dependencies.jardriverPort=7079blockPort=7082deployMode=cluster$SPARK_HOME/bin/spark-submit \  --conf "spark.driver.port=${driverPort}"\  --conf "spark.blockManager.port=${blockPort}"\  --class $mainClass \  --master $sparkMaster \  --deploy-mode $deployMode \  $jar当我的驱动程序在 worker-1(Worker + Master)上启动时,一切正常,并且我的应用程序使用所有 worker 正确执行
查看完整描述

1 回答

  • 1 回答
  • 0 关注
  • 181 浏览

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信