我有一个由 3 个工人组成的 Spark 集群。(worker-1, worker-2, worker-3) 与 Spark 2.0.2 一起运行。Spark Master 在 worker-1 上启动。我使用以下脚本提交我的申请:#!/bin/bashsparkMaster=spark://worker-1:6066mainClass=my.package.Mainjar=/path/to/my/jar-with-dependencies.jardriverPort=7079blockPort=7082deployMode=cluster$SPARK_HOME/bin/spark-submit \ --conf "spark.driver.port=${driverPort}"\ --conf "spark.blockManager.port=${blockPort}"\ --class $mainClass \ --master $sparkMaster \ --deploy-mode $deployMode \ $jar当我的驱动程序在 worker-1(Worker + Master)上启动时,一切正常,并且我的应用程序使用所有 worker 正确执行
添加回答
举报
0/150
提交
取消