为了账号安全,请及时绑定邮箱和手机立即绑定

如何在远程 Spark 集群上运行本地 Python 脚本?

如何在远程 Spark 集群上运行本地 Python 脚本?

慕尼黑5688855 2021-08-05 18:00:26
我有一个在 Jupyter notebook 中运行的本地 Python 脚本,它在我的机器上运行的本地 Spark 集群上运行作业:sc = pyspark.SparkContext(appName="test") sqlCtx = pyspark.SQLContext(sc)如何将其更改为连接字符串以在 AWS 中的 EMR Spark 集群上运行作业?这是可能的还是我必须spark-submit在 SSH 进入远程集群时使用该功能?
查看完整描述

2 回答

  • 2 回答
  • 0 关注
  • 183 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信