为了账号安全,请及时绑定邮箱和手机立即绑定

如何检查apache spark作业的性能

如何检查apache spark作业的性能

慕标琳琳 2021-06-27 16:46:22
我已经安装了 Apache Spark 2.3.1,需要检查哪个脚本是有效的问题:1.如何监控Apache Spark脚本的执行?2.这些脚本中哪一个是有效的?rdd = sc.textFile("Readme.txt")1:rdd.flatMap(x => x.split(" ")).countByValue()2:words = rdd.flatMap(lambda x: x.split(" "))result = words.map(lambda x: (x, 1)).reduceByKey(lambda x, y: x + y)
查看完整描述

1 回答

?
HUH函数

TA贡献1836条经验 获得超4个赞

使用 spark web ui,它包含监控性能所需的信息 - 时间、执行者统计信息、阶段统计信息、任务统计信息、资源统计信息等。


查看完整回答
反对 回复 2021-06-29
  • 1 回答
  • 0 关注
  • 141 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
微信客服

购课补贴
联系客服咨询优惠详情

帮助反馈 APP下载

慕课网APP
您的移动学习伙伴

公众号

扫描二维码
关注慕课网微信公众号