YARN 上运行 MapReduce 程序
1 首先配置yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
2 配置 yarn-site.xml
<!-- reducer 获取数据的方式 --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定 YARN 的 ResourceManager 的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop101</value> </property>
3 配置 mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144 |
4 对 mapred-site.xml.template 重新命名为 mapred-site.xml 并配置如下:
<!-- 指定 mr 运行在 yarn 上 --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
5 启动集群
6 浏览器打开 http://192.168.43.101:8088/cluster/apps
7 运行mapreduce程序
8 查看运行结果
注意: 该案例需要配合Namenode Datanode一起使用,Yarn只负责资源调度等。
点击查看更多内容
为 TA 点赞
评论
共同学习,写下你的评论
评论加载中...
作者其他优质文章
正在加载中
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦