-
sqoop安装配置
查看全部 -
资源管理器（Yarn）详解
查看全部 -
资源管理器详解
查看全部 -
资源管理器YARN
查看全部 -
Java序列化的不足
查看全部 -
Hadoop序列化机制的特点
查看全部 -
Hadoop序列化机制的作用
查看全部 -
启动historyserver
查看全部 -
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://hadoop100:19888/jobhistory/logs/</value>
</property>
查看全部 -
MapReduce任务日志查看
查看全部 -
Shuffle过程
查看全部 -
多文件WordCount案列分析
查看全部 -
多文件WordCount案列分析
查看全部 -
3、框架调用Reduce类中的reduce方法，输入<k2,{v2...}>,输出<k3,v3>.一个<k2,{v2...}>调用一次reduce函数。
4、框架把reduce的输出保存到HDFS中
reduce阶段结束
查看全部 -
Reduce阶段执行过程
1、框架对多个map任务的输出，按照不停的分区，通过网络copy到不同的reduce节点，这个过程称作shuffle
2、框架对reduce端收到订单相同分区的<k2,v2>数据进行合并、排序、分组。
查看全部
举报
0/150
提交
取消