课程
/云计算&大数据
/Hadoop
/Hadoop进阶
Shuffle就是combiner吗？
2018-12-13
源自：Hadoop进阶 2-3
正在回答
不是的，Combine在Shuffle之前
Combine：在Map阶段，当所有数据处理完成后，Map Task对所有临时文件进行一次合并
Shuffle：也称Copy阶段。Reduce Task从各个Map Task上远程复制一片数据，并针对某一片数据进行判断，如果其大小超过一定阀值，则写到磁盘上，否则直接放入内存中
举报
MapReduce原理，并实现简单的推荐
3 回答蓝色和绿色是两种不同的key值，为什么会进到同一个parition （2-3 Map-Shuffle-Reduce）
1 回答计算相似度时是不是应该就是加个分母判0啊?
1 回答420M是一个完整的文件吗？
1 回答partition reduce map 的数量指的是实例的数量吗
1 回答wordcount的时候split阶段按照128M来拆分文件的话,把单词拆开了,那是不是就会统计有误差?
