-
算法示例图
查看全部 -
输入文件格式
查看全部 -
第四步操作
查看全部 -
第三步操作
查看全部 -
第二步操作
查看全部 -
第一步操作
查看全部 -
分布式缓存机制
查看全部 -
Map到Reduce流程图
查看全部 -
本地优化(Combine) Mao先按照key进行一轮排序和合并,再进行网络混洗。
查看全部 -
Map任务个数优化
查看全部 -
输入文件优化
查看全部 -
设置block大小
查看全部 -
map - 内存(产生小文件)-combine分区合并小文件 - shuffle网络混洗 - 同一key放入相同partition - 合并partition中小文件 - reduce
查看全部 -
map端无论有没有Combine阶段,其实都会进行排序。Combine是对本地数据的reduce操作,按照key合并
查看全部 -
map - shuffle - reduce
查看全部
举报
0/150
提交
取消