-
map--reduce
v
查看全部 -
本地优化：实现Combiner类与Reducer类
查看全部 -
block在Hadoop 1.x与在Hadoop 2.x中的默认大小，以及可以进行手动设置
查看全部 -
MapReduce的四个阶段
查看全部 -
数据处理过程
查看全部 -
itemCF 实现过程
查看全部 -
根据用户行为列表计算用户对商品的权重
查看全部 -
推荐算法 .
基于物品的推荐算法 .基于用户的推荐算法 .基于内容的推荐算法
相似度种类
查看全部 -
矩阵相乘，每一步都是一个mapreduce 作业
查看全部 -
hadoop分布式缓存的背景
查看全部 -
分片-》map-》shuffle-》reduce
一、本地优化--combine
Combine的逻辑和reduce逻辑一致。都是按照key值合并数据，故可以认为combine是对本地数据的reduce操作。
二、一个mapreduce作业中，以三者的数量总是相等的。
1）partitioner的数量
2）reduce任务的数量
3）最终输出文件
三、一个reducer中，所有数据都会被按照key值升序排，如果part输出文件中含有key值，那么文件一定是有序的
序
四、reducer数量，最大值为72
调整方式有二：
1）参数调整：mapred.reduce.tasks
2)Java代码中调用方法设置：job.setNumReduceTasks(int n)
查看全部 -
节约空间，合理利用资源，hdfs适用于大文件的存储。
查看全部 -
input-》split-》map-》shuffle-》reduce-》output
查看全部 -
content CF步骤
查看全部 -
基于用户的推荐算法
查看全部
举报
0/150
提交
取消