-
Map任务个数
查看全部 -
WordCount完整过程
查看全部 -
MapReduce四个阶段
查看全部 -
hdfs架构
查看全部 -
矩阵相乘在
查看全部 -
因为在文件中的矩阵多数是按照行存放的，多以可将右边的矩阵转置方便计算。
查看全部 -
矩阵在文件中的表示
查看全部 -
分布式缓存
查看全部 -
第二部：
在Mapper类或Reducer类中的setup方法中，用输入流获取分布式缓存中的文件。
查看全部 -
如何使用distributionCache？
在main方法中加载共享文件的路径，可以是目录或者文件，在路径末尾加#+别名，可以在map阶段使用该别名。
String cache = "hdfs://ipaddress:port/cache/file";
cache = cache + "#myfile";
job.addCacheFile(new Path(cache).toUri,conf);//添加到job配置
查看全部 -
Map阶段：
只统计全量的文辞文本中存在的文本，在第一行输出时，由于第三个单词不在全量单词中，所以不做输出。
查看全部 -
分布式缓存：
在执行MapReduce时可能Mapper间要共享一些信息，如果信息量不大可以将其加载到HDFS中，这就是Hadoop的缓存机制
查看全部 -
从map到reduce的过程
查看全部 -
本地优化阶段
查看全部 -
本地优化阶段：
map进行拆分之后会按照首字母进行排序， 下一步进行合并。
查看全部
举报
0/150
提交
取消