其实可以直接本地调试的,对于新手来说友好一点,配置连接hadoop服务器的环境能折腾死新手
https://www.polarxiong.com/archives/Hadoop-Intellij%E7%BB%93%E5%90%88Maven%E6%9C%AC%E5%9C%B0%E8%BF%90%E8%A1%8C%E5%92%8C%E8%B0%83%E8%AF%95MapReduce%E7%A8%8B%E5%BA%8F-%E6%97%A0%E9%9C%80%E6%90%AD%E8%BD%BDHadoop%E5%92%8CHDFS%E7%8E%AF%E5%A2%83.html
https://www.polarxiong.com/archives/Hadoop-Intellij%E7%BB%93%E5%90%88Maven%E6%9C%AC%E5%9C%B0%E8%BF%90%E8%A1%8C%E5%92%8C%E8%B0%83%E8%AF%95MapReduce%E7%A8%8B%E5%BA%8F-%E6%97%A0%E9%9C%80%E6%90%AD%E8%BD%BDHadoop%E5%92%8CHDFS%E7%8E%AF%E5%A2%83.html
2019-05-21
Hadoop 1.2.1版本
private static String cache = "/ItemCF/step1_output1/part-r-00000.txt";
DistributedCache.addCacheFile(new URI("/ItemCF/step1_output1/part-r-00000#itemUserScore1"),conf);
private static String cache = "/ItemCF/step1_output1/part-r-00000.txt";
DistributedCache.addCacheFile(new URI("/ItemCF/step1_output1/part-r-00000#itemUserScore1"),conf);
2019-04-30
reduce的合并是无序的吧,所以这个合并的结果也是错的吧,可能后边会再排序?
【矩阵转置操作】设A为m×n阶矩阵(即m行n列),第i 行j 列的元素是a(i,j),即:A=a(i,j),定义A的转置为这样一个n×m阶矩阵B,满足B=a(j,i),即 b (i,j)=a(j,i)(B的第i行第j列元素是A的第j行第i列元素),记A'=B。(有些书记为AT=B,这里T为A的上标)
【矩阵转置操作】设A为m×n阶矩阵(即m行n列),第i 行j 列的元素是a(i,j),即:A=a(i,j),定义A的转置为这样一个n×m阶矩阵B,满足B=a(j,i),即 b (i,j)=a(j,i)(B的第i行第j列元素是A的第j行第i列元素),记A'=B。(有些书记为AT=B,这里T为A的上标)
2018-12-22
代码: https://github.com/SkillyZ/java-spring/tree/master/skilly-hadoop/src/main/java/com/skilly/bigdata/matrix
2018-12-19
https://github.com/SkillyZ/java-spring/tree/master/skilly-hadoop 代码
2018-12-19
所谓的wordcount从词面意思直接理解就是对一个单词出现的次数进行统计,首先使用split将单词给分好行,然后用map方法做一个统计,接下来shuffle就是把相同的单词放在一起,最后的reduce就是同一个单词出现的总数
2018-11-28