Hadoop进阶_技术问答

首页免费课 Hadoop进阶问答

Hadoop进阶

全部评论问答未解决精华

叫我丶邓先森

在Shuffle（洗牌）阶段，key如果是字母会自动根据字典的顺序进行排序，如果是数字则升序。

3 2-1 WordCount实例回顾

2018-03-28

一川烟草_0

请问分片是怎么分的，按文件内容还是二进制？

1 2-1 WordCount实例回顾

2018-03-24

自有如风

map3的时候转出来的是反的，不过没有影响

0 4-4 基于物品的推荐算法（代码）

2018-03-16

自有如风

老师讲的非常好，不过需要各位有基础，等大家把矩阵相乘学完，再对比这个图，能够清晰的讲解出map-shuffle-reduce对应的区段，以及颜色块内对应的键值对的集合，那就学到了！我也是回头反过来才一一对应起来的。

1 2-3 Map—Shuffle—Reduce

2018-03-15

自有如风

看到后面的又反过来看前面，才开始明白，map实际代码只用处理一行，而且可以重复写相同的key，比如<1,Deer Bear Deer><2,Deer Bear Car>，map实际代码写的时候只需要处理<1,Deer Bear Deer>，并且可以写两次context.write("Deer", 1);也就是这个map在写的时候，实际上代码是context.write("Deer", 1);context.write("Bear", 1);context.write("Deer", 1);

0 2-1 WordCount实例回顾

2018-03-15

自有如风

其实我觉得完全可以用二位数组来实现，没必要搞这么麻烦，但是作为一个教程倒是不错，学到了很多

0 3-4 mapreduce实现矩阵相乘(3)

2018-03-15

自有如风

我实际操作的时候碰到了一个\tmp permission 0700的错误，这个是hadoop在Windows系统的bug，但是我又没办法去编译hadoop-core-xx.jar，所以我修改了下代码的这个部分private static String hdfs = "hdfs://10.187.213.237:9000";，然后编译好jar放到linux上面去，执行hadoop jar Matrix-0.0.1-SNAPSHOT.jar，最后也能成功，希望给大家一个参考

2 3-3 mapreduce实现矩阵相乘(2)

2018-03-15

自有如风

其实很好，但是很多没有讲，至少你需要配置好hadoop，hadoop连接eclipse

6 3-3 mapreduce实现矩阵相乘(2)

2018-03-15

慕前端6519303

job.setCacheFiles(new URI[]{new Path("/20180312/cache_for_111.txt#cache111").toUri()});

0 3-1 分布式缓存—DistributedCache

2018-03-13

慕慕2301547

split("[\t]")

0 3-3 mapreduce实现矩阵相乘(2)

2018-03-12

违规先生3919226

不系统也不细致

1 4-3 基于物品的推荐算法（代码）

2018-03-03

不想再做设计的阿碳

一脸懵逼。。。。

4 3-2 mapreduce实现矩阵相乘(1)

2018-03-03

qq_心明媚的很干净_0

讲的真的好啊

2 4-9 基于内容的推荐算法（代码）

2018-02-24

qq_心明媚的很干净_0

为啥没评论了

0 4-8 基于内容的推荐算法（理论）

2018-02-24

wangsha0

不吹不黑，讲得真不赖，可得好好学！

1 2-4 总结

2018-02-21

首页上一页 1 2 3 4 5 6 7 下一页尾页

开始学习

课程须知: 1、在学习本课程之前，需要学习hadoop课程基础篇，即掌握MapReduce作业的基本步骤。 2、需要掌握线性代数、向量等的基本数学知识

老师告诉你能学到什么？: 1、hadoop新旧版本的基本架构 2、mapreduce作业的内部原理 3、mapreduce作业重要参数的调优 4、利用hadoop缓存实现矩阵相乘 5、简单的推荐算法

微信扫码，参与3人拼团

热搜

最近搜索清空

Hadoop进阶