Hadoop进阶_学习笔记

首页免费课 Hadoop进阶笔记

Hadoop进阶

最热最新

钢管舞学员 01:30

阶段1

查看全部

0 采集收起来源：WordCount实例回顾
2021-08-29
钢管舞学员 01:00

MapReduce的几个阶段

查看全部

0 采集收起来源：WordCount实例回顾
2021-08-29
钢管舞学员 00:44

过程

查看全部

0 采集收起来源：WordCount实例回顾
2021-08-29
钢管舞学员 00:26

本章概览

查看全部

0 采集收起来源：WordCount实例回顾
2021-08-29
钢管舞学员 04:13

Hdfs架构图

查看全部

0 采集收起来源：hadoop体系架构
2021-08-29
时间的痕迹 03:29

mapper输出到reduce输出流程图

查看全部

0 采集收起来源：Map—Shuffle—Reduce
2020-08-14
时间的痕迹 01:10

多数情况下，combine逻辑和reduce逻辑一样

查看全部

0 采集收起来源：Map—Shuffle—Reduce
2020-08-14
时间的痕迹 00:25

本地combine优化

查看全部

0 采集收起来源：Map—Shuffle—Reduce
2020-08-14
时间的痕迹 01:34

mapper到reduce过程总结

查看全部

0 采集收起来源：总结
2020-08-14
时间的痕迹 00:53

本地合并：mapper完成之后，reduce进行之前

查看全部

0 采集收起来源：总结
2020-08-14
时间的痕迹 00:33

由于namenode存储了每个文件的元数据信息（有多少分片，在那些分区等等），并且受限于内存，hdfs适合存贮大文件，如果有大量的小文件，要进行文件合并

查看全部

0 采集收起来源：总结
2020-08-14
时间的痕迹 00:18

文件超过每一个数据块的大小，就会进行分片

查看全部

0 采集收起来源：总结
2020-08-14
时间的痕迹 03:56

一个mapreduce作业中，分区数量、reduce任务数量和最终输出的文件数量是一致的

查看全部

0 采集收起来源：Map—Shuffle—Reduce
2020-08-14
慕粉1446071354

小结----

查看全部

0 采集收起来源：课程总结
2020-05-26
慕粉1446071354

算法步骤--

查看全部

0 采集收起来源：基于内容的推荐算法（代码）
2020-05-26

首页上一页 1 2 3 4 5 6 7 下一页尾页

0/150

提交

取消

开始学习

课程须知: 1、在学习本课程之前，需要学习hadoop课程基础篇，即掌握MapReduce作业的基本步骤。 2、需要掌握线性代数、向量等的基本数学知识

老师告诉你能学到什么？: 1、hadoop新旧版本的基本架构 2、mapreduce作业的内部原理 3、mapreduce作业重要参数的调优 4、利用hadoop缓存实现矩阵相乘 5、简单的推荐算法

微信扫码，参与3人拼团

热搜

最近搜索清空

Hadoop进阶