Hadoop进阶_学习笔记

首页免费课 Hadoop进阶笔记

Hadoop进阶

最热最新

慕村9448295 01:00

combine数据在map输出'后可进行类似reduce操作，减少网络'开销

查看全部

0 采集收起来源：总结
2017-12-10
慕村9448295 00:39

由于namenode 内存有限，所以Hdfs适合存放大文件

查看全部

0 采集收起来源：总结
2017-12-10
慕村9448295 04:27

reduce任务最大值72

查看全部

0 采集收起来源：Map—Shuffle—Reduce
2017-12-10
慕村9448295 01:24

大多情况下，combine和reduce逻辑一致，即按key合并数据

查看全部

0 采集收起来源：Map—Shuffle—Reduce
2017-12-10
慕村9448295 00:43

本地优化 combine

查看全部

0 采集收起来源：Map—Shuffle—Reduce
2017-12-10
慕村9448295 00:36

hadoop 1.* block大小默认64M，hadoop 2.* block大小默认128M

查看全部

0 采集收起来源：从分片输入到Map
2017-12-10
慕村9448295 01:03

Mapreduce四个阶段:1Split 2 Map 3 Shuffle 4 Reduce

查看全部

0 采集收起来源：WordCount实例回顾
2017-12-09
慕村9448295 05:33

Yarn设计减少了jobtracker对系统资源的消耗，也减少了hadoop1.0单点故障问题

查看全部

0 采集收起来源：hadoop体系架构
2017-12-09
慕村9448295 05:22

hadoop2.0以后版本移除了jobtracker tasktracker,改由Yarn平台的resourcemanager负责统一调配

查看全部

0 采集收起来源：hadoop体系架构
2017-12-09
慕村9448295 02:37

HDFS是一个高冗余，高容错的文件系统

查看全部

0 采集收起来源：hadoop体系架构
2017-12-09
snow_0011 05:54

推荐步骤

查看全部

0 采集收起来源：基于物品的推荐算法(理论)
2017-12-07
snow_0011 02:09

相似度种类

查看全部

0 采集收起来源：相似度
2017-12-07
snow_0011 00:37

矩阵乘法

查看全部

0 采集收起来源：mapreduce实现矩阵相乘(1)
2017-12-06
snow_0011 01:38

总结

查看全部

0 采集收起来源：总结
2017-12-06
慕哥5141201

map-partition-reduce partition：相同的模块进行合并

查看全部

0 采集收起来源：Map—Shuffle—Reduce
2017-12-05

首页上一页 31 32 33 34 35 下一页尾页

0/150

提交

取消

开始学习

课程须知: 1、在学习本课程之前，需要学习hadoop课程基础篇，即掌握MapReduce作业的基本步骤。 2、需要掌握线性代数、向量等的基本数学知识

老师告诉你能学到什么？: 1、hadoop新旧版本的基本架构 2、mapreduce作业的内部原理 3、mapreduce作业重要参数的调优 4、利用hadoop缓存实现矩阵相乘 5、简单的推荐算法

微信扫码，参与3人拼团

热搜

最近搜索清空

Hadoop进阶