-
Hadoop总结
查看全部 -
MapReduce简介
MapReduce是一种编程模型，是一种编程方法，是抽象的理论
YARN概念：资源管理器
ResourceManager：负责分配和调度资源；负责启动并监控ApplicationMaster；监控NodeManager
ApplicationManager：为MR类型的程序申请资源，并分配给内部任务；负责数据的切分；监控任务的执行及容错
NodeManager：管理单个节点的资源；处理来自ResourceManager的命令；处理来自ApplicationManager的命令
查看全部 -
常用的HDFS Shell命令
查看全部 -
HDFS读流程
查看全部 -
HDFS读流程
查看全部 -
HDFS写流程
查看全部 -
HDFS写流程
查看全部 -
Hadoop
查看全部 -
大数据。。
查看全部 -
1.MapReduce编程模型 一个大文件被分割成多个分片，每个分片交给独立的机器去处理，这就是map方法 将各个分片被处理的结果进行汇总计算，就是reduce方法查看全部
-
yarn 资源调度 hadoop1.0到3.0的变化 hdfs负责存储 mapreduce负责存储查看全部
-
YARN是Hadoop2.0之后的资源管理器
1、ResourceManager：
1）分配和调度资源
2）启动并监控ApplicationMaster
3）监控NodeManager
2、ApplicationMaster：
1）为MapReduce类型的程序申请资源，并分配给内部任务
2）负责数据的切分
3）监控任务的执行及容错
3、NodeManager：
1）管理单个节点的资源
2）处理来自ResourceManager的命令
3）处理来自ApplicationMaster的命令
查看全部 -
常用HDFS Shell命令：
1、类Linux系统：ls、cat、mkdir、rm、chmod、chown等
2、HDFS文件交互：copyFromLocal（从本地系统->HDFS系统）、copyToLocal（从HDFS系统->本地系统）、get（下载文件）、put（上传文件）
查看全部 -
HDFS读流程：
1、客户端向NameNode发起读数据请求。
2、NameNode找出距离最近的DataNode节点信息。
3、客户端从DataNode分块下载文件。
查看全部 -
HDFS写流程：
1、客户端向NameNode发起写数据请求。
2、客户端分块写入DataNode节点，DataNode自动完成副本备份。
3、DataNode向NameNode汇报存储完成，NameNode通知客户端。
查看全部
举报