-
1查看全部
-
yarn： resourceManager 负责资源的调度和分配 启动和监控applicationMaster 监控NodeManager applicationMaster 为MapReduce类型的程序申请资源，并分配给内部任务 对数据的切分 对任务的监控及容错 NodeManager 管理单个节点的资源 处理来自resourceManager的命令 处理来自applicationMaster的命令查看全部
-
yarn负责整个集群资源的管理和调度查看全部
-
yarn是Hadoop2.0以后的资源管理器查看全部
-
hdfs的一些常用命令： 一些与Linux命令相同：ls cat vi 等 还有一些是hdfs专用的命令： copyToLocal hdfs文件系统向本地拷贝 copyFromLocal 从本地向hdfs文件系统拷贝 get 下载文件 put 上传文件 ./hdfs dfs -help 可以查看hdfs命令的说明查看全部
-
两个问题： 1，数据块一般设置多大比较合适？ 128M,因为如果设置太大不利于文件的读取，设置太小会将一些比较小的文件也会被进行分割，比较耗费内存 2，nameNode挂掉了怎么办？ 在Hadoop2中会有容错机制，会有两个nameNode，另一个会处于备用的状态，当nameNode挂掉了之后，secondNameNode会被启动的，这样是用户无感知的查看全部
-
大数据以Hadoop为代表，Spak框架查看全部
-
hdfs分为 数据块 namenode datanode查看全部
-
mapreduce分布式计算查看全部
-
mapreduce分布式计算查看全部
-
hdfs分布式存储查看全部
-
hdfs分布式存储查看全部
-
HDFS： 数据块：文件保存是以数据块一单位保存的，不知以文件进行保存的 NameDode： 管理文件系统的命名空间，存放文件元数据 维护文件系统所有文件和目录，文件与数据块之间的映射 记录每个文件中各个数据块所在的数据节点信息 DataNode： 是文件系统的工作节点，存储和检索数据块的 并且将存储的数据块的信息发送给NameNode，更新存储块的信息 问题：值得考虑 1，数据块的大小设置多大比较合适（默认64M）？ 2，如果NameNode挂掉了怎么办？查看全部
-
Hadoop=HDFS（分布式文件系统）+MapReduce（分布式计算）查看全部
-
课程目标： 1，掌握Hadoop的基本原理及使用方式 2，掌握基于Hadoop框架的数据处理和分析的应用程序开发查看全部
举报
0/150
提交
取消