-
案例分析。
查看全部 -
一个block对应一个split，一个split对应一个map任务
查看全部 -
MapReduce原理分析
查看全部 -
namenode的总结
维护的两份关系
查看全部 -
不足128mb的就是文件的实际大小，可以在dfs-default.xml中可以调整大小
数据的副本数量默认为3，可以在hdfs-site.xml文件中的dfs.replication修改
查看全部 -
两个条件，距上次checkpoint一个小时，或者hdfs操作了一百万次，两个条件哪个先触发就先 执行
HA（高可用）架构是没有secondarynamenode的，有两个namenode时，activited namenode负责和用户交互，standby namenode负责文件的合并操作
查看全部 -
hdfs-defaulg.xml：保存namenode本地存储文件的路径
查看全部 -
namenode在本地磁盘保存的文件
查看全部 -
namenode的信息都在内存存放，本地磁盘也会保存一份信息，否则namenode格式化会丢
本地磁盘包含以下文件：见图（seen_txid）
这些文件保存在tmp.dir/dfs/name/current/
fsimage：相当于快照、镜像，保存的是某一时刻的元数据信息，与内存中的信息不同步，定时生成。
edits：记录用户的操作，不保存查询
seen_txid：存储的是edits文件后面的数字，当namenode重启时，按照存储的数字顺序执行edits文件，这样就得到了原信息。namenode格式化时，为0。如果对应的数字没有文件，namenode就不会启动了，日志文件会有记录，为了保持数据的一致性，所以不会启动，强制启动就可能造成数据的丢失
version：版本信息，可以查看命名空间id，集群id
查看全部 -
主节点实现免密登陆从节点
ssh-copy-id -i hadoop101 (hadoop101是从节点)
查看全部 -
集群中配置免密码登陆的时候，至少需要实现主节点可以免密码登录到其它所有节点
查看全部 -
高哒查看全部
-
啦啦查看全部
-
ha查看全部
-
namenode，secondarynamenode，datanode分别在集群上启动，
namenode，secondarynamenode在主节点上启动，datanode在从节点上启动
查看全部
举报