讲师回答 / 叁金
首先我们还是要明确概念, HDFS是什么,HDFS是分布式文件存储系统。 从他的定义里面我们抽出两个词, 分布式、文件存储系统。所以HDFS的核心功能就是为用户提供更加稳定合理的文件存储方式。而HBase是什么呢,HBase是一个分布式列式数据库。从它的定义里面我们可以得出 分布式、列式、数据库几个关键词。 它首先是作为一个依托于HDFS存在的NoSql数据库,既然是一个数据库那里面存什么东西就是我们所决定的了。 HBase本身对于非结构化数据支持良好,我们同样可以将小文件直接存储...
2018-05-20
讲师回答 / 叁金
看你集群的大小和备份的数量设置了。 如果你集群有100台 备份数量是3 肯定不会备份到所有的 datanode节点啊。 注意 这里是datanode。 datanode存储数据。
2018-05-12
已采纳回答 / 叁金
将相关权限赋予指定用户。 你是在hadoop用户下执行的吧? 建议如果新建了hadoop用户的话,将hadoop的安装目录的owner设置为hadoop 这样不用过多考虑权限问题
2018-04-21
讲师回答 / 叁金
首先,java操作hdfs相关的代码网上一搜一大把。然后,python是一门很好的语言,也是我喜欢的语言。所以选择通过python做示例演示。最近发现hdfs3不支持hadoop的acl权限模型,不知道有没有入了坑的同学。。。正在纠结中! 还是对java支持比较好。
2018-03-15
已采纳回答 / 叁金
这里是两个例子,分别是写流程和读流程。读流程这里因为篇幅原因没有画更多的节点。这里想表达的意思是同一个文件不同的数据块可能分布在不同的节点之上。client根据客户端提供的数据块的地址找对应的datanode去读取!这里我当时描述的可能不太清楚。
2018-02-08