讲师回答 / 叁金
看你集群的大小和备份的数量设置了。 如果你集群有100台 备份数量是3 肯定不会备份到所有的 datanode节点啊。 注意 这里是datanode。 datanode存储数据。
2018-05-12
讲师回答 / 叁金
首先，java操作hdfs相关的代码网上一搜一大把。然后，python是一门很好的语言，也是我喜欢的语言。所以选择通过python做示例演示。最近发现hdfs3不支持hadoop的acl权限模型，不知道有没有入了坑的同学。。。正在纠结中！ 还是对java支持比较好。
2018-03-15
讲师回答 / 叁金
服务器分布在不同的机架（双电源），为了防止某条线路断电导致服务器失效（也解决了部分网络机架网络出问题的情况）备份的过程（默认3份） 首先，如果client是集群内的节点则将第一份存储在client上否则随机存储到其他节点，第二份节点存储到其他机架节点，第三份存储到本机架节点。（注此处需开启hadoop的机架感知属性，默认是关闭的，如果未开启机架感知 则认为 随机放到了三个节点上，防止某些节点出问题造成数据丢失）通过zookeeper实现的namenode主备切换，防止因为namenode失效造成的数据无法...
2018-02-04
讲师回答 / 叁金
在向HDFS的写操作中，不得不提一下“数据流管道”。数据流管道在Google实现他们的分布式文件系统(GFS)时就已引入，其目的是：在写一份数据的多个副本时，可以充分利用集群中每一台机器的带宽，避免网络瓶颈和高延时的连接，最小化推送所有数据的延时。 其实这里我可能表述的不太准确，Client在保存数据的过程当中，将数据发送到第一个数据节点DateNode 1，然后在第一个DateNode节点在本地保存数据的同时，将数据推送到第二个数据节点DateNode 2，同理在第二个节点本地保存数据的同时，也会由...
2018-01-23
讲师回答 / 叁金
首先，建议使用anaconda的python科学计算集成环境，利用conda去管理python相关的模块，如果你用的是anaconda你可以尝试以下命令：<...code...>
2018-01-18
讲师回答 / 叁金
首先，建议使用anaconda的python科学计算集成环境，利用conda去管理python相关的模块，其也会管理用到的c++模块，如果你用的是anaconda你可以尝试以下命令：<...code...>如果你不是anaconda环境，ubuntu系统可以尝试：<...code...>其他的可以直接搜索github libhdfs3 进行编译安装。python访问hdfs除了hdfs3还有其他模块可以使用比如snakebite等，大家也可以看看其使用方式
2018-01-09
讲师回答 / 叁金
with 语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的“清理”操作，释放资源，比如文件使用后自动关闭、线程中锁的自动获取和释放等。类似于 java 语言中的：<...code...>或者是C#中的：<...code...>作用就是自动释放资源，要想理解可以自己了解下python的上下文管理器概念。
2018-01-02
