                        课程
                    
                        /云计算&大数据
                        
                            /大数据
                        
                        /Hadoop基础及演练

关于视频中读流程所举的例子有些疑问

按照写的流程，在client想要写入数据时，会像namenode发起写入请求，然后namenode会寻找这次能够满足写入条件的datanode，然后将这些信息返回给client，client再将分片数据一次写入。我的理解是，此时处理这次写入操作的datanode是已经确定的（如视频中datanode1、2、3），也就是说datanode1、2、3上面都会有这次的数据分片，因为他只在开始的时候做了一次可用datanode的查询。那么，会出现读流程中所举的例子那样，分片1在datenode1、3上，分片2在datanode2、3上这种情况吗？写的时候不应该是备份到相同的datanode上吗？

怕翻船的忒修斯

2018-02-08

源自：Hadoop基础及演练 2-2

关注问题我要回答

1367

操作

收起

2 回答

叁金回答被采纳 +2 积分
2018-02-10

这里是两个例子，分别是写流程和读流程。读流程这里因为篇幅原因没有画更多的节点。这里想表达的意思是同一个文件不同的数据块可能分布在不同的节点之上。client根据客户端提供的数据块的地址找对应的datanode去读取！这里我当时描述的可能不太清楚。

0 回复有任何疑惑可以回复我~

#1

怕翻船的忒修斯提问者

我明白您的意思，我想问的是会出现分片1分布在12节点上，分片2分布在23节点的这种情况吗？

2018-02-12 回复有任何疑惑可以回复我~

#2

叁金回复怕翻船的忒修斯提问者

会啊。一个文件的多个数据块会分布在不同的机器上。这个分布要考虑到不同机架（防止断电断网对数据读取造成影响），他会优先存储到当前连接的datanode，所以某个文件的数据块1在datanode1和2 数据块2在datanode2和3是有可能的。

2018-02-12 回复有任何疑惑可以回复我~

#3

怕翻船的忒修斯提问者回复叁金

老师您的意思是他每个分片写入的时候都会再次去寻找合适的datanode吗？而不是说我在这次写入的最开始就已经决定了这次所有分片（分片abc）都存在123这个三个节点中吗？

2018-02-26 回复有任何疑惑可以回复我~

查看2条回复

momomo
2018-02-10

视频中的是两个不同的例子吧

0 回复有任何疑惑可以回复我~

#1

怕翻船的忒修斯提问者

嗯嗯，我明白，可能我表述的不清楚，我是想问例子2中分片保存的问题...您可以看下我给老师的回复

2018-02-12 回复有任何疑惑可以回复我~

举报

0/150

提交

取消

Hadoop基础及演练

参与学习 52259 人
解答问题 64 个

与大数据密不可分的Hadoop框架，你值得学习

本课相似问答

3 回答读流程的疑问

1 回答关于HDFS的写流程

2 回答关于读取数据

2 回答关于编程语言的选用

1 回答如果写流程出错了，怎么处理

搜索更多本课相关问答

关于视频中读流程所举的例子有些疑问

我要回答关注问题

意见反馈帮助中心 APP下载