                        课程
                    
                        /云计算&大数据
                        
                            /大数据
                        
                        /快速入门Hadoop3.0大数据处理

数据倾斜问题

请问老师，当集群一共有4个节点时，数据只存储在其中2个节点上，如果4个节点都参与计算时，是不是只有有数据的节点才在真正运算，剩下俩个节点都在空转划水？还是集群会重新把数据平均传输到4个节点上，大家再一起算？

WHU20163025803504180544

2020-10-26

源自：快速入门Hadoop3.0大数据处理 2-3

关注问题我要回答

520

操作

收起

1 回答

徐老师
2020-10-30

针对你说的这种场景，会出现这种结果：

有2个节点读取本地节点中的数据进行本地计算，另外2个节点上没有数据的，则会跨节点拉取数据进行计算。

默认情况下会优先读取本节点的数据，这是最优的策略，如果由于各种原因无法满足这种策略，会退而求其次，进行跨节点数据传输

0 回复有任何疑惑可以回复我~

收起回答

0/150

提交

取消

快速入门Hadoop3.0大数据处理

参与学习 16763 人
解答问题 74 个

快速入门Hadoop3.0数据处理，轻松迈入大数据领域

进入课程

本课相似问答

1 回答中间数据存储在map中，数据量大能能解决吗？

1 回答此案例中的测试数据在这里

2 回答主播的json数据在哪里可以获得呢

1 回答有没有什么好的方法造大量数据的

6 回答老师，什么时候出大数据的实战课程？

搜索更多本课相关问答

数据倾斜问题

我要回答关注问题

热搜

最近搜索清空

数据倾斜问题

1 回答

本课相似问答

数据倾斜问题