为了账号安全,请及时绑定邮箱和手机立即绑定

初学Hadoop,请问文件大小小于64M时,增加节点对处理速度有影响吗?

初学Hadoop,请问文件大小小于64M时,增加节点对处理速度有影响吗?

梦里花落0921 2018-10-13 13:34:16
初学Hadoop,有一部分看不懂,文件分块为64M,分片时也是64M,那么对于小于64M的文件,就只对应了一个map是吗,这样的话,集群节点个数从1个增加到6个,并行处理的还是一个机子,因此速度并没有提高是吗?如果是128M的文件,当使用2个节点的时候速度比1个节点快,但是三个以上节点的话,速度再没有提高是吗??不知道我的理解是否正确,希望大家赐教!!
查看完整描述

2 回答

?
慕妹3146593

TA贡献1820条经验 获得超9个赞

这就是一种分区策略,数据越分散,单个节点的压力等于说越小,热点数据也可以缓解,hadoop的64M可以配置的,楼主可以研究一下

查看完整回答
反对 回复 2018-10-27
?
www说

TA贡献1775条经验 获得超8个赞

是的.一个分片对应一个map,一个map对应一个MapTask,map的数量和分片的数量相等.
只有一个分片时,其他节点不参与计算.
到hadoop2.0之后,默认的块大小是128M. 
课可以修改块的大小来增多map.

查看完整回答
反对 回复 2018-10-27
  • 2 回答
  • 0 关注
  • 1140 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信