1 回答
是王小二呀
TA贡献88条经验 获得超19个赞
hadoop 3.0这套机制还不了解,2.x版本里面这一步是mapreduce必须的过程,这也是使得mr程序效率较低的一个原因之一,mr计算的中间结果会按照8:2(default)的比例决定写缓存还是写磁盘,这个spill过程使用的缓存有100M,作为对比,spark是可配置的
- 1 回答
- 0 关注
- 1452 浏览
添加回答
举报
0/150
提交
取消