1 回答
是王小二呀
TA贡献88条经验 获得超19个赞
hadoop 3.0这套机制还不了解，2.x版本里面这一步是mapreduce必须的过程，这也是使得mr程序效率较低的一个原因之一，mr计算的中间结果会按照8:2(default)的比例决定写缓存还是写磁盘，这个spill过程使用的缓存有100M，作为对比，spark是可配置的
- 1 回答
- 0 关注
- 1470 浏览
添加回答
举报
0/150
提交
取消