章节
问答
课签
笔记
评论
占位
占位
今日不再显示

下一节课程: 总结 (01:54) 下一节 重新观看

3 秒后播放下一节

为你推荐

mooc小牧
JAVA开发工程师

一直从事于互联网行业,热爱大数据,目前就职于知名互联网公司,对java和hadoop开发有丰富的经验。

提问题

写笔记

代码语言
公开笔记
提交
加群二维码

打开微信扫码自动绑定

您还未绑定服务号

绑定后可得到

  • · 粉丝专属优惠福利
  • · 大咖直播交流干货
  • · 课程更新,问题答复提醒
  • · 账号支付安全提醒

收藏课程后,能更快找到我哦~

使用 Ctrl+D 可将课程添加到书签

邀请您关注公众号
关注后,及时获悉本课程动态

举报

0/150
提交
取消
全部 精华 我要发布

最新回答 / 詹姆斯周
多多学习,多多思考

最新回答 / qq_世人如此功利_0
不是的,Combine在Shuffle之前Combine:在Map阶段,当所有数据处理完成后,Map Task对所有临时文件进行一次合并Shuffle:也称Copy阶段。Reduce Task从各个Map Task上远程复制一片数据,并针对某一片数据进行判断,如果其大小超过一定阀值,则写到磁盘上,否则直接放入内存中

已采纳回答 / _这个昵称已被占用了_
因为老师的例子种reduce的partition只有两个,输入有3个key,所以其中必须有两个key落到同一个partition内。所有相同的key汇聚到一个partition,没毛病。所有蓝色的key都在一个partition内,所有绿色的key都在一个partition内,所有黄色的也一样。只是可能有多个key公用一个partition而已。为什么蓝色和绿色的两个key会进入到一个partition呢,这个要看具体的key的值和shuffer算法。比如:蓝色key=1,绿色key=3,黄色key=2,...

最新回答 / _这个昵称已被占用了_
代码覆盖配置文件。

最新回答 / 慕尼黑5219940
不对啊,本地combine的时候就是按照key值合并,减少网络传输的消耗啊
全部 我要发布
最热 最新
只看我的

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

账号登录 验证码登录

遇到问题
忘记密码

代码语言