课程
/云计算&大数据
/大数据
/快速入门Hadoop3.0大数据处理
比如reduce阶段计算得到了<主播id,主播的时长>。然后放在map中。
如果主播id很多,map中放不下,怎么办?
2020-03-20
源自:快速入门Hadoop3.0大数据处理 7-4
正在回答
可以有这些方案1:如果内存中存放下,可以考虑增加这个任务的内存2:或者可以考虑外部存储,例如:redis,把这些数据存放到redis中,这样针对一些需要在内存中产生很多中间临时结果的场景也是很适用的
举报
快速入门Hadoop3.0数据处理,轻松迈入大数据领域
1 回答此案例中的测试数据在这里
1 回答有没有什么好的方法造大量数据的
1 回答数据倾斜问题
1 回答老师,这里的json数据的资料,和sqoon的文档能发到这上面吗?
6 回答老师,什么时候出大数据的实战课程?