现在要完成一项海量数据处理的工作。大约有500G的.gzlog文件现在要从log中提取一些信息做统计工作~因为文件太大，所以打算用hadoop来做。现在已经安装了hadoop，然后需要自己写mapreduce打算用脚本来写，比如shell，python。可是因为刚入手，所以对mapreduce不是很理解。不知哪位高手能用生动的语言解释一下什么事mapreduce，对于我这个问题来说，mapreduce有分别起到什么作用呢？
添加回答
举报
0/150
提交
取消