MapReduce实战_Hadoop基础及演练-慕课网

来帮同学解答一个问题

+30经验 +1积分 换个问题去回答

解锁即可观看《大数据工程师》完整课程视频

立即解锁

大数据工程师

硬核技能带你攻克热点商业项目，从入门直达中级工程师水平，掌握DT时代淘金利器！

【第1周】学好大数据先攻克Linux

【第2周】大数据起源之初识Hadoop

【第3周】Hadoop之HDFS的使用

【第4周】Hadoop之HDFS核心进程剖析

【第5周】Hadoop之初识MR

【第6周】拿来就用的企业级解决方案

【第7周】Flume从0到高手一站式养成记

【第8周】数据仓库Hive从入门到小牛

【第9周】Hive扩展内容

【第10周】快速上手NoSQL数据库HBase

【第11周】数据分析引擎之Impala

【第12周】7天极速掌握Scala语言

【第13周】Spark快速上手

【第14周】Spark性能优化的道与术

【第15周】Spark3.x扩展内容

【第16周】综合项目：电商数据仓库之用户行为数仓

【第17周】综合项目：电商数据仓库之商品订单数仓

【第18周】消息队列之Kafka从入门到小牛

【第19周】极速上手内存数据库Redis

【第20周】Flink快速上手篇

【第21周】Flink高级进阶之路

【第22周】Flink1.15新特性及状态的使用

【第23周】Flink1.15之状态的容错与一致性

【第24周】FlinkSQL(1.15)快速上手

【第25周】FlinkSQL双流JOIN详解

【第26周】全文检索引擎Elasticsearch

【第27周】Es+HBase仿百度搜索引擎项目

【第28周】直播平台三度关系推荐V1.0

【第29周】直播平台三度关系推荐V2.0

【第30周】数据中台大屏

【第31周】实时OLAP引擎之ClickHouse

【第32周】实时数仓-Kafka Eagle+DS

【第33周】实时数仓-Flink CDC数据采集

【第34周】实时数仓-Paimon(数据湖)快速上手

【第35周】实时数仓-Paimon(数据湖)高级进阶

【第36周】实时数仓-湖仓一体项目

【第37周】一站式流式开发平台StreamPark

【第38周】大数据分布式SQL网关Kyuubi

叁金

JAVA开发工程师

八年大厂数据架构和研发经验，专注于大数据平台研发和企业级数据治理。基于Hadoop生态完成多个企业级大数据平台的建设落地，对集群管理、数仓建设、数据计算、数据治理等方向有较深刻的理解。

讲师课程

ChatGPT入门实战课 AI提效大数据开发平台建设

实战课初级 249

多层次构建企业级大数据平台，成就全能型大数据开发

实战课高级 147

玩转热门框架用企业级思维开发通用够硬的大数据平台

实战课中级 482

HBase+Spring Boot实战分布式文件存储（OpenTSDB实战升级）

实战课中级 493

提问题

提交

其他问答

查看更多本节问答

写笔记

公开笔记

提交

问答
评论
笔记

全部精华我要发布

老师能帮忙看下这个是怎么回事吗，谢谢

已采纳回答 / 叁金

你这不是一下执行了重复的命令吗而且错误详情已经提示你了 -files不支持支持-file

1 回答 1041 浏览

2019-12-19

l_count输出与老师的不一样，求大神指点迷津，谢谢

已采纳回答 / 叁金

你这个是一个函数，应该用l_count() 调用

1 回答 1115 浏览

2019-12-19

提交hadoop文件出现配置 ”Please check whether your etc/hadoop/mapred-site.xml contains the below configuration“的问题

最新回答 / 慕粉13321504129

我之前也是下载的hadoop 3.0版本，但是会出现很多错误。后来找运维朋友他建议用hadoop-2.7.3版本。mapred-site.xml配置如下：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><configuration>...

1 回答 4315 浏览

2019-05-04

请问老师，hadoop上运行的时候，没有对map的结果进行sort，为什么会跑成功？

最赞回答 / Cybtron

一个MapReduce作业由Map阶段和Reduce阶段两部分组成，这两阶段会对数据排序，从这个意义上说，MapReduce框架本质就是一个Distributed Sort。在Map阶段，Map Task会在本地磁盘输出一个按照key排序（采用的是快速排序）的文件（中间可能产生多个文件，但最终会合并成一个），在Reduce阶段，每个Reduce Task会对收到的数据排序，这样，数据便按照Key分成了若干组，之后以组为单位交给reduce（）处理。很多人的误解在Map阶段，如果不使用Combiner便不会...

1 回答 1425 浏览

2019-03-29