Hadoop基础及演练_技术问答

首页免费课 Hadoop基础及演练问答

Hadoop基础及演练

                
                叁金
            JAVA开发工程师

                    查看讲师更多课程 
                    叁金讲师的其他课程
                
玩转热门框架 用企业级思维 开发通用够硬的大数据平台
实战·中级·479

                                                                                                                                    ￥448.00
                                            
多层次构建企业级大数据平台， 成就全能型大数据开发
实战·高级·137

                                                                                                                                    ￥599.00
                                            
ChatGPT入门实战课 AI提效大数据开发平台建设
实战·初级·237

                                                                                                                                    ￥168.00
                                            
Calcite数据管理与SQL优化实战
初级·1104
免费课程
                                
Presto实战与演练
中级·3853
免费课程
                                
                难度初级
            
                时长 1小时 6分
            
                学习人数
            
综合评分9.30
                            51人评价
                        查看评价
                                9.4
                                内容实用
                            
                                9.1
                                简洁易懂
                            
                                9.4
                                逻辑清晰

全部评论问答未解决精华

慕粉222817819

这就像 rids 可以有多，种组合难道 hdfs 不能选冗余方案？

0 2-2 HDFS写流程和读流程

2018-08-05

慕粉222817819

好像写不太科技,为什么让节点间通信而不是中央同时写可加快速度假如 nodew 挂掉民怎么办

0 2-2 HDFS写流程和读流程

2018-08-05

慕虎3005248

思路清晰,浅显易通,老师讲得很好,终于知道这几个是什么了,感谢

1 4-4 Spark简介

2018-07-31

老王在南京

非常清晰，作为入门课，完全可以打10分。谢谢老师

0 4-4 Spark简介

2018-07-11

丞旭猿

谢谢老师，继续努力

0 4-4 Spark简介

2018-07-09

丞旭猿

对于小文件问题，Hadoop本身也提供了几个解决方案，分别为：Hadoop Archive，Sequence file和CombineFileInputFormat

0 4-1 Hadoop总结及延伸思考

2018-07-09

丞旭猿

影响MapReduce的主要因素有以下几个：
硬件（或者资源）因素，如CPU时钟、磁盘I/O、网络带宽和内存大小。
底层存储系统。
输入数据、分拣（shuffle）数据以及输出数据的大小，这与作业的运行时间紧密相关。
作业算法（或者程序），如map、reduce、partition、combine和compress。有些算法很难在MapReduce中概念化，或者在MapReduce中效率可能会降低。

9 4-1 Hadoop总结及延伸思考

2018-07-09

丞旭猿

看来得自学python的知识了

3 3-2 MapReduce实战

2018-07-09

丞旭猿

python没有接触过

0 2-4 Python程序操作HDFS

2018-07-09

丞旭猿

问题 namenode挂掉怎么办？
重启namenode1。集群短暂正常之后两个namenode都挂掉，日志显示内存溢出。进一步重启整个集群，短暂正常后namenode再次挂掉。
此时，修改hadoop_heapsize参数为4G，并调小队列3所允许的最大队列数为4，重新修改hadoop_heapsize参数，重启集群正常

1 2-1 HDFS概念及优缺点

2018-07-08

qq_戒烟人_03473214

非常的好啊

0 1-2 课程简介及目标

2018-06-29

白小明

感谢老师分享！！！

Apache Spark 是一款开源的、基于内存的、专为大规模数据处理而设计的分布式计算框架，可作为 MapReduce 的替代方案，同时也很好地兼容其他大数据组件。

Spark 仅仅是一个分布式计算框架，专注于数据的计算，类似 MapReduce、Storm、Flink。Spark 不包含存储、调度等功能，而数据的存储在生产环境中往往还是由 Hadoop HDFS 承担，调度也是采用“Spark on YARN”的方式。

Spark 抽象出一个非常重要的概念：RDD（Resilient Distributed Datasets，弹性分布式数据集）

5 4-4 Spark简介

2018-06-11

白小明

老师有篇手记讲了这个的：
我们为什么需要HBase？：https://www.imooc.com/article/26090

2 4-3 HBase简介

2018-06-11

白小明

HBase（Hadoop Database）是一个分布式 NoSQL 列存储数据库。HBase 利用 HDFS 作为其文件存储系统，利用 Hadoop MapReduce 处理海量数据，还可以利用 Zookeeper 作为协同服务。HBase 源自 Google 在 2006 年发表的 BigTable 论文，它整体的架构与 BigTable 很类似。

3 4-3 HBase简介

2018-06-11

白小明

Hadoop 生态圈囊括了大数据处理的方方面面，其中的大多数组件都是开源免费的。组件都有自己的适用场景，如：HBase 做查询，Hive 做 SQL 离线批处理，Flume 做日志收集，Sqoop 做数据交换等。
学习目标：学习Hadoop生态圈的组成、核心组件，以及每个组件的应用场景，它们的优缺点和特性
建议学习路线：Hadoop 体系架构与环境搭建 -> HDFS -> YARN -> MapReduce -> Hive -> HBase -> Sqoop -> Pig -> Flume -> HUE -> ZooKeeper（HA） -> Storm ----> Spark

10 4-2 Hadoop生态圈简介

2018-06-11

首页上一页 1 2 3 4 5 6 7 下一页尾页

开始学习

课程须知: 有Linux命令使用基础，有Python编程基础

老师告诉你能学到什么？: 大数据到底是个啥，大数据方向到底怎么样 Hadoop基础原理与两个核心 Hadoop的基础应用 Hadoop生态圈简介 Hadoop生态圈常用开源项目介绍

微信扫码，参与3人拼团

热搜

最近搜索清空

Hadoop基础及演练