Hadoop基础及演练_技术问答

首页免费课 Hadoop基础及演练问答

Hadoop基础及演练

                
                叁金
            JAVA开发工程师

                    查看讲师更多课程 
                    叁金讲师的其他课程
                
玩转热门框架 用企业级思维 开发通用够硬的大数据平台
实战·中级·479

                                                                                                                                    ￥448.00
                                            
多层次构建企业级大数据平台， 成就全能型大数据开发
实战·高级·137

                                                                                                                                    ￥599.00
                                            
ChatGPT入门实战课 AI提效大数据开发平台建设
实战·初级·237

                                                                                                                                    ￥168.00
                                            
Calcite数据管理与SQL优化实战
初级·1104
免费课程
                                
Presto实战与演练
中级·3853
免费课程
                                
                难度初级
            
                时长 1小时 6分
            
                学习人数
            
综合评分9.30
                            51人评价
                        查看评价
                                9.4
                                内容实用
                            
                                9.1
                                简洁易懂
                            
                                9.4
                                逻辑清晰

全部评论问答未解决精华

白小明

运用 HDFS shell 的方式对文件进行操作，HDFS shell 类似 Linux shell。

hadoop fs [generic options]与hdfs dfs [generic options]是一个命令

0 2-3 Shell命令操作HDFS

2018-06-11

白小明

文件写入：

1. Client向NameNode发起文件写入的请求
2. NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息
3. Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。

文件读取：

1. Client向NameNode发起文件读取的请求。
2. NameNode返回文件存储的DataNode的信息。
3. Client读取文件信息。

2 2-2 HDFS写流程和读流程

2018-06-11

白小明

【百度百科定义】：大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

【通俗定义】：大数据是一个概念也是一门技术，它是以 Hadoop 和 Spark 为代表的大型软件平台，我们可以在这个软件平台上进行大规模数据的分析和处理。数据处理可分为两类：离线批处理（Hadoop 为代表）、实时流处理（Spark 为代表）。

3 1-1 大数据方向介绍

2018-06-11