-
HDFS的datanode，是用来存储数据
查看全部 -
HDFS概念的namenode,是由一个namenode和多个datanode组成，主要是负责记录数据信息和节点信息
查看全部 -
HDFS数据库按块存储，屏蔽了文件的概念
查看全部 -
Hadoop 是什么：
是一个开源的大数据框架，
是一个分布式计算的解决方案。
hadoop = HDFS + MapReduce
查看全部 -
HDFS的缺点
（1）不适合大量小文件存储；
（2）不适合并发写入，不支持文件随机修改；
（3）不支持随机读等低延时的访问方式
查看全部 -
课程目标： 1，掌握Hadoop的基本原理及使用方式 2，掌握基于Hadoop框架的数据处理和分析的应用程序开发
查看全部 -
什么是大数据？
大数据即使一个概念也是一门技术，是在以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。
大数据包括了以Hadoop和spark为代表的基础大数据框架。还包括实时数据处理，离线数据处理；数据分析，数据挖掘和用机器算法进行预测分析等技术
查看全部 -
hadoop ======
1.存储大数据的基础
2.分布式计算的解决方案
查看全部 -
1.查看hdfs的帮助信息
hdfs dfs -help
2.查看hdfs文件系统根目录下的所有目录与文件
hdfs dfs -ls /
3.将文件从本地复制到hdfs文件系统中
hdfs dfs -copyFromLocal / +路径
4..使用命令统一加
hdfs dfs
查看全部 -
copyFromLocal从本地文件系统拷贝到HDFS系统
copyToLocal 从HDFS系统 拷贝到本地文件系统
get下载文件，put上传文件
查看全部 -
mapreduce编程模型查看全部
-
HDFS写流程
客户端向NameNode发起写数据请求
分块（块的大小？）写入DataNode节点，DataNode自动完成副本备份
DataNode向NameNode汇报存储完成，NameNode通知客户端
HDFS读流程
1，客户端向NameNode发起数据请求
2，NameNode找出距离最近的DataNode节点信息
3. 客户端从DataNode分块下载文件
查看全部 -
hadoop = HDFS + MapReduce
查看全部 -
YARN，Hadoop2.0之后的资源管理器，
ResourceManager, 分配和调度资源，启动并监控ApplicationMaster，监控NodeManager
ApplicationMaster
NodeManager
查看全部 -
MapReduce 是一种编程模型，是编程方法，是抽象的理论。
查看全部
举报