课程
/云计算&大数据
/大数据
/认识Hadoop--基础篇
老师,有一点说的很模糊,就是数据源的问题。 你说数据源来自HDFS,中间结果写的硬盘,最后结果又输出到HDFS中去?
谢谢。
2016-02-15
源自:认识Hadoop--基础篇 4-2
正在回答
我认为是这样的:就好比我们在客户端执行写入数据一样,数据来源于hdfs,然后计算的结果会先保存在本地磁盘并且进行分块操作,然后再根据namenode返回回来的映射关系,将本地的临时数据写入对应的datanode,而datanode就属于hdfs的一部分;
不知对不对?
hdfs是存储读取的上层IO界面,它的底层介质肯定可以是硬盘,也可以flash,也可以是网络存储。
就是一个基于硬盘的存储文件的文件系统
我觉得hdfs就是硬盘吧,,,硬盘本来是存储的,,,hdfs就相当于是基于硬盘上的一个文件夹的东西,,,但不是文件夹哈
举报
Hadoop入门视频教程,大数据人才的入门首选
1 回答关于存储数据块的问题
2 回答老师,你的Partition好像只分了numPartitions-1个区?
3 回答学好大数据的基础是什么
5 回答流式数据访问,写一次,读多次,要改错怎么办呢?
1 回答hdfs的一些问题