为了账号安全,请及时绑定邮箱和手机立即绑定

老师你好,想问一下数据源问题

老师,有一点说的很模糊,就是数据源的问题。 你说数据源来自HDFS,中间结果写的硬盘,最后结果又输出到HDFS中去?

谢谢。

正在回答

4 回答

我认为是这样的:就好比我们在客户端执行写入数据一样,数据来源于hdfs,然后计算的结果会先保存在本地磁盘并且进行分块操作,然后再根据namenode返回回来的映射关系,将本地的临时数据写入对应的datanode,而datanode就属于hdfs的一部分;

不知对不对?

0 回复 有任何疑惑可以回复我~

hdfs是存储读取的上层IO界面,它的底层介质肯定可以是硬盘,也可以flash,也可以是网络存储。

0 回复 有任何疑惑可以回复我~

就是一个基于硬盘的存储文件的文件系统

0 回复 有任何疑惑可以回复我~

我觉得hdfs就是硬盘吧,,,硬盘本来是存储的,,,hdfs就相当于是基于硬盘上的一个文件夹的东西,,,但不是文件夹哈

0 回复 有任何疑惑可以回复我~

举报

0/150
提交
取消

老师你好,想问一下数据源问题

我要回答 关注问题
意见反馈 帮助中心 APP下载
官方微信