讲师回答 / 叁金
使用bash hdfs dfs -ls / 或者 ./hdfs dfs -ls /我视频里面能直接使用hdfs命令是因为我添加了HADOOP_HOME的环境变量,并将其bin目录添加到了PATH内。你也可以在~/.bashrc里面添加export HADOOP_HOME=xxxxexport PATH=xxx/bin:$PATH
2018-08-26
二级NameNode机制:
SecondaryNameNode定期同步NameNode的内容,当NameNode发生故障时,SecondaryNameNode转正
SecondaryNameNode定期同步NameNode的内容,当NameNode发生故障时,SecondaryNameNode转正
2018-08-13
最赞回答 / 鬈崮
http://www.powerxing.com/install-hadoop/ http://www.powerxing.com/install-hadoop-cluster/ 看过的最好的教程,没有之一。两个网站一起看,都是一个人写的,但是有先后顺序。一次搭建成功。
2018-07-12
对于小文件问题,Hadoop本身也提供了几个解决方案,分别为:Hadoop Archive,Sequence file和CombineFileInputFormat
2018-07-09
影响MapReduce的主要因素有以下几个:
硬件(或者资源)因素,如CPU时钟、磁盘I/O、网络带宽和内存大小。
底层存储系统。
输入数据、分拣(shuffle)数据以及输出数据的大小,这与作业的运行时间紧密相关。
作业算法(或者程序),如map、reduce、partition、combine和compress。有些算法很难在MapReduce中概念化,或者在MapReduce中效率可能会降低。
硬件(或者资源)因素,如CPU时钟、磁盘I/O、网络带宽和内存大小。
底层存储系统。
输入数据、分拣(shuffle)数据以及输出数据的大小,这与作业的运行时间紧密相关。
作业算法(或者程序),如map、reduce、partition、combine和compress。有些算法很难在MapReduce中概念化,或者在MapReduce中效率可能会降低。
2018-07-09