我根据老师这个版本的Hadoop完成了Wordcount的MapRed程序,代码在我的Github中:https://github.com/Y1ran/Hadoop-MapReduce,大家如果觉得跟不上老师讲的,或者不容易实现的话可以参考一下
2018-06-19
HDFS(Hadoop Distributed File System,Hadoop 分布式文件系统)是 Hadoop 实现的一个分布式文件系统,可提供对应用程序数据的高吞吐量访问,是 Hadoop 核心组件之一。HDFS 源自 Google 2003 年发表的的 GFS (Google File System)论文。
HDFS 将一个文件拆分成制定大小的多个数据块(block),block 以多副本的方式存储在多个机器上(即一组 DN 中),保证了容错性和高可用性,保证了每个节点的负载均衡,提高了节点的利用率。
HDFS 将一个文件拆分成制定大小的多个数据块(block),block 以多副本的方式存储在多个机器上(即一组 DN 中),保证了容错性和高可用性,保证了每个节点的负载均衡,提高了节点的利用率。
2018-06-11
在 Hadoop 诞生初期(Hadoop 1.x),当时 MapReduce 1.x 采用的是 master/slaves 架构,表现形式是一个 JobTracker 带多个 TaskTracker。在 MapReduce 2.x 架构设计中,RM 和 NM 已经取代了 JT 和 TT。
2018-06-11
<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<name>hadoop.tmp.dir</name>
<value>/hadoop</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>/hadoop/name</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
2018-06-06