首页专题 Hadoop入门

Hadoop入门

很多同学在进行编程学习时缺乏系统学习的资料。本页面基于Hadoop入门内容，从基础理论到综合实战，通过实用的知识类文章，标准的编程教程，丰富的视频课程，为您在Hadoop入门相关知识领域提供全面立体的资料补充。同时还包含 h6、hack、hadoop 的知识内容，欢迎查阅！

Hadoop入门相关知识

Hadoop入门教程之HDFS架构
为什么要用Hadoop？ 1.源码开源 2.社区活跃，参与者很多 3.涉及到分布式存储和计算的方方面面： Flume进行数据采集 Spark/MR/Hive等进行数据处理 HDFS/HBase进行数据存储 4.已经得到企业界的验证 Hadoop相关网址： Hadoop: hadoop.apache.org Hive: hive.apache.org Spark: spark.apache.org HBase: hbase.apache.org Hadoop常用工具分布式文件系统HDFS Hadoop 实现了一个分布式文件系统(Hadoop Distributed File System)，简称HDFS。基于Google的GFS论文，很多大数据
Hadoop入门教程之HDFS shell 常用命令
Hadoop的bin目录下 ls hadoop fs -ls / 查看HDFS文件系统上的文件 hadoop fs -ls -R / 查看HDFS文件系统多层文件夹 mkdir hadoop fs -mkdir /test/ 创建test文件夹 hadoop fs -mkdir -p /a/b 创建多层文件夹 put hadoop fs -put 1.tar /test 把当前目录的1.tar上传到hdfs的test目录 copyFromLocal 也能实现把本地文件传到HDFS，和put一样。 cat/text 查看文件内容 hadoop fs -cat 1.txt hadoop fs -text 1.txt get hadoop fs -get /test/1.tar
Hadoop入门教程之HDFS系统环境搭建
1.下载Hadoop Hadoop的版本：Hadoop-2.6.0-cdh5.7.0 下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 目录列表：http://archive.cloudera.com/cdh5/cdh/5/ 文件存放路径(非必须，可自定义) 创建一个hadoop用户 /home/hadoop software: 存放的是安装的软件包 app: 所有软件的安装目录 data: 所有使用的测试数据 source: 存放的是软件源码，比如spark这种需要编译的软件，源码就放在这里。 2.平台选择 Linux和Windows都支持，但是官方建议使用Lin
Hadoop入门教程之分布式计算框架MapReduce
说明这个技术在如今，有一定的使用场景，但是使用场景已经不多，仅当做了解就可以了。因为现在的Spark比MapReduce强太多了，所以学习的重心应当放在Spark上面。什么是MapReduce？源自于Google的MapReduce论文实际上HBase也是源自于Google的论文发表于2004年12月，Hadoop MapReduce是Google MapReduce的克隆版 MapReduce的特点 1.易于编程因为它是一个分布式的框架，如果手工开发一个分布式的应用框架，那么需要考虑的东西就是非常多的。比如输入数据是怎么拆分的，数据的本地性