java程序员进阶大数据必学之Hadoop 3 新特性和完全分布式搭建

作为世界时装设计和消费的“晴雨表，每年米兰时装周都会吸引世界各地的媒体和商家，一起研究时下潮流。最主要的是探讨未来趋势，争取抓住时代的脉搏，为自己的品牌注入新鲜的能量满足客户的审美需求。

身为攻城狮的我们也需要打造自己的品牌。在这个技术爆炸的年代，技术就是我们赖以生存的根本。我们不仅要温故，更要知新。

Hadoop从2006年诞生以来，一直是这个时代的宠儿，为众多一线企业提供了大数据存储和计算的架构，如阿里、腾讯、滴滴等。

当然也有很多在尚学堂学习大数据的年轻人通过Hadoop找到了满意的工作拿到了丰厚的薪酬。在2017年12月份Hadoop发布了3.0的GA版本，我们又可以从中获取哪些启示呢?

从Hadoop2.x开始，Hadoop架构进行了一次很大的革新，革新后Hadoop包括了Hdfs、Mapreduce、Yarn三个部分。Hadoop3.0继续保留了2.x的架构风格，但是细节上做了很多的优化和调整。

首先增加的了HDFS擦除编码，它不仅可以为我们节省大量的磁盘空间还可以承受更多的存储故障，这也意味着公司的硬件成本会因为你的技术革新而大大降低;

然后Hadoop3的多Namenode支持意味着高可用更加的彻底，它从原来的一主一备变成了一主多备;

还有Datanode内部的负载均衡，可以防止同一节点下不同硬盘上的数据倾斜。

这一期关于Hadoop3.0新特性的视频可以把大家想知道的知识都告诉大家，而且视频里面还包含了Hdfs运行原理等精粹内容。

作者：尚学先生
链接：https://www.jianshu.com/p/f85ef97b26fb