3 回答
TA贡献1796条经验 获得超4个赞
在平台方面,hadoop环境需要搭建在linux服务器上,首先需要了解Linux的基础知识与命令;
开发方面,hadoop首先是个提供大数据存储的平台,因此我们要使用其存储功能,因此需要掌握其数据操作的api(scala api 或者 java api);其次是hadoop是大数据分析的数据源,熟悉对大数据的 分析/使用 方法(spark/map-reduce技术,都有scala 和 java两种api)。
因此,学习hadoop必须掌握scala或者java中的一门开发语言,然后在学习hadoop数据操作命令,api,spark/map-reduce分析技术。
另外,还可以学习hbase这种基于hdfs的结构化大数据存储技术,和flume大数据采集技术。
TA贡献1799条经验 获得超6个赞
1.大数据支持很多开发语言,但企业用的最多的还是java,所以并不是完全需要,有其它语言基础也可以,同时hadoop是由java编写的,要想深入学习,学习java是有必要的。
2.于此,hadoop一般在工业环境大部分是运行在linux环境下,hadoop是用java实现的。所以最好是熟悉linux环境下编程。至于java做到看得懂比较好,遇到问题可以看看源码从而找出问题在哪。所以如果你想操作hadoop的话,需要java知识:比如IO流,JDBC之类,更是要重点掌握。
3.其实,如果要进行Hadoop开发领域,那么编码知识是必须的。没有java 或python的知识,你不能成为hadoop开发人员的主人。所以,这完全取决于具体方面。
但是,在所有方面都是必须的,这是基本知识和基础知识。一般建议在选择任何方面的第一个主题之前,如果有Java和Python的知识,那么这是一个额外的优势。如果想掌握大数据,那么首先要了解一下为什么应该学习大数据,为什么大数据出现在哪里,大数据等等。如今,每个人都在学习hadoop,所以如果想在hadoop开始你的职业生涯,那么需要了解什么是大数据。很多人在理解大数据时往往会盲目地认为处理大量数据就是大数据,稍懂一些的人往往认为学习大数据就是学习hadoop。
- 3 回答
- 0 关注
- 1661 浏览
添加回答
举报