为了账号安全,请及时绑定邮箱和手机立即绑定

认识Hadoop--基础篇

Kit_Ren Linux系统工程师
难度初级
时长 1小时22分
学习人数
综合评分9.17
211人评价 查看评价
9.4 内容实用
9.1 简洁易懂
9.0 逻辑清晰
老师,我的hadoop最后启动的时候,多了一个进程,application,有影响么
老师,我的所有都跟你一样,输入三次密码的时候显示的内容都是一样的,,但是唯独一点,就是jps最后只显示三个运行进程,分别是:24713 jps,23898 namenode,990 application!!
vim /etc/profile

配置环境变量

export JAVA_HOME=/jdk路径

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/lib:$JRE_HOME/lib:$PATH

让配置生效

source /etc/profile
视频太老了,所有就面粉。还用还用Hadoop1.X的版本。
Hive: 使用SQL语句查询Hadoop数据
HBase: 存储结构化数据的分布式数据库(放弃了事务),实现对表数据的读写功能;
Zookeeper: 监控节点状态,维护节点配置,保持节点间的一致性,
优势:高扩展;低成本;成熟的生态圈
人才需求:开发,运维
Hadoop的两个核心组成:

1、HDFS:分布式文件系统,存储海量的数据。

2、MapReduce:并行处理框架,实现任务分解和调度。
客户端发送文件读请求——>namenode返回元数据(从哪些datanode找到)——>客户端读取block,下载下来之后组装;
客户端文件拆分成block——>通知namenode返回可用的 有足够磁盘空间的datanode——>客户端对block进行写入——>流水线复制——>更新元数据

最赞回答 / 没有梦想的咸魚
因为的确不存在此目录,你必须先创建文件夹才可以试试hadoop fs -mkdir -p /user这样就在根目录下创建了user文件夹然后你在试试hadoop fs -ls /
书签 20180413

最新回答 / 慕码人9562199
https://blog.csdn.net/coffeeandice/article/details/78879151  设置免密登陆
课程须知
本课程需要童鞋们提前掌握Linux的操作以及Java开发的相关知识。对相关内容不熟悉的童鞋,可以先去《Linux达人养成计划Ⅰ》以及《Java入门第一季》进行修炼~~
老师告诉你能学到什么?
1、Google的大数据技术 2、Hadoop的架构设计 3、Hadoop的使用 4、Hadoop的配置与管理

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消