-
ssh-copy-id -i hadoop102设置免密码
查看全部 -
linux命令:wget 下载
tar 解压
查看全部 -
hadoop配置:四个hadoop路径/etc/hadoop/core-site.xml,etc/hadoop/mapred-site.xml,etc/hadoop/hdfs-site.xml,etc/hadoop/yarn-site.xml
D:/hadoop-3.0.3/etc/hadoop/hadoop-env.cmd配置
修改mapre-site配不要重复格式化,如果因为格式化出问题,删掉hadoop_repo再格式化一次置--》yare相关配置 以上是所有的xml文件;下面修改hadoop-env.sh文件。后面进行启动
查看全部 -
需要修改core文件夹
其次配置两外一个文件夹hdfss-site。xml文件夹
查看全部 -
source 激活文件
查看全部 -
环境变量配置
查看全部 -
安装jdk
查看全部 -
关闭防火墙
查看全部 -
ipconfig
修改主机名;(临时的)hostname Hadoop
(永久的)vi /etc/system/hostname查看全部 -
环境配置,使用伪虚拟机
查看全部 -
工作环境部署,小的使用官方版本就可以
查看全部 -
大数据生态圈
查看全部 -
yarn资源管理调用
mapreduce分布式集成框架
hdfsf分布式存储系统
查看全部 -
1、数据很大, 写的jdp代码拉数据就会很慢,mysql存在本地磁盘,
所以需要读取磁盘io ,将磁盘数据读到内存,然后用网络将数据传过来 网络io,
将代码移动计算移到数据上的机器上
2:hadlop:做本地局部运算--》将局部运算的结果进行汇总计算->获取最终结果
查看全部 -
存储-》分布式存储(多台机器的存储)
服务器是真正存数据,为了存数据,所以需要找到文件系统
查看全部
举报