                        课程
                    
                        /云计算&大数据
                        
                            /大数据
                        
                        /认识Hadoop--基础篇

在mac上怎么配置环境呢?

慕粉092343214

2016-12-15

源自：认识Hadoop--基础篇 2-4

关注问题我要回答

1249

操作

收起

3 回答

lishuai_Dev
2016-12-15

直接 homebrew 安装，安装 Scala 命令： brew install scala，sbt 命令： brew install sbt, 如果安装 sbt 遇到promis denied ，cd 到error中的目录(应该是etc)，在显示简介中打开 everyone 权限。

0 回复有任何疑惑可以回复我~

收起回答

小铁木尔
2016-12-15

好了~吱一声

0 回复有任何疑惑可以回复我~

收起回答

小铁木尔
2016-12-15

获取Hadoop
具体的地址自己百度吧。我下载的是1.0.4的stable版本。
下载完之后解压缩，我这里放置的目录是/users/Billy/Hadoop。
配置mac os 自身环境
这个主要是配置ssh环境。先在terminal里面输入
ssh localhost
会有错误提示信息，表示当前用户没有权限。这个多半是系统为安全考虑，默认设置的。更改设置如下：进入system preference --> sharing --> 勾选remote login，并设置allow access for all users。再次输入“ssh localhost"，再输入密码并确认之后，可以看到ssh成功。
不过这里面还有一个麻烦，就是每次都会要求输入用户密码。《Hadoop实战》提供了一种免登陆的方法。首先，输入
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
ssh-keygen表示生成秘钥；-t表示秘钥类型；-P用于提供密语；-f指定生成的秘钥文件。这个命令在”~/.ssh/“文件夹下创建两个文件id_dsa和id_dsa.pub，是ssh的一对儿私钥和公钥。接下来，将公钥追加到授权的key中去，输入：
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
设置环境变量
在实际启动Hadoop之前，有三个文件需要进行配置。
但在这之前，我们需要设置一下几个类似Windows的环境变量，方便以后在命令行敲命令。
export HADOOP_HOME=/users/billy/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

配置hadoop-env.sh
在Hadoop->conf目录下，找到hadoop-env.sh，打开编辑进行如下设置：
export JAVA_HOME=/library/Java/Home（去掉注释）
export HADOOP_HEAPSIZE=2000（去掉注释）
export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"（去掉注释）
注意第三个配置在OS X上最好进行配置，否则会报“Unable to load realm info from SCDynamicStore”。
配置core-site.xml
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/users/billy/hadoop/tmp/hadoop-${user.name}</value>
<description>A base for other temporary directories.</description>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>
配置hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:8021</value>
</property>
<property>
<name>mapred.tasktracker.map.tasks.maximum</name>
<value>2</value>
</property>
<property>
<name>mapred.tasktracker.reduce.tasks.maximum</name>
<value>2</value>
</property>
</configuration>
安装HDFS
经过以上的配置，就可以进行HDFS的安装了。
$HADOOP_HOME/bin/hadoop name node -format
如果顺利的话，会得到类似如下的输出：
BillymatoMacBook-Air:hadoop Billy$ $HADOOP_HOME/bin/hadoop namenode -format
Warning: $HADOOP_HOME is deprecated.
以上安装完成。