hadoop 1.2.1版本,代码如下:
DistributedCache.addCacheFile(new URI(uriWithLink), conf);
在eclipse下运行,提示:
WARN mapred.LocalJobRunner: LocalJobRunner does not support symlinking into current working dir.
DistributedCache.addCacheFile(new URI(uriWithLink), conf);
在eclipse下运行,提示:
WARN mapred.LocalJobRunner: LocalJobRunner does not support symlinking into current working dir.
2017-10-20
代码已写好 继续补充
https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
2017-10-19
代码已写好 继续补充
https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
2017-10-19
按照您的代码,执行报错,错误如下:
java.io.FileNotFoundException: matrix2 (拒绝访问。)
提示在缓存目录中没有找到matrix2
解决方法是把
private static String cache = "/matrix/step1_output";
改为
private static String cache = "/matrix/step1_output/part-r-00000";
这样让路径直接找输出矩阵所在的文件,它的别名才起作用。
希望能帮到后面学习的小伙伴!
java.io.FileNotFoundException: matrix2 (拒绝访问。)
提示在缓存目录中没有找到matrix2
解决方法是把
private static String cache = "/matrix/step1_output";
改为
private static String cache = "/matrix/step1_output/part-r-00000";
这样让路径直接找输出矩阵所在的文件,它的别名才起作用。
希望能帮到后面学习的小伙伴!
2017-10-13
我记得配置文件有7个,hadoop-env.sh和yarn-env.sh里面配置jdk环境变量,core-site.xml配置核心组件,
hdfs-site.xml配置文件系统,yarn-site.xml配置文件系统,mapred-site.xml配置计算框架,还有一个slaves里面写从节点的主机名
hdfs-site.xml配置文件系统,yarn-site.xml配置文件系统,mapred-site.xml配置计算框架,还有一个slaves里面写从节点的主机名
2017-09-29