为了账号安全,请及时绑定邮箱和手机立即绑定

Hadoop进阶

mooc小牧 JAVA开发工程师
难度中级
时长 3小时 3分
学习人数
综合评分9.77
31人评价 查看评价
9.9 内容实用
9.5 简洁易懂
9.9 逻辑清晰
hadoop 1.2.1版本,代码如下:
DistributedCache.addCacheFile(new URI(uriWithLink), conf);

在eclipse下运行,提示:
WARN mapred.LocalJobRunner: LocalJobRunner does not support symlinking into current working dir.
感谢老师的讲解
代码已写好 继续补充

https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
代码已写好 继续补充

https://github.com/HbnKing/interview/blob/master/src/main/java/com/interview/bigdata/mapreduce/Demo2_DstributeMemory.java
啦啦啦,前排
按照您的代码,执行报错,错误如下:
java.io.FileNotFoundException: matrix2 (拒绝访问。)

提示在缓存目录中没有找到matrix2

解决方法是把
private static String cache = "/matrix/step1_output";
改为
private static String cache = "/matrix/step1_output/part-r-00000";

这样让路径直接找输出矩阵所在的文件,它的别名才起作用。

希望能帮到后面学习的小伙伴!
我是一脸懵逼的进来,一脸惊讶的出去。
听着想睡觉
这里都是原理,没什么好说的啊,照着读也懂,
我记得配置文件有7个,hadoop-env.sh和yarn-env.sh里面配置jdk环境变量,core-site.xml配置核心组件,
hdfs-site.xml配置文件系统,yarn-site.xml配置文件系统,mapred-site.xml配置计算框架,还有一个slaves里面写从节点的主机名
二楼,哈哈,赶上大部队
五楼,也算靠前
沙发是我的
articulating teacher,clear mind.thanks a lot!
课程须知
1、在学习本课程之前,需要学习hadoop课程基础篇,即掌握MapReduce作业的基本步骤。 2、需要掌握线性代数、向量等的基本数学知识
老师告诉你能学到什么?
1、hadoop新旧版本的基本架构 2、mapreduce作业的内部原理 3、mapreduce作业重要参数的调优 4、利用hadoop缓存实现矩阵相乘 5、简单的推荐算法

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消