为了账号安全,请及时绑定邮箱和手机立即绑定

py文件路径问题

/***/hadoop jar /usr/***/hadoop-streaming-2.6.0-cdh5.7.0.jar -files "hdfs_map.py,hdfs_reduce.py"  -input /tmp/test.txt -output /tmp/test/wordCount  -mapper "/***/python hdfs_map.py" -files  -reducer "/***/python  hdfs_reduce.py"

这里老师说的把py文件提交到hadoop里,这个过程在哪里呢?如果没有的话,hadoop怎么知道这命令里的py文件的路径呢?

另外,老师可以详细讲解一下这条命令吗?


正在回答

2 回答

是这样的,你也复制了命令出来,你应该有看到命令里面的-mapper  和-reducer参数,这两个参数的值就是Python程序的路径。    整个命令的含义就是启动一个mapreduce任务,在执行命令的时候需要一些参数,比如指定我们的输入输出,指定我们自己编写的mapreduce程序等等。    可以查看相关命令的帮助获取详细信息

0 回复 有任何疑惑可以回复我~

具体什么问题呢?

0 回复 有任何疑惑可以回复我~

举报

0/150
提交
取消

py文件路径问题

我要回答 关注问题
意见反馈 帮助中心 APP下载
官方微信