讲师回答 / 徐老师
failed on connection exception: java.net.ConnectException: 是连接拒绝的意思，表示这台机器上的hadoop服务没有启动，或者是启动失败了，你可以jps查看一下，进程是否都在，如果不在的话需要查看日志排查一下为什么启动失败了
2020-02-15
讲师回答 / 徐老师
DateUtils代码：package test.top10;import java.text.SimpleDateFormat;import java.util.Date;/** * 日期工具类 */public class DateUtils { private static SimpleDateFormat sdf1 = new SimpleDateFormat("yyyyMMdd"); private static SimpleDateFormat sdf2 = new SimpleD...
2020-02-15
最赞回答 / qq_慕斯2033129
/创建静态内部类MyMapper public static class MyMapper extends Mapper<LongWritable,Text,Text,LongWritable>{ //调用自带的map（）函数 protected void map(LongWritable k1,Text v1,Context context) throws IOException,InterruptedException{ //k1代表的是每一行的偏移量，v1代表的是每一行的内容...
2020-02-12
讲师回答 / 徐老师
hadoop的mapred-site.xml yarn-site.xml core-cite.xml 等配置文件中的配置较多，此课程中暂时没有针对里面的参数做详细解释，如果对这块感兴趣的话可以先到网上查找一下公开资料，后面会有针对hadoop的高级课程会分析里面的参数?
2020-02-08
讲师回答 / 徐老师
java.lang.NullPointerException at com.hadoop.dataclean.datacleanmap.map(datacleanmap.java:27)根据这个错误提示，可以看出来是datacleanmap.java的第27行代码出现了空指针异常，这个属于原始数据有问题了，需要排查一下原始数据还有就是通过System.out.println(id);能在日志中打印出来，说明代码本身没有问题，由于某些行的数据有问题导致在解析数据的时候失败了，这里的数据是json格式的，要仔...
2020-02-05
讲师回答 / 徐老师
这里没法上传文件，我把数据格式给你发一部分，你可以参考这个格式{"id":"158008900435","uid":"120010010445","nickname":"jack435","gold":445,"watchnumpv":4350,"watchnumuv":870,"hots":1305,"nofollower":435,"looktime":8700,"smlook":2175,"follower":1740,"gifter":870,"length":2610,"area":"A_US"...
2020-01-25
讲师回答 / 徐老师
执行ssh-keygen是为了做免密码登录的，因为hadoop在启动的时候默认会使用ssh 命令免密码登录到对应的机器启动集群的相关服务，不管是单机还是集群都是这个流程
2019-12-21