讲师回答 / 徐老师
如果想要构造某种格式的大量数据，可以自己写一个代码循环进行迭代即可，在循环内部按照一定格式组装数据，最后通过输出日志或者直接写文件的方式就可以得到对应的大量数据了。
2023-02-14
讲师回答 / 徐老师
课程中需要用到的软件安装包、以及相关代码都在网盘中了：链接：https://pan.baidu.com/s/1LaTqzY5NR9pv5-Xg5sWWOA 提取码：1234
2022-12-23
讲师回答 / 徐老师
json数据的资料、sqoop相关的资料已经上传到这个网盘链接中了链接：https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ 提取码：dy6j
2022-12-12
讲师回答 / 徐老师
Hadoop里面其实包含了HDFS集群和YARN集群。根据你的意思来看应该是说的HDFS的主节点NameNode把，如果NameNode节点对应的内存满了，可以考虑使用federation联邦机制（需要用到多个NameNode节点），这样可以提高NameNode节点的存储能力。此时每个NameNode负责维护一个命名空间，命名空间简单理解就是一个HDFS目录，这个HDFS目录下文件的元数据信息就存储在对应的这个NameNode内存中。其他的NameNode负责维护其他的命名空间，这样整个HDFS集群的存储...
2022-09-07
已采纳回答 / 徐老师
sqoop底层会生成mapreduce任务，所以在控制台看不到错误的具体信息，需要到YARN界面中查看任务的具体报错信息。根据你这个业务来分析的话，是从hdfs中将数据导出到mysql中，大概率是由于hdfs中数据的mysql中表的字段个数、或者字段类型不匹配导致的问题，想要定位到具体问题，还是要到YARN上查看这个任务的具体错误日志才能真正定位
2022-02-07
已采纳回答 / 徐老师
核心错误日志是这一句：Caused by: java.net.UnknownHostException: hadoop100表示不认识hadoop100这个主机名，需要配置hostname以及/etc/hosts
2021-10-24
讲师回答 / 徐老师
客户端机器的配置和集群机器的配置保持完全一样即可，唯一的区别是，客户端节点上不需要启动任何进程。其实最简单的做法就是把集群中修改好配置的hadoop安装包直接拷贝到客户端节点即可
2021-05-10
最新回答 / 慕哥6429941
9870端口无法打开https://blog.csdn.net/weixin_45094136/article/details/115349017另外要查看防火墙是否真的关闭了我安装的时候9870,8088这2个端口都打不开就是这2个问题造成的
2021-03-17