快速入门Hadoop3.0大数据处理_技术问答

首页免费课快速入门Hadoop3.0大数据处理问答

快速入门Hadoop3.0大数据处理

                
                徐老师
            
                    查看讲师更多课程 
                    徐老师讲师的其他课程
                
徐老师带你新一代分布式调度工具-DolphinScheduler
中级·1000
免费课程
                                
徐老师带你入门新一代流式数据湖新秀--Apache Paimon
中级·789
免费课程
                                
徐老师带你 2小时 Flink SQL快速上手
中级·877
免费课程
                                
《大数据开发2024》体验课
入门·1433
免费课程
                                
3小时开启大数据之门
慕课微课·初级·391

                                                                                                                                    ￥68.00
                                            
                难度初级
            
                时长 5小时30分
            
                学习人数
            
综合评分9.77
                            18人评价
                        查看评价
                                10.0
                                内容实用
                            
                                9.6
                                简洁易懂
                            
                                9.7
                                逻辑清晰

全部评论问答未解决精华

有没有什么好的方法造大量数据的

讲师回答 / 徐老师

如果想要构造某种格式的大量数据，可以自己写一个代码循环进行迭代即可，在循环内部按照一定格式组装数据，最后通过输出日志或者直接写文件的方式就可以得到对应的大量数据了。

1 回答 253 浏览

2023-02-14

上课会给相关的软件安装包吗

讲师回答 / 徐老师

课程中需要用到的软件安装包、以及相关代码都在网盘中了：链接：https://pan.baidu.com/s/1LaTqzY5NR9pv5-Xg5sWWOA 提取码：1234

1 回答 272 浏览 3-4 Hadoop分布式集群安装部署

2022-12-23

此案例中的测试数据在这里

讲师回答 / 徐老师

json数据的资料、sqoop相关的资料已经上传到这个网盘链接中了链接：https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ 提取码：dy6j

1 回答 273 浏览 7-1 案例需求分析

2022-12-12

YangyuChen

数据去哪里拿呀

1 7-1 案例需求分析

2022-11-10

namenode启动失败

讲师回答 / 徐老师

这个课程中的问题无法实时推送给我这个账号，所以回复的比较晚，一般我会隔几天来看一下大家提的问题，最近比较忙，中间耽搁的时间就长了一些，抱歉

2 回答 310 浏览 3-2 Hadoop伪分布集群安装部署（上）

2022-11-07

Hadoop里面其实包含了HDFS集群和YARN集群。根据你的意思来看应该是说的HDFS的主节点NameNode把，如果NameNode节点对应的内存满了，可以考虑使用federation联邦机制（需要用到多个NameNode节点），这样可以提高NameNode节点的存储能力。此时每个NameNode负责维护一个命名空间，命名空间简单理解就是一个HDFS目录，这个HDFS目录下文件的元数据信息就存储在对应的这个NameNode内存中。其他的NameNode负责维护其他的命名空间，这样整个HDFS集群的存储...

1 回答 448 浏览 4-4 HDFS体系结构详解

2022-09-07

请问启动后 jps为啥只显示了一个datanode进程

+ 我来回答回答最高可+2积分

0 回答 177 浏览

2022-08-04

老师，hadoop jps 从服务器只有jps ，主服务器 data 目录下没有文件，但显示success

讲师回答 / 徐老师

看起来像是没有格式化成功。最直接的定位方法是查看/data/hadoop_repo目录下的日志文件，进程没有成功启动的话在对应的日志文件中会有报错信息

1 回答 374 浏览 3-4 Hadoop分布式集群安装部署

2022-03-18

慕莱坞3524706

收获颇多，徐老师技术过硬。

0 7-8 web项目展示结果

2022-03-08

导入失败，失败的原因会是哪些呢？

已采纳回答 / 徐老师

sqoop底层会生成mapreduce任务，所以在控制台看不到错误的具体信息，需要到YARN界面中查看任务的具体报错信息。根据你这个业务来分析的话，是从hdfs中将数据导出到mysql中，大概率是由于hdfs中数据的mysql中表的字段个数、或者字段类型不匹配导致的问题，想要定位到具体问题，还是要到YARN上查看这个任务的具体错误日志才能真正定位

1 回答 494 浏览 7-7 使用Sqoop将计算结果导出到Mysql

2022-02-07