快速入门Hadoop3.0大数据处理_技术问答

首页免费课快速入门Hadoop3.0大数据处理问答

快速入门Hadoop3.0大数据处理

                
                徐老师
            
                    查看讲师更多课程 
                    徐老师讲师的其他课程
                
徐老师带你新一代分布式调度工具-DolphinScheduler
中级·1027
免费课程
                                
徐老师带你入门新一代流式数据湖新秀--Apache Paimon
中级·816
免费课程
                                
徐老师带你 2小时 Flink SQL快速上手
中级·914
免费课程
                                
《大数据开发2024》体验课
入门·1470
免费课程
                                
3小时开启大数据之门
慕课微课·初级·391

                                                                                                                                    ￥68.00
                                            
                难度初级
            
                时长 5小时30分
            
                学习人数
            
综合评分9.77
                            18人评价
                        查看评价
                                10.0
                                内容实用
                            
                                9.6
                                简洁易懂
                            
                                9.7
                                逻辑清晰

全部评论问答未解决精华

有没有什么好的方法造大量数据的

讲师回答 / 徐老师

如果想要构造某种格式的大量数据，可以自己写一个代码循环进行迭代即可，在循环内部按照一定格式组装数据，最后通过输出日志或者直接写文件的方式就可以得到对应的大量数据了。

1 回答 260 浏览

2023-02-14

上课会给相关的软件安装包吗

讲师回答 / 徐老师

课程中需要用到的软件安装包、以及相关代码都在网盘中了：链接：https://pan.baidu.com/s/1LaTqzY5NR9pv5-Xg5sWWOA 提取码：1234

1 回答 275 浏览 3-4 Hadoop分布式集群安装部署

2022-12-23

此案例中的测试数据在这里

讲师回答 / 徐老师

json数据的资料、sqoop相关的资料已经上传到这个网盘链接中了链接：https://pan.baidu.com/s/1AhKOkvsob_ugADZaQc6RlQ 提取码：dy6j

1 回答 283 浏览 7-1 案例需求分析

2022-12-12

namenode启动失败

讲师回答 / 徐老师

这个课程中的问题无法实时推送给我这个账号，所以回复的比较晚，一般我会隔几天来看一下大家提的问题，最近比较忙，中间耽搁的时间就长了一些，抱歉

2 回答 322 浏览 3-2 Hadoop伪分布集群安装部署（上）

2022-11-07

Hadoop里面其实包含了HDFS集群和YARN集群。根据你的意思来看应该是说的HDFS的主节点NameNode把，如果NameNode节点对应的内存满了，可以考虑使用federation联邦机制（需要用到多个NameNode节点），这样可以提高NameNode节点的存储能力。此时每个NameNode负责维护一个命名空间，命名空间简单理解就是一个HDFS目录，这个HDFS目录下文件的元数据信息就存储在对应的这个NameNode内存中。其他的NameNode负责维护其他的命名空间，这样整个HDFS集群的存储...

1 回答 455 浏览 4-4 HDFS体系结构详解

2022-09-07

老师，hadoop jps 从服务器只有jps ，主服务器 data 目录下没有文件，但显示success

讲师回答 / 徐老师

看起来像是没有格式化成功。最直接的定位方法是查看/data/hadoop_repo目录下的日志文件，进程没有成功启动的话在对应的日志文件中会有报错信息

1 回答 385 浏览 3-4 Hadoop分布式集群安装部署

2022-03-18

任务提交成功，但是一直没有执行结果

讲师回答 / 徐老师

不好意思，刚看到，解决了就好，这种情况基本上都是集群配置层面的问题

1 回答 1249 浏览 5-5 MapReduce任务日志查看

2021-11-05

客户端如何安装？

讲师回答 / 徐老师

客户端机器的配置和集群机器的配置保持完全一样即可，唯一的区别是，客户端节点上不需要启动任何进程。其实最简单的做法就是把集群中修改好配置的hadoop安装包直接拷贝到客户端节点即可

1 回答 419 浏览 3-5 Hadoop客户端节点安装介绍

2021-05-10

jps可以，浏览器连接超时

讲师回答 / 徐老师

应该是防火墙没关导致的

2 回答 509 浏览 3-3 Hadoop伪分布集群安装部署（下）

2021-04-10

课程资料发一下吧

讲师回答 / 徐老师

课程代码在这链接：https://pan.baidu.com/s/1JJ5AHDOd3gIXJmo6g08Btg 提取码：ghbt

2 回答 532 浏览 4-4 HDFS体系结构详解

2021-01-23

key value之间的分隔符

讲师回答 / 徐老师

空格和制表符直接看起来不好区分，在videoinfowritable的tostring方法中使用的制表符你要是想验证的话，可以把tostring方法中的制表符改为逗号，再跑一下代码就会发现结果中是用逗号分割的了

1 回答 515 浏览 7-3 数据指标统计---基于主播维度指标

2020-12-29

本地测试代码

讲师回答 / 徐老师

mapreduce代码默认不支持直接在本地调试

1 回答 452 浏览 7-2 原始数据清洗代码实现

2020-12-29

提交到jar包到hadoop集群后没有任何反应，也不报错，代码和老师的对了好几遍应该没错。应该是什么问题呢？非常感谢老师解决

讲师回答 / 徐老师

你到8088界面中查看了吗，能不能看到任务信息很奇怪，没有任何输出信息你这样执行一下试试，使用hadoop内置的wordcount案例hadoop jar hadoop-3.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar wordcount /input /output你可以加一下慕课的大数据学习qun 938632081 方便沟通

3 回答 1006 浏览 5-4 WordCount代码开发

2020-12-12