Hadoop基础及演练_技术问答

首页免费课 Hadoop基础及演练问答

Hadoop基础及演练

                
                叁金
            JAVA开发工程师

                    查看讲师更多课程 
                    叁金讲师的其他课程
                
玩转热门框架 用企业级思维 开发通用够硬的大数据平台
实战·中级·479

                                                                                                                                    ￥448.00
                                            
多层次构建企业级大数据平台， 成就全能型大数据开发
实战·高级·137

                                                                                                                                    ￥599.00
                                            
ChatGPT入门实战课 AI提效大数据开发平台建设
实战·初级·237

                                                                                                                                    ￥168.00
                                            
Calcite数据管理与SQL优化实战
初级·1103
免费课程
                                
Presto实战与演练
中级·3853
免费课程
                                
                难度初级
            
                时长 1小时 6分
            
                学习人数
            
综合评分9.30
                            51人评价
                        查看评价
                                9.4
                                内容实用
                            
                                9.1
                                简洁易懂
                            
                                9.4
                                逻辑清晰

全部评论问答未解决精华

为何写流程中是由DataNode1通知DataNode2，再由DataNode2通知DataNode3，而不是DataNode1同时通知DataNode2和DataNode3？

讲师回答 / 叁金

在向HDFS的写操作中，不得不提一下“数据流管道”。数据流管道在Google实现他们的分布式文件系统(GFS)时就已引入，其目的是：在写一份数据的多个副本时，可以充分利用集群中每一台机器的带宽，避免网络瓶颈和高延时的连接，最小化推送所有数据的延时。其实这里我可能表述的不太准确，Client在保存数据的过程当中，将数据发送到第一个数据节点DateNode 1，然后在第一个DateNode节点在本地保存数据的同时，将数据推送到第二个数据节点DateNode 2，同理在第二个节点本地保存数据的同时，也会由...

3 回答 1890 浏览 2-2 HDFS写流程和读流程

2018-01-23

编写方法内的问题

已采纳回答 / 叁金

<...code...>这里没问题的。out赋值的是内容，并不是data的长度。你可以看一下python的文件IO相关的操作，read方法传入的是长度，这段代码的含义是打开某个文件，并从其中读出长度为len(data)的数据保存到out里面。

2 回答 972 浏览 2-4 Python程序操作HDFS

2018-01-21

cyanist

关于 hadoop 在 Mac OS X 上的安装，大家可以参考这篇比较详细的教程：https://zhuanlan.zhihu.com/p/33117305

2 2-3 Shell命令操作HDFS

2018-01-20

u148

mark mark

0 2-3 Shell命令操作HDFS

2018-01-20

pycharm不能导入hdfs3

讲师回答 / 叁金

首先，建议使用anaconda的python科学计算集成环境，利用conda去管理python相关的模块，如果你用的是anaconda你可以尝试以下命令：<...code...>

2 回答 2532 浏览 2-4 Python程序操作HDFS

2018-01-18

梨落

1. 大数据是一门以Hadoop为代表的大数据平台框架上进行各种数据分析的技术。
2. 具体说，大数据平台基础框架包括了Hadoop和Spark为代表的基础大数据框架。
3. 具体说，各种数据分析技术包括实事数据处理技术、离线处理技术；数据分析、数据挖掘和用机器算法进行预测分析等技术。

4 1-1 大数据方向介绍

2018-01-16

慕容304155

谢谢老师！

0 4-1 Hadoop总结及延伸思考

2018-01-14

Geoion

考自学学到级大数据开发工程师，这想法不错

0 1-1 大数据方向介绍

2018-01-14

o_cboy

希望老师能出一个spark的详细教程

0 4-4 Spark简介

2018-01-12

o_cboy

能出一个详细的教程吗？

1 4-3 HBase简介

2018-01-12

叁金

系统环境为 Ubuntu14.04 （一直用懒得升级）大家可以用用 16、17 什么的。
Python 版本为2.7.13 by Anaconda2 自带iPython
Hadoop 版本为2.7.2
开发工具为 PyCharm
Anaconda是一个用于科学计算的Python发行版，支持Linux, Mac, Windows系统(建议大家使用linux学习。。。)，提供了包管理与环境管理的功能，可以很方便地解决多版本Python并存、切换以及各种第三方包安装问题。墙裂推荐！！！非常好用。
各位老铁顶我上去，让大家都看到。。。

2018-01-11

果不其然

老师用的ubuntu的哪个版本的操作系统

1 2-4 Python程序操作HDFS

2018-01-10

干枯的海绵

讲的简单易懂，把深奥的理论用几乎白话文讲出来，给老师大大的攒

2 1-2 课程简介及目标

2018-01-10

老师，python调用hdfs3,提示找不到libhdfs3，有没有Python Hadoop开发环境搭建说明

讲师回答 / 叁金

首先，建议使用anaconda的python科学计算集成环境，利用conda去管理python相关的模块，其也会管理用到的c++模块，如果你用的是anaconda你可以尝试以下命令：<...code...>如果你不是anaconda环境，ubuntu系统可以尝试：<...code...>其他的可以直接搜索github libhdfs3 进行编译安装。python访问hdfs除了hdfs3还有其他模块可以使用比如snakebite等，大家也可以看看其使用方式

4 回答 5929 浏览 2-4 Python程序操作HDFS

2018-01-09