-
hadoop梗概，全文总结，java脚本
查看全部 -
hadoop梗概，全文总结，java脚本
查看全部 -
原始数据代码清洗步骤
查看全部 -
原始数据代码清洗步骤
查看全部 -
1、HDFS
负责海量数据的分布式存储。
支持主从结构：主节点支持多个NameNode，从节点支持多个DataNode。
NameNode负责接收用户请求，维护目录系统的目录结构；DataNode主要负责存储数据。
2、YARN
负责管理集群资源的管理和调度，包括CPU和内存，支持主从结构；主节点最多可以有2个，从节点可以有多个。
主节点（ResourceManager）进程主要负责集群资源的分配和管理。
从节点（NodeManager）主要负责单节点资源管理。
3、MapReduce
计算框架之一。
编程模型，主要负责海量数据计算，主要由两个阶段组成：Map和Reduce。
Map阶段是一个独立的程序，会在很多个节点上同时执行，每个节点处理一部分数据。
Reduce阶段也是一个独立的程序，可以理解未一个单独的居合程序。
查看全部 -
NameNode总结：
查看全部 -
DataNode介绍：
查看全部 -
SecondaryNameNode介绍：
查看全部 -
NameNode介绍：
查看全部 -
HDFS包含：
查看全部 -
防火墙状态查看
centos 6
service iptables status
临时关闭
service iptables stop
开机启动移除
chkconfig iptables off
查看全部 -
Hadoop3中的三大组件的基本理论和实际操作
Hadoop3的使用，掌握企业实际开发流程
实际案例
查看全部 -
快入入门知识点
查看全部 -
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log.server.url</name>
<value>http://Hadoop:19888/jobhistory/logs/</value>
</property>
查看全部 -
分布式
查看全部 -
hadoop三大部分：
分布式存储
分布式计算
集群资源管理
Spark、Flink都会使用资源管理
查看全部 -
hdfs不适合存小文件查看全部
-
使用第三个HDP
查看全部 -
常见框架。
查看全部
举报