走近大数据之Hive入门_技术问答

首页免费课走近大数据之Hive入门问答

走近大数据之Hive入门

                
                赵强老师
            数据库工程师

                    查看讲师更多课程 
                    赵强老师讲师的其他课程
                
Oracle高级查询
初级·62861
免费课程
                                
Oracle触发器
初级·36886
免费课程
                                
Oracle存储过程和自定义函数
初级·56308
免费课程
                                
Oracle数据库开发必备利器之PL/SQL基础
初级·75048
免费课程
                                
                难度初级
            
                时长 2小时21分
            
                学习人数
            
综合评分9.83
                            98人评价
                        查看评价
                                10.0
                                内容实用
                            
                                9.8
                                简洁易懂
                            
                                9.7
                                逻辑清晰

全部评论问答未解决精华

qq_咿呀喂_0

清华的员
https://mirrors.tuna.tsinghua.edu.cn/apache/hive

0 3-2 Hive安装之嵌入模式

2018-07-12

qq_咿呀喂_0

https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

0 3-2 Hive安装之嵌入模式

2018-07-12

白小明

## Hive 数据类型
基本数据类型：
- 整型：tinyint/smallint/int/bifint
- 浮点型：float/double
- 布尔型：boolean
- 字符串型：string/varchar/char

时间类型：
- Date：从 Hive 0.12 开始支持
- Timestamp：从 Hive 0.8 开始支持

复杂数据类型：
- Array：数组类型，由一系列具有相同数据类型的元素组成
- Map：集合类型，键值对（key/value）形式，可以通过key来访问元素
- Struct：结构类型，包含不同数据类型的元素，这些元素可以通过“点语法”访问元素。

2 5-1 Hive的数据类型之基本数据类型

2018-06-16

白小明

常见的 Hive CLI 命令：

清屏：Ctrl + L 或者 !clear;
查看数据仓库中的表：show tables;
查看数据仓库中的内置函数：show functions;
查看表结构：desc tb_name;或describe tb_name
查看 HDFS 上的文件：dfs -ls hdfs_dir;
执行Linux操作系统的命令：!命令;
执行SQL脚本：source SQL文件，与MySQL一样。
执行HQL语句：select * from tb_name;

1 4-2 Hive的管理之web界面方式

2018-06-16

白小明

启动Hive报错，需要修改MySQL数据库权限，使其能够远程登录：
grant all privileges on hive.* to root@'%' identified by '123456';

若报以下错误：FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask...，则需要修改MySQL字符集：
alter database hive character set latin1;

1 3-3 Hive安装之远程模式和本地模式

2018-06-16

白小明

Hive 有三种安装模式：

1. 嵌入模式：元数据信息存储在 Hive 自带的 Apache Derby 数据库中；只允许创建一个连接；多用于 demo。
2. 本地模式：与嵌入模式很类似，只是元数据信息存储在另外的数据库（通常是 MySQL）中；MySQL 数据库与 Hive 数据仓库运行在同一台物理机器上；多用于开发和测试。
3. 远程模式：与本地模式很类似，只是元数据信息存储在另外一台机器上的 MySQL 数据库中；允许创建多个连接；==推荐在生产环境中使用==。

1 3-2 Hive安装之嵌入模式

2018-06-16

白小明

Hive 中的元数据包括表名、列名、分区及其属性、表的属性（是否为外部表等）、表的数据所在的目录等。

Hive 将元数据存储在数据库（metastore）中，支持 Apache Derby、MySQL、Oracle 等数据库，元数据默认存储在 Apache Derby 中。

2 2-1 Hive的体系结构之元数据

2018-06-16

白小明

## OLTP 与 OLAP

当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-line transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。

- OLTP 是传统的关系型数据库的主要应用，主要是一些事务处理，例如银行交易，所以 OLTP 也被称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。
- OLAP 是数据仓库系统的主要应用，专门设计用于支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

4 1-2 数据仓库简介

2018-06-16

白小明

Hive 官网：https://hive.apache.org

Hive[haɪv]是构建在 Hadoop HDFS 之上的一个数据仓库工具，通过它可以实现将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，同时将 SQL语句转换 MapReduce 任务进行执行。

利用 Hive，你可以不用编写复杂的 Hadoop 应用程序，你只需要写一个 SQL，Hive 就会把它转换成一个 Hadoop MapReduce 任务去执行，极大地方便了 Hadoop 程序的开发。

5 1-1 课程概述

2018-06-15