-
Hive元数据默认存储Derby数据库中，支持MySQL，Oracle Hive元数据包括表名，列、分区及其属性，表的属性(是否为外部表等)，表的数据所在目录等查看全部
-
存储：Hive保存在HDFS基础架构上 ETL 查询：HQL Hive：将SQL转成M/R Job在Hadoops中执行 Hive的表就是HDFS的目录/文件查看全部
-
OLTP,OLAP 星形模型 雪花模型查看全部
-
5.3. 时间类型 Date: hive-0.12.0开始支持, 格式是: YYYY-MM-DD Timestamp: hive-0.8.0开始支持, 格式是: YYYY-MM-DD HH:MM:SS.fffffffff查看全部
-
5.2. 复杂数据类型 数组类型: array<基本数据类型> 键值,集合类型: map<键名,值> 结构类型: struct 可能包括不同数据类型,通过"点方式"访问查看全部
-
说明: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Types 5.1. 基本数据类型 tinyint/smallint/int/bigint : 整数类型 float/double: 浮点数类型 boolean : 布尔模型查看全部
-
1.3. 远程服务启动方式(通过JDBC或ODBC必须启动) 端口号: 10000 启动方式: hive --service hiveserver查看全部
-
1.2. Web界面方式 启动方式: hive --service hwi & 端口号: 9999 通过浏览器来访问: http://<IP地址>:9999/hwi/ 1. 启动需要安装hive-hwi-*.war 可以从相应的源码中获取,进行 web源码在: apache-hive-0.13.0-src\hwi\web 将web打包成war文件: jar cvfM0 hive-hwi-0.13.0.war -C web/ . (先要进入hwi目录下) 需要配置hive/conf/hive-site.xml说明在: https://cwiki.apache.org/confluence/display/Hive/HiveWebInterface查看全部
-
Hive的管理 1. Hive的启动方式 1.1. CLI(命令行)方式 (hive命令行交互模型) 清屏 Ctrl + L 或者 !clear; 查看数据仓库中的表 show tables; 查看数据仓库中内置的函数 show functions; 查看表结构 desc 表名; 查看HDFS上的文件 dfs -ls 目录; 执行操作系统的命令 !命令; 执行HQL语句 select * from test1; 执行SQL脚本 source 脚本操作系统路径; 如: source /root/my.sql; 开启hive的静默模型 hive -S 在启动CLI时,加上-S参数,将进行hive命令行交互模型 不进行hive交互模型运行命令 hive -e '命令'; 可以配合-S静默模型,如: hive -S -e '命令'查看全部
-
Hive远程模型安装(与Hive本地模类似) 1. 安装MYSQL在一台独立机子上 2. 安装Hive在另一台独立机子上 2.1. 配置hive/conf/hive-site.xml(根据模文件:hive-default.xml.template 创建) 参数文档:https://cwiki.apache.org/confluence/display/Hive/AdminManual+MetastoreAdmin#AdminManualMetastoreAdmin-RemoteMetastoreServer 内容如下: <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://<host name>/<database name>?createDatabaseIfNotExist=true</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> </configuration> 2.2. 运行Hive命令 成功后Hive就会在Mysql中创建相关的表,此时处于hive命令提示符中 2.3. 创建一张Hive表(在hive命令提示符中) create table test1(tid int, tname string); 此时就可以在hive库中查看相关表中有元数据信息查看全部
-
HIVE安装 1. apache-hive-0.13.0-bin传到目标机子 2. 运行./hive 在不任何配置的情况下,就会创建嵌入模型 3. 将HIVE的BIN 加到环境下,即可以在任何目录运行./hive 此命令会在运行此命令的目录生成 元数据存储目录查看全部
-
HIVE的安装 1. 嵌入模型: DERBY嵌入在HIVE中 (用于单机DEMO) 2. 本地模型: 元数据信息存储在MYSQL数据库中 与 HIVE运行在同一台物理机器上 (开发与生产,但生产环境少) 3. 远程模型: MYSQL 与 HIVE 各部署在独立的机子 (一般用于生产环境)查看全部
-
HIVE的元数据 1. HIVE将元数据存储在数据库中(METASTORE),支持MYSQL/DERBY(默认)等数据库 2. HIVE中的元数据包括表的名字,表的列和分区及其属性,表的属性(是否为外部表等),表的数据所在目录等查看全部
-
HIVE是SQL解析引擎,它将SQL语句转换成M/R JOB 然后在HADOOP上执行 HIVE的表其实就是HDFS的目录/文件:表即目录,数据即文件查看全部
-
HIVE数据为仓库与传统的数据存储的区别 1. 传统存储在ORACLE,MYSQL数据库中 2. 而HIVE存储在HADOOP HDFS上查看全部
举报
0/150
提交
取消