-
分区表：Partition Partition对应于数据库的Partition列的密集索引，在Hive中，表的一个Partition对应于表下的一个子目录，所有的Partition的数据都存储在对应的目录下面。 分区的条件是什么？？？？根据这个条件，对表进行分区，主要在查询的做了优化，提高了查询的效率。 create table Partition_table(sid,int,sname sting)Partitioned by (gender string)row format delimited fields terminated by ','; desc Partition_table; insert into table Partition_table(gender='M')select sid,sname from from sample_data where gender='M' -- insert into table Partition_table(gender='F')select sid,sname from from sample_data where gender='F' 当数据量很大的时候，进行分区可以提高查询的效率。 那怎么知道效率提高了呢？ 可以通过执行计划来看。。。。。 explain select * from sample_data where gender='M'; explain select * from Partition_tablewhere gender='M';查看全部
-
内部表：类似于数据库中的Table 在Hive中，每个table都有一个相应 的目录存储数据。即hdfs上的目录 所有的table数据都保存在这个目录中。 删除表的时候，元数据和数据都会被删除 如何创建内部表？ create table t1(tid,int,tname string,age int); 这个表自动保存 在hdfs的user/hive目录下 可以在创建表的时候指定存储位置：create table t2(tid,int,tname string,age int)location ‘/mytable/hive/t2’; 在创建t1,t2并没有指定列之间的分隔符，默认为制表符 可以在创建表的时候进行指定： create table t3(tid,int,tname string,age int)row format delimited fields termiated by ',';(CSV) 表的结构，里面没有任何数据 select * from sample_data; -- 用已有的表创建 一张新的表 create table t4 as select * from sample_data; select * from t4; 没有指定分隔符 对表进行修改： alter table t1 add columns(english int); desc t1; drop table t1; --一到回收站了查看全部
-
基于HDFS 没有专门的数据存储格式，可以用 txt、asv等，创建表的时候 可指明列之间的分隔符 默认情况下 使用 制表符 作为分隔符 主要存储结构：数据库、文件、表、视图 可以直接加载文本文件等 如何加载呢？到hive的表 表：内部表 分区表 外部表 桶表 视图：逻辑概念，类似表查看全部
-
Hive的数据类型 *时间类型 -Date:日期，年月日，YYYY-MM-DD格式 -Timestamp：时间蹉，长整形数格式查看全部
-
hive：进入hive quit：退出hive Ctrl+l or !clear：清屏 show tables：查看数据仓库中的表信息 -- ：注释 show functions:查看函数信息 desc [表名]：查看表结构 dfs -ls [目录]:查看HDFS上的文件 ![命令]：执行操作系统的命令 select *** from ***: 可以直接执行HQL语句 source 【SQL文件（地址）】：执行SQL的脚本 hive -S:静默模式（需要退出重新登录Hive） hive -e 'show tables'; :在操作系统中直接使用hive命令 hive -S -e 'select * from test1'; :使用静默模式在操作系统打印hive语句的结果查看全部
-
Hive元数据：存储在数据库中，比如MySQL、derby等 元数据：包括表的名字、列的名字、分区的名字、及其属性。表的属性（是否为外部表），hive的表的存储位置也会存储在元数据中，对于hdfs的目录和文件。 元数据被默认创建在derby数据库中，以表的形式保存数据。表的元信息、列元信息查看全部
-
HIVE数据为仓库与传统的数据存储的区别 1. 传统存储在ORACLE,MYSQL数据库中 2. 而HIVE存储在HADOOP HDFS上查看全部
-
*HIVE **Hive是建立在Hadoop HDFS上的数据仓库基础架构 **Hive可以用来进行数据提取转化加载（ETL） **Hive定义了简单的类似SQL查询语言，称为HQL它允许熟悉SQL的用户查询数据 **Hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作 **Hive是SQL解析引擎，他将SQL语句转移成M/R Job然后在Hadoop执行 **Hive的表其实就是HDFS的目录/文件查看全部
-
mark II查看全部
-
层次很好查看全部
-
Hive的数据模型 *桶表（Bucket Table） -桶表是对数据进行哈希取值，然后放到不同文件中存储。 *创建桶表 create table bucket table (sid int, sanme string, age int) clustered by(sname) int 5 buckets;查看全部
-
Hive的数据模型 *外部表（External Table） -指向已经在HDFS中存在的数据，可以创建Partition -它和内部表在元数据的组织上是相同的，而实际数据的存储则又较大的差异 -外部表 只有一个过程，加载数据和创建表同时完成，并不会移动到数据仓库目录中，只是与外部数据建立一个链接。当删除一个外部表时，仅删除该链接。 *创建外部表 create external table external_student (sid int, sname string, age int) row format delimited fields terminated by ',' location '/input';--数据源的HDFS文件目录查看全部
-
Hive的数据模型 *分区表（Partition） -Partition对应于数据库的Partition列的密集索引 -在Hive中，表中的一个Partition对应于表下的一个目录，所有的Partition的数据都存储在对应的目录中 *创建分区表 create table partition_table (sid int, sname string) partitioned by (gender string) row format delimited fields terminated by ','; *插入内容 insert into table partition_table partition(gender = 'M') select sid, same form sample_data where gender = 'M'; insert into table partition_table partition(gender = 'F') select sid, same form sample_data where gender = 'F';查看全部
-
Hive的数据模型 *内部表（Table） -与数据库中的Table在概念上是类似 -每一个Table在Hive中都有一个相应的目录存储数据 -所有的Table数据（不包括External Table）都保存在这个目录中 -删除表时，元数据与数据都会被删除 *创建内部表的代码 create table t1 (tid int, tname string, age int); create table t2 (tid int, tname string, age int) location '/mytable/hive/t2'; create table t3 (tid int, tname string, age int) row format delimited fields terminated by ','; create table t4 as select * from sample_data;--通过查询来创建有数据的内部表 create table t5 row format delimited fields terminated by ',' as select * from sample_data; *新增列 alter table t1 add columns(english int); *删除一张表 drop table t1;查看全部
-
show tables;查看表 select * from sample_data 表数据文件的默认地址：/user/hive/warehouse *Hive的数据存储 -没有专门的数据存储格式 -存储结构主要包括：数据库、文件、表、视图 -可以直接加载文本文件（.txt文件等） -创建表时，指定Hive数据的列分隔符与行分隔符 -表 --Table内部表 --Partition 分区表 -- External Table 外部表 --Bucket Table桶表 -视图查看全部
举报
0/150
提交
取消