如何将Oracle的大宽表导入到hbase？我该怎么办？

Question

源表建有索引，表空间大小目前是117G，用sqoop导入很慢，用了17小时也没导入完sqoop import --append --connect jdbc:oracle:thin:@192.168.0.11:1521:dw --username *** --password *** --hbase-table table --hbase-row-key MYID --column-family cf --query "select t.*,id_uni_sec_code || to_char(id_position_date,'yyyy') || valuation_port_code ||to_char(id_rec_enddate,'yyyy')||id_pos_status as MYID from table twhere ID_UNI_SEC_CODE IS NOT NULL AND ID_POSITION_DATE IS NOT NULL AND VALUATION_PORT_CODE IS NOT NULL AND ID_REC_ENDDATE IS NOT NULL AND ID_POS_STATUS IS NOT NULL AND \$CONDITIONS" -m 1

Answer 1

使用sqoop工具。
1、在行键选择那里，通过用“”，将需要做行键的多个列写在一起就可以了。
2、例如要将a和b列同时做行键，那么--hbase-row-key "a,b"就可以了。
Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。