-
sqoop help查看全部
-
导入和导出查看全部
-
导入到HDFS查看全部
-
sqoop是基于JDBC的，所以需要将JDBC驱动程序放在sqoop的lib目录下查看全部
-
sqoop安装tar包环境变量的配置,第一个sqoop要使用hadoop下的jar包进行操作指明安装目录；第二个sqoop作业由mapperReduce执行指明MR的家目录查看全部
-
sqoop apache下专用于数据导入导出的开源框架查看全部
-
load导入数据，本地是local，从hdfs不用local.overwrite也是可选的。查看全部
-
数据导入hive查看全部
-
自定义函数- -001 1.数据类型必须使用Hadoop的MapReduce可以识别的Text类型，而不是String 2.MyEclipse中打jar包，export-->jar file --->查看全部
-
临时函数的销毁查看全部
-
使用 thrift client 是使用socket进行通讯连接的，由于连接需要协议： 所以需要创建socket和protocol；--001查看全部
-
简单查询不开启Mapreduce功能--002 1.简单操作（单表查询，无连接，无排序） 2.实际上就是配置hive.fetch.task.conversion参数的值为more 3.前两种配置方式，只会在当前环境有效，加入配置文件中（由于配置文件是在一开启hive 就会加载，所以会永久生效） 4.操作是简单查询但是数据量非常大的情况下，设置了此参数会影响性能，所以不建议加入配置文件？查看全部
-
简单查询操作：--001 1.由于在使用表达式的时候，如果某个字段为空，则表达式的结果为空，NVL（X ，Y）当X为NULL时自动转化为Y，常用NVL（X\,0） 2.使用distinct时，如果后面跟有多个字段，那么当这些字段组合起来互不相同时，就满足条件 3.和sql语句基本相同查看全部
-
实际生产环境使用流程分析--005 1.业务系统数据-->sqoop import-->Hive数据仓库 2.在Hive数据仓库中进行分析处理-->得到分析结果 3.Hive数据仓库中的分析结果-->sqoop export-->业务系统 4.业务系统执行对应操作查看全部
-
操作实例--004 注意： 1.要将对应关系型数据库的驱动上传到sqoop的lib目录中 2.使用查询语句导入时，不用写表名且在where子句中必须加上ＡＮＤ ＄ＣＯＮＤＩＴＩＯＮＳ 3.将HIVE中的数据导出到关系型数据库中之前要在关系型数据库中创建对应的表，并且对应的字段名要相同（最后一条未亲测，暂时仅供参考）查看全部
举报
0/150
提交
取消