为了账号安全,请及时绑定邮箱和手机立即绑定

如何配置hive,使hive能使用spark引擎

如何配置hive,使hive能使用spark引擎

狐的传说 2018-11-04 19:04:29
如何配置hive,使hive能使用spark引擎
查看完整描述

1 回答

?
陪伴而非守候

TA贡献1757条经验 获得超8个赞

1、为了让Spark能够连接到Hive的原有数据仓库,我们需要将Hive中的hive-site.xml文件拷贝到Spark的conf目录下,这样就可以通过这个配置文件找到Hive的元数据以及数据存放。
在这里由于我的Spark是自动安装和部署的,因此需要知道CDH将hive-site.xml放在哪里。经过摸索。该文件默认所在的路径是:/etc/hive/conf 下。
同理,spark的conf也是在/etc/spark/conf。
此时,如上所述,将对应的hive-site.xml拷贝到spark/conf目录下即可
如果Hive的元数据存放在Mysql中,我们还需要准备好Mysql相关驱动,比如:mysql-connector-java-5.1.22-bin.jar。

查看完整回答
反对 回复 2018-11-16
  • 1 回答
  • 0 关注
  • 3116 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信