Apache Kylin 简介
Apache Kylin 是一个领先的开源分布式分析引擎，提供 Hadoop 之上超大规模的 SQL 查询接口及多维分析能力。在超大规模数据集上建立数据模型，构建支持多维分析的预计算 Cube，并开放通用的 ODBC、JDBC 或 Restful API 接口。这种独特的预计算 Cube 使 Apache Kylin 可以轻松应对超大数据集上的查询，并实现亚秒级响应。
Hue 简介
Hue 是一个简单易用的 SQL 编辑器，提供基于 Web 的开源图形用户界面，方便用户查询基于 Hadoop 的相关服务。SQL 是分析师最熟悉的查询语言，因此 Hue 可帮助他们轻松访问 Hadoop 上的大数据。
在本文中，我们将介绍如何连接 Hue 与 Apache Kylin，快速实现分析海量数据。
准备包含 Apache Kylin 配置信息的 Hue的Docker 镜像
准备 Hue 镜像
使用 Docker 拉取最新 Hue。
docker pull gethue/hue:latest
准备 Kylin JDBC 驱动程序
下载 Apache Kylin 安装包
wget -c http://mirror.bit.edu.cn/apache/kylin/apache-kylin-2.2.0/apache-kylin-2.2.0-bin-hbase1x.tar.gz
解压安装包
tar -zxvf apache-kylin-2.2.0-bin-hbase1x.tar.gz
使用 cp 命令复制 Kylin JDBC 驱动程序
cp apache-kylin-2.2.0-bin/lib/kylin-jdbc-2.2.0.jar .
hue$ ls
apache-kylin-2.2.0-bin apache-kylin-2.2.0-bin-hbase1x.tar.gz kylin-jdbc-2.2.0.jar
将 Hub 配置文件复制到主机
从 Docker 复制配置文件
docker run -it -d --name hue_tmp gethue/hue /bin/bash
cp hue_tmp:/hue/desktop/conf/pseudo-distributed.ini .
docker stop hue_tmp; docker rm hue_tmp
现在，在当前目录中可以看到 pseudo-distributed.ini文件。
在 pseudo-distributed.ini文件中配置Apache Kylin的连接。
vim pseudo-distributed.ini
将以下 Kylin 配置复制到该文件中，并根据你的Kylin集群信息修改具体的配置信息。
dbproxy_extra_classpath=/hue/kylin-jdbc-2.2.0.jar
[[[kylin]]]
name=kylin JDBC
interface=jdbc
options='{"url": "jdbc:kylin://:/","driver": "org.apache.kylin.jdbc.Driver", "user": "", "password": ""}'
例如，将以下配置添加到该文件中。
dbproxy_extra_classpath=/hue/kylin-jdbc-2.2.0.jar
# One entry for each type of snippet.
[[interpreters]]
# Define the name and how to connect and execute the language.
[[[kylin]]]
name=kylin JDBC
interface=jdbc
options='{"url": "jdbc:kylin://localhost:7070/learn_kylin","driver": "org.apache.kylin.jdbc.Driver", "user": "ADMIN", "password": "KYLIN"}'
[[[hive]]]
# The name of the snippet.
name=Hive
# The backend connection to use to communicate with the server.
interface=hiveserver2
编辑 Dockerfile。
touch Dockerfile
vim Dockerfile
将以下脚本粘贴到 Dockerfile 中
FROM gethue/hue:latest
COPY ./kylin-jdbc-2.2.0.jar /hue/kylin-jdbc-2.2.0.jar
COPY ./pseudo-distributed.ini /hue/desktop/conf/pseudo-distributed.ini
EXPOSE 8888
此配置会将 Kylin JDBC Jar 和 pseudo-distributed.ini 复制到 Docker 的 Hue 中。并在 Docker中暴露端口 8888。
构建并启动 Docker 容器
docker build -t hue-demo -f Dockerfile .
docker run -itd -p 8888:8888 --name hue hue-demo
Hue 已准备就绪，并在 localhost:8888 上运行。
现在可以从 Hue 中查询 Apache Kylin 的数据了。
在 AWS 上部署 Apache Kylin 和 Hue
下面我们将引导您在 AWS EMR 上部署 Apache Kylin 和 Hue。
在 AWS EMR 上安装 Apache Kylin
有关如何在 AWS EMR 上安装 Apache Kylin 的信息，可参考此文 。
在已配置 Apache Kylin 的 AWS EMR 上安装 Hue
在 AWS EMR 上安装 Apache Kylin 后，可使用 bootstrap 文件在已配置Apache Kylin 的 AWS EMR 上轻松部署 Hue。
从这个 Github 上下载sh 文件并上传到 一个S3 存储桶中；
在json 中，将 Apache Kylin 主机、端口号、项目 和 账号密码替换成您自己的信息，然后在 AWS Command-line 中运行以下脚本来创建 EMR 集群。
请确保转义符与以下 json 中保持一致。
[
{
"Classification": "hue-ini",
"Properties": {},
"Configurations": [
{
"Classification": "notebook",
"Properties": {
"dbproxy_extra_classpath": "/opt/kylin_jdbc/kylin-jdbc-2.2.0.jar"
},
"Configurations": [
{
"Classification": "interpreters",
"Properties": {},
"Configurations": [
{
"Classification": "kylin",
"Properties": {
"name": "kylin JDBC",
"interface": "jdbc",
"options": "{\"url\": \"jdbc:kylin://:/\", \"driver\": \"org.apache.kylin.jdbc.Driver\", \"user\": \"\", \"password\": \"\"}"
},
"Configurations": []
}
]
}
]
}
]
}
]
aws emr create-cluster --name "HUE Cluster" --release-label emr-5.10.0 \
--ec2-attributes KeyName=,InstanceProfile=EMR_EC2_DefaultRole,SubnetId= \
--service-role EMR_DefaultRole \
--applications Name=Hive Name=Hue Name=Pig \
--emrfs Consistent=true,RetryCount=5,RetryPeriod=30 \
--instance-count 1 --instance-type m3.xlarge \
--configurations file://configurations.json \
--bootstrap-action Path="s3:///download.sh"
集群状态变为 “Waiting” 后，在 Web 浏览器中输入 http://:8888，可以看到含 Hue 的集群已准备就绪。
结论
在本文中，我们演示了如何轻松配置 Hue 来查询 Apache Kylin 中的数据。Hue 是一款便捷易用的开源 SQL 编辑器，可帮助您分析Apache Kylin 等基于Hadoop的服务的数据。Hue 和 Apache Kylin 均可在本地或云端部署，便于在任何地方组合使用。
作者：Kyligence
链接：https://www.jianshu.com/p/7ca176b19e35
共同学习，写下你的评论
评论加载中...
作者其他优质文章
