大数据分析应用研发

1. 迁移数据到大数据平台的方式

数据库数据：Sqoop、kettle、Datax
文本的迁移：scp、ftp、flume
流数据：kafka、flume

需注意：

• 数据格式，属性含异常字符，不同数据库的类型。
• 增量数据如何导入的管理。
• 数据如何更新，更新操作是在导入时候实现，还是后续etl过程实现。

目前实践经验，数据导入sqoop效率最高，datax效率其次取决于所在服务器的性能，kettle具备完整流程管理的机制。

2. 大数据平台能做什么

进行etl建立数据仓库，使用分布式计算引擎进行数据分析，建立数据分析专题，使用分布式机器学习算法库设计算法模型，以及可以实现复杂的对象关联关系分析。

主要涉及Spark、Mapreduce、Hive、Tensorflow 、Spark mlib 、HBase、 AarangoDB和JanusGraph。

3. 数据分析结果获取

数据结果的快速呈现，主要通过多维数据分析Greenplum，Apache Kylin，ElasticSearch，HBase，Oracle，Mysql实现。

4. 数据分析结果可视化

商务BI软件、ECarts、D3.js

5. 对外提供数据服务、智能化服务

微服务架构，服务上线，服务发布，服务开放等。