简介：本课程会依次向大家介绍中台的诞生背景、数据中台的架构以及如何进行合理得技术选型，并结合一个通用的关系型数据库同步至HDFS的工具套件实现，带大家拓展了基于Spark的多源异构数据同步工具的设计思路。
第1章 中台的前世今生
本章中会依次向大家介绍，中台的系统架构是如何诞生的、各类型架构的特点和存在的问题、数据中台架构是如何解决这些问题的，以及中台的演进过程，帮助大家对中台有初步得了解。
第2章 数据中台体系
在本章中，首先会从数据应用的角度带大家回顾数据中台的诞生过程；然后介绍一个成熟的数据中台应该具备的核心能力，并对数据中台的架构按照模块进行分解，介绍每个模块的功能，以及各自得技术选型。
第3章 基于Spark的多源异构数据同步套件
本章中会依次介绍数据采集、汇聚的技术架构；一个成熟的数据同步套件的架构以及具备的功能，并带领大家实现一个具备完整功能的关系型数据库同步至HDFS的工具套件，拓展基于Spark的通用的数据同步套件的设计思路。
- 视频： 3-1 数据采集、汇聚的技术架构 (10:40)
- 视频： 3-2 构建异构数据源的同步套件 (05:29)
- 视频： 3-3 DataX数据同步案例 (15:30)
- 视频： 3-4 移植DataX的配置管理功能 (07:30)
- 视频： 3-5 配置管理的功能点代码演示 (09:32)
- 视频： 3-6 关系型数据库同步至HDFS的功能开发 (07:44)
- 视频： 3-7 同步流程抽象为三大模块 (06:04)
- 视频： 3-8 三大模块的整体架构实现 (11:02)
- 视频： 3-9 三大模块的具体功能实现 (10:29)
- 视频： 3-10 数据转换模块的插件化管理 (12:37)
- 视频： 3-11 基于Spark的数据同步套件设计思路 (04:33)
- 视频： 3-12 本章总结 (02:35)
解锁即可观看《大数据工程师》完整课程视频
大数据工程师
硬核技能带你攻克热点商业项目，从入门直达中级工程师水平，掌握DT时代淘金利器！
【第1周】学好大数据先攻克Linux
【第2周】大数据起源之初识Hadoop
【第3周】Hadoop之HDFS的使用
【第4周】Hadoop之HDFS核心进程剖析
【第5周】Hadoop之初识MR
【第6周】拿来就用的企业级解决方案
【第7周】Flume从0到高手一站式养成记
【第8周】数据仓库Hive从入门到小牛
【第9周】Hive扩展内容
【第10周】快速上手NoSQL数据库HBase
【第11周】数据分析引擎之Impala
【第12周】7天极速掌握Scala语言
【第13周】Spark快速上手
【第14周】Spark性能优化的道与术
【第15周】Spark3.x扩展内容
【第16周】综合项目：电商数据仓库之用户行为数仓
【第17周】综合项目：电商数据仓库之商品订单数仓
【第18周】消息队列之Kafka从入门到小牛
【第19周】极速上手内存数据库Redis
【第20周】Flink快速上手篇
【第21周】Flink高级进阶之路
【第22周】Flink1.15新特性及状态的使用
【第23周】Flink1.15之状态的容错与一致性
【第24周】FlinkSQL(1.15)快速上手
【第25周】FlinkSQL双流JOIN详解
【第26周】全文检索引擎Elasticsearch
【第27周】Es+HBase仿百度搜索引擎项目
【第28周】直播平台三度关系推荐V1.0
【第29周】直播平台三度关系推荐V2.0
【第30周】数据中台大屏
【第31周】实时OLAP引擎之ClickHouse
【第32周】实时数仓-Kafka Eagle+DS
【第33周】实时数仓-Flink CDC数据采集
【第34周】实时数仓-Paimon(数据湖)快速上手
【第35周】实时数仓-Paimon(数据湖)高级进阶
【第36周】实时数仓-湖仓一体项目
【第37周】一站式流式开发平台StreamPark
【第38周】大数据分布式SQL网关Kyuubi