大数据入门教程
带你掌握大数据核心技能,从此轻松入门大数据
全栈工程师
八年互联网公司一线研发经验,担任大数据架构师。 主要从事基于Spark/Flink为核心打造的大数据公有云、私有云数据平台产品的研发。 改造过Hadoop、Spark等框架的源码为云平台提供更高的执行性能。 集群规模过万,有丰富的大数据项目实战经验以及授课经验(授课数千小时,深受学员好评)。
了解讲师只要有Java基础,就可入门大数据,掌握Hadoop开发的核心技能
涵盖HDFS 、YARN 、MapReduce的搭建及框架的应用
第一时间收获企业大数据的真技术,了解Hadoop 3.x 的新特性
本文为 PingCAP Observability 团队研发工程师钟镇炽在 Rust China Conf 2020 大会上所做演讲 《高性能 Rust tracing 库设计》的详细文本,介绍了对性能要求非常苛刻的分布式 KV 数据库 TiKV 如何以不到 5% 的性能影响实现所有请求的耗时追踪。 背景 系统的可观测性 (Observability) 通常由三个维度组成:日志 (Logging)、指标 (Metrics) 和追踪 (Tracing),它们之间的关系如下: 日志:离散的错误信息和状态信息。 指标:记录和呈现可聚合的数据。 追踪:单个请求
近日,由 TiDB 社区主办,专属于全球开发者与技术爱好者的顶级挑战赛事——TiDB Hackathon 2020 比赛圆满落幕。今年是 TiDB Hackathon 第四次举办,参赛队伍规模创历届之最,共有 45 支来自全球各地的队伍报名,首次实现全球联动。经过 2 天时间的极限挑战, 大赛涌现出不少令人激动的项目。为了让更多朋友了解这些参赛团队背后的故事, 我们将开启 TiDB Hackathon 2020 优秀项目分享系列。 Ti-Improve 作为截止报名前 1 小时才临时组建的团队,4 位同学周强、方祝和、赵
TiDB 5.0.0-rc 版本是 5.0 版本的前序版本。在 5.0 版本中,我们专注于帮助企业基于 TiDB 数据库快速构建应用程序,使企业在构建过程中无需担心数据库的性能、性能抖动、安全、高可用、容灾、SQL 语句的性能问题排查等问题。 在 TiDB 5.0 版本中,你可以获得以下关键特性: 开启聚簇索引功能,提升数据库的性能。例如:TPC-C tpmC 测试下的性能提升了 39%。 开启异步提交事务功能,降低写入数据的延迟。例如:Sysbench oltp-insert 测试中延迟降低了 37.3%。 通过提升优化
本文作者为 PingCAP 联合创始人兼 CTO 黄东旭,将分享分布式数据库的发展趋势以及云原生数据库设计的新思路。 在讲新的思路之前,先为过去没有关注过数据库技术的朋友们做一个简单的历史回顾,接下来会谈谈未来的数据库领域,在云原生数据库设计方面的新趋势和前沿思考。首先来看看一些主流数据库的设计模式。 常见的分布式数据库流派 分布式数据库的发展历程,我按照年代进行了分类,到目前为止分成了四代。第一代是基于简单的分库分表或者中间件来做 Data Sharding 和 水平扩展。第
近日,由 TiDB 社区主办,专属于全球开发者与技术爱好者的顶级挑战赛事——TiDB Hackathon 2020 比赛圆满落幕。今年是 TiDB Hackathon 第四次举办,参赛队伍规模创历届之最,共有 45 支来自全球各地的队伍报名,首次实现全球联动。经过 2 天时间的极限挑战, 大赛涌现出不少令人激动的项目。为了让更多小伙伴了解这些参赛团队背后的故事, 我们开启了 TiDB Hackathon 2020 优秀项目分享系列,本篇文章将介绍 TiFlink 团队赛前幕后的精彩故事。 Flink 是一个低延迟、高吞吐
作者介绍:万霁春,陆金所数据架构 DBA 团队经理。 金融行业该如何在线替换金融核心场景数据库?在 TUG 陆金所企业行活动中,来自陆金所的数据架构 DBA 团队经理万霁春老师分享了陆金所的去 O 之路,以下内容整理自当天活动分享实录。 陆金所全站去 O 成果 陆金所全站去 O 项目从 2018 年中开始,整个项目迁移过程中没有做任何的服务降级,在不影响线上业务的情况下,把全站 100% 的数据库从 Oracle 无缝迁移到开源和国产数据库上,其中包括:MySQL、 TiDB 及其他开源数
作者:殷成文,Maintainer of Chaos Mesh 这段时间北京真是冷得可怕,朋友圈晒出各种零下 20 度的照片,在这样一个寒冷的时候,总是想给自己找点温暖的事情去做。这几天闲时就回顾起自己从实习到现在这段时间的经历,前不久是 Chaos Mesh 开源一周年(2020.12.31),于是就将自己与 Chaos Mesh 一起成长的点滴整理出来和大家分享。 一方面为了庆祝,另一方面也希望能够在这个寒冷的冬天给大家带来点温暖。 与 PingCAP 结缘 开始 Chaos Mesh 故事之前,先说点自己和 PingCAP
作者介绍:黄潇 , TUG 北京区 Leader ,TUG 2020 年度 MOA。 如今分布式数据库百花齐放,在做数据库架构选型时应该从哪些方面进行考虑?在 TUG 陆金所企业行活动上, TUG 北京区 Leader 黄潇分享了 TiDB 的常见架构应用场景,以下内容整理自当天活动分享实录。 本文主要分为以下三部分: 当今分布式数据库产品呈现百花⻬放的状态 在这种场景下数据库架构选型的一些思考 TiDB 常⻅应⽤场景 分布式数据库产品百花⻬放 从墨天轮发布的国产数据库流行度排行榜中可以看到,T
大数据技术与实践训练营
一站式学习,入门大数据领域,搞定大数据开发技术;把握行业红利,赢得更多的工作机会!
查看详情高效求职全攻略
巧过经验关丨面试杀手锏丨求职通关技
查看详情掌握核心算法 挑战寒冬高薪
从基础出发,强化算法知识,飞速提升学习效率!
查看详情
以前看过一些其他的Hadoop视频,觉得自己学的还不错,所以在慕课网看到本课程的时候还在犹豫是否有必要下手,睡了一觉,还是买了,心里是这么想的,如果老师讲的好就当复习,如果讲的一般那损失的也不大,当开始学习这课程的时候,发现PK哥的讲课思路非常清晰,同样的知识点能讲出不一样的东西,带着我们去官网学习,从这点上我就很佩服老师,让我们知道如何去进行学习,而不是一味的对着PPT或者Word讲稿念。课程我还没学完,结果发现老师又在课程群内做了直播分享,特别是小文件这个部分,真的受益匪浅。看视频的时候发现很多视频中的时间都是下半夜的,感谢老师的辛苦付出,为我们带来高质量的课程。以后就跟着PK哥混大数据了