-
FlinkSql实战项目之六十计算中的应用
kafka常用命令
创建消息
bin/kafka-topics.sh --create --zookeeper locahost:2181 --replication-factor 1 --partitions 1 --topic test2
启动生产者的客户端
bin/kafka-console-producer.sh --broker-list locahost:9092 --topic test2
启动消费者的客户端
bin/kafka-console-consumer.sh --bootstrao-server localhost:9092 --topic test2 --from-beginning
--from-beginning 从头开始消费消息队列中的数据
查看全部 -
定义数据结构
（1）获取上下文环境
（2）读取score.csv
（3）注册成内存表
（4）编写sql，然后提交执行
(5)结果进行打印
查看全部 -
NBA球星得分王排行榜
谁获得的得分王头衔最多
查看全部 -
自定义函数步骤
继承方法ScalarFunction
覆写方法Eval
注册函数
应用
查看全部 -
Flink提供了很多内置函数
(1)比较函数
（2）逻辑函数
（3）算数函数
（4）字符串处理函数
（5）时间函数
（6）其他
内置函数的演示没看
查看全部 -
Table和Sql的算子操作
查看全部 -
Flink Table&SQL的编程模型
查看全部 -
核心概念之并行度
Flink 是由多个任务组成（source、transformation和sink）。一个任务由多个并行的实例（线程）来执行，一个任务的并行实例（线程）数目就被称为该任务的并行度。
并行度的级别，4种
合理设置并行度能极大的提高运行速度
（1）算子级别 设置flink的编程API修改，通过调用方法的方式
（2）运行环境级别 设置executionEnvironmentk的方法修改并行度
（3）客户端级别 $FINK_HOME/bin/flink的-p参数，
（4）系统级别 修改$FLINK_HOME/conf/flink-conf.yaml文件
并行度的优先级：算子>运行环境>客户端>系统
注意：并行度不能大于Slot个数
TaskManager为了对资源进行隔离和增加允许的task数，引入了slot的概念，这个slot对资源的隔离仅仅是对内存进行隔离，策略是均分，比如taskmanager的管理内存是3GB，假如有两个个slot，那么每个slot就仅仅有1.5GB内存可用
查看全部 -
核心概念之时间
事件时间：是事件创建的事件。它通常由事件中的时间戳描述，例如kafka消息中的生成的时间戳
摄入时间：是事件进入Flink数据流运算符的时间
处理时间：是每一个执行时间操作的算符的本地时间
查看全部 -
Flink1.7.2新特性
（1）支持scala 2.12
(2) SQL 功能完善
（3）最新kafka连接器
（4）Streaming SQL新增Temporal Tables(时态表)
时态表：记录了数据发生该表的历史状态，该表可以返回特定时间点的表的内容
(5)Streaming SQL支持模式匹配
Flink CEP是Flink的复杂事件处理库，允许你在流上定义一系列的模式（pattern）,最终使得你可以方便的抽取 自己需要的重要的事件处理。抽取自己需要的数据。
（6）Streaming SQL支持更多函数：REPLACE、REPEAT、LIRIM等函数
Blink 开源
阿里巴巴内部Flink 版本Blink已经开源，其最显著的特点就是强大的sql处理能力
查看全部 -
flink 支持 Collection/本次文件的读写
查看全部 -
Tuple2<String,Integer> flink 特有的数据结构
防御性编程：确保代码的稳健性
查看全部 -
窗口模式图
查看全部 -
窗口模式处理
查看全部 -
kafka常用命令
启动zookeeper
nohup bin/zookeeper -server-start.sh config/zookeeper.properties &
启动server
nohup /bin/kafka-server-start.sh config/server.properties &
查看topic
bin/kafa-topics.sh --list --zookeeper localhost:2181
创建一个topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
发送数据
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
消费数据
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
查看全部 -
回退更新的写法
查看全部 -
kafka相关集成+添加到source；注意start from earliest
查看全部 -
kafka常见命令
查看全部 -
nohup相关
查看全部 -
启动zookeeper
查看全部 -
最后结果做一些包装
查看全部 -
register一些东西
查看全部 -
flink sql 课程大纲
查看全部 -
Kafka常用命令
启动zookeepernohup bin/zookeeper-server-start.sh config/zookeeper.properties.&
启动servernohup bin/kafka-server-start.sh sonfig/server.properties&
查看topicbin/kafka-topics.sh-list--zookeeper localhost2181
创建个topic bin/kafka-topics.sh--create--zookeeper localhost2181--replication-factor 1--partitions 1-topic查看全部 -
时间窗口 水印查看全部
-
Kafka执行步骤及相关命令：
查看全部 -
课程大纲：
查看全部 -
看看咯哦哦查看全部
-
kafka常用命令
查看全部 -
udf内容 自定义函数
查看全部 -
flink table 与sql的算子操作
查看全部 -
Flink 1.7.2 开始支持支持 scala2.12，而之前只能支持到 2.11
查看全部 -
Kafka常用命令
启动zookeepernohup bin/zookeeper-server-start.sh config/zookeeper.properties.&
启动servernohup bin/kafka-server-start.sh sonfig/server.properties&
查看topicbin/kafka-topics.sh-list--zookeeper localhost2181
创建个topic bin/kafka-topics.sh--create--zookeeper localhost2181--replication-factor 1--partitions 1-topic
test
发送数据bin/kafka-console-producer.sh--broker-list localhost9092--topic test
消费数据bin/kafka-console-consumer.sh--bootstrap-server locallost：9092-topic test-from-beginning查看全部 -
public class TablesQL{
public static void main（String[]args）throws Exception{
//1.获取上下文环境table的环境
//2.读取score.csv
//3.注册成内存表
//4.编写5q1然后提交执行
合？//5.结果进行打印
}//查看全部 -
自定义函数
用户自定义函数UDF/UDAF/UDTF
◆继承函数ScalarFunction
◆覆写方法eval
注册函数
◆应用查看全部 -
Flink的编程模型和核心概念<br/>核心概念之并行度<br/>◆算子级别>运行环境级别>客户端级别>系统级别<br/>·并行度不能大于Slot个数查看全部
-
核心概念之并行度
◆算子级别设置flink的编程API修改
◆运行环境级别设置executionEnvironmentk的方法修改并行度
◆客户端级别$FLINK_HOME/bin/flink的-p参数
◆系统级别修改$轩LINK_HOME/conf/flink-confyaml文件查看全部 -
Datastream<String>lines=env. addSource(
new FlinkKafkaConsumer<>(…)); Datastream<Event> events=lines. map((line)->parse(line)); DataStream<Statistics> stats=evepts
. keyBy("id")
. timeWindow(Time. seconds(10))
. apply(new MyWindowAggregationFunction()); stats. addsink(new Rollingsink(path));查看全部 -
我是查看全部
-
呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃呃
查看全部 -
7777777777777744444444444444444444444444444
查看全部 -
flink模型和特性查看全部
-
flink 1.7.2新版本的特性查看全部
-
flink SQL 课程查看全部
-
flink 的窗口： 滚动窗口，滑动窗口，会话窗口查看全部
举报