-
实时流的管道pipeline
实时流的处理
查看全部 -
Kafka的应用有两类：
real-time streaming pipelines that reliably get data between systems or applications
Building rea-time streaming applications that transform or react to the streams of data
查看全部 -
streaming platform有三个key capabilities:
- Public and subscribe to streams of records, similar to a message queue or enterprise messaging system
- Store streams records in a fault-tolerant durable way
- Process streams of records as they occur (实时处理）
查看全部 -
流处理 消息队列 实时数据流管道 实时数据处理 数据流存储 发布和订阅
查看全部 -
零拷贝优化查看全部
-
零拷贝过程<br/>◆操作系统将数据从磁盘读入到内核空间的页缓存<br/>◆将数据的位置和长度的信息的描述符增加至内核空间（socket缓冲区）<br/>◆操作系统将数据从内核拷贝到网卡缓冲区，以便将数据经网络发出查看全部
-
零拷贝简介
文件传输到网络的公共数据路径
◆操作系统将数据从磁盘读入到内核空间的页缓存
◆应用程序将数据从内核空间读入到用户空间缓存中
◆应用程序将数据写回到内核空间到socket缓存中
◆操作系统将数据从socket缓冲区复制到网卡缓冲区，以便将数据经网络发出查看全部 -
kafka 零拷贝 1、简介 场景:网络传输持久化日志块(消费的消息是日志块)，本身很消耗性能 java:Nio chanel transforTo()方法 linux:sendfile系统调用 2、过程 文件传输到网络的公共数据路径，步骤 ①操作系统将数据从磁盘读入到内核空间的页缓存(相当于页缓存是基于磁盘之上的第一层缓存，只有读到这层缓存，系统才能非常快速的将数据拷贝到其他地方) ②应用程序将内核空间读入到用户空间缓存中(因为对于redis来说，内核空间是应用程序无法直接操作的，那应用程序只能读取当前的用户空间) ③应用程序将数据写回到内核空间的socket缓存中(因为要将数据发送到网络中，所以要将数据写到网络中) ④操作系统将数据从socket缓冲区复制到网卡缓冲区，以便将数据经网络发出(其实我们可以这样去理解，操作系统可以操作内核空间，应用程序可以操作用户空间，系统将磁盘中的数据读入到内核空间中，然后应用程序才能将它拷贝到用户空间中，因为要将它发送到网络中，所以要将它重新写回到内核空间。经历了四次拷贝，第一次拷贝:磁盘读入到页缓存，第二次拷贝:内核空间读入到用户空间的缓存中，第三次拷贝:数据写回到内核空间到socket缓冲区，第四次拷贝:socket缓冲区复制到网卡缓冲区) 零拷贝过程 ①操作系统将数据从磁盘读入到内核空间的页缓存 ②将数据的位置和长度信息的描述符增加至内核空间(socket缓冲区) ③操作系统将数据从内核拷贝到网卡缓冲区，以便将数据经网络发出 零拷贝是指，用户空间和内核的交互拷贝次数为0 3、演变查看全部
-
Kafka的特点：分布式
（1）多分区
（2）多副本
（3）多订阅者
（4）基于ZooKeeper调度
查看全部 -
Kafka消息结构
OfferSet:记录消息的偏移量
Length:记录的是整条消息的长度
CRC32:校验字段，校验信息的完整性
Magic:特定数字，判断数据是否属于Kafka,不属于就直接丢弃
attributes:(可选）记录的是数据的多个属性，是一个枚举值
Timestamp:当前消息的时间戳
keyLength:key的长度
key:key的值
valueLength:value的长度
value:value的值查看全部 -
55555
查看全部 -
55555
查看全部 -
44444
查看全部 -
33333333
查看全部 -
222222222
查看全部
举报