-
零拷贝介绍
查看全部 -
事务保证-避免僵尸实例
查看全部 -
事务保证
内部重试问题：Procedure幂等处理 比如超时 比如内部失败
Procedure是kafka 内部消息传输组件 他有send方法进行数据发送
如果发送失败的话，那么消息会重复发送。kafka自身做了幂等处理。
多分区原子写入
查看全部 -
数据传输的事务定义
查看全部 -
kafka 消息事务
查看全部 -
linger 指的是 我们将多少时间范围内的数据作为批次发送
减少kafka和服务端交互的次数，增加对应的延迟
查看全部 -
Kafka 特点2
查看全部 -
kafka特点
查看全部 -
zk存放的信息：Broker的信息 topic partition的分布
查看全部 -
Kafka基本结构
查看全部 -
1111111
查看全部 -
Partition
1.每一个Topic被切分为多个Partitions
partition属于消息存储的基本单位。topic就像分类，一个分类下有多个单位（partition）。
2.消费者数据少于或等于Partition的数目
3.Broker Group 中的每一个Broker保存Topic的一个或多个Partitions
//broker 是kafaka的一个存储节点。多个节点组成一个Broker Group
4.Consumer Group中的仅有一个Consumer读取Topic的一个或者多个parttition，并且是唯一的Consumer。以组的方式进行topic调度
查看全部 -
kafka:
producer:消息和数据的生产者，向kafka的一个topic发布消息
consumer:消息和数据的订阅者，订阅数据(topic)
Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group
一个group中，只有一个consumer可以消费该消息
broker:物理概念，kafka集群中的每个kafka节点
topic:逻辑概念kafka消息类别，对数据进行区分，隔离
partition:物理概念，kafka下数存储的基本单元，一个topic数据，会被分散存储多个partition,每一个partition是有序的。一个partition存在一个Broker里
Replication:同一个Partition可能会有多个Replica，多个Replica之间数据是一样的。相当于一个partition有多个副本。副本就是相当于有多个备份。
Replication Leader:一个Partition的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互。不管partition有多少个replication他只有一个leader。其他的replication备份其他数据，当备胎。
ReplicaManager：负责管理当前broker所有分区和副本的信息，处理KafkaController发起的一些请求，副本状态的切换，添加、读取消息等
如果Replication Leader挂了，还负责在选取新的leader
查看全部 -
kafka零拷贝特性
查看全部 -
Kafka消息结构
查看全部
举报