-
kafka特点
分布式
1）多分区
2）多副本
3）多订阅者
4）基于zookeeper调度
高性能
1）高吞吐量
2）低延迟
3）高并发
4）时间复杂度为O(1)
持久性与扩展性
1）数据可持久化
2）容错性
3）支持在线水平扩展
4）消息自动平衡
查看全部 -
kafka基本结构
Producer Api
Consumer Api
Streams Api
Connectors Api
查看全部 -
kafka基本概念延伸
Partition
1）每一个Topic被切分为多个Partitions
2）消费者数目少于或等于Partition的数目
3）Broker Group中的每一个Broker保存Topic的一个或多个Partitions
4）Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions，并且是唯一的Consumer
Replication（副本）
1）当集群中有Broker挂掉的情况，系统可以主动地使Replicas提供服务
2）系统默认设置每一个Topic的replication系数为1，可以在创建Topic时单独设置
Replication的特点
1）Replication的基本单位是Topic的Partition
2）所有的读和写都从Leader进，Followers只是做为备份
3）Follower必须能够及时复制Leader的数据
4）增加容错性与可扩展性
查看全部 -
kafka基本概念
Producer：消息和数据的生产者，向kafka的一个topic发布消息的进程/代码/服务
Consumer：消息和数据的消费者，订阅数据（Topic）并且处理其发布的消息的进程/代码/服务
Consumer Group：逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息
Broker：物理概念，kafka集群中的每个kafka节点
Topic：逻辑概念，kafka消息的类别，对数据进行区分、隔离
Partition：物理概念，kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个Partition，每一个Partition是有序的
Replication：同一个Partition可能会有多个Replica，多个Replica之间数据是一样的。副本的意思
Replication Leader：一个Partition的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互
ReplicaManager：负责管理当前broker所有分区和副本的信息，处理KafkaController发起的一些请求，副本状态的切换、添加/读取消息等
查看全部 -
流处理 事件源查看全部
-
零拷贝简介
查看全部 -
零拷贝简介
查看全部 -
零拷贝使用
查看全部 -
kafka消息事务
查看全部 -
kafka producer consumer
查看全部 -
kafka console
查看全部 -
zk启动命令
查看全部 -
kafka 启动
查看全部 -
kafka命令
查看全部 -
kafka零拷贝简介查看全部
举报