-
Partition
每一个Topic被切分为多个Partitions(Partition属于消费者存储的基本单位)
消费者数目小于或等于Partition的数目（多个消费者若消费同个Partition会出现数据错误，所有Kafka如此设计）
Broker Group中的每一个Broker保存Topic的一个或多个Partitions(一个Broker只会保存一个Partition,若Partition太大则多个Broker保存同个Partition)
Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions，并且是唯一的Consumer(避免同一个Partition被多个Consumer消费)
查看全部 -
Broker:物理概念，Kafka集群中的每个Kafka节点
Topic:逻辑概念，Kafka消息的类别，对数据进行区分、隔离
Partition：物理概念，Kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个Partition，每一个Partition是有序的
Replication（副本、备份）:同一个Partition可能会有多个Replica，多个Replica之间数据是一样的
Replication Leader:一个Partitionn的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互
ReplicaManager:负责管理当前broker所有分区和副本的信息，处理KafkaController发起的一些请求，副本状态的切换、添加/读取消息、Leader的选举等
查看全部 -
Kafka基本概念
Producer:消息和数据的生产者，向Kafka的一个topic发布消息的进程/代码/服务
Consumer:消息和数据的消费者，订阅数据（Topic）并且处理其发布的消息的进程/代码/服务
Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息
查看全部 -
offset偏移多少查看全部
-
kfka是一个流计算平台查看全部
-
kafka应用场景
日志收集
流处理
事件源
持久性日志（commit log）
对故障节点的恢复提供一种重新投入的机制。日志压缩
查看全部 -
第一遍基本没看懂查看全部
-
Databus,Cubert,ParSeq
查看全部 -
replication：partition得副本
replication的基本单位是topic的partition
所有的读写都是从leader进，followers只是作为备份。
查看全部 -
zero copy
查看全部 -
Kafka Message Structure
查看全部 -
Kafka as Message Queue Structure
查看全部 -
Kafka Basic Structure
查看全部 -
replication查看全部
-
概念查看全部
举报