-
kafka应用场景
消息队列
行为跟踪
元信息监控
日志收集
流处理
事件源
持久性日志（commit log）
对故障节点的恢复提供一种重新投入的机制。日志压缩
查看全部 -
kafka特点3
查看全部 -
Kafka特点2
查看全部 -
kafka特点
查看全部 -
kafka消息结构：
Offset: 消息的偏移量
Length: 消息的长度
CRC32 : 消息校验字段，校验信息的完整性
Magic: 用于判断该消息是不是kafka消息
attributes: 可选字段，存放当前消息的属性
Timestamp: 消费时间戳
Key Length: key的长度
Key : key的值
Value Length: 值的长度
Value: 消息内容
查看全部 -
kafka的基本结构
查看全部 -
Kafka的基本结构
查看全部 -
Replication的特点
查看全部 -
Replication的基本概念
查看全部 -
Partition
每一个Topic被切分为多个Partitions(Partition属于消费者存储的基本单位)
消费者数目小于或等于Partition的数目（多个消费者若消费同个Partition会出现数据错误，所有Kafka如此设计）
Broker Group中的每一个Broker保存Topic的一个或多个Partitions(一个Broker只会保存一个Partition,若Partition太大则多个Broker保存同个Partition)
Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions，并且是唯一的Consumer(避免同一个Partition被多个Consumer消费)
查看全部 -
Kafka的基本概念
查看全部 -
Kafka基本概念
· Producer:消息和数据的生产者，向Kafka的一个topic发布消息的进程/代码/服务
· Consumer:消息和数据的消费者，订阅数据（Topic）并且处理其发布的消息的进程/代码/服务
· Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息
· Broker:物理概念，Kafka集群中的每个Kafka节点
· Topic:逻辑概念，Kafka消息的类别，对数据进行区分、隔离
· Partition：物理概念，Kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个Partition，每一个Partition是有序的
· Replication（副本、备份）:同一个Partition可能会有多个Replica，多个Replica之间数据是一样的
· Replication Leader:一个Partitionn的多个Replica上，需要一个Leader负责该Partition上与Producer和Consumer交互
· ReplicaManager:负责管理当前broker所有分区和副本的信息，处理KafkaController发起的一些请求，副本状态的切换、添加/读取消息、Leader的选举等
查看全部 -
Kafka流处理平台特性：
它是可以发布或订阅数据的流的系统，类似于消息队列
数据流存储的平台，并且具备错误容忍
当数据产生时就对数据进行处理
两类应用：
构建实时数据流管道
构建实时数据处理应用，转换或响应数据流
查看全部 -
LinkedIn开源
查看全部 -
数据、日志的存储消费模式
查看全部
举报