-
Kafka基本结构
Kafka消息结构
查看全部 -
Partition
每一个Topic被且分为多个Partitions
消费者数目少于或等于Partition的数目
Braoker Group中的每一个Broker保存Topic的一个或多个Partitions
Consumer Group中的仅有一个Consumer读取Topic的一个或多个Partitions，并且是唯一的Consumer
Replication
当集群中有Broker挂掉的情况，系统可以主动地使Replicas提供服务
系统默认设置每一个Topic的replication系数为1，可以在创建Topic时单独设置
Replication特点
Replication的基本单位是Topic的Partition
所有的读和写都从Leader进，Followers只是作为备份
Follower必须能够及时复制Leader的数据
增加容错性与可扩展性
查看全部 -
物理概念：物理层面的隔离，如数据库，服务器设备等
逻辑概念：代码/策略逻辑层面的概念
Producer:消息和数据的生产者，向kafka的一个topic发布消息的进程/代码/服务
Consumer:消息和数据的消费者，订阅数据（Topic）并且处理其发布的消息的进程/代码/服务
Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息
broker:物理概念，kafka集群中的每个kafka节点
topic：逻辑概念，kafka消息的类别，对数据进行区分、隔离
partition:物理概念，kafka下数据存储的基本单元。一个Topic数据，会被分散存储到多个partition，每个partition是有序的
Replication：同一个Partition可能会有多个Replica，多个Replica之间的数据是一样的（相当于一个partition有多个副本）
Replication Leader：一个Partition的多个Replica上，需要一个Leader负责Partition上与Producer和Consumer交互(有且只有一个，其他的负责同步数据，当好备胎)
ReplicaManager：负责管理当前broker所有分区和副本的信息，处理kafkaController发起的一些请求，副本状态的切换、添加/读取消息等
查看全部 -
绪论：kafka流处理平台
查看全部 -
kafka概念：
查看全部 -
学习查看全部
-
文件传输到网络的公共数据路径
查看全部 -
零拷贝的过程
查看全部 -
零拷贝——文件传输
查看全部 -
零拷贝简介
查看全部 -
kafka消息事务——事务保证避免僵尸实例
查看全部 -
kafka消息事务——数据传输的事务定义
查看全部 -
kafka消息事务
查看全部 -
启动zookeeper命令: zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties
启动kafka命令： 进入kafka安装目录，cd /usr/local/Cellar/kafka/1.1.0/
启动命令：./bin/kafka-server-start /usr/local/etc/kafka/server.properties
启动kafka生存者：./bin/kafka-console-producer --broker-list localhost:9092 --topic imooc-kafka-topic
启动kafka消费者：./bin/kafka-console-consumer --bootstrap-server localhost:9092 --topic imooc-kafka-topic --from-beginning
查看全部 -
kafka环境的下载与安装
查看全部
举报