1、Kafka是什么?
Kafka是一个分布式流处理系统,使其能够像消息队列一样传输publish或subscribe消息。分布式提供了容错性和并发处理消息的机制
2、基本概念Kafka的基本概念
kafka在集群上运行,包括一个或多个服务器。kafka将信息存储在topic中,每个信息包含键值(key),值(value)和时间戳(timestamp)。
kafka有以下基本概念:
Producer - 新闻制作人是kafka broker发消息的客户端。
Consumer - 消息消费者是消息的用户,负责消费Kafka服务器上的消息。
Topic - 主题由用户定义并配置在Kafka服务器中,以建立Producer和Consumer之间的订阅关系。制作人向指定的Topic发送消息,消息人员从Topic发送消息。
Partition - 一个topic可以分为多个消息分区 partition,每个
partition是一个有序的队列。partition中的每一条新闻都将被分配到有序的id中(offset)。
Broker - 一个kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
Consumer Group - 消费者分组,用于分组同类消费者。每个consumer属于一个特定的consumer group,多个消费者可以在topic下消息,每个消费者消费部分消息,这些消费者形成一个分组,有相同的分组名称,通常也被称为消费者集群。
Offset - 新闻在partition中的偏移量。每条新闻在partition中都有唯一的偏移量,消息人员可以指定偏移量来指定要消费的新闻。
以上是Python中Kafka的介绍,希望对大家有所帮助!