Kafka技术详解[1]:简介与基础概念
目录
1. Kafka入门
1.1 概述
1.1.1 初识Kafka
Kafka是由Scala和Java语言开发的高吞吐量分布式消息发布和订阅系统，也是大数据技术领域中用作数据交换的核心组件之一。因其高吞吐量、低延迟、高可伸缩性、高可靠性、高并发性以及活跃的社区支持等特点而受到广泛欢迎。
2010年，LinkedIn公司为了解决消息传输过程中的阻塞和服务不可访问等问题，主导开发了一款分布式消息日志传输系统。该系统的命名灵感来源于西方表现主义文学先驱小说家Franz Kafka的作品《变形记》，尽管这个名字与软件特性并无直接关联。由于其卓越的性能，Kafka在2011年被捐献给Apache基金会，并在同年被纳入Apache软件基金会孵化器项目。2012年10月，Kafka正式成为Apache顶级项目，并逐渐发展成为一款开源分布式事件流处理平台系统，被广泛应用于高性能数据管道、流分析、数据集成和关键任务应用程序。
官网地址：Apache KafkaApache Kafka: A Distributed Streaming Platform.
https://kafka.apache.org/
1.1.2 消息队列
Kafka最初设计为专门用于数据传输的消息系统，类似于RabbitMQ、ActiveMQ、RocketMQ等。这些软件的名称中的“MQ”是“Message Queue”（消息队列）的缩写，核心功能是传输数据。Java中实现数据传输功能通常需要遵循Java消息服务技术规范（JMS）。ActiveMQ完全遵循了JMS技术规范，而RabbitMQ则遵循了AMQP（Advanced Message Queuing Protocol）规范，并兼容JMS规范。此外，还有用于物联网设备间消息传输的MQTT协议。
虽然Kafka具备消息系统的基本功能，但其设计具有独特之处，仅借鉴了JMS规范的思想而未完全遵循。因此，虽然Kafka是一个消息系统，但它并未被称为“KafkaMQ”。
为了更好地理解消息系统，这里简要介绍JMS规范：
- JMS是Java平台的消息中间件通用规范，定义了用于消息中间件的标准接口。类似于JDBC规范，JMS定义了系统之间传输消息的接口。
- JMS定义了许多用于通信的组件：
- JMS Provider：实现JMS接口和规范的消息中间件，如RabbitMQ、ActiveMQ、Kafka。
- JMS Message：数据，通常采用Java数据模型进行封装，包含消息头、属性和主体内容。
- JMS Producer：生产数据的客户端应用程序，通过JMS接口发送消息。
- JMS Consumer：从消息提供者中获取数据的客户端应用程序，通过JMS接口接收消息。
- JMS支持两种消息模型：P2P（点对点）模型和发布/订阅模型。
- P2P模型：基于队列，消息生产者将数据发送到队列，消费者从中接收消息。
- 发布/订阅模型：基于主题，生产者按主题发送消息，消费者订阅感兴趣的主题。
1.1.3 生产者-消费者模式
生产者-消费者模式通过一个容器（通常是阻塞队列）来解耦生产者和消费者。在分布式环境中，这个容器通常由第三方软件实现，即所谓的中间件。中间件的使用旨在降低生产者和消费者之间的耦合度，并提高消息传输效率。
1.1.4 消息中间件对比
下表总结了几种常见消息中间件的主要特性：
| 特性 | ActiveMQ | RabbitMQ | RocketMQ | Kafka |
|---|---|---|---|---|
| 单机吞吐量 | 万级 | 万级 | 10万级 | 10万级 |
| Topic数量对吞吐量的影响 | 不详 | 不详 | Topic可以达到几百/几千量级 | Topic可以达到几百量级，更多时吞吐量会下降 |
| 时效性 | ms级 | 微秒级别 | ms级 | ms级 |
| 可用性 | 高 | 高 | 非常高 | 非常高 |
| 消息可靠性 | 有较低概率丢失数据 | 基本不丢 | 经过参数优化配置，可以做到0丢失 | 经过参数优化配置，可以做到0丢失 |
| 功能支持 | MQ领域的功能极其完备 | 并发能力强，性能极好，延时很低 | MQ功能较为完善，分布式，扩展性好 | 功能较为简单，支持简单的MQ功能，在大数据领域被广泛使用 |
| 其他 | 社区不是很活跃 | 开源，稳定，社区活跃度高 | 阿里开发，社区活跃度不高 | 开源，高吞吐量，社区活跃度极高 |
在大数据场景中，Kafka作为消息中间件被广泛采用；而在Java EE开发中，则主要使用ActiveMQ、RabbitMQ、RocketMQ。如果项目需要融合Java EE和大数据，则Kafka是一个很好的选择。
1.1.5 ZooKeeper
ZooKeeper是一款开源的分布式应用程序协调服务软件。在多节点分布式架构中，ZooKeeper用于保持各节点间环境和系统配置的一致性。Kafka作为分布式事件流处理平台，利用ZooKeeper来协调其多个服务节点。然而，为了减少与其他软件的耦合，从Kafka 2.8.X版本开始，引入了Raft算法进行节点间的协调管理，以期在未来版本中逐步替代ZooKeeper。
原文地址：https://blog.csdn.net/qq_45115959/article/details/142470357
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！