消息中间件：Apache Kafka 与 RabbitMQ 的深度对比
在现代应用架构中，消息代理扮演着至关重要的角色，它们负责解耦应用程序，实现异步通信。Apache Kafka 和 RabbitMQ 是两个广泛使用的消息代理，但它们在设计理念和功能特性上存在显著差异。本文将深入探讨它们的特性、架构以及适用场景，帮助您更好地理解和选择适合自己项目的消息中间件。
RabbitMQ：传统消息队列的代表
RabbitMQ 是一个开源的消息代理，专注于各方之间的通信和消息交换。它采用 Erlang 语言开发，这使得它具备轻量级和高效的特点。Erlang 语言本身就强调分布式系统，这为 RabbitMQ 提供了天然的优势。
RabbitMQ 被认为是一种更传统的消息传递代理。它基于发布-订阅模式，可以根据配置同步或异步处理通信。它还保证生产者和消费者之间消息的可靠传递和顺序性。
RabbitMQ 支持多种协议，包括 AMQP、STOMP、MQTT、HTTP 和 Web 套接字。它提供三种消息交换模型：主题（topic）、扇出（fanout）和直接（direct）：
- 主题模式允许进行有针对性的点对点通信。
- 扇出模式将消息广播给所有连接到队列的消费者。
- 直接模式确保每个消费者只接收到一条特定的消息。
以下是 RabbitMQ 的核心组件：
生产者
生产者是创建消息并将其发送到 RabbitMQ 的应用程序。任何能够连接到 RabbitMQ 并发布消息的应用程序都可以充当生产者。
消费者
消费者是从 RabbitMQ 接收和处理消息的应用程序。任何能够连接到 RabbitMQ 并订阅消息的应用程序都可以充当消费者。
交换器
交换器负责接收来自生产者的消息，并根据路由规则将其路由到相应的队列。RabbitMQ 支持多种类型的交换器，包括直接交换器、扇出交换器、主题交换器和标头交换器。
队列
队列是存储消息的地方，直到它们被消费者处理。队列可以由应用程序创建，也可以在消息发布到交换器时由 RabbitMQ 自动创建。
绑定
绑定定义了交换器和队列之间的关联关系，指定了消息路由的规则。
RabbitMQ 的架构
RabbitMQ 使用“拉”模式进行消息传递。在这种模式下，消费者主动从代理请求消息。消息首先被发送到交换器，然后交换器根据路由键将消息路由到对应的队列。
RabbitMQ 基于客户端-服务器架构，由多个协同工作的组件组成，共同构建了一个可靠且可扩展的消息传递平台。AMQP 协议提供了组件交换、队列、绑定以及发布者和订阅者的概念。发布者将消息发送到交换器，交换器根据绑定规则将消息分发到 0 到 n 个队列。消费者负责从队列中检索消息。简而言之，RabbitMQ 的消息管理流程如下：
图片来源：VMware
- 生产者发送消息到交换器。
- 交换器根据配置将消息发送到队列。
- RabbitMQ 向生产者发送消息确认。
- 消费者维护与 RabbitMQ 的持久 TCP 连接，并声明要接收的队列。
- RabbitMQ 将消息路由到消费者。
- 消费者发送接收消息成功或失败的确认。
- 成功接收后，消息将从队列中删除。
Apache Kafka：分布式流平台
Apache Kafka 是 LinkedIn 使用 Scala 开发的分布式开源消息解决方案。它采用发布-订阅模式，具备高可扩展性和性能，能够处理和存储大量消息。
Kafka 使用分区在节点之间分配主题，从而实现消息的存储和管理。它融合了发布-订阅模式和消息队列的概念，并确保每个消费者的消息顺序性。
Kafka 的核心目标是高数据吞吐量和低延迟，以便处理实时数据流。它通过避免服务器端的过多逻辑和一些特殊的实现细节来实现这一目标。例如，Kafka 不使用 RAM，而是直接将数据写入服务器的文件系统，这种顺序写入的方式使得读写性能可以媲美 RAM。
以下是 Kafka 的关键概念，这些概念赋予了它高可扩展性、高性能和容错能力：
主题
主题用于对消息进行分类或标记。可以将主题想象成一个有多个抽屉的柜子，每个抽屉代表一个主题，而柜子则代表 Kafka 平台。主题类似于关系数据库中的表格。
生产者
生产者是连接到 Kafka 平台并发送特定主题消息的应用程序或系统。
消费者
消费者是连接到 Kafka 平台并消费特定主题消息的应用程序或系统。
代理
Kafka 中的代理实际上就是 Kafka 本身。它负责管理主题、定义消息和日志的存储方式。
集群
集群是一组相互通信的代理，用于提高可扩展性和容错能力。
日志文件
每个主题的记录以日志格式存储，这意味着它们是结构化和有序的。日志文件包含了主题的相关信息。
分区
分区是主题内部消息的分区层。分区机制确保了 Kafka 的弹性、容错能力和可扩展性。每个主题可以在不同的位置有多个分区。
Apache Kafka 的架构
Kafka 基于消息传递的“推送”模型。在这种模型中，Kafka 中的消息被主动推送给消费者。消息被发布到主题，这些主题被分区并分布在集群中的不同代理上。然后，消费者可以订阅一个或多个主题并接收关于这些主题的消息。
在 Kafka 中，每个主题都被划分为一个或多个分区。事件被写入到分区中。如果集群中有多个代理，那么分区将尽可能平均地分布在所有代理上。这使得一个主题的写入和读取负载可以同时扩展到多个代理。作为一个集群系统，Kafka 使用 ZooKeeper 来实现同步运行。
Kafka 负责接收、存储和分发记录。记录是由某个系统节点产生的数据，可以是事件或信息。它被发送到集群，集群将其存储在主题分区中。每条记录都有一个序列偏移量，消费者可以通过控制偏移量来管理消费进度。如果需要重新处理主题，可以通过偏移量来实现。
图片来源：维基百科
Kafka 将最后读取的消息 ID 管理、新数据写入哪个分区的决策等逻辑完全转移到客户端（生产者或消费者）。除了生产者和消费者的概念，Kafka 还有主题、分区和副本的概念。一个主题描述了一类消息。Kafka 通过复制主题中的数据并通过跨多个服务器分区主题来实现容错。
RabbitMQ vs Kafka：核心差异
Apache Kafka 和 RabbitMQ 的主要区别在于它们实现的消息传递模型。Kafka 采用“拉”模式，由消费者主动从主题中获取消息；而 RabbitMQ 采用“推”模式，将消息发送给接收者。因此，Kafka 在以下方面与 RabbitMQ 不同：
#1. 架构
RabbitMQ 和 Kafka 的最大差异之一是架构的不同。RabbitMQ 采用传统的基于 broker 的消息队列架构，而 Kafka 采用分布式流平台架构。此外，RabbitMQ 使用基于“拉”的消息传递模型，而 Kafka 使用基于“推”的模型。
#2. 消息存储
RabbitMQ 将消息放入 FIFO 队列（先进先出）并监控消息的状态。Kafka 将消息写入日志（磁盘），并由接收者负责从主题中获取消息。RabbitMQ 在将消息传递给接收者后会删除消息，而 Kafka 则会存储消息直到清理日志。因此，与 RabbitMQ 不同，Kafka 保存了当前和所有以前的系统状态，可以作为历史数据的可靠来源。
#3. 负载均衡
RabbitMQ 的“拉”模式减少了延迟。但是，如果消息到达队列的速度快于消费者的处理速度，则可能导致消费者溢出。在 RabbitMQ 中，每个接收者请求/上传的消息数量可能不同，这可能导致工作分配不均，进而产生延迟和消息顺序丢失。为了避免这种情况，RabbitMQ 为每个接收者配置了预取限制。而 Kafka 通过在主题的各个部分（分区）之间重新分配接收者来自动执行负载平衡。
#4. 路由
RabbitMQ 提供了四种不同的路由方法，支持多种消息传递模式。Kafka 只有一种将消息写入磁盘而无需路由的方法。
#5. 消息排序
RabbitMQ 允许维护任意事件集（组）中的相对顺序，而 Apache Kafka 通过将消息按顺序写入复制的日志（主题）来维护具有可扩展性的顺序。
| 特性 | RabbitMQ | Kafka |
| 架构 | 将消息存储在连接到代理的磁盘上 | 分布式流平台架构 |
| 交付模型 | 基于拉 | 基于推 |
| 消息存储 | 不能保存消息 | 通过写入主题来维护 |
| 消息排序 | 允许在组中维护顺序 | 通过写入主题维护顺序 |
| 负载均衡 | 配置预取限制 | 自动执行 |
| 路由 | 包括 4 种路由方式 | 只有一种路由方式 |
| 外部进程 | 不需要运行 Zookeeper 实例 | 需要运行 Zookeeper 实例 |
| 插件 | 提供丰富的插件支持 | 插件支持有限 |
总而言之，RabbitMQ 和 Kafka 都是广泛使用的消息系统，各有优劣。RabbitMQ 是一种灵活、可靠且可扩展的消息系统，擅长消息队列，适用于需要可靠和灵活的消息传递的应用程序。另一方面，Kafka 是一种分布式流媒体平台，专为高吞吐量、实时处理大量数据而设计，适用于需要实时处理和分析数据的应用。
RabbitMQ 的主要应用场景
电子商务
RabbitMQ 在电子商务应用中用于管理不同系统之间的数据流，例如库存管理、订单处理和支付处理。它可以处理大量消息并确保消息以正确的顺序可靠地传递。
医疗保健
在医疗保健行业，RabbitMQ 用于在不同系统之间交换数据，例如电子健康记录 (EHR)、医疗设备和临床决策支持系统。通过确保在正确的时间提供正确的信息，它可以帮助改善患者护理并减少错误。
金融服务
RabbitMQ 支持系统之间的实时消息传递，例如交易平台、风险管理系统和支付网关。它可以帮助确保快速安全地处理交易。
物联网系统
RabbitMQ 在物联网系统中用于管理不同设备和传感器之间的数据流。它可以帮助确保数据安全高效地交付，即使在带宽有限和连接断断续续的环境中也是如此。
Kafka 是一种分布式流媒体平台，旨在实时处理大量数据。
Kafka 的主要应用场景
实时分析
Kafka 在实时分析应用程序中用于处理和分析生成的数据，使企业能够根据最新信息做出决策。它可以处理大量数据和扩展以满足即使是最苛刻的应用程序的需求。
日志聚合
Kafka 可以聚合来自不同系统和应用程序的日志，使企业能够实时监控和解决问题。它还可用于存储日志以供长期分析和报告。
机器学习
Kafka 在机器学习应用程序中用于将数据实时流式传输到模型，使企业能够根据最新信息做出预测并采取行动。它可以帮助提高机器学习模型的准确性和有效性。
我的观点：RabbitMQ 和 Kafka 的选择
RabbitMQ 广泛而多样的消息队列灵活管理功能也有其缺点，即资源消耗增加，这在负载增加的情况下会导致性能下降。考虑到复杂系统的运行模式，在大多数情况下，Apache Kafka 是管理消息的更优选择。
例如，在从数十个系统和服务收集和聚合大量事件的场景中，考虑到数据地理保留、客户端指标、日志文件和分析以及未来数据源增加的可能，我会更倾向于使用 Kafka。但是，如果仅需快速消息传递，RabbitMQ 完全可以胜任！
您还可以查阅关于如何在 Windows 和 Linux 中安装 Apache Kafka 的相关资料。