今日更新汇总十张图，五个问题带你彻底理解 Kafka 架构调

五连环画

1 了解K超高并发络架构是如何设计吗?我们知道 K 络通信架构使用到了 J NIO 以及 R 设计模式。我们先从整体上看一下完整的络通信层架构，如下图所示：加速器的具体问题可以到我们网站了解一下，也有业内领域专业的客服为您解答问题，为成功合作打下一个良好的开端！

1）从上图中我们可以看出，K 络通信架构中用到的组件主要由两大部分构成：SS 和 RHP。

2）SS 组件是 K 超高并发络通信层中比较重要的子模块。它包含 A 线程、P 线程和 RC 等对象，都是络通信的重要组成部分。

3）RHP 组件就是我们常说的 IO 工作线程池，里面定义了若干个 IO 线程，主要用来执行真的请求处理逻辑。

01 A 线程在经典的 R 设计模式有个「D」的角色，主要用来接收外部请求并分发给下面的际处理线程。在 K 络架构设计中，这个 D 就是「A 线程」,用来接收和创建外部 TCP 连接的线程。在 B 端每个 SS 例只会创建一个 A 线程。它的主要功能就是创建连接，并将接收到的 R 请求传递给下游的 P 线程处理。



1）我们可以看出 A 线程主要使用了 J NIO 的 S 以及 SC 的方式循环的轮询准备就绪的IO事件。

2）将 SSC 通道注册到S 上，并关注络连接创事件：SKOP_ACCEPT。

3）事件注册好后，一旦后续接收到连接请求后，A 线程就会指定一个 P 线程，并将该请求交给它并创建络连接用于后续处理。

02 P线程A只是做了请求入口连接处理的，那么，真正创建络连接以及分发络请求是由 P 线程来完成的。而每个 P 线程在创建时都会创建 3 个队列。

1）C 队列:它主要是用来保存要创建的新连接信息，也就是SC 对象，目前是硬编码队列长度大小为20。每当 P 线程接收到新的连接请求时，都会将对应的 SC 对象放入队列，等到后面创建连接时，从该队列中获取 SC，然后注册新的连接。

2）R 队列：它是一个临时的 R 队列，当 P 线程将 R 返回给 C 之后，要将 R 放入该队列。它存在的意义：由于有些 R 回调逻辑要在 R 被发送回 R 发送方后，才能执行，因此需要暂存到临时队列。

3）RQ 队列：它主要是存放需要返回给R 发送方的所有 R 对象。每个 P 线程都会维护自己的 R 队列。





03 RHP线程池A 线程和 P 线程只是请求和响应的「搬运工」，而「真正处理 K 请求」是KRHP线程池，在上面络超高并发通信架构图，有两个参数跟整个流程有关系，分别是「」、「」。其中 就是IO 工作线程池的大小配置。



下面我们结合 K 超高并发络架构图来讲解下一个完整请求处理核心流程：

1）C 发送请求给 A 线程。

2）A 线程会创建 NIO S 对象，并创建 SSC 通道例，然后将 C 和 OP_ACCEPT 事件绑定到 S 多路复用器上。

3）A 线程默认创建3个P 线程参数：, 并轮询的将请求对象 SC 放入到连接队列中。

4）这时候连接队列就源源不断有请求数据了，然后不停地执行 NIO P, 获取对应 SC 上已经准备就绪的 IO 事件。

5）P 线程向 SC 注册了 OP_READOP_WRITE 事件，这样 客户端发过来的请求就会被该 SC 对象获取到，具体就是 CR 方法。

6）这个时候客户端就可以源源不断进行请求发送了，服务端通过 S NIO P 不停的获取准备就绪的 IO 事件。

7）然后根据C中获取已经完成的R对象，构建R对象，并将其存入到 R 的 RQ 请求队列中 。

8）这个时候就该IO 线程池上场了，KRH 线程循环地从请求队列RQ 中获取 R 例，然后交由KA 的方法，执行真正的请求处理逻辑，并比较终将数据存储到磁盘中。

9）待处理完请求后，KRH 线程会将 R 对象放入 P 线程的 R 队列。

10）然后 P 线程通过 R 中的 PID 不停地从 R 队列中来定位并取出 R 对象，返还给 R 发送方。

2 了解K高吞吐日志存储架构是如何设计吗?对于 K 来说，它主要用来处理海量数据流，这个场景的特点主要包括：

1) 写操作：写并发要求非常高，基本得达到百万级 TPS，顺序追加写日志即可，需考虑更新操作。



2）读操作：相对写操作来说，比较简单，只要能按照一定规则高效查询即可,支持（或者时间戳）读取。



根据上面两点分析，对于写操作来说，直接采用「顺序追加写日志」的方式就可以满足 K 对于百万TPS写入效率要求。

如何解决高效查询这些日志呢我们可以设想把消息的 O 设计成一个有序的字段，这样消息在日志文件中也就有序存放了，也不需要额外引入哈希表结构，可以直接将消息划分成若干个块，对于每个块我们只需要索引当前块的首条消息的 O ，这个是不是有点二分查找算法的意思。即先根据 O 大小找到对应的块，然后再从块中顺序查找。如下图所示：



这样就可以速定位到要查找的消息的位置了，在 K 中，我们将这种索引结构叫做「稀疏哈希索引」。

上面得出了 K 比较终的存储现方案，即基于顺序追加写日志 +稀疏哈希索引。

接下来我们来看看 K 日志存储结构：



从上图看出来，K 是基于「主题 +分区 + 副本 + 分段 + 索引」的结构进行日志存储的。

了解了整体的日志存储架构，我们来看下 K 日志格式，K 日志格式也经历了多个版本迭代，这里我们主要看下V2版本的日志格式：

通过上图可以得出：V2 版本日志格式主要是通过可变长度提高了消息格式的空间使用率，并将某些字段抽取到消息批次（RB）中，同时消息批次可以存放多条消息，从而在批量发送消息时，可以大幅度地节省了磁盘空间。

接下来我们来看看日志消息写入磁盘的整体过程如下图所示：

3 针对 K 线上集群部署方案, 你是怎么做的这里我们从架构师必备能力出发， 以电商平台为例讲述了 K 生产级容量评估方案该如何做如何让以及运维部门得到认可，获准你的方案。



详细可以深读：八大步骤带你深度剖析K生产级容量评估方案

4 针对 K 线上系统, 你是如何进行监控的?K 作为大型系统架构中重要的一环，有着举足轻重的作用，因此 K 集群的稳定性尤为重要，我们要对生产的 K 集群进行全方位的监控，一般线上系统可以从以下五个维度进行监控：

01 主机节点监控所谓主机节点监控就是监控 K 集群 B 所在节点机器的性能。主机节点监控对于 K 来说是比较重要的，因为很多线上环境问题首先就是由于主机的某些性能出现了问题。

因此对于 K 来说，主机监控通常是发现问题的首步，主要性能指标如下：

「机器负载（L）」、「CPU 使用率」、「内存使用率」、「磁盘 IO 使用率」、「络 IO 使用率」、「TCP 连接数」、「打开文件数」、「 使用情况」。

如果想要更好的监控主机性能的话，有以下两个教程可以学习和参考：



02 JVM 监控另一个重要的监控维度就是 JVM 监控。监控 JVM 进程主要是为了让你全面地了解K B 进程。

要监控JVM 进程，需要关注 3 个指标：

「监控F GC 发生频率和时长」、「监控堆上活跃对象大小」、「监控应用线程总数」

03 K 集群监控另外一个重要监控维度就是 K B 集群和各类客户端的监控，主要有3个方法：

1）查看 B 端重要日志：主要包括 B 端服务器日志 ，控制器日志以及主题分区状态变更日志 -。其中， 是比较重要的，如果你的 K 集群出现了故障，你要首时间查看 ，定位故障原因。



2）查看 B 端关键线程运行状态，例如:

L C 线程：日志压缩清理。一旦它挂掉了，所有 C 操作都会中断，但用户对此通常是感知的。



副本拉取消息的线程：主要执行 F 副本向 L 副本拉取消息的逻辑。如果它们挂掉了，系统会表现为 F 副本延迟 L 副本越来越大。



3）查看 B 端关键的 JMX 性能指标:主要有BIBO、NPAIP、RHAIP、URP、ISRSISRE、ACC 这几个指标。



04 K 客户端监控客户端监控主要是生产者和消费者的监控，生产者往 K 发送消息，此时我们要了解客户端机器与 B 机器之间的往返时延 RTT 是多少，对于跨数据中心或者异地集群来说，RTT 会更大，很难支撑很大的 TPS。

P角度:- 是需要重点关注的JMX指标，即消息生产请求的延时；另外 S 线程的运行状态也是非常重要的， 如果 S 线程挂了，对于用户是感知的，表象只是 P 端消息发送失败。

C角度:对于 C G，需要重点关注和指标，它表示 R 的频繁程度。另外还包括消息消费偏移量、消息堆积数量等。

05 B 之间的监控比较后一个监控维度就是 B 之间的监控，主要指副本拉取的性能。F 副本时拉取 L 副本的数据，此时我们希望拉取过程越越好。K 提供了一个特别重要的 JMX 指标，叫做「」，意思就是比如我们规定这条消息，应该在两个 B 上面保存，假设只有一个 B 上保存该消息，那么这条消息所在的分区就叫，这种情况是特别关注的，因为有可能造成数据的丢失。

另外还有一个比较重要的指标是「 」。在整个 K 集群中应该确保只能有一台机器的指标是1，其他全应该是0，如果发现有一台机器大于1，一定是出现脑裂了，此时应该去检查下是否出现了络分区。K本身是不能对抗脑裂的，完全依靠 Z 来做，但是如果真正出现络分区的话，也是没有办法处理的，应该让其速失败重启。

5 针对 K 线上系统, 你是如何进行调的?对 K 来说，「吞吐量」和「延时」是非常重要的化指标。

吞吐量 TPS：是指 B 端或 C 端每秒能处理的消息数，越大越好。

延时：表示从 P 端发送消息到 B 端持久化完成到 C 端成功消费之间的时间间隔。与吞吐量 TPS 相反，延时越短越好。

总之，高吞吐量、低延时是我们调 K 集群的主要目标。

01 提升吞吐量首先是提升吞吐量参数和措施：

















B

：表示 F 副本用多少个线程来拉取消息，默认1个线程。如果 B 端 CPU 资源很充足，适当增加该值「但不要超过CPU核数」，以加 F 副本的同步速度。这是因为在生产环境中，配置了 = 的 P 端影响吞吐量的首要因素就是副本同步性能。适当增加该值后通常可以看到 P 端吞吐量增加

：在ISR 中，如果 F 长时间未向 L 发送通信请求或同步数据，则该 F 将被踢出 ISR，该值默认为 30。

：单个A创建P处理器的线程个数，默认值为3， 可以适当提高该值为9。

：服务器用于处理请求的线程数，可能包括磁盘 IO，默认值是 8，可以适当提高该值为32。

调参数以避免频繁性的 F GC

















P

：表示消息批次大小，默认是 16。

如果设置太小，会导致频繁络请求，吞吐量下降；

如果设置太大，会导致一条消息需要等待很久才能被发送出去，增加络延时。

所以适当增加会提高吞吐量，建议从默认的16增加到512或者1M。

：RA 发送消息的缓冲区总大小，默认值是 32M，可以增加到 64M。

：表示批次缓存时间，如果数据迟迟未达到 ， 等待之后就会发送数据。单位 ，默认值是 0，意思就是消息必须立即被发送。

如果设置的太短，会导致频繁络请求，吞吐量下降；

如果设置的太长，会导致一条消息需要等待很久才能被发送出去，增加络延时。

所以适当增加会提高吞吐量，建议10~100毫秒。

：默认是 ，不压缩，但是也可以使用 4 压缩，效率还是不错的，压缩之后可以减小数据量，提升吞吐量，但是会加大端的 CPU 开销。支持压缩类型：、、、4 和 。

设置=01，=0，化目标是吞吐量，不要设置 =「副本同步时间拉长」及开启重试「执行时间拉长」。







C

利用多线程增加整体吞吐量

：表示只要 B 端积攒了多少数据，就可以返回给 C 端。默认值1字节，适当增大该值为1或者更大。

：消费者获取服务器端一批消息比较大的字节数。一批次的大小受【 配置】或【 】影响，默认是50M。

：表示一次拉取数据返回消息的比较大条数大小，默认是 500 条。

分 区

增加分区来提高吞吐量

02 降低延时降低延时的目的就是尽量减少端到端的延时。

对比上面提升吞吐量的参数，我们只能调整 P 端和 C 端的参数配置。

对于 P 端，此时我们希望可以速的将消息发送出去，必须设置 =0，同时关闭压缩，另外设置= 1，减少副本同步时间。

而对于 C 端我们只保持 =1 ，即 B 端只要有能返回的数据，就立即返回给 C，减少延时。

03 合理设置分区数分区数不是越多越好，也不是越少越好，需要搭建完集群，进行压测，再灵活调整分区个数。

这里可以用 K 官方自带的脚本，对 K 进行压测。

1）生产者压测：---

2）消费者压测：---