从零学习Kafka:生产者压缩
前面了解了生产端的分区机制后,我们继续来看生产端的另一个重要的机制——压缩。
前面了解了生产端的分区机制后,我们继续来看生产端的另一个重要的机制——压缩。
在前面的文章中,我们主要学习了 Kafka 服务端的相关知识。从本文开始,我们将视角转到客户端。
在 Kafka 的演进史中,抛弃 ZooKeeper 模式,拥抱 KRaft 模式这一变化被认为是其架构上最重要的一次变革。本文我们就来讨论 Kafka 为什么要抛弃 ZooKeeper,以及 KRaft 的设计思路。
前面在学习配置参数时,有同学指出没有 SSL 相关的参数,那么今天就整体看一下 Kafka 的认证机制有哪些。
还记得上一篇文章最后的问题吗,什么是 LEO(Log End Offset)?它其实是 Kafka 位移相关的一个核心概念,本文我们就从位移开始,把相关的概念理清楚。
前面我们了解了 Kafka 的数据是如何存储的,今天我们来学习 Kafka 中另外一个重要的概念:副本。
不知道有没有朋友和我一样,虽然了解 Kafka 的逻辑存储,例如 Broker、Topic、Partition 这些概念,但是对于底层数据是如何存储还是比较模糊。这样聊起来 Kafka 数据存储时总有种一知半解的感觉。今天我们就一起来看一下 Kafka 底层数据到底是怎么存储的。
前面我们对 Kafka 的整体架构和一些关键的概念有了一个基本的认知,本文主要介绍 Kafka 的一些配置参数。掌握这些参数的作用对我们的运维和调优工作还是非常有帮助的。
在前文中,我们从源码层面介绍了 Flink 的 Kafka Connector 的实现。从本文开始,我们的目标也正式从 Flink 过渡到 Kafka。
本文我们来梳理 Kafka Connector 相关的源码。