kafka分区数和吞吐量的关系

分区(partition)概念要讲kafka分区数和吞吐量的关系,首先得理解什么是分区(partition)。Partition是作用于具体的Topic而已的,而不是一个独立的概念。Partition能水平扩展客户端的读写性能,是高吞吐量的保障。通俗的讲,Partition就是一块保存具体数据的空间,本质就是磁盘上存放数据的文件夹,所以Partition是不能跨Broker存在的,也不能在同一个Broker上跨磁盘。对于一个Topic,可以根据需要设定Partition的个数

kafka分区数过多的弊端

上篇文章我们了解到,如果一个topic分区越多,理论上整个集群所能达到的吞吐量就越大。那么,分区数越多就越好吗?显然不是。今天我们来聊下kafka在分区数过多的情况下,会带来哪些弊端。内存开销客户端producer有个参数batch.size默认为16KB。它会为每个分区缓存消息,一旦批次数满了后,将消息批量发出。一般来说,这个设计是用于提升吞吐性能的。但是由于这个参数是partition级别的,如果分区数越多,这部分缓存所需的内存占用也会越多。假如有10000个分区,按照默

2019 年终总结:慢慢变成别人眼中「食古不化」的「怪人」

总结 2019 年 3 月我来到杭州,在蚂蚁金服开始了新的工作。这是我第一次在广东省外的地方生活。 新的环境,新的工作,对我来说是一个很大的挑战。挑战不在于如何适应一个新的环境,而在于在一个技术基建完备的环境里,如果业务难关不是技术可以解决的,那我的价值在哪里?在这个方面,我让很多对我抱有期望的人失望了。 「我的价值是什么」是我不断寻找答案的命题,我不满足只作为一个消费者活在世上。只有作为生产者创造自己独特的价值,才让我觉得自己是这个世界的一员。 我创造了很多,但好像只有写