kafka集群性能优化总结

一、性能优化建议

1. 提高jvm内存，经测吞吐无明显提高，可减少汇聚平均时延；

2. 提高 batch.size,增加吞吐，同时时延增大  

3. 增加send与receive buffer size (提高jvm heapsize) 

4. 提高num.io.threads数量（吞吐量高时，磁盘IO阻塞）

5. 增加文件描述符限制（>=100000）  

   (number_of_partitions)*(partition_size/segment_size) 

6. 磁盘多块，挂载多目录；加载noatime 

7. auto.leader.rebalance.enable

二、总结

1.  Zookeeper （超过半数提供服务）2*n +1

2.  kafka吞吐量受影响

 分区的批量大小、压缩方法、ack、复制因子

3. 整个集群分区数量不超过100*b*r，单partition leader数量不超过100

4. Producer <= partitions ，一般1/2partitons+2性能较高

5. 每条消息文件控制在10K以下，大文件吞吐量降低、有超时现象

6. 副本数量推荐2-3个副本即可，ack=-1性能明显下降。