Bootstrap

kafka服务端连接数内存基线摸底

1、最近产品有诉求扩大kafka连接数,需要测试kafka不同连接数的内存基线。
通过编写自动化测试用例,在itest测试系统上,增加临时用例,界面控制参数为可输入,方便通过控制输入参数,控制kafka连接数的目的

在这里插入图片描述
在这里插入图片描述
2、执行测试用例,观察kafka服务端进程连接数变化

	 lsof -p 5804 |grep ESTABLISHED |wc -l  (5804为进程ID)

在这里插入图片描述

3、

a) kafka服务端配置最大连接数限制为3000
在这里插入图片描述
b) 把kafka连接数持续冲高,一直压测到将近1400左右
在这里插入图片描述
c) kafka服务端在这时候发生重启,kafka服务端pid从5804变为30776
在这里插入图片描述
在这里插入图片描述

d) 多次测试,问题现象稳定,均发生kafka服务端重启

4、经过压力测试,kafka之前连接数配置过大,有问题。需要缩小为1200左右。
如果产品有诉求扩大kafka连接数超过1200,需要重新申请kafka服务端的内存基线

;