大家都知道kafka中有个server.properties文件用来配置参数的。我们今天来讲的是另外一种参数----动态参数。
1、动态参数是什么?
动态参数从字面意思就能理解,意思就是在kafka运行过程中配置的参数。
2、动态参数是保存在哪里的?
静态参数有个server.properties文件来保存,那么动态是放在哪儿来保存的呢?
Kafka 将动态 Broker 参数保存在 ZooKeeper 中,真正保存动态 Broker 参数的路径是/config/brokers znode
3、动态参数是如何配置的?
配置动态参数就需要一些特殊的命令
在集群层面设置全局值,即设置 cluster-wide 范围值
$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-default --alter --add-config unclean.leader.election.enable=true
Completed updating default config for brokers in the cluster,
--entity-default 这个参数默认就是设置集群层面的参数
查看配置是否成功
$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-default --describe
Default config for brokers in the cluster are:
unclean.leader.election.enable=true sensitive=false synonyms={DYNAMIC_DEFAULT_BROKER_CONFIG:unclean.leader.election.enable=true}
设置 per-broker 范围参数
$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-name 1 --alter --add-config unclean.leader.election.enable=false
Completed updating config for broker: 1.
-entity-name 1 这个参数就是指配置broker.id=1 的broker参数,如果有多个broker要配置,那就分别执行对于broker.id的命令。
查看是否配置成功
$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-name 1 --describe
Configs for broker 1 are:
unclean.leader.election.enable=false sensitive=false synonyms={DYNAMIC_BROKER_CONFIG:unclean.leader.election.enable=false, DYNAMIC_DEFAULT_BROKER_CONFIG:unclean.leader.election.enable=true, DEFAULT_CONFIG:unclean.leader.election.enable=false}
既然有创建那么也应该有删除
删除 cluster-wide 范围参数或 per-broker 范围参数
# 删除cluster-wide范围参数
$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-default --alter --delete-config unclean.leader.election.enable
Completed updating default config for brokers in the cluster,
# 删除per-broker范围参数
$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-name 1 --alter --delete-config unclean.leader.election.enable
Completed updating config for broker: 1.
# 查看cluster-wide范围参数
$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-default --describe
Default config for brokers in the cluster are:
# 查看Broker 1上的动态参数配置
$ bin/kafka-configs.sh --bootstrap-server kafka-host:port --entity-type brokers --entity-name 1 --describe
Configs for broker 1 are:
4、较大几率被动态调整值的参数
下面几个参数我们改动的比较频繁:
1.log.retention.ms。
2.num.io.threads 和 num.network.threads。io线程池和网络线程池的大小,主要应用于处理kafka客户端的请求。
3. 与 SSL 相关的参数。主要是 4 个参数(ssl.keystore.type、ssl.keystore.location、ssl.keystore.password 和 ssl.key.password)。
4.num.replica.fetchers。