【kafka运维】ConfigCommand命令详解(2)

Kafka运维手册(2)

ConfigCommand

kafka运维怎么能少的了 滴滴开源LogiKM 一站式Kafka监控与管控平台!!!。

请戳 https://github.com/didi/LogiKM 或点击阅读原文

进滴滴技术交流群请关注此公众号拉你进群 0.0

推荐收藏的所有命令集合文章

ConfigCommand

Config相关操作; 动态配置可以覆盖默认的静态配置;

1.查询配置

Topic配置查询

展示关于Topic的动静态配置

1.查询单个Topic配置(只列举动态配置)

sh bin/kafka-configs.sh --describe --bootstrap-server xxxxx:9092 --topic test_create_topic 

或者 

sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics --entity-name test_create_topic

2.查询所有Topic配置(包括内部Topic)(只列举动态配置)

sh bin/kafka-configs.sh --describe --bootstrap-server 172.23.248.85:9092 --entity-type topics

3.查询Topic的详细配置(动态+静态)

只需要加上一个参数--all

其他配置/clients/users/brokers/broker-loggers 的查询

同理 ；只需要将--entity-type 改成对应的类型就行了 (topics/clients/users/brokers/broker-loggers)

查询kafka版本信息

sh bin/kafka-configs.sh --describe --bootstrap-server xxxx:9092 --version

所有可配置的动态配置 请看最后面的 附件部分

2 增删改 配置 --alter

--alter

删除配置: --delete-config k1=v1,k2=v2 

添加/修改配置: --add-config k1,k2 

选择类型: --entity-type (topics/clients/users/brokers/broker- loggers) 

类型名称: --entity-name

Topic添加/修改动态配置

--add-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --add-config file.delete.delay.ms=222222,retention.ms=999999

Topic删除动态配置

--delete-config

sh bin/kafka-configs.sh --bootstrap-server xxxxx:9092 --alter --entity-type topics --entity-name test_create_topic1 --delete-config file.delete.delay.ms,retention.ms

其他配置同理,只需要类型改下--entity-type

类型有: (topics/clients/users/brokers/broker- loggers)

哪些配置可以修改 请看最后面的附件：

ConfigCommand 的一些可选配置

附件

ConfigCommand 的一些可选配置

---

Topic相关可选配置

key	value	示例
cleanup.policy	清理策略
compression.type	压缩类型(通常建议在produce端控制)
delete.retention.ms	压缩日志的保留时间
file.delete.delay.ms
flush.messages	持久化message限制
flush.ms	持久化频率
follower.replication.throttled.replicas	flowwer副本限流 格式：分区号:副本follower号,分区号:副本follower号	0:1,1:1
index.interval.bytes
leader.replication.throttled.replicas	leader副本限流 格式：分区号:副本Leader号	0:0
max.compaction.lag.ms
max.message.bytes	最大的batch的message大小
message.downconversion.enable	message是否向下兼容
message.format.version	message格式版本
message.timestamp.difference.max.ms
message.timestamp.type
min.cleanable.dirty.ratio
min.compaction.lag.ms
min.insync.replicas	最小的ISR
preallocate
retention.bytes	日志保留大小(通常按照时间限制)
retention.ms	日志保留时间
segment.bytes	segment的大小限制
segment.index.bytes
segment.jitter.ms
segment.ms	segment的切割时间
unclean.leader.election.enable	是否允许非同步副本选主

Broker相关可选配置

key	value	示例
advertised.listeners
background.threads
compression.type
follower.replication.throttled.rate
leader.replication.throttled.rate
listener.security.protocol.map
listeners
log.cleaner.backoff.ms
log.cleaner.dedupe.buffer.size
log.cleaner.delete.retention.ms
log.cleaner.io.buffer.load.factor
log.cleaner.io.buffer.size
log.cleaner.io.max.bytes.per.second
log.cleaner.max.compaction.lag.ms
log.cleaner.min.cleanable.ratio
log.cleaner.min.compaction.lag.ms
log.cleaner.threads
log.cleanup.policy
log.flush.interval.messages
log.flush.interval.ms
log.index.interval.bytes
log.index.size.max.bytes
log.message.downconversion.enable
log.message.timestamp.difference.max.ms
log.message.timestamp.type
log.preallocate
log.retention.bytes
log.retention.ms
log.roll.jitter.ms
log.roll.ms
log.segment.bytes
log.segment.delete.delay.ms
max.connections
max.connections.per.ip
max.connections.per.ip.overrides
message.max.bytes
metric.reporters
min.insync.replicas
num.io.threads
num.network.threads
num.recovery.threads.per.data.dir
num.replica.fetchers
principal.builder.class
replica.alter.log.dirs.io.max.bytes.per.second
sasl.enabled.mechanisms
sasl.jaas.config
sasl.kerberos.kinit.cmd
sasl.kerberos.min.time.before.relogin
sasl.kerberos.principal.to.local.rules
sasl.kerberos.service.name
sasl.kerberos.ticket.renew.jitter
sasl.kerberos.ticket.renew.window.factor
sasl.login.refresh.buffer.seconds
sasl.login.refresh.min.period.seconds
sasl.login.refresh.window.factor
sasl.login.refresh.window.jitter
sasl.mechanism.inter.broker.protocol
ssl.cipher.suites
ssl.client.auth
ssl.enabled.protocols
ssl.endpoint.identification.algorithm
ssl.key.password
ssl.keymanager.algorithm
ssl.keystore.location
ssl.keystore.password
ssl.keystore.type
ssl.protocol
ssl.provider
ssl.secure.random.implementation
ssl.trustmanager.algorithm
ssl.truststore.location
ssl.truststore.password
ssl.truststore.type
unclean.leader.election.enable

Users相关可选配置

key	value	示例
SCRAM-SHA-256
SCRAM-SHA-512
consumer_byte_rate	针对消费者user进行限流
producer_byte_rate	针对生产者进行限流
request_percentage	请求百分比

clients相关可选配置

key	value	示例
consumer_byte_rate
producer_byte_rate
request_percentage

点个在看你最好看