为避免 Kafka 出现拥塞问题，可以从生产者、Broker 和消费者三个方面对配置参数进行调整，以下为你详细介绍：
生产者端参数调整
控制发送速率
- max.in.flight.requests.per.connection：该参数限制了生产者在单个连接上未确认请求的最大数量。降低此值可以防止生产者过快地发送消息，避免 Broker 端消息堆积。例如，将其设置为 1 时，生产者在收到前一个请求的确认之前不会发送新的请求。
properties
max.in.flight.requests.per.connection = 1- linger.ms：生产者在发送消息前等待的时间，即使 batch.size 还未达到。适当增大该值可以让生产者等待更多的消息，形成更大的消息批次，减少网络请求次数，同时也能控制发送速率。
properties
linger.ms = 100压缩消息
- compression.type：指定消息的压缩类型，可选值有 none、gzip、snappy、lz4、zstd 等。使用压缩可以减小消息体的大小，降低网络带宽和磁盘 I/O 的压力。
properties
compression.type = gzipBroker 端参数调整
磁盘 I/O 优化
- log.segment.bytes：控制每个日志段文件的最大字节数。适当减小该值可以加快日志段的滚动速度，提高磁盘 I/O 的效率。
properties
log.segment.bytes = 1073741824 # 1GB- log.flush.interval.messages 和 log.flush.interval.ms：这两个参数分别控制在多少条消息后或多长时间后将数据刷写到磁盘。合理设置这些参数可以平衡数据持久化和性能之间的关系。
properties
log.flush.interval.messages = 10000
log.flush.interval.ms = 1000网络带宽优化
- socket.send.buffer.bytes 和 socket.receive.buffer.bytes：分别设置发送和接收缓冲区的大小。适当增大这些值可以提高网络传输的效率。
properties
socket.send.buffer.bytes = 1048576 # 1MB
socket.receive.buffer.bytes = 1048576 # 1MB分区和副本管理
- num.partitions：创建主题时的默认分区数。增加分区数可以提高并行处理能力，分散消息处理压力。
properties
num.partitions = 10- default.replication.factor：默认的副本因子。合理设置副本因子可以在保证数据可靠性的同时，避免过多的副本导致资源浪费。
properties
default.replication.factor = 3消费者端参数调整
提高消费能力
- fetch.max.bytes：消费者每次从 Broker 获取的最大字节数。适当增大该值可以减少网络请求次数，提高消费效率。
properties
fetch.max.bytes = 52428800 # 50MB- max.poll.records：消费者每次调用 poll() 方法返回的最大记录数。增加该值可以让消费者一次处理更多的消息，提高消费速度。
properties
max.poll.records = 500合理分配分区
- partition.assignment.strategy：指定分区分配策略，常见的有 RangeAssignor、RoundRobinAssignor、StickyAssignor 等。根据实际情况选择合适的分配策略，确保消费组中的分区分配均衡。
properties
partition.assignment.strategy = org.apache.kafka.clients.consumer.StickyAssignor在调整这些配置参数时，需要根据 Kafka 集群的实际情况和业务需求进行合理设置，并进行充分的测试，以确保达到最佳的性能和避免拥塞的效果。
