调优实例
本实例列举了某调优场景中的部分参数配置，包括Kafka服务端参数是测试Client端参数。
Kafka参数
|
组件 |
参数名 |
建议值 |
修改原因 |
|---|---|---|---|
|
Kafka->Broker |
log.dir |
/hadoop/data1/kafka-logs,/hadoop/data2/kafka-logs,/hadoop/data3/kafka-logs ... /hadoop/data10/kafka-logs,/hadoop/data11/kafka-logs,/hadoop/data12/kafka-logs |
配置Kafka使用盘的数量为12盘，防止硬盘读写成为瓶颈。 |
|
Kafka->Broker |
num.network.threads |
128 |
增大Kafka网络线程数。 |
|
Kafka->Broker |
num.io.threads |
128 |
增大Kafka IO线程数，提高对硬盘读写能力。 |
log.dir配置路径：
num.network.threads配置路径：
num.io.threads配置路径：
调优工具参数
仅列出需要修改的调优参数。
Kafka主题。
1
|
replication-factor： 2 #Kafka副本数2 |
数据生产。
1 2 |
Partitions: 36 #数据分区数 parallel：6 #客户端节点生产进程数（x86为10） |
数据消费。
1 2 3 |
consumer_parallel: 12 #客户端节点消费进程数（x86为12） fetch_threads: 10 #消费线程取数据线程数 （x86为240） threads: 500 #消费线程数 |
配置信息如下。
