Kafka配置

配置log.dir。

该值负责配置Kafka数据的保存路径，可以配置为多个目录，每个新的Partition会被创建在包含最少Partition的目录下。当前为Kafka组件分配了23个物理磁盘，需要同步配置该值使Kafka使用对应磁盘。配置值为：

       
            /srv/BigData/hadoop/data1/kafka-logs,/srv/BigData/hadoop/data2/kafka-logs,/srv/BigData/hadoop/data3/kafka-logs,/srv/BigData/hadoop/data4/kafka-logs,/srv/BigData/hadoop/data5/kafka-logs,/srv/BigData/hadoop/data6/kafka-logs,/srv/BigData/hadoop/data7/kafka-logs,/srv/BigData/hadoop/data8/kafka-logs,/srv/BigData/hadoop/data9/kafka-logs,/srv/BigData/hadoop/data10/kafka-logs,/srv/BigData/hadoop/data11/kafka-logs,/srv/BigData/hadoop/data12/kafka-logs

配置路径为：

配置num.partitions。
该值负责指定自动创建的Topic分区数。默认值为2，经过测试，将该值修改至36时性能较好。

配置路径为：
配置num.network.threads。
该值负责指定Broker用来处理网络请求的线程数目，最大值为128，经过测试，将该值修改至最大值128可以得到较优的性能。
配置num.io.threads。
增加Broker处理磁盘IO的线程数，经过测试该值修改为8时可以得到较好的时延。

配置路径为：
配置JVM参数。
在所有机器的“/etc/profile”里增加以下配置，可以有效的降低JVM的GC次数。
1

export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"

父主题： 调优用例