参数配置

Kafka->Broker

log.dir

/hadoop/data1/kafka-logs,

/hadoop/data2/kafka-logs,

/hadoop/data3/kafka-logs,

...

/hadoop/data11/kafka-logs,

/hadoop/data12/kafka-logs

配置Kafka使用盘的数量为12盘，防止硬盘读写成为瓶颈。

Kafka->Broker

num.partitions

36

使用更多的partition数量，配合log.dir参数提升Kafka性能。以及对应Flink数据生成器的并发度。

Kafka->Broker

num.network.threads

128

增大Kafka网络线程数。

Kafka->Broker

num.io.threads

8

Flink数据量不大，保持IO线程数较小，减轻CPU压力。

Yarn->Nodemanager

yarn.nodemanager.resource.memory-mb

224256

增大Yarn每个nodemanager能分配的最大内存数。

Yarn->Nodemanager

yarn.nodemanager.resource. cpu-vcores

48

增大Yarn每个nodemanager能分配的最大vcores数。

Yarn->Nodemanager

yarn.nodemanager.numa-awareness.enabled

true

Yarn NUMA绑核开关开启。

Yarn->Nodemanager

yarn.nodemanager.numa-awareness.read-topology

true

选择由参数进行绑核还是启动命令中进行绑核，Flink选择启动命令中绑核。

Yarn->Nodemanager

yarn.nodemanager.numa-awareness.numactl.cmd

/usr/bin/numactl

NUMA绑核工具系统路径。