client配置文件调优
目的
根据物理机资源情况修改客户端参数,提高并发度。
方法
- 请根据实际情况修改HiBench配置文件storm.conf中的参数。
表1 storm.conf配置文件 参数
建议值
描述
hibench.streambench.storm.nimbus
根据实际配置
主Nimbus地址
hibench.streambench.storm.home
根据实际配置
Storm客户端地址
hibench.streambench.storm.worker_count
8
worker数,和bolt数相同,每个Supervisor节点对应Worker数为8
hibench.streambench.storm.spout_threads
16
Spout数,Spout改成Worker数的2倍
hibench.streambench.storm.bolt_threads
24
等于Worker数(对吞吐量影响较大)
- 请根据实际情况修改HiBench配置文件hibench.conf中的参数。
表2 hibench.conf配置文件 参数
建议值
描述
hibench.streambench.kafka.home
根据实际配置
Kafka客户端地址
hibench.streambench.zkHost
根据实际配置
ZooKeeper地址
hibench.streambench.kafka.brokerList
根据实际配置
Broker节点地址
hibench.streambench.datagen.recordsPerInterval
50000
每次产生数据的数量,根据环境能力进行调整
父主题: Storm调优