鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

client配置文件调优

目的

根据物理机资源情况修改客户端参数,提高并发度。

方法

  • 请根据实际情况修改HiBench配置文件storm.conf中的参数。
    表1 storm.conf配置文件

    参数

    建议值

    描述

    hibench.streambench.storm.nimbus

    根据实际配置

    主Nimbus地址

    hibench.streambench.storm.home

    根据实际配置

    Storm客户端地址

    hibench.streambench.storm.worker_count

    8

    worker数,和bolt数相同,每个Supervisor节点对应Worker数为8

    hibench.streambench.storm.spout_threads

    16

    Spout数,Spout改成Worker数的2倍

    hibench.streambench.storm.bolt_threads

    24

    等于Worker数(对吞吐量影响较大)

  • 请根据实际情况修改HiBench配置文件hibench.conf中的参数。
    表2 hibench.conf配置文件

    参数

    建议值

    描述

    hibench.streambench.kafka.home

    根据实际配置

    Kafka客户端地址

    hibench.streambench.zkHost

    根据实际配置

    ZooKeeper地址

    hibench.streambench.kafka.brokerList

    根据实际配置

    Broker节点地址

    hibench.streambench.datagen.recordsPerInterval

    50000

    每次产生数据的数量,根据环境能力进行调整