Hibench配置
- wordcount配置。
配置文件
配置参数
配置值（鲲鹏计算平台48核）
配置值（x86计算平台48核）
说明
conf/hibench.conf
hibench.streambench.datagen.intervalSpan
50
50
产生数据的时间间隔。
hibench.streambench.datagen.recordsPerInterval
50000
50000
每次产生数据的数量。
hibench.streambench.datagen.recordLength
1000
1000
产生数据的大小（byte）。
hibench.streambench.kafka.topicPartitions
36
36
生成topic所使用的partition数量。
hibench.streambench.datagen.producerNumber
5
4
Kafka producer线程数。
hibench.streambench.kafka.home
/usr/hdp/current/kafka-broker
/usr/hdp/current/kafka-broker
Kafka home路径。
hibench.streambench.zkHost
ambari-server1:2181,ambari-agent2:2181,ambari-agent3:2181/kafka
server1:2181,agent2:2181,agent3:2181/kafka
Kafka zk地址。
hibench.streambench.kafka.brokerList
ambari-agent1:6667,ambari-agent2:6667,ambari-agent3:6667
agent1:6667,agent2:6667,agent3:6667
Kafka broker地址。
conf/hadoop.conf
hibench.hadoop.home
/usr/hdp/current/hadoop-client
/usr/hdp/current/hadoop-client
Hadoop home路径。
hibench.hdfs.master
hdfs://ambari-server1:8020
hdfs://server1:8020
HDFS地址。
conf/storm.conf
hibench.streambench.storm.nimbus
ambari-server1
server1
nimbus的IP地址。
hibench.streambench.storm.home
/usr/hdp/current/storm-nimbus
/usr/hdp/current/storm-nimbus
storm home的路径。
hibench.streambench.storm.worker_count
4
4
Storm worker数量。
hibench.streambench.storm.spout_threads
16
16
spout线程数。
hibench.streambench.storm.bolt_threads
24
24
bolt线程数。
- identity配置。
配置文件
配置参数
配置值（鲲鹏计算平台48核）
配置值（x86计算平台48核）
说明
conf/hibench.conf
hibench.streambench.datagen.intervalSpan
50
50
产生数据的时间间隔。
hibench.streambench.datagen.recordsPerInterval
50000
50000
每次产生数据的数量。
hibench.streambench.datagen.recordLength
1000
1000
产生数据的大小（byte）。
hibench.streambench.kafka.topicPartitions
36
36
生成Topic所使用的partition数量。
hibench.streambench.datagen.producerNumber
5
3
Kafka producer线程数。
hibench.streambench.kafka.home
/usr/hdp/current/kafka-broker
/usr/hdp/current/kafka-broker
Kafka home路径。
hibench.streambench.zkHost
ambari-server1:2181,ambari-agent2:2181,ambari-agent3:2181/kafka
server1:2181,agent2:2181,agent3:2181/kafka
Kafka zk地址。
hibench.streambench.kafka.brokerList
ambari-agent1:6667,ambari-agent2:6667,ambari-agent3:6667
agent1:6667,agent2:6667,agent3:6667
Kafka broker地址。
conf/hadoop.conf
hibench.hadoop.home
/usr/hdp/current/hadoop-client
/usr/hdp/current/hadoop-client
Hadoop home路径。
hibench.hdfs.master
hdfs://ambari-server:8020
hdfs://server1:8020
HDFS地址。
conf/storm.conf
hibench.streambench.storm.nimbus
ambari-server
server1
nimbus的IP地址。
hibench.streambench.storm.home
/usr/hdp/current/storm-nimbus
/usr/hdp/current/storm-nimbus
Storm home的路径。
hibench.streambench.storm.worker_count
6
4
Storm worker数量。
hibench.streambench.storm.spout_threads
12
16
spout线程数。
hibench.streambench.storm.bolt_threads
24
26
bolt线程数。
- HiBench配置路径。
- hibench.conf配置。
配置文件
配置参数
配置值（鲲鹏计算平台48核）
说明
conf/hibench.conf
hibench.streambench.kafka.home
/usr/hdp/current/kafka-broker
Kafka的安装路径。
hibench.streambench.zkHost
ambari-server1:2181,ambari-agent2:2181,ambari-agent3:2181/kafka
Kafka的ZooKeeper地址,配置格式为“hostname:端口”。
hibench.streambench.kafka.brokerList
ambari-agent1:6667,ambari-agent2:6667,ambari-agent3:6667
Kafka所有Broker节点地址，配置格式为“hostname:端口,hostname:端口”。
hibench.streambench.kafka.consumerGroup
HiBench
Kafka消费者的Group name。
hibench.streambench.kafka.topicPartitions
30
生成Topic所使用的partition数量。
hibench.streambench.kafka.offsetReset
largest
设置Kafka消费者开始的偏移量。
hibench.streambench.datagen.intervalSpan
50
间隔跨度（毫秒）。
hibench.streambench.datagen.recordsPerInterval
50000
每个间隔跨度要生成的记录数。
hibench.streambench.datagen.recordLength
1000
记录的固定长度。
hibench.streambench.datagen.producerNumber
3
运行在不同线程上的KafkaProducer数量。单个KafkaProducer的限制是大约100Mb/s。
hibench.streambench.datagen.totalRounds
-1
发送数据的总轮数。
hibench.streambench.datagen.totalRecords
-1
生成的总记录数。
hibench.streambench.datagen.dir
${hibench.hdfs.data.dir}/Streaming
种子文件的默认存放路径。
- storm.conf配置。
配置文件
配置参数
配置值（鲲鹏计算平台48核）
说明
conf/storm.conf
hibench.streambench.storm.nimbus
server1
集群中Nimbus的主机名。
hibench.streambench.storm.nimbusAPIPort
6627
Storm Nimbus的端口。
hibench.streambench.storm.home
/usr/hdp/current/storm-nimbus
Storm的安装路径。
hibench.streambench.storm.worker_count
4
Storm的worker数量。大部分bolt线程数量等于该参数。
hibench.streambench.storm.spout_threads
16
Storm中Kafka spout的线程数量。
hibench.streambench.storm.bolt_threads
26
bolt线程的总数。
hibench.streambench.storm.localshuffle
true
是否在节点直接进行Shuffle。
hibench.streambench.storm.nimbusContactInterval
10
通信Nimbus判断是否完成的时间间隔。
- hadoop.conf配置。
配置文件
配置参数
配置值（鲲鹏计算平台48核）
说明
conf/hadoop.conf
hibench.hadoop.home
/usr/hdp/current/hadoop-client
Hadoop安装路径。
hibench.hdfs.master
hdfs://server1:8020
HDFS master的地址。
hibench.hadoop.executable
${hibench.hadoop.home}/bin/hadoop
Hadoop执行文件目录。
hibench.hadoop.configure.dir
${hibench.hadoop.home}/etc/hadoop
Hadoop配置文件目录。
hibench.hadoop.release
apache
Hadoop的发行版本。
