---
title: 测试
description: "HiBench是Hadoop/Spark的基准测试工具，用于验证Spark在Yarn模式下的性能。"
url: https://www.hikunpeng.com/document/detail/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark_04_0028.html
sourcePath: /source/zh/kunpengbds/ecosystemEnable/Spark/kunpengspark_04_0028.html
indexId: 05c314c11328aa0d5e9211309e37fd9ca13b55943e8bd2fb32522082bda3056d69
---
# 测试

HiBench是Hadoop/Spark的基准测试工具，用于验证Spark在Yarn模式下的性能。

操作中所涉及的集群名称通过Hadoop配置文件core-site.xml的fs.defaultFS参数值设置。


1. 上传HiBench-HiBench-7.0至“/opt”目录，进入到“conf”目录中。
  1 cd /opt/HiBench-HiBench-7.0/conf

2. 修改hadoop.conf文件。

  a. 打开文件。
    1 vi hadoop.conf

  b. 按“i”进入编辑模式，将hibench.hadoop.home改成当前存放Hadoop的位置，将hibench.hdfs.master改成hdfs://集群名称：端口号。
    1 2 hibench.hadoop.home /usr/local/hadoop/ hibench.hdfs.master hdfs://server1:9000

  c. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
3. 修改spark.conf文件。

  a. 打开文件。
    1 vi spark.conf

  b. 按“i”进入编辑模式，将hibench.spark.home改成当前存放Spark的位置，将hibench.spark.master改成yarn模式，将spark.eventLog.dir改成hdfs://集群名称：端口号/spark2xJobHistory2x。
    1 2 3 hibench.spark.home /usr/local/spark hibench.spark.master yarn spark.eventLog.dir = hdfs://server1:9000/spark2xJobHistory2x

  c. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
4. 在HDFS中创建“spark2xJobHistory2x”目录，并查看创建结果。
  1 2 hdfs dfs -mkdir /spark2xJobHistory2x hdfs dfs -ls /

5. 切换当前目录到HiBench根目录，并生成测试数据。
  1 2 cd /opt/HiBench-HiBench-7.0/ /opt/HiBench-HiBench-7.0/bin/workloads/ml/kmeans/prepare/prepare.sh

6. 运行测试脚本。以K-Means聚类算法基准测试脚本为例进行说明。
  1 opt/HiBench-HiBench-7.0/bin/workloads/ml/kmeans/spark/run.sh

7. 5和6执行的任务均能在Yarn的Web界面查看application状态，Web页面地址http://server1:8088。
  其中，“server1”填写server进程所在节点的IP地址。

8. 在“report/hibench.report”文件中查看测试结果。
  1 cat report/hibench.report