HiBench验证功能

操作中所涉及的集群名字通过Hadoop配置文件core-site.xml的fs.defaultFS参数值设置。

上传HiBench-HiBench-7.0至“/opt”目录，进入到“conf”目录中。
1

cd /opt/HiBench-HiBench-7.0/conf

修改hadoop.conf文件。

打开文件。
1

vi hadoop.conf

按“i”进入编辑模式，将hibench.hadoop.home改成当前存放Hadoop的位置，将hibench.hdfs.master改成hdfs://集群名称：端口号。

         
              hibench.hadoop.home        /usr/local/hadoop/
hibench.hdfs.master        hdfs://server1:9000

按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

修改spark.conf文件。

打开文件。
1

vi spark.conf

按“i”进入编辑模式，将hibench.spark.home改成当前存放Spark的位置，将hibench.spark.master改成yarn模式，将spark.eventLog.dir改成hdfs://集群名称：端口号/spark2xJobHistory2x。

         
              hibench.spark.home         /usr/local/spark
hibench.spark.master       yarn
spark.eventLog.dir = hdfs://server1:9000/spark2xJobHistory2x

按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。

在HDFS中创建“spark2xJobHistory2x”目录，并查看创建结果。
1 2

hdfs dfs -mkdir /spark2xJobHistory2x hdfs dfs -ls /

切换当前目录到HiBench根目录，并生成测试数据。

       
            cd /opt/HiBench-HiBench-7.0/
/opt/HiBench-HiBench-7.0/bin/workloads/ml/kmeans/prepare/prepare.sh

运行测试脚本。

       
            opt/HiBench-HiBench-7.0/bin/workloads/ml/kmeans/spark/run.sh

5和6执行的任务均能在Yarn的Web界面查看application状态，Web页面地址http://server1:8088。
其中，“server1”填写server进程所在节点的IP地址。
在“report/hibench.report”文件中查看测试结果。
1

cat report/hibench.report

父主题： 运行Spark（on yarn模式）