运行和验证

完成Spark移植后，在鲲鹏平台运行和验证Spark的功能是否正常。

下文以Spark 2.3.0为例描述完成Spark移植后的运行和验证步骤，其他版本的Spark也可参考此步骤，操作过程中请根据实际情况修改命令中的Spark版本号。

1. 解压4中编译好的Spark软件包spark-2.3.0-bin-2.6.5.tgz。

   1 2 3 4

   mv spark-2.3.0-bin-2.6.5.tgz /usr/local cd /usr/local tar -zxvf spark-2.3.0-bin-2.6.5.tgz cd spark-2.3.0-bin-2.6.5

2. 启动Spark本地环境。

   1	bin/spark-shell

   回显返回Spark context Web UI available at http://server1:4040则表示启动成功。

   

3. 验证Spark是否正常运行。
   1. 查看是否有Spark进程正在运行。

      1	ps -ef | grep spark

      若看到与Spark相关的进程，则表示Spark正在运行。

   2. 访问Spark Web UI。

      打开浏览器，输入：http://Spark所在服务器IP地址:4040并访问。

      若能正常打开SparkWeb UI（包括作业信息、执行情况等），则表示Spark运行正常。

   3. 执行Spark自带示例程序（计算π的蒙特卡洛估算）。

      在命令行中运行以下命令：

      spark-submit --class org.apache.spark.examples.SparkPi --master local[*] /usr/local/spark-2.3.0-bin-2.6.5/examples/jars/spark-examples_*.jar 10

      预期结果：该命令会开始运行计算π的示例程序，并输出估算结果。如果成功输出结果，则说明Spark可以正常执行任务。