编译

在鲲鹏平台上编译Spark，并扫描生成的tar包，确保无x86架构残留文件，以避免对后续功能使用造成影响。

下文以Spark 2.3.0为例描述在鲲鹏平台上编译Spark的操作步骤，其他版本的Spark也可参考此步骤，操作过程中请根据实际情况修改命令中的Spark版本号。

1. 下载Spark源码包。

   1	wget https://github.com/apache/spark/archive/v2.3.0.tar.gz

2. 解压源码包并进入解压后的源码目录。

   1 2	tar -zxf v2.3.0.tar.gz cd spark-2.3.0

3. 配置Maven仓库源。
   1. 打开pom.xml文件。

      1	vi pom.xml

   2. 按“i”进入编辑模式，在<repositories>首位置添加鲲鹏Maven仓库源。

      1 2 3 4 5

      <repository> <id>kunpengmaven</id> <name>kunpeng maven</name> <url>https://mirrors.huaweicloud.com/kunpeng/maven</url> </repository>

   3. 在<pluginRepository>首位置添加华为Maven源。

      1 2 3 4

      <pluginRepository> <id>huaweicloud-plugin</id> <url>https://mirrors.huaweicloud.com/repository/maven</url> </pluginRepository>

   4. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
4. 执行编译流程。

   1	dev/make-distribution.sh --tgz -Pyarn,hive,hive-thriftserver,spark

   编译完成将在源码目录下生成编译好的Spark软件包spark-2.3.0-bin-2.6.5.tgz。

   

   如果编译时提示Cannot find 'R_HOME'，请参见编译Spark时提示Cannot find 'R_HOME'的解决方法。

5. 使用鲲鹏应用迁移工具扫描编译生成的tar包，确保没有残留x86架构的so文件和JAR包。详细操作步骤请参见《使用鲲鹏应用迁移工具案例》。
   

   必须使用鲲鹏应用迁移工具扫描生成的tar包，验证是否残留x86架构的so文件和JAR包。如果不进行扫描，可能导致x86架构的so文件和JAR包未被发现，从而对组件的后续功能使用产生负面影响。