鲲鹏社区首页
中文
注册
开发者
支持
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
提交
在线提单
论坛求助

编译Spark

  1. 下载Spark安装包。
    1
    wget https://github.com/apache/spark/archive/v2.3.0.tar.gz
  2. 解压安装包。
    1
    tar -zxf v2.3.0.tar.gz
  3. 进入解压后目录。
    1
    cd spark-2.3.0
  4. 修改pom.xml。
    1. 打开文件。
      1
      vi pom.xml
    2. 按“i”进入编辑模式，在<repositories>标签的第一位添加鲲鹏Maven仓库源。
      1
2
3
4
5
      <repository>
    <id>kunpengmaven</id>
    <name>kunpeng maven</name>
    <url>https://mirrors.huaweicloud.com/kunpeng/maven</url>
</repository>
    3. 在<pluginRepository>标签第一位添加华为Maven源。
      1
2
3
4
      <pluginRepository>
    <id>huaweicloud-plugin</id>
    <url>https://mirrors.huaweicloud.com/repository/maven</url>
</pluginRepository>
    4. 按“Esc”键，输入:wq!，按“Enter”保存并退出编辑。
  5. 执行编译。
    1
    dev/make-distribution.sh --tgz -Pyarn,hive,hive-thriftserver,spark

    编译完成后会在源码目录下生成编译好的包spark-2.3.0-bin-2.6.5.tgz。

    编译Spark过程中的相关故障处理请参考编译Spark时报错：Cannot find‘R_HOME’的解决方法。

  6. 使用鲲鹏应用迁移工具扫描编译生成的tar包，确保没有包含有x86的so和JAR包。
    • 编译好的spark-2.3.0-bin-2.6.5.tgz包一定要使用鲲鹏应用迁移工具扫描，确保没有包含x86的so和JAR包。若不进行扫描，可能会存在x86的so和JAR包未被发现并未及时处理的情况，从而对组件的后续功能使用产生负面影响。
    • 关于如何使用鲲鹏应用迁移工具进行扫描的详细信息，请参见《使用鲲鹏应用迁移工具案例》。