获取代码

  • 图分析算法加速库需要获取算法库的适配代码,编译出适配算法库的jar包;同时,也需要获取到核心算法库jar包。代码获取地址如表1所示。
  • 图分析算法加速库在运行时只需要部署boostkit-graph-kernel-2.11-1.3.0-spark2.3.2-aarch64.jar、boostkit-graph-acc_2.11-1.3.0-spark2.3.2.jar以及boostkit-graph-core_2.11-1.3.0-spark2.3.2.jar三个jar包,boostkit-graph-kernel-client_2.11-1.3.0-spark2.3.2.jar不需要部署在Spark集群,仅在开发阶段编译时使用。

获取图分析算法加速库适配代码Spark-graph-algo-lib

图分析算法加速库适配代码基于开源软件Spark 2.3.2和Spark 2.4.6开发,用于编译图分析算法加速库

下载大数据图分析算法加速库的适配Spark 2.3.2的开源仓代码适配Spark 2.4.6的开源仓代码到指定目录下,如“/opt/”,并解压(以下操作都以适配Spark 2.3.2的包为例)。

1
2
cd /opt/
unzip Spark-graph-algo-lib-1.3.0-spark2.3.2.zip

图分析算法加速库适配代码是由Spark 2.3.2的部分原生代码文件打入Patch后进行构建而来,构建方法详见获取图分析算法开发依赖jar包

图分析算法加速库提供了已编译完成的适配包,该包的编译过程详见编译代码;若获取该包,可跳过编译代码过程直接进行软件安装部署,获取后放置到指定目录,如“/opt/”;获取方式如表1所示:

表1 图分析算法库适配包

适配Spark版本

获取包名及地址

Spark 2.3.2

boostkit-graph-acc_2.11-1.3.0-spark2.3.2.jar

boostkit-graph-core_2.11-1.3.0-spark2.3.2.jar

boostkit-graph-kernel-client_2.11-1.3.0-spark2.3.2.jar

Spark 2.4.6

boostkit-graph-acc_2.11-1.3.0-spark2.4.6.jar

boostkit-graph-core_2.11-1.3.0-spark2.4.6.jar

boostkit-graph-kernel-client_2.11-1.3.0-spark2.3.2.jar

获取图分析算法加速库的核心jar包

图分析算法加速库核心jar包的压缩包Boostkit-graph_1.3.0.zip可在support上获得,获取途径可见软件获取,解压得到boostkit-graph-kernel-2.11-1.3.0-spark2.3.2-aarch64.jar,并放在“/opt/”目录下。

  1. 解压压缩包Boostkit-graph_1.3.0.zip。

    1
    2
    cd /opt/
    unzip Boostkit-graph_1.3.0.zip
    

  2. 复制boostkit-graph-kernel-2.11-1.3.0-spark2.3.2-aarch64.jar并放入/opt/目录中。

    1
    2
    cd Boostkit-graph_1.3.0
    cp boostkit-graph-kernel-2.11-1.3.0-spark2.3.2-aarch64.jar /opt/
    

需要注意的是,下载的软件包后需要校验软件包,确保与网站上的原始软件包一致,校验方法:

  1. 获取软件数字证书和软件。

    当前版本软件包受限商用,用户获取时需要提交申请且审批通过后才能下载使用。

  2. 在如下链接中获取校验工具和校验方法:

    https://support.huawei.com/enterprise/zh/tool/pgp-verify-TL1000000054

  3. 参见2中下载的《OpenPGP签名验证指南》进行软件包完整性检查。