获取软件
机器学习算法加速库软件包的获取方式如表1 软件包获取方式所示。
软件包 |
描述 |
获取方式 |
|---|---|---|
BoostKit-ml_2.2.0.zip |
压缩包内含有多个算法包，其中boostkit-xgboost4j-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar、boostkit-xgboost4j-kernel-2.11-2.2.0-spark2.4.6-aarch64.jar和libboostkit_xgboost_kernel.so为XGBoost算法所需算法包，分别适配Spark 2.3.2和Spark 2.4.6。boostkit-ml-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar、boostkit-ml-kernel-2.11-2.2.0-spark2.4.6-aarch64.jar和boostkit-ml-kernel-2.12-2.2.0-spark3.1.1-aarch64.jar为除XGBoost外的其他机器学习算法所需算法包，分别适配Spark 2.3.2、Spark 2.4.5/Spark 2.4.6和Spark 3.1.1。 说明：
Spark 2.4.5与Spark 2.4.6使用同一个版本的JAR包。 |
说明：
当前版本软件包受限商用，用户获取时需要提交申请且审批通过后才能下载使用。 |
boostkit-xgboost4j_2.11-2.2.0.jar |
XGBoost算法所需机器学习算法加速库适配包，可由开源适配代码编译而来。 |
编译获得，详情请参见编译代码。 |
boostkit-xgboost4j-spark2.3.2_2.11-2.2.0.jar |
||
boostkit-ml-acc_2.11-2.2.0-spark2.3.2.jar |
除XGBoost之外的机器学习算法加速库所需算法适配包，其中boostkit-ml-kernel-client_2.11-2.2.0-spark2.3.2.jar包是应用开发时的依赖库，不需要部署在Spark集群，仅在开发阶段编译时使用。 |
|
boostkit-ml-core_2.11-2.2.0-spark2.3.2.jar |
||
boostkit-ml-kernel-client_2.11-2.2.0-spark2.3.2.jar |
软件包完整性校验
对于BoostKit-ml_2.2.0.zip，下载软件包后需要校验软件包，确保与网站上的原始软件包一致。
校验方法：
- 获取软件数字证书和软件。
- 在如下链接中获取校验工具和校验方法：
- 参见上述链接下载的《OpenPGP签名验证指南》进行软件包完整性检查。
获取机器学习算法加速库的核心JAR包
机器学习算法加速库核心JAR包的压缩包BoostKit-ml_2.2.0.zip可在support上获得，获取途径可见获取软件，解压得到boostkit-ml-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar、boostkit-xgboost4j-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar以及libboostkit_xgboost_kernel.so，并放在“/opt/”目录下。
- 在客户端节点上，以大数据组件的授权用户登录服务器，将机器学习算法加速库核心JAR包的压缩包放置“/opt/”目录下，解压压缩包BoostKit-ml_2.2.0.zip。
1 2
cd /opt/ unzip BoostKit-ml_2.2.0.zip
- 创建lib目录。
1mkdir -p /home/test/boostkit/lib
- 复制boostkit-ml-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar、boostkit-xgboost4j-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar以及libboostkit_xgboost_kernel.so并放入“/home/test/boostkit/lib/”目录下。
1 2 3 4
cd BoostKit-ml_2.2.0 cp boostkit-ml-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar /home/test/boostkit/lib cp boostkit-xgboost4j-kernel-2.11-2.2.0-spark2.3.2-aarch64.jar /home/test/boostkit/lib cp libboostkit_xgboost_kernel.so /home/test/boostkit/lib