概述
基于大数据算法加速库运行机器学习算法不仅需要从support上下载发布的二进制包的压缩包,并从中解压得到的机器学习分析算法加速库包boostkit-ml-kernel_2.11-1.3.0-spark2.3.2-aarch64.jar、boostkit-xgboost4j-kernel-2.11-1.3.0-spark2.3.2-aarch64.jar和libboostkit_xgboost_kernel.so,还需要由机器学习算法加速库开源适配代码编译而来的boostkit-ml-core_2.11-1.3.0-spark2.3.2.jar、boostkit-ml-acc_2.11-1.3.0-spark2.3.2.jar、boostkit-xgboost4j_2.11-1.3.0.jar和boostkit-xgboost4j-spark2.3.2_2.11-1.3.0.jar。boostkit-ml-kernel-client_2.11-1.3.0-spark2.3.2.jar包是应用开发时的依赖库,不需要部署在Spark集群,仅在开发阶段编译时使用。

本指南中均以基于spark2.3.2版本的Boostkit算法包为例,基于spark2.4.6版本的算法包的使用与之相同,可参考本指南。
编译的输出件清单如表1如所示。
输出件 |
说明 |
获取方式 |
---|---|---|
boostkit-xgboost4j_2.11-1.3.0.jar |
xgboost算法所需算法适配包,可由开源适配代码编译而来。 |
|
boostkit-xgboost4j-spark2.3.2_2.11-1.3.0.jar |
||
boostkit-ml-acc_2.11-1.3.0-spark2.3.2.jar |
除xgboost之外的机器学习算法所需算法适配包,其中boostkit-ml-kernel-client_2.11-1.3.0-spark2.3.2.jar包是应用开发时的依赖库,不需要部署在Spark集群,仅在开发阶段编译时使用。 |
|
boostkit-ml-core_2.11-1.3.0-spark2.3.2.jar |
||
boostkit-ml-kernel-client_2.11-1.3.0-spark2.3.2.jar |