鲲鹏社区首页
中文
注册
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
在线提单
论坛求助

准备开发环境

客户端开发环境要求

客户端开发环境要求如表1所示。

表1 准备开发环境

项目

版本

说明

操作系统

开发环境:Windows系统,推荐Windows 7及以上版本。

需提前准备

安装JDK

安装BiSheng JDK,版本要求:1.8.0_342。

可参见新建工程

安装和配置开发工具

开发工具建议使用Eclipse和IntelliJ IDEA,本文以IntelliJ IDEA(2018.2)为例进行开发。

需提前准备

安装Scala

Scala开发环境的基本配置。Spark 3.3.1推荐版本2.12.11

可参见新建工程

安装Maven

项目编译出包,推荐版本:3.6.3。

可参见新建工程

软件获取

图分析算法加速库软件包的获取方式如表2所示。

表2 软件包获取方式

适配Spark版本

软件包及获取链接

说明

3.3.1

华为技术支持网站:

鲲鹏社区:Link

使用软件包前请先阅读鲲鹏应用使能套件BoostKit用户许可协议 2.0,如确认继续使用,则默认同意协议的条款和条件。

boostkit-graph-acc_2.12-3.0.0-spark3.3.1.jar

boostkit-graph-core_2.12-3.0.0-spark3.3.1.jar

boostkit-graph-kernel-client_2.12-3.0.0-spark3.3.1.jar

  • 编译出包请参见《大数据图分析算法加速库 特性指南》“编译代码”。
  • 对于boostkit-graph-acc_2.XX-XXX-sparkXX.jar有如下说明:

    软件运行时依赖,需要部署。

  • 对于boostkit-graph-core_2.XX-XXX-sparkXX.jar有如下说明:

    软件运行时依赖,需要部署。

  • 对于boostkit-graph-kernel-client_2.XX-XXX-sparkXX.jar有如下说明:

    开发阶段编译依赖,不需要部署。

软件安装包完整性校验

从鲲鹏社区获取的软件安装包,下载软件安装包后需要校验软件安装包,确保与网站上的原始软件安装包一致。

校验方法:

  1. 获取软件数字证书和软件安装包。
  2. 在如下链接中获取校验工具和校验方法:
  3. 参见上述链接下载的《OpenPGP签名验证指南》进行软件安装包完整性检查。

集群环境要求

在算法开发之前需部署完成相应要求的集群。使用到的相关软件版本如表3所示。
表3 集群环境软件推荐配置

项目

节点类型

要求

OS

所有节点

openEuler 22.03 LTS SP1

JDK

所有节点

BiSheng JDK 1.8.0_342

ZooKeeper

计算节点

3.6.2

Hadoop

所有节点

3.2.0

Spark

所有节点

Spark 3.3.1

当前鲲鹏算法库兼容Spark 3.3.1版本,其他平台暂未验证,基于安全诉求,建议使用高版本。