鲲鹏社区首页
中文
注册
开发者
支持
我要评分
文档获取效率
文档正确性
内容完整性
文档易理解
提交
在线提单
论坛求助

环境介绍

物理环境组网

集群规划的环境由五台服务器组成，分别是客户端（1台）、控制节点（1台）、计算节点（3台），组网图如图1所示。其中控制节点作为大数据集群的server端，计算节点分别是大数据集群的agent1、agent2和agent3。在POC测试场景下，客户端可部署在控制节点上。

图1 组网图

硬件要求

硬件要求如表1所示。

表1 硬件要求

项目

说明

处理器

鲲鹏920 5250处理器

内存大小

384GB (12 * 32GB)

内存频率

2666MHz

网络

业务网络10GE，管理网络1GE

硬盘

系统盘：1 * RAID 0（1 * 1.2TB SAS HDD）

数据盘：12 * RAID 0（1 * 4TB SATA HDD）

RAID卡

LSI SAS3508

操作系统和软件要求

操作系统和软件要求如表2所示。

表2 操作系统和软件要求

项目

说明

OS

openEuler 22.03 LTS SP1

JDK

BiSheng JDK 1.8.0_342

ZooKeeper

3.6.2

Hadoop

3.2.0

Spark

Spark 3.3.1
  • 机器学习算法加速库 适配Spark 3.1.1，支持SVM、DBSCAN、DTB、Word2Vec这4个算法。
  • 其他2.X、3.X版本技术上兼容，根据需求适配。
父主题： 调优概述