开发者
鲲鹏BoostKit训练营启航:从开营仪式到大数据性能优化的学习全景
鲲鹏BoostKit训练营启航:从开营仪式到大数据性能优化的学习全景
发表于2025/10/28
1051

作为鲲鹏BoostKit训练营的一员,从开营仪式到《大数据应用性能优化》课程的初探,每一步都充满技术成长的惊喜。这篇博客将从开营收获、课程学习方法、知识点拆解三个维度,希望能够帮到大家,一起解锁训练营的学习密码。

一、开营仪式:锚定学习方向,点燃技术热情

2025年10月22日的开营仪式上,老师清晰勾勒了训练营的“全景地图”。介绍了关于训练营的活动玩法和训练营课程安排。

训练营玩法:

1、玩法一:邀请好友共学

邀请好友在训练营中共同学习,当我们完成报名后会有专属邀请链接,将链接分享给更多人,让更多人参与训练营学习。会按邀请报名用户数量排名,邀请数量相同的开发者按邀请时间先后顺序排名。

1.png

2、玩法二:直播互动赢好礼

看直播并进行互动,可以参与赢取好礼。需要在鲲鹏社区训练营直播间参与,观看训练营任何一场直播课按要求发布弹幕抽好礼。

其中,里面参与直播互动换可以赢得幸运奖。

后续完成全部直播观看+学习心得总结打卡可以参与“终极全勤奖”抽奖,但需要30为学员以上满足条件才能够解锁,所以大家多多参与完成打卡来一起解锁。

3、玩法三:打卡冲击荣誉榜单

首先要成功报名训练营。

接着,计入排位成长值规则:

观看BoostKit训练营直播课程(直播期间)可获5成长值/场,约6-8场。

通过微认证测验(仅在开营期间)可获100成长值/门

完成结营考试(官方结业证书必备)+50/1次:完成打卡笔记+微认证。

4、玩法四:案例贡献-学课程结合自身实践

学以致用,我们可以将自己的学习与实践成果,沉淀为一篇高质量的技术博文通过鲲鹏社区发表出来。

博主认为这种学习方法能够让我们直观感受到自己的学习质量,还可以在后续成长中不断重复学习。学习到的知识通过不断复习才能够掌握到,最终实现“温故而知新”的效果。

2.png

最后,我们有直播课程中不懂得问题,可以通过之后的回放不断加深自己的学习,还可以在社群中向活动老师和助教、学习委员提问来拓展学习。

目标定位:聚焦鲲鹏BoostKit技术栈,通过“理论+实操+社区任务”的模式,让开发者体验大数据引擎性能优化、Redis数据库性能优化、正则表达库优化、搜推广业务性能提升等技术。

成长路径:从“技术入门”到“实战能手”,通过结业证书、微认证等方式,实现能力与成果的双重沉淀。

二、开启《大数据应用性能优化》课程学习:高效学习方法论

这门课是训练营的BoostKit模块之一,博主总结了一套“三阶学习法”供大家参考学习,深度吸收课程知识:

1、课前:“资源+认知”双准备

(1)资源储备:我们可以提前到鲲鹏社区官网找到相关知识的课程或者文档进行学习,为直播课程学习积累基础。

(2)认知预热:在直播课程过程中,对于难点不断思考,带着问题听课会更有针对性。

2、课中:“专注+联动”双驱动

(1)直播专注法:可以提前准备多设备,如手机+电脑,一个屏幕看讲师直播,一个屏幕开笔记软件,边听边记录核心结论以及重点标记课程中难懂的知识。遇到多个疑问时,先在笔记中标记“待解决”,利用直播互动环节或社群@助手老师、助教快速答疑,不要让疑惑堆积。

(2)社群联动法:报名训练营成功后,通过微信二维码加入鲲鹏BoostKit训练营专属微信群,课中看到其他同学的疑问,若自己理解也可主动分享思路;若自己也困惑,可跟帖补充,形成“讨论——解答——复盘”的学习闭环。

3、课后:“输出+复习”双巩固

(1)知识输出:课后我们可以通过思维导图的方法梳理每节课的逻辑,每周学习完课程后写一篇学习小结,发布到鲲鹏社区博客专区,这种方法既能巩固知识,也能和其他开发者交流学习。

鲲鹏社区博客板块链接:https://www.hikunpeng.com/developer/blog

3-博客页面.png

(2)打卡+复习:课程作业不要只追求完成,要追求拓展,训练营的每次课程结束后都会在鲲鹏社区论坛或者微信群中发布打卡链接,需要我们按照要求在评论区,输出自己的学习心得与学习纪要等。通过这样的方式,我们可以不断提升自己对课程的理解和对知识的巩固。

三、《大数据应用性能优化》核心知识点总结

下面我们一起来进行课程的学习,这次直播课程是黄老师进行关于鲲鹏BoostKit核心技术的解读,带着问题我们需要了解BoostKit是什么?我们为什么要有BoostKit?

课程开始后老师首先从整个通算发展趋势向我们介绍,

通算发展趋势:BoostKit主要的一个背景是在通用计算方面,特别是目前我们能够理解的CPU架构、计算机体系架构领域上的使用,计算机的一个体系架构其实是非常受业务发展影响的。

早在上世纪60年代,金融各方面是有一个蓬勃的发展,IBM大型机在当时便产生了,在当时IBM大型机里面的两个最核心的功能是其操作系统和数据库。

操作系统:System/360(S/360)

数据库:DB2

所以IBM S360其实是给当时的金融、银行这些业务去提供非常高稳定、高可靠、高性能的系统。

所以国内前几年一直提到去“IOE”的概念,这个I就是IBM的大型机、小型机。去IOE是由阿里巴巴提出的IT架构战略,指在信息技术系统中逐步替换IBM小型机、Oracle数据库及EMC存储设备,转向基于开源软件的自研体系,旨在通过云计算技术降低对国外厂商的依赖。

随着业务的发展,比如互联网的兴起,数字化在不同行业也有需求,在这个情况下,

云/大/数/存:云指虚拟化,大指大数据,数指数据库,存指存储(分布式存储),这些领域也得到了发展,代表性的就是谷歌在2003年到2006年之间发表了三篇论文,第一篇是谷歌的文件系统,实现了横向扩展的存储系统。另外一篇非常著名的是引入了大数据的一个处理框架,后来进一步催生了像Hadoop、Spark这些大数据的引擎。第三篇论文是关于数据库的。往前演进可能大家会关注我们是谁?往哪里去的问题,随着现在AI的介入,黄老师为我们阐述了以后的系统可能会走向两者的融合,像Scale up+Scale out,云/大/数/存+AI的分布式紧耦合系统。

为什么会有这种预测?主要是由于现在当前计算机体系架构在当前Scale out模式下存在非常多的挑战。1、CPU内存利用率的问题,现在数据中心里CPU或内存利用率其实都不及预期,很大原因是服务器和服务器之间是隔离的,一个服务器的CPU内存是很难无缝的让另外一个服务器去用,物理机内部因为我们现在用的虚拟化的技术,可以通过Hypervisor去在单个物理机中协同调用,跨物理机的协同调度目前还没有达到一个非常好的。2、线性度:与数据库有关,数据库的线性度指数据库里面有非常多的全局锁。3、AI:比如现在的生成式AI、......不管是现在的系统还是之前的系统都是人和机器在做交互,往前演进当操作电脑的是电脑的时候,可以想像到现在对计算资源的一个诉求有可能就是缩量级的一个提升,比如说我们去操作电脑的时候可能我们期望它的时延可能在毫秒级。当从人机交互走向机器交互时,对数据中心的计算资源的弹性、极速冷启动就变得非常急切,为了在现在的计算机架构里面去回答这几个问题就很需要说以后得服务器可以更好地去组成一个更加资源共享的一个矩形,同时的话节点跟节点之间的时延尽可能短,所以在这里面以后的技术可能资源池化是一个非常重要的一个点。另外就是低时延,就是节点跟节点之间有一个非常低的时间。还有内存语义,就是一个可以用内存语义去访问另外一个节点的资源,这个的时候整个数据中心对外体现的其实就有可能就像一个更大的逻辑计算机的感觉,以上都是基于现在的一个架构进行演进。

6.png

那么BoostKit究竟是什么?黄老师在后面向我们说明了BoostKit的BoostCore基础加速层和Boost-X应用加速层。了解BoostKit的BoostCore基础加速层主要就是对外提供非常多的系统库,例如KSL系统库,我们熟知的在Linux上的Glibc其实就是系统库。KAIL AI库,比如KAIL_DNN:深度神经网络算子库(Deep Neural Network Library)、KAIL_DNN_EXT:深度神经网络算子拓展库(Deep Neural Network Extension Library)就在KAIL AI库中。KZL 压缩库,压缩库有硬件加速引擎。KML 数学库,数学库在HPC还有AI场景用的非常多。KSAL 存储库,比如提供一些存储接口的功能。KMML 媒体库,比如现在的媒体的协议,x265、x264这些加速的算子。KCL 加解密库,KNL 网络库。在这些基础库之下,还有一个叫HAAS 硬件亲和加速,就是硬件亲和加速引擎,主要是把鲲鹏超节点()UB、和鲲鹏服务器的能力,比如硬件加速引擎,还有DPA数据处理引擎,还有L0内存的能力,把它封装成更亲和的一层API让上边的一些加速库(系统库)无缝的去调用。

Boost-X应用加速,X代表不同的应用场景。比如OmniRuntime 大数据套件是面向大数据场景所开发的加速套件。还有BoostDB 数据库套件,BoostSDS 分布式存储套件,BoostVirt 虚拟化套件是针对现在的云、虚拟化的套件。还有后边才推出的BoostMedia 媒体套件针对媒体的加速套件。对互联网来讲BoostSRA 搜推广套件。BoostBOX 云手机套件,现在安卓是基于ARM的芯片,鲲鹏和鲲鹏架构是同架构,所以在鲲鹏服务器上运行安卓之类的手机。还有BoostCC 机密计算套件,BoostIDA 智能数据分析套件。另外还有WAAS 负载感知加速,它主要把上层的Boost-X应用加速一些负载灵活的去调度底下的BoostCore基础加速资源,或对底下的资源做优化,底下的资源包括CPU、硬件、操作系统,实现全栈的端到端的优化。最上层场景化应用是对外提供的。

7.png

讲完套件后,黄老师开始讲解现在BoostKit手头所拥有的黑科技、业务,这些黑科技究竟是怎么样使能一个具体的业务呢?描述的话就是在互联网场景下典型的一个搜推的一个业务流,业务流是通过Web/App的接口、通过API网关的方式首先进入到云底座,在数据中心里面可能会部署非常多的微服务,对Web、App提供这些服务,微服务接受到这些请求之后会被分发到APP前端的搜推系统里面,进入到这些服务的App通过点击流会进入到大数据里面去,大数据系统有了这些系统之后会进行训练,生成一些推进的模型,推进的模型反过来又会用到搜推广里面,这些模型还会对大数据里面的非常多的信息去做AI的数据工程,对数据做处理,处理的结果会以向量的方式存储到数据库里面,包括多模态数据仓和向量数据库。随着AI介入还有一种新的模式,就是生成一个Prompt,通过它去做推理,这也体现了以后的一个业务的趋势,比如生成式推荐。

8.png

基于这个数据流,黄老师又介绍了BoostKit在整个端到端中所扮演的“角色”,比如现在有一个用户请求进来了,它首先来到了云底座的位置,到这个位置后BoostKit会给它提供什么功能呢?这就是第一个场景,在这个场景里,对用户/系统来讲,最主要的是我们这个云底座怎么样去提升它的利用率,让它的成本降低下来。而提升它的利用率业界常用做法是支持在离线混部,离线业务比如说在上面跑一些数据分析。在这里如果我们既想提升整个系统的利用率,又要保证离线无需干扰在线业务BoostKit也做了一个这样的工作,CPU层面有MPAM的能力,MPAM其实就是可以对运行在系统里面的业务流去打这个标签,通过打标签之后这个业务流在流经CPU cache是它就可以做一些管控,这样后面就能很好解决离线业务对在线业务的干扰问题,最后实现容器对全链路QoS的保证。

9.png

进入大数据领域,目前的大数据除了Spark还有Flink,对BoostKit来讲提供了两个核心的功能,第一个是从原来的Spark基于JAVA的这种引擎转向了基于C的这种引擎,它可以实现一个非常好的一个性能的提升,另外一个是在C引擎基础上,我们有向量化的加速到最后形成一个向量化的引擎。另外一个是基于Flink在原生的Flink的一个存储的基础上引出了一个新的OmniStateStore的存储,通过数据智能预取&淘汰提升数据存储的性能。

10.png

进入数据库里,以Redis为例,主要在内存里通过网络异步化的技术去实现对IO事件批量的异步收发,通过网卡多路径亲和绑定到多个CPU上,这样就能使Redis性能提升60%。

11.png

进入到分布式存储,分布式存储给很多的场景提供存储能力,包括数据库、对象存储、数据湖、KV Cache,其中KAE硬件引擎支持多种压缩算法,以ZLIB为例,可提供28GB/s压缩带宽,22GB/s解压缩带宽。还有安全领域,比如现在的虚拟机是一般的通过帐号都可以比较容易的登录、容易遭遇安全的攻击,机密计算的主要的一个特点就是希望每个虚拟机本身是足够安全的,它是通过密钥去进入到虚拟机里面。

以上是黄老师分享的关于鲲鹏BoostKit核心技术的解读,在课后老师还会为我们提供到难点的解读。到了最后学完第一周直播课程,大家记得也要完成打卡任务,在指定的帖子链接底下按照要求输出学习心得与学习纪要等,并且完成相应的微认证就会在训练营排行榜中计入相应的成长值。

12.png

13.png

从开营仪式的方向锚定,到《大数据应用性能优化》的深度学习,鲲鹏BoostKit训练营的每一步都在重塑我们对算力赋能应用的认知。希望这篇分享能帮您在训练营中更快调整状态、学到知识,咱们一起在技术成长的路上结伴前行!

收藏举报
Level 1
0
帖子
0
粉丝
0
获赞