中文
注册

华为李义:鲲鹏展翅,共筑数字根基

产业开发者

发表于 2023/05/08

5月6日,鲲鹏开发者峰会2023在东莞松山湖举行。会上,华为鲲鹏计算业务总裁李义发表《鲲鹏展翅,共筑数字根基》主题演讲。

华为鲲鹏计算业务总裁 李义

以下是演讲全文

各位伙伴、开发者朋友们,大家上午好!

欢迎各位参加第二届鲲鹏开发者峰会,非常高兴和大家再次相聚,分享鲲鹏最新的产业进展和技术创新。也希望本次峰会能够给大家提供一个专业、开放的技术交流与创新分享平台,携手伙伴、开发者共筑数字根基。

自鲲鹏计算产业战略发布以来,已接近4年,我们始终坚持“硬件开放、软件开源、使能伙伴、发展人才”的生态策略,与广大合作伙伴、开发者朋友共建鲲鹏计算产业。通过大家的持续努力,鲲鹏生态繁荣、稳步发展。

目前,已与4500多家伙伴一起孵化了超过13500个解决方案,覆盖国计民生行业的主流场景,兼容性瓶颈已基本消除,行业落地也在加速推进。这些成绩的取得,离不开鲲鹏开发者的同行共创,规模也从最初的20万,发展到当前首次超200万,增长达10倍。

在此,我谨代表鲲鹏计算产业,衷心感谢全体伙伴与开发者,感谢你们的一路同行,感谢你们的持续贡献,感谢有你。

在开发者、生态伙伴、用户的共同努力下,鲲鹏已广泛服务于政府、金融、运营商、电力、科研、互联网等各类核心场景,正在成为行业的首要选择。这些都充分验证,鲲鹏在推动数字化转型升级进程中,不仅可用、好用,而且实现了全方位的超越。

面向未来,希望能持续与广大伙伴、开发者一起,以场景需求为牵引,以打造有竞争力的产品及解决方案为目的,共享计算产业新价值,共赢数字时代。

为了更好地赋能伙伴、开发者,我们持续升级鲲鹏基础软硬件平台,使能极简开发、极致性能;

★ 在开发方面,我们升级鲲鹏开发工具DevKit,在原有迁移、原生开发能力持续增强基础上,新增提供组件化、服务化能力,让开发更便捷。

★ 性能优化上,我们升级鲲鹏应用使能套件BoostKit“5大”场景化能力,同时持续贡献、迭代基础软件openEuler和openGauss内核能力,通过软硬协同,充分释放鲲鹏算力,使能行业应用极致性能。

首先是鲲鹏DevKit,今年新推出的版本,通过组件化,使得开发者以前需要手动提交适配之后的代码到开发流水线,到现在,可以将按需集成工具插件到现有DevOps流水线中,每天自动扫描、修改、提交代码,非常便捷的发布版本;而且,还可以一键开通云开发服务,随时随地迁移、开发。

其次,新版本的迁移能力也有所增强,如提供鲲鹏亲和检查,实现代码更加适配鲲鹏架构,确保应用性能更优。同时,原生开发能力升级,场景化SDK将提供更丰富的编程框架和优化能力,让编码更快、性能更优。而且,首次支持HPC场景下2000多个RANK多线程并行调试,充分发挥鲲鹏集群算力。

以往开发者可能会担心,现有发流水线,如果在鲲鹏上开发,会不会面临两套流水线、两套应用代码的问题。

为了解决这个顾虑,我们将鲲鹏DevKit的功能独立解耦,开发者可按需获取,满足差异化的使用需求,覆盖VSCode、IntelliJ等主流开发平台,使用方式更丰富。

而且,工具插件通过简单的配置接入开发流水线后,可及时发现代码缺陷,保障代码质量;在不改变原有流程的情况下,同时构建鲲鹏和x86多平台应用;目前我们已经支持业界主流开发流水线Jenkins,接下来还将支持华为云的开发流水线CodeArts。

此外,通过鲲鹏DevKit与鲲鹏生态创新中心结合,全面提升支撑伙伴、用户从原有平台迁移到鲲鹏上的能力。

鲲鹏DevKit在代码适配阶段,增强了鲲鹏亲和分析能力。而鲲鹏生态创新中心则提供专业的技术团队、丰富的行业实践、以及鲲鹏服务器资源等,针对迁移规划、方案设计、测试优化等环节提供专业咨询和指导,及时解决用户遇到的各种疑难问题,保障整个迁移适配过程正确、高效完成。

结合以上能力,通过不断实践验证,从原x86平台向鲲鹏迁移的效率与向同样是x86架构迁移的效率基本持平。

上交所技术的核心实时系统集中处理上海证券市场超1亿投资者的证券交易,高峰时订单处理量达30-50万笔每秒、单笔订单延时为微秒级;经多方比较,决定最终将应用迁移到鲲鹏。

2021年,通过鲲鹏DevKit在2天内完成自研应用代码的基础迁移,从测试结果看,时延降低了86%,并发能力提升31%。

随后,基于鲲鹏DevKit在鲲鹏上实现原生开发,在现有开发流水线中集成鲲鹏迁移扫描和亲和分析插件,截至目前,核心实时系统鲲鹏版已在完成编译打包,并通过所有集成测试。版本开发仅用时1.4人月,效率提升30%。

随后,我们也邀请到了上交所用户作详细实践分享。

接下来介绍鲲鹏BoostKit 23.0,今年,我们升级了五大场景化能力,使能鲲鹏全栈竞争力持续提升。例如,

★ 大数据场景,在去年算法加速库基础上,结合今年新增的OmniRuntime系列特性,使能场景性能保持领先。

★ HPC场景,首次新增面向ARM架构的全自研天元求解器,充分利用鲲鹏多核资源,释放鲲鹏算力,实现矩阵函数求解速度业界领先。

★ 机密计算场景新增机密容器及机密虚机,让数据在云场景下更安全。

★ 数据库场景新增可插拔在线向量化分析引擎,相比原生查询性能提升50%+,等等。

针对这些场景,我们正和广东气象局、北京数字认证、深信服等客户和伙伴开展实践创新,为行业创造更多价值。

首先是机密计算场景,针对隐私数据云化部署安全问题,我们基于鲲鹏TrustZone硬件能力,在TEE安全OS中,新增机密容器、机密虚机等特性,面向云场景,打造金融风控、密码机等涉及隐私数据计算的可信执行环境,使能数据可信流通,为开发者提供隐私数据安全应用的开发平台。

当前已联合北京数字认证打造了基于鲲鹏服务器和机密计算特性的内生密码模块“鲲密”,构建高安全、高性能的密码服务。不仅能安全地处理来自不同业务场景的请求,而且计算性能超过传统软件方案的8倍。

在大数据场景,全新推出OmniRuntime的算子下推、算子加速和Shuffle加速等特性,优化数据加载、计算、交换等数据处理全流程,实现分析性能的大幅提升。

其中,数据加载使用算子下推特性实现近数据计算,大幅减少网络数据流量,提升SQL计算性能;数据计算使用算子加速特性,用高性能Native算子替换Java算子,大幅提升算子效率;数据交换使用Shuffle特性,加速节点间数据的交换。

我们在联通智网大数据项目中,使用鲲鹏服务器结合大数据OmniRuntime特性的软硬件平台,在TPC-DS标准测试集下,鲲鹏服务器上Spark查询性能提升53%。

基于鲲鹏全栈软硬协同能力,今年,我们联合伙伴,整合鲲鹏基础软硬件平台以及伙伴自有软件,开展深度优化,实现应用极致性能。面向行业细分领域,提供了“开箱即用”、“性能卓越”、“安全可靠”的一体化产品和解决方案,助力企业简化IT管理和运维,加速行业数字化转型。

下面,让我们共同见证,首批基于鲲鹏的一体化解决方案发布。

感谢以上伙伴,希望在我们基于鲲鹏打造的一体化解决方案能为行业数字化转型注入创新动能,也希望我们后续会有更多、更有价值的产品和方案陆续推出,让我们共同期待!

自2021年11月9日,华为携手社区伙伴,将openEuler贡献给开放原子开源基金会后,openEuler快速进入产业正循环、自加速阶段。过去三年,openEuler在商业装机量上实现指数级的增长和跨越式的发展。

2022年openEuler已在政府、金融、运营商行业实现新增市场份额第一,跨越生态拐点。2023年预计达成中国新增服务器操作系统市场份额35%,成为中国新增市场份额绝对第一。

同时生态上,openEuler社区已聚集830多家企业,1.4万核心贡献者,当前全球下载量突破122万,覆盖全球130多个国家和地区,倪光南院士点评:openEuler已达国际主流开源社区水平。

华为作为openEuler社区战略捐赠人,坚持上游社区内核持续贡献,推动openEuler版本稳定迭代;在3月底发布的新版本中,优化了开发者的体验,增强了全场景的能力。

同时,openEuler积极对接全球四大开源基金会,已完成95%的项目兼容性支持,包括:云原生、大数据、分布式存储、数据库、HPC等方向。对于平台型开源软件,比如:OpenStack、OpenHPC、Hadoop、Spark等更是做到了上游社区的原生支持。让全球用户可以便捷的使用openEuler。

openGauss开源3年来,已如期兑现了7个社区版本,在刚刚上线的5.0版本中,除了在企业级关键特性上持续创新外,还针对架构、工具进行了重大升级。

通过资源池化架构,实现计算、内存、存储三层解耦,提升资源调度效率、处理性能以及创新敏捷性。通过对数据全生命周期管理,提升数据库运维能力以及全量迁移、数据校验的性能。同时,在内核能力上持续增强,实现高性能、高可用、高安全、高智能。

今天,非常荣幸邀请到7家伙伴、用户一起联合发布基于openGauss5.0的数据库发行版,让我们共同见证!

感谢各位数据库伙伴、用户对openGauss的支持!

为了平滑迁移MySQL应用,openGauss通过全生命周期管理工具DataKit,提供完备的迁移工具集以及插件化架构,实现MySQL的极速、批量迁移。

目前,DataKit已支持100多个库批量并行迁移以及837个MySQL语法特性,例如在全量迁移上,采用按表并行迁移,实现单节点每小时在线迁移1TB数据,迁移效率处于业界领先水平 。

未来,我们将持续提高迁移效率。大量的迁移工作也将帮助我们提高内核对mysql语法的兼容性,以此使DataKit更好用、更易用。

中移信息携手openGauss,于去年12月推出了基于openGauss内核的磐维数据库,当前已在浙江、河北、北京等地成功部署。

该系统自上线以来,已覆盖推荐引擎、存量智洞察、校园大管家、商机雷达等17 个营销工具模块,服务超过1.6亿用户,轻松应对千万级并发的业务需求,当前,已稳定运行两百多天,充分展现了openGauss内核的卓越性能!

未来,我们将持续加大与中移信息公司在新版本、新特性方面的合作。

2019年,我们首次依托华为ICT开发者中心构建了鲲鹏社区1.0,服务华为开发者,提供鲲鹏相关的开发工具、学习资源等。2021年,通过鲲鹏社区2.0,覆盖鲲鹏全栈产业开发者,并独立建站运营,首次对外上线鲲鹏社区域名Hikunpeng.com。

经过2年持续优化,今天,我宣布全新改版的鲲鹏社区3.0正式发布。改版后,我们升级了鲲鹏开发者中心,使得课程实验资源更丰富、成长学习路径更清晰,而且增加了生态伙伴中心、高校育人中心,以支持企业、科研院所、高校更便捷加入鲲鹏生态。加速构建生态资源共建、共享平台,实现共创、共赢。

过去3年,我们通过“鲲鹏开发者计划”已累计投入超10亿人民币,牵引鲲鹏生态体系能力提升。

今年,我们还将持续投入超3亿人民币,通过优化鲲鹏展翅伙伴计划、众智计划以及优才计划等,支持企业开发者、科研开发者、高校开发者,提升产品创新能力、产品质量控制能力、营销拓展能力以及打造更优质的产品服务体系,力争用3到5年的时间,打造一个业界领先的生态系统。

让我们共同拥抱鲲鹏,以鲲鹏开发者的每一行代码,共筑坚实的数字根基!

预祝峰会取得圆满成功,谢谢大家!

上一篇

创未来 享非凡 | “智能基座”鲲鹏高校行2023——走进五城七校

下一篇

鲲鹏应用创新大赛2023正式启动 总奖金池1000万!