--- title: 鲲鹏BoostKit大数据使能套件-鲲鹏社区 description: 聚焦数据查询效率低、组件性能优化难等关键挑战，提供大数据主流组件的开源使能和用于性能调优的基础加速与应用加速软件包，开源openLooKeng跨源跨域查询引擎，提升大数据分析效率，充分发挥算力极致性能。 keywords: BoostKit,大数据使能套,鲲鹏社区,鲲鹏,大数据场景聚,焦数据查询效,率低,组件性能优化 url: https://www.hikunpeng.com/boostkit/big-data section: (其他) --- # 鲲鹏BoostKit大数据使能套件-鲲鹏社区 URL: https://www.hikunpeng.com/boostkit/big-data 描述: 聚焦数据查询效率低、组件性能优化难等关键挑战，提供大数据主流组件的开源使能和用于性能调优的基础加速与应用加速软件包，开源openLooKeng跨源跨域查询引擎，提升大数据分析效率，充分发挥算力极致性能。 关键词: BoostKit,大数据使能套,鲲鹏社区,鲲鹏,大数据场景聚,焦数据查询效,率低,组件性能优化 鲲鹏应用使能套件BoostKit [了解详情](https://www.hikunpeng.com/zh/developer/boostkit) 鲲鹏 BoostKit 大数据场景 ## 鲲鹏 BoostKit 大数据场景 ### 鲲鹏BoostKit大数据场景聚焦数据查询效率低、组件性能优化难等关键挑战，提供大数据主流组件的开源使能和性能调优等基础加速软件包、机器学习算法应用加速软件包，提升大数据分析效率，充分发挥算力极致性能。 生态建设： - 全面支持开源大数据，行业主流大数据软件已完成鲲鹏认证 - 支持x86和鲲鹏混合部署 应用加速： - OmniRuntime加速，通过插件化解耦交付，提升不同场景大数据引擎SQL性能20%~40% - 机器学习算法加速库，实现Spark在相同精度下计算性能平均提升5倍以上 基础加速：openEuler+毕昇JDK提升Hive性能2%~12%，Spark性能3%~20% 基础设施：鲲鹏CPU内置KAE加解密加速引擎，支持SM3/SM4算法加速 ## 基础加速软件包 毕昇JDK加速 毕昇JDK加速 ... 毕昇JDK加速 openEuler通过社区合作，构建支持多处理架构、统一和开放的操作系统，推动软硬件应用生态发展。openEuler操作系统基于大数据核心组件Hive、Spark通过磁盘IO、网络IO的调度策略优化、Neon指令优化等实现大数据计算性能提升。毕昇JDK性能优化基于鲲鹏处理器构建开源JDK社区，通过AppCDS、GC算法优化、编译优化等提升大数据核心组件Hive、Spark的计算性能。毕昇JDK内置在openEuler操作系统，同时支持CentOS操作系统。 openEuler开发资源 [了解详情](https://www.openeuler.org/zh/download/?version=openEuler%2024.03%20LTS) 毕昇JDK开发资源 [了解详情](https://www.hikunpeng.com/zh/developer/devkit/download/jdk) 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengbds/basicAccelFeatures/bishengjdkaccel/kunpengbds_jdk_20_0001.html) 价值优势 Hive性能提升2%～12%，Spark性能提升3%～20%。 关键技术 AppCDS、GC算法优化、编译优化、Neon指令优化、调度策略优化。 适用范围 适用于Hive 2.X/3.X, Spark 2.X。 ## 应用加速软件包 OmniRuntime 机器学习算法 OmniRuntime 机器学习算法 ... OmniRuntime 5.0 大数据OmniRuntime是鲲鹏BoostKit大数据面向应用加速推出的一系列特性，包括OmniOperator算子加速、OmniShuffle Shuffle加速、OmniMV物化视图、OmniAdvisor参数调优、OmniHBaseGSI全局二级索引、OmniStream Flink Native化和OmniStateStore状态优化，旨在通过插件化的形式，端到端提升数据加载、数据计算和数据交换的性能，从而提升大数据分析的性能。 下载软件包 查看文档 了解详情 [了解详情](https://www.hikunpeng.com/developer/boostkit/omni-runtime) 价值优势 Spark使用OmniRuntime加速特性执行SQL计算，相比原生性能提升20%~40%。 关键技术 高性能Native算子加速库、基于AI的物化视图推荐、参数自动推荐和HBase全局二级索引。 应用案例 某终端平台客户，大规模存算融合场景下数据分析业务采用OmniData算子下推，计算性能提升34%。 机器学习算法 5.0 机器学习算法是经过优化的算法库，兼容Spark原生API，对机器学习算法进行了性能优化，大幅提升了大数据算法场景的计算性能，该库支持鲲鹏处理器的体系架构。 下载软件包 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengbds/appAccelFeatures/algorithmaccelf_ml/kunpengbdssparkml_20_0002.html) 了解详情 [了解详情](https://www.hikunpeng.com/zh/developer/boostkit/big-data/machine-learning) 价值优势 Spark机器学习算法相比Spark原生MLlib，相同精度下计算性能平均提升5倍以上。 关键技术 鲲鹏基于算法原理和芯片特征针对机器学习算法进行深入优化。 应用案例 某行业客户通过机器学习算法匹配信息，百万级数据集规模，模型训练速度提升1.16倍。梯度提升决策树算法（GBDT）加速信息匹配，训练耗时从1.3小时缩短到0.6小时，帮助相关机构快速、合理地制定管理策略。 ## 鲲鹏BoostKit与openEuler深度集成 ### 鲲鹏BoostKit加速特性软件包已集成到的openEuler软件所中，实现开箱即用，欢迎体验 了解详情 [了解详情](https://www.hikunpeng.com/developer/boostkit/open-euler) 查看文档 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengbds/integrwithoe/instg/kunpengbds_04_0001.html) ## 参考实现 发行版 Apache 其他 软件 Hadoop Spark Hive HBase Doris ClickHouse Flink Kafka ZooKeeper Storm Phoenix Druid Solr | 软件名 | 版本号 | 操作系统 | 源码包 | 移植指南 | 部署指南 | | --- | --- | --- | --- | --- | ---| | Hadoop | 3.1.1 | CentOS 7.6openEuler 20.03openEuler 22.03 | hadoop-3.1.1-src.tar.gz | Hadoop 移植指南 | Hadoop集群 部署指南 | 工具 鲲鹏DevKit [了解详情](https://www.hikunpeng.com/zh/developer/devkit) 镜像仓 Maven仓 [了解详情](http://mirrors.huaweicloud.com/kunpeng/maven/)RPM仓库（CentOS） [了解详情](https://mirrors.huaweicloud.com/kunpeng/yum/el/)RPM仓库（openEuler） [了解详情](https://mirrors.huaweicloud.com/kunpeng/yum/oe/) ## 体验Demo BoostKit大数据机器学习算法加速库 体验Demo BoostKit大数据机器学习算法加速库 体验Demo ... BoostKit大数据机器学习算法加速库 体验Demo 鲲鹏BoostKit大数据场景通过优化Spark算法的多核亲和性以及算法原理，在训练精度保持一致的情况下，实现训练速度倍级提升。 立即体验 [了解详情](https://www.hikunpeng.com/zh/developer/boostkit/demo/bigdata) 开源开放地图 BoostKit生态开源开放项目全景，助你快速找到所需资源与协作方向 了解更多 [了解详情](https://www.hikunpeng.com/boostkit/open-map?tabs=OmniRuntime) ## 学习资源 【课程】鲲鹏BoostKit大数据场景介绍介绍鲲鹏BoostKit大数据场景基础知识，包括整体介绍、开源使能、基础加速特性、应用加速特性和项目应用案例。 [了解详情](https://www.hikunpeng.com/learn/courses-list/detail/1942871975929622529) 【实验】基于鲲鹏应用使能套件进行Hadoop调优本实验帮助指导开发者在短时间内，了解大数据组件Hadoop在鲲鹏上的部署步骤，体验Hadoop组件在鲲鹏上的基本调优思路。 [了解详情](https://www.hikunpeng.com/learn/experiments/detail/1fb643f324784c6792e04f54a58ec874) ## 获取开发支持与帮助 鲲鹏BoostKit大数据文档由浅入深，带您玩转鲲鹏BoostKit大数据场景 [了解详情](https://www.hikunpeng.com/document/detail/zh/kunpengbds/overview/kunpengbds.html) 鲲鹏论坛（鲲鹏BoostKit大数据）提供鲲鹏BoostKit大数据场景移植调优技术讨论、优秀实践 [了解详情](https://www.hikunpeng.com/forum/forum-0187135482144798002-1.html?filterCondition=1&topicClassId=0647135482164254004)