1. 鲲鹏BoostKit整体介绍
在数据和经济时代，业务和数据的多样性需要新的计算架构，海量的数据增长也带来了更高的计算需求。数据与算力驱动着计算产业的创新与突破。在多样性计算时代，鲲鹏计算通过开放全栈能力，加速产业创新，使能极简开发，极致性能，携手用户、开发者和伙伴共建鲲鹏计算产业生态。
基于华为鲲鹏处理器构建的鲲鹏全栈 IT 技术基础设施、行业应用以及服务，致力于为智能世界持续提供我们的先进算力支持，使得各个行业可以实现数字化转型，促进鲲鹏生态的繁荣。其中应用软件的迁移与性能优化一直是鲲鹏软件生态的难点和关键。作为鲲鹏应用使能套件，鲲鹏BoostKit是基于鲲鹏硬件、基础软件和应用软件进行全栈优化的场景化使能套件，面向伙伴、客户和开发者提供高性能开源组件、基础加速软件包、应用加速软件包和参考实现，充分发挥鲲鹏多核架构优势，为上层应用提供全栈优化的能力，释放倍级性能优势。
BoostKit不只是由一个软件包构成，而是由很多软件包组成的，BoostKit 1.0聚焦八大场景（大数据、分布式存储、数据库、虚拟化、ARM 原生、Web/CDN、NFV和HPC）软硬协同优化，使能鲲鹏好用。BoostKit 2.0后，聚焦提供四大类“数据亲和”加速组件，包括数据就近计算、算法加速数据传输、数据并行化处理、全生命周期数据安全等，对数据全处理流程进行负载优化，从而大幅提升应用性能。
2. 鲲鹏BoostKit如何应对大数据关键挑战
计算的核心是对数据的处理。传统架构单纯地把数据搬移到计算侧进行处理。随着数据量的爆发式增长，数据读取和等待变得更加冗长，70％的算力消耗在数据传输上，而计算的时延和性能成为严重的瓶颈。突破上述诸多瓶颈，基于数据所在位置和数据类型等特点，匹配最合适的计算方式，提升计算效率成为鲲鹏计算努力的方向。
鲲鹏BoostKit聚焦大数据关键挑战，让数据处理更快、更简单。大数据面临的关键挑战如下：
- 跨多数据源联合分析，比如Hive、JDBC、HBase等。
- Java算子执行效率低，未利用SMID加速。
- 计算节点从存储系统加载了大量的无效数据，浪费网络带宽。
- 小IO、序列化和解压缩等问题导致数据交换速度慢。
如何应对关键挑战？
针对问题1，采用openLooKeng跨源跨域查询加速。采用openLooKeng虚拟化引擎统一数据入口，支持跨源、跨域分析，查询性能倍级提升。
针对问题2，采用OmniRuntime算子下推，实现近数据计算，大幅减少数据加载量，降低网络带宽使用量。
针对问题3，采用OmniRuntime算子加速，Native SQL引擎提升大数据算子执行效率。
针对问题4，采用OmniRuntime Shuffle加速，内存语义交换，小IO聚合加速Shuffle效率。
从下面这张大数据场景整体架构图我们可以看到，鲲鹏BoostKit通过在应用加速领域提供了两套大数据加速组件，包括OmniRuntime底座和算法加速库，可以直接供上层Spark、Hive等大数据分析引擎调用。
以大数据OmniRuntime加速组件为例，通过OmniData、OmniCache、OmniAdvisor、OmniOperator等多个模块能力，针对数据接入、传输、计算全周期开展性能优化，在大数据场景下，可将分析场景的性能提升30％以上。其中OmniData就是基于数据就近计算的理念，利用存储端富余算力完成大部分计算，从而大幅减少数据读取和网络传输，实现总体计算效率的提升。
传统方案下，计算只能在中心侧的节点中进行，数据先要从边缘侧的存储传输到中心侧，海量的数据搬迁导致计算效率低下和算力浪费。而在OmniData方案下，通过将包含操作、运算规则的算子卸载到边缘侧的存储，让计算在数据本地进行，大大降低了数据搬迁量，从而消除了网络传输瓶颈，计算效率实现大幅度提升。在特定的典型场景下，OmniData甚至能将数据搬迁量从8亿行数据库记录减少到80万行，只是原来数据量的千分之一。
3. 鲲鹏BoostKit大数据OmniData特性学习路径
我们提供了一站式学习的平台，通过平台提供的场景式学习路径，可以帮助开发者更好地了解和使用鲲鹏计算产业全栈技术，畅想学习的乐趣，激发创新灵感。
为了解决大数据存算分离或大规模存算融合场景下，计算任务数据跨网络到远端节点获取数据搬移代价高、耗时长的问题，鲲鹏BoostKit提供了大数据OmniData算子下推特性，实现近数据计算，将算子卸载到边缘侧执行，降低数据搬迁量，消除网络传输瓶颈，提升大数据引擎计算性能。
通过《提升大数据引擎计算性能》学习路径的学习，帮助开发者快速掌握在鲲鹏环境如何部署大数据OmniData算子下推特性，以及如何在Spark引擎上应用OmniData，以提升大数据引擎计算性能。
学习路径主要介绍了以下知识，您可以跟着学习路径的节奏，从理论到实践一步步掌握大数据OmniData算子下推特性的基础知识和应用实践。
4. 总结
面向多样性计算时代，华为全面开放鲲鹏全栈能力，分享多样性计算工具套件。鲲鹏BoostKit为使能应用极致性能而生，从性能优化、效率提升、安全稳定运行到应用创新，鲲鹏BoostKit全方位助力千行百业从“用上鲲鹏”到“用好鲲鹏”。
俗话说，火车跑得快，全靠车头带。鲲鹏计算使能行业应用创新，需要一个动力满满的引擎。鲲鹏BoostKit当之无愧。对于各行各业的开发者来说，他们需要先进的计算架构，但更需要一个趁手的应用使能工具，能够快捷、高效地实现性能的极致优化、安全的使命必达。依据产品能力和作用的定位，鲲鹏BoostKit毫无疑问要做开发者的“开发者”，它所具有的软硬件协同的“亲和力”，将有力地促进行业用户的业务创新。
'%3e%3c/path%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
'%3e%3c/path%3e%3c/g%3e%3c/g%3e%3c/svg%3e)
1. 鲲鹏BoostKit整体介绍
在数据和经济时代，业务和数据的多样性需要新的计算架构，海量的数据增长也带来了更高的计算需求。数据与算力驱动着计算产业的创新与突破。在多样性计算时代，鲲鹏计算通过开放全栈能力，加速产业创新，使能极简开发，极致性能，携手用户、开发者和伙伴共建鲲鹏计算产业生态。
基于华为鲲鹏处理器构建的鲲鹏全栈 IT 技术基础设施、行业应用以及服务，致力于为智能世界持续提供我们的先进算力支持，使得各个行业可以实现数字化转型，促进鲲鹏生态的繁荣。其中应用软件的迁移与性能优化一直是鲲鹏软件生态的难点和关键。作为鲲鹏应用使能套件，鲲鹏BoostKit是基于鲲鹏硬件、基础软件和应用软件进行全栈优化的场景化使能套件，面向伙伴、客户和开发者提供高性能开源组件、基础加速软件包、应用加速软件包和参考实现，充分发挥鲲鹏多核架构优势，为上层应用提供全栈优化的能力，释放倍级性能优势。
BoostKit不只是由一个软件包构成，而是由很多软件包组成的，BoostKit 1.0聚焦八大场景（大数据、分布式存储、数据库、虚拟化、ARM 原生、Web/CDN、NFV和HPC）软硬协同优化，使能鲲鹏好用。BoostKit 2.0后，聚焦提供四大类“数据亲和”加速组件，包括数据就近计算、算法加速数据传输、数据并行化处理、全生命周期数据安全等，对数据全处理流程进行负载优化，从而大幅提升应用性能。
2. 鲲鹏BoostKit如何应对大数据关键挑战
计算的核心是对数据的处理。传统架构单纯地把数据搬移到计算侧进行处理。随着数据量的爆发式增长，数据读取和等待变得更加冗长，70％的算力消耗在数据传输上，而计算的时延和性能成为严重的瓶颈。突破上述诸多瓶颈，基于数据所在位置和数据类型等特点，匹配最合适的计算方式，提升计算效率成为鲲鹏计算努力的方向。
鲲鹏BoostKit聚焦大数据关键挑战，让数据处理更快、更简单。大数据面临的关键挑战如下：
如何应对关键挑战？
针对问题1，采用openLooKeng跨源跨域查询加速。采用openLooKeng虚拟化引擎统一数据入口，支持跨源、跨域分析，查询性能倍级提升。
针对问题2，采用OmniRuntime算子下推，实现近数据计算，大幅减少数据加载量，降低网络带宽使用量。
针对问题3，采用OmniRuntime算子加速，Native SQL引擎提升大数据算子执行效率。
针对问题4，采用OmniRuntime Shuffle加速，内存语义交换，小IO聚合加速Shuffle效率。
从下面这张大数据场景整体架构图我们可以看到，鲲鹏BoostKit通过在应用加速领域提供了两套大数据加速组件，包括OmniRuntime底座和算法加速库，可以直接供上层Spark、Hive等大数据分析引擎调用。
以大数据OmniRuntime加速组件为例，通过OmniData、OmniCache、OmniAdvisor、OmniOperator等多个模块能力，针对数据接入、传输、计算全周期开展性能优化，在大数据场景下，可将分析场景的性能提升30％以上。其中OmniData就是基于数据就近计算的理念，利用存储端富余算力完成大部分计算，从而大幅减少数据读取和网络传输，实现总体计算效率的提升。
传统方案下，计算只能在中心侧的节点中进行，数据先要从边缘侧的存储传输到中心侧，海量的数据搬迁导致计算效率低下和算力浪费。而在OmniData方案下，通过将包含操作、运算规则的算子卸载到边缘侧的存储，让计算在数据本地进行，大大降低了数据搬迁量，从而消除了网络传输瓶颈，计算效率实现大幅度提升。在特定的典型场景下，OmniData甚至能将数据搬迁量从8亿行数据库记录减少到80万行，只是原来数据量的千分之一。
3. 鲲鹏BoostKit大数据OmniData特性学习路径
我们提供了一站式学习的平台，通过平台提供的场景式学习路径，可以帮助开发者更好地了解和使用鲲鹏计算产业全栈技术，畅想学习的乐趣，激发创新灵感。
为了解决大数据存算分离或大规模存算融合场景下，计算任务数据跨网络到远端节点获取数据搬移代价高、耗时长的问题，鲲鹏BoostKit提供了大数据OmniData算子下推特性，实现近数据计算，将算子卸载到边缘侧执行，降低数据搬迁量，消除网络传输瓶颈，提升大数据引擎计算性能。
通过《提升大数据引擎计算性能》学习路径的学习，帮助开发者快速掌握在鲲鹏环境如何部署大数据OmniData算子下推特性，以及如何在Spark引擎上应用OmniData，以提升大数据引擎计算性能。
学习路径主要介绍了以下知识，您可以跟着学习路径的节奏，从理论到实践一步步掌握大数据OmniData算子下推特性的基础知识和应用实践。
4. 总结
面向多样性计算时代，华为全面开放鲲鹏全栈能力，分享多样性计算工具套件。鲲鹏BoostKit为使能应用极致性能而生，从性能优化、效率提升、安全稳定运行到应用创新，鲲鹏BoostKit全方位助力千行百业从“用上鲲鹏”到“用好鲲鹏”。
俗话说，火车跑得快，全靠车头带。鲲鹏计算使能行业应用创新，需要一个动力满满的引擎。鲲鹏BoostKit当之无愧。对于各行各业的开发者来说，他们需要先进的计算架构，但更需要一个趁手的应用使能工具，能够快捷、高效地实现性能的极致优化、安全的使命必达。依据产品能力和作用的定位，鲲鹏BoostKit毫无疑问要做开发者的“开发者”，它所具有的软硬件协同的“亲和力”，将有力地促进行业用户的业务创新。