Hyper IO库函数说明

概念介绍

Hyper IO库是一类提供系统软件和应用软件之间连接的软件，提供科学数据的存储描述格式定义和文件操作，在高性能计算应用以及大量后处理、可视化及分析框架中广泛应用。

价值

为了满足高性能计算对应用可扩展性和端到端性能提升的诉求，在华为自研高性能计算解决方案中加入自研Hyper IO库，此中间件面向鲲鹏平台优化，兼容多类型开源中间件接口。通过优化进程间IO范式、Step间IO范式将应用进行抽象和分类，并通过数据块聚合、重组、缓存等方式将应用的IO操作重新组合成对后端文件系统更为友好的操作，消除大规模应用的IO瓶颈，从而提升鲲鹏平台上高性能计算应用运行时的性能。

功能

Hyper IO库可提升大型IO密集型高性能计算应用的可扩展性和端到端性能，减少并行文件系统故障，解决IO瓶颈和实践中应用直接针对特定存储进行优化不可持续的问题。

特性

Hyper IO库具有以下关键特性：

• 理解多场景应用数据的物理意义，在多个维度上进行数据集聚合、拼接、重组，缩减应用元数据量和减少IO访问次数。
• 识别高性能计算典型应用的数据类型信息、数据统计信息，针对不同数据类型（包括浮点、整形类型、稀疏矩阵）引入差异化的数据压缩技术，减少网络传输带宽，提升数据交互效率和稳定性。
• 通过拆分应用数据处理步骤、解耦不同阶段处理单元间的算法和基于数据属性的灵活处理单元调用，完全实现数据驱动。

• 单一数据对象任意数量、任意种类和任意顺序的预处理和后处理；多个数据对象任意形式、任意维度的聚合、拆解和重整操作。

当前版本的Hyper IO库提供针对NetCDF、PnetCDF、HDF5和MPI-IO这几种IO库的数据IO桥接和加速能力，后续版本中，Hyper IO库会针对POSIX IO语义提供加速能力。后续章节中，会对Hyper IO库支持的IO库相关的接口进行详细的描述。

应用场景

在Lammps、Grapes、NEMO和WRF等高性能计算应用，以及大量后处理、可视化及分析框架中广泛应用。

Hyper IO库提供以下类型的接口供高性能计算应用使用：

• 请仔细梳理应用中使用的IO库接口，如果存在Hyper IO库不支持的IO库接口，使能Hyper IO库可能会导致未定义行为，此时请谨慎使用Hyper IO库的加速功能。
• 开源中间件兼容的接口均不支持线程安全。
• 环境变量配置给中间件使用的so文件：libock_shore_mpiio.so、libock_shore_pnetcdf.so、libock_shore_netcdf.so、libock_shore_hdf5.so，需要用户自行保证so文件的安全性、可用性及可靠性。
• 请确保客户场景允许使用LD_PRELOAD。
• 遵循标准MPI-IO/PnetCDF/NetCDF/HDF5接口，接口参数合法性、编码安全性、渗透安全性由调用者保证。