概念介绍
Hyper IO库是一类提供系统软件和应用软件之间连接的软件，提供科学数据的存储描述格式定义和文件操作，在高性能计算应用以及大量后处理、可视化及分析框架中广泛应用。
价值
为了满足高性能计算对应用可扩展性和端到端性能提升的诉求，在华为自研高性能计算解决方案中加入自研Hyper IO库，此中间件面向鲲鹏平台优化，兼容多类型开源中间件接口。通过优化进程间IO范式、Step间IO范式将应用进行抽象和分类，并通过数据块聚合、重组、缓存等方式将应用的IO操作重新组合成对后端文件系统更为友好的操作，消除大规模应用的IO瓶颈，从而提升鲲鹏平台上高性能计算应用运行时的性能。
功能
Hyper IO库可提升大型IO密集型高性能计算应用的可扩展性和端到端性能，减少并行文件系统故障，解决IO瓶颈和实践中应用直接针对特定存储进行优化不可持续的问题。
- 请仔细梳理应用中使用的IO库接口，如果存在Hyper IO库不支持的IO库接口，使能Hyper IO库可能会导致未定义行为，此时请谨慎使用Hyper IO库的加速功能。
- 开源中间件兼容的接口均不支持线程安全。
- 调用桥接函数传入的入参合法性需要用户自行保证，所有函数接口行为均与原接口保持一致。
- 环境变量配置给中间件使用的so文件：libock_shore_mpiio.so、libock_shore_pnetcdf.so、libock_shore_netcdf.so、libock_shore_hdf5.so，需要用户自行保证so文件的安全性、可用性及可靠性。
- 请确保客户场景允许使用LD_PRELOAD。
应用场景
Hyper IO库，在Lammps、Grapes、NEMO和WRF等高性能计算应用，以及大量后处理、可视化及分析框架中广泛应用。