简介
本文档提供了KRL的安装指南、接口说明与示例代码,旨在帮助用户快速熟悉KRL的使用。
KRL概述
鲲鹏检索算子库KRL(Kunpeng Retrieval Library)是华为提供的基于鲲鹏平台优化的用于加速向量检索的算子库。KRL针对鲲鹏处理器的指令集架构与内存访问机制进行底层优化,使用低精度量化+高精度重排等方法有效提升召回算法的计算效率与吞吐量,同时保证算法精度,适用于高并发召回场景的性能需求。目前可通过使能KRL算子的形式对开源Faiss的HNSW、PQFS、IVFPQ、IVFPQFS等算法进行加速。
KRL适用于鲲鹏920 7282C处理器,支持NEON指令(128位宽)和SVE指令(256位宽)。
应用场景
KRL主要在以下场景中使用:
- 搜索:网络搜索、多模态检索
- 推荐:推荐系统
- 广告:广告投放
父主题: 开发指南