鲲鹏社区首页
中文
注册
开发者
我要评分
获取效率
正确性
完整性
易理解
在线提单
论坛求助

简介

本文档提供了KRL的安装指南、接口说明与示例代码,旨在帮助用户快速熟悉KRL的使用。

KRL概述

鲲鹏检索算子库KRL(Kunpeng Retrieval Library)是华为提供的基于鲲鹏平台优化的用于加速向量检索的算子库。KRL针对鲲鹏处理器的指令集架构与内存访问机制进行底层优化,使用低精度量化+高精度重排等方法有效提升召回算法的计算效率与吞吐量,同时保证算法精度,适用于高并发召回场景的性能需求。目前可通过使能KRL算子的形式对开源Faiss的HNSW、PQFS、IVFPQ、IVFPQFS等算法进行加速。

KRL适用于鲲鹏920 7282C处理器,支持NEON指令(128位宽)和SVE指令(256位宽)。

应用场景

KRL主要在以下场景中使用:

  • 搜索:网络搜索、多模态检索
  • 推荐:推荐系统
  • 广告:广告投放