特性清单
特性类型 |
特性名称 |
特性描述 |
约束 |
|
|---|---|---|---|---|
召回算法 |
KScaNN |
基于倒排索引,结合鲲鹏架构深度优化索引布局、算法流程和计算流程,充分挖掘芯片潜力形成的向量检索算法。 |
|
|
KBest |
通过量化、NUMA访存调度等方法优化了最近邻搜索的性能和精度,用于多维向量近似最近邻搜索。 |
|
||
KVecTurbo |
通过将高维向量量化压缩,快速获取query的近邻,同时使用SIMD指令集加速距离计算,用于多维向量最近邻搜索。 |
|
||
KRL |
检索算子库是基于鲲鹏平台优化的用于加速向量检索的算子库,KRL可通过替换算子的形式对faiss原生的HNSW、PQFS、IVFPQ和IVFPQFS等算法进行加速。 |
|
||
KNewPfordelta |
鲲鹏New PForDelta算法,是鲲鹏构建的高效的召回倒排解压缩算法,通过向量指令等方法优化了倒排解压缩的性能。 |
|
||
Faiss |
对开源Faiss算法库进行了深度优化,通过向量化、维度交织查表累加及向量过滤压缩等关键技术,显著提升了IVFFlat、IVFPQ、HNSW、PQFS及IVFPQFS多种索引的相似性搜索与聚类效率。 |
|
||
hnswlib |
基于开源hnswlib算法库,针对ARM架构进行了深度优化:通过向量化技术实现FP16高效支持,并应用了预取与指令重排等优化策略。 |
|
||
排序AI算子库 |
KDNN |
用于AI框架的加速算子库。 |
|
|
KDNN_EXT |
使用Cython框架,向用户提供Python接口,更容易嵌入用户场景。 |
|
||
KTFOP |
用于TensorFlow的核心算子库。 |
|
||
TensorFlow Serving线程调度优化特性 |
TensorFlow Serving线程调度优化特性改进了TensorFlow算子调度算法,并加入了其他线程管理优化,有效提升了高并发场景下的模型推理吞吐量。 |
|
||
ANNC |
TensorFlow图编译优化特性通过使能加速神经网络计算编译器ANNC(Accelerated Neural Network Compiler),实现推荐推理性能加速。ANNC提供了计算图优化,高性能融合算子生成与对接等优化技术 |
|
||
以上算法特性及性能指标的测试结果均基于上表中所约束操作系统和编译器版本,未在其他系统或编译器环境下进行验证。