官方技术文章(实战经验)
文档名称 |
简介 |
|---|---|
本文介绍通过使能KRL算子对开源Faiss的HNSW、PQFS、IVFPQ、IVFPQFS等算法进行加速调优实践。 |
|
本项目基于TensorFlow v2.20+openEuler 24.03软件栈,挖掘鲲鹏处理器微架构潜力,在搜索/推荐/广告等典型稀疏模型推理场景中构建核心竞争力。 |
|
鲲鹏处理器持续推进互联网行业客户突破,底层配套软件栈也同步迭代升级。由早期TensorFlow+XLA+oneDNN/Eigen + GCC + openEuler 22.03 SP4,演进至面向生成式大模型的TensorRT-LLM + CUDA + openEuler 24.03 SP3全新软件栈。因此基于TensorRT-LLM及配套软件栈开展软硬协同全栈优化工作。 |