25.1.RC1
特性 |
文档 |
说明 |
|---|---|---|
鲲鹏召回算法库 |
|
|
鲲鹏推理加速套件 |
新增KONNX子库。 |
|
鲲鹏推理AI算子库 |
|
|
TensorFlow Serving线程调度优化 |
TensorFlow Serving线程调度优化特性是鲲鹏针对高并发场景下,TensorFlow多Session共享算子间线程池严重降低整图计算效率问题提出的优化方案。通过改进算子调度算法,并加入了线程管理优化,有效提升高并发场景下的模型推理吞吐量。 |
特性 |
文档 |
说明 |
|---|---|---|
鲲鹏召回算法库 |
|
|
鲲鹏推理加速套件 |
新增KONNX子库。 |
|
鲲鹏推理AI算子库 |
|
|
TensorFlow Serving线程调度优化 |
TensorFlow Serving线程调度优化特性是鲲鹏针对高并发场景下,TensorFlow多Session共享算子间线程池严重降低整图计算效率问题提出的优化方案。通过改进算子调度算法,并加入了线程管理优化,有效提升高并发场景下的模型推理吞吐量。 |