应用场景

TensorFlow Serving线程调度优化特性对不同推理场景提供了灵活有效的选项。

• 对于高并发粗排模型推理场景优化效果明显，表现在吞吐量的提升和推理时延大幅下降。
• 对于并发不高且时延敏感的场景，合理配置线程管理参数也能达到优化效果。