编译TensorFlow Serving

TensorFlow Serving 2.15作为推理服务的服务端需要在测试前正确安装。

1. 进入工作目录并下载源码。

   1 2	cd path/to/tfserving215 git clone https://github.com/tensorflow/serving.git -b r2.15

2. 进入“serving”目录。

   1	cd serving/

3. 创建“proxy”目录。

   1	mkdir proxy

4. 执行源码编译TF-Serving。

   1

   bazel --output_user_root=./output build -c opt --distdir=./proxy --define=build_with_mkl_aarch64=true --define=enable_mkl=true --copt=-fopenmp --copt=-march=armv8.3-a+crc --copt=-Wno-error=maybe-uninitialized --copt=-Werror=stringop-overflow=0 --copt=-O3 --copt=-fprefetch-loop-arrays tensorflow_serving/model_servers:tensorflow_model_server

   编译后的TF-Serving二进制所在位置为：“/path/to/tfserving215/serving/output/xxxxxxxxxxxx/execroot/tf_serving/bazel-out/aarch64-opt/bin/tensorflow_serving/model_servers/tensorflow_model_server”，其中xxxxxxxxxxxx是一段由数字和字母组成的字符串。

   

   上述命令中：

   • --output_user_root：编译输出目录。
   • --distdir：TF-Serving依赖包手动下载存放目录，用来解决网络不稳定问题。

编译过程中可能会遇到故障报错信息，若提示找不到有效证书，则请参见编译TensorFlow 1.15.5时提示证书校验失败的解决办法解决问题。其他报错信息请参见故障排除对应的操作步骤解决问题。