背景 因为业务方上了bert的模型,所以要制作一个GPU版本的sidecar的TFServing镜像。 编译 找到一种可以直接通过docker编译,不用在主机上装各种东西的方法:使用devel版本的镜像。 devel镜像 TFServing-devel版本的镜像自带了很多编译Tensorflow Serving的组件,比如bazel、gcc、glibc等等等等,因此会非常大。打好镜像后我们把bin文件拷贝到非devel版本的镜像里面运行即可。 去dockerhub拉镜像:https://hub.docker.com/ ...
前言 上一篇把TF-Serving源码编译后,就可以修改代码把TF-Serving嵌入SpringCloud了。 TF-Serving增加health接口 添加proto 在tensorflow_serving/apis 下添加一个health.proto: syntax = "proto3"; option cc_enable_arenas = true; package ...
前言 因为卤煮的云主机只有1G的内存,blade编译的时候一直OOM,所以只能在自己的mac上编译。 blade和TF-Serving版本、gcc版本之间都需要匹配,特别是bazel和TF-Serving之间匹配,不然经常因为各种原因装不上,这里列一下清单: 名称 版本 下载地址 TF-Serving r1.15 https://github.com/tensorflow/serving ...
前言 因为客服在线模块在线上要使用到tf-serving做在线推理,所以需要把C++模块集成进来。这一篇主要讲sidecar的实验部分,会起一个Django进程嵌入SpringCloud中做非JVM微服务来做实验。 起Eureka 在 https://start.spring.io/ 勾选Eureka Server Application加上EnableEurekaServer: @SpringBootApplication @EnableEurekaServer public class CloudApplication ...