背景 因为业务方上了bert的模型，所以要制作一个GPU版本的sidecar的TFServing镜像。 编译 找到一种可以直接通过docker编译，不用在主机上装各种东西的方法：使用devel版本的镜像。 devel镜像 TFServing-devel版本的镜像自带了很多编译Tensorflow Serving的组件，比如bazel、gcc、glibc等等等等，因此会非常大。打好镜像后我们把bin文件拷贝到非devel版本的镜像里面运行即可。 去dockerhub拉镜像：https://hub.docker.com/ ...
前言 上一篇把TF-Serving源码编译后，就可以修改代码把TF-Serving嵌入SpringCloud了。 TF-Serving增加health接口 添加proto 在tensorflow_serving/apis 下添加一个health.proto： syntax = "proto3"; option cc_enable_arenas = true; package ...
前言 因为卤煮的云主机只有1G的内存，blade编译的时候一直OOM，所以只能在自己的mac上编译。 blade和TF-Serving版本、gcc版本之间都需要匹配，特别是bazel和TF-Serving之间匹配，不然经常因为各种原因装不上，这里列一下清单： 名称 版本 下载地址 TF-Serving r1.15 https://github.com/tensorflow/serving ...
前言 因为客服在线模块在线上要使用到tf-serving做在线推理，所以需要把C++模块集成进来。这一篇主要讲sidecar的实验部分，会起一个Django进程嵌入SpringCloud中做非JVM微服务来做实验。 起Eureka 在 https://start.spring.io/ 勾选Eureka Server Application加上EnableEurekaServer： @SpringBootApplication @EnableEurekaServer public class CloudApplication ...
