A collection of 4 posts

编译tensorflow-serving GPU

背景 因为业务方上了bert的模型,所以要制作一个GPU版本的sidecar的TFServing镜像。 编译 找到一种可以直接通过docker编译,不用在主机上装各种东西的方法:使用devel版本的镜像。 devel镜像 TFServing-devel版本的镜像自带了很多编译Tensorflow Serving的组件,比如bazel、gcc、glibc等等等等,因此会非常大。打好镜像后我们把bin文件拷贝到非devel版本的镜像里面运行即可。 去dockerhub拉镜像:https://hub.docker.com/ ...

Spring sidecar模式纳入TF-Serving(二):mac上编译TF-Serving

前言 因为卤煮的云主机只有1G的内存,blade编译的时候一直OOM,所以只能在自己的mac上编译。 blade和TF-Serving版本、gcc版本之间都需要匹配,特别是bazel和TF-Serving之间匹配,不然经常因为各种原因装不上,这里列一下清单: 名称 版本 下载地址 TF-Serving r1.15 https://github.com/tensorflow/serving ...

Spring sidecar模式纳入TF-Serving(一):sidecar模式实验

前言 因为客服在线模块在线上要使用到tf-serving做在线推理,所以需要把C++模块集成进来。这一篇主要讲sidecar的实验部分,会起一个Django进程嵌入SpringCloud中做非JVM微服务来做实验。 起Eureka 在 https://start.spring.io/ 勾选Eureka Server Application加上EnableEurekaServer: @SpringBootApplication @EnableEurekaServer public class CloudApplication ...