TensorFlow serving

TensorFlow serving –сервер для развертывания TensorFlow — моделей нейронных сетей с поддержкой батчинга, версионности, обработки параллельных запросов.

TensorFlow Serving — серверная архитектура для развёртывания и обслуживания моделей ML в продуктивной среде. TensorFlow Serving делает легким процесс развертывания новых алгоритмов и экспериментов, при сохранении той же серверной архитектуры и API. TensorFlow Serving обеспечивает прозрачную интеграцию «из коробки» с моделями TensorFlow, так и возможностями по расширению другими типами моделей и данных.

 

Листинг команд:

  • docker pull tensorflow/serving                                         #загружаем docker образ с tensorflow serving.
  • docker run -p 8501:8501 —name tfserving_resnet \
    —mount type=bind,source=/tmp/resnet,target=/models/resnet \
    -e MODEL_NAME=resnet -t tensorflow/serving &    #монтируем контейнер из загруженного образа с доступом через порт 8501

                                                                                                           #загружаем скрипт для обращения к запущенному серверу.

  • python /tmp/resnet/resnet_client.py                            #выполняем загруженный скрипт, получаем ответ от модели.

 

 

 

Related Entries