Tarantool

Big Data, Большие данные, обработка данных, архитектура, SQL, Tarantool, Greenplum? Arenadata

Tarantool – open-source продукт российского происхождения, сервер приложений на языке Lua, интегрированный с резидентной NoSQL-СУБД, которая содержит все обрабатываемые данные и индексы в оперативной памяти, а также включает быстрый движок для работы с постоянным хранилищем (жесткие диски). Благодаря своим архитектурным особенностям, Тарантул позволяет быстро обрабатывать большие объемы данных, поэтому эта СУБД широко применяется в различных Big Data проектах [1]. История разработки и развития Отметим наиболее значимые вехи развития проекта Tarantool [2]: 2008 год – отечественная компания Mail.ru Group начала разработку программного продукта для своих внутренних нужд и собственных сервисов; 2014 год – участие системы в первом официальном независимом тесте на производительности NoSQL-СУБД, который проводили исследователи португальских университетов. Вместе с Tarantool также тестировались и другие популярные Big Data системы класса NoSQL: Cassandra, Apache Далее …

TensorFlow serving

TensorFlow serving –сервер для развертывания TensorFlow — моделей нейронных сетей с поддержкой батчинга, версионности, обработки параллельных запросов. TensorFlow Serving — серверная архитектура для развёртывания и обслуживания моделей ML в продуктивной среде. TensorFlow Serving делает легким процесс развертывания новых алгоритмов и экспериментов, при сохранении той же серверной архитектуры и API. TensorFlow Serving обеспечивает прозрачную интеграцию «из коробки» с моделями TensorFlow, так и возможностями по расширению другими типами моделей и данных.   Листинг команд: mkdir /tmp/resnet                                                              #создаем дирректорию. curl -s https://storage.googleapis.com/download.tensorflow.org/models/official/20181001_resnet/savedmodels/resnet_v2_fp32_savedmodel_NHWC_jpg.tar.gz | tar —strip-components=2 -C /tmp/resnet -xvz            Далее …