Познакомьтесь с ModelOps: новый расширенный MLOps для бизнеса

MLOps примеры курсы обучение, машинное обучение ModelOps MLOps примеры, MLOps ModelOps фреймворки, курсы Data Science примеры обучение, курсы Machine Learning примеры обучение, обучение большим данным, Школа Больших Данных Учебный Центр Коммерсант

Пока инженеры данных и специалисты по Data Science привыкали к MLOps, начав понимать важность и необходимость этой концепции непрерывной разработки и эксплуатации систем машинного обучения, в Data Science появился новый термин с модным –Ops окончанием. Разбираемся, что такое ModelOps, чем это отличается от MLOps и как применить его на практике.

Что такое ModelOps и чем это отличается от MLOps

Согласно определению аналитического бюро Gartner, выпущенному в конце 2020 года, ModelOps – это система операций с ML-моделями, ориентированная на руководство и управление жизненным циклом широкого спектра операционализированных моделей искусственного интеллекта (ИИ) и методов принятия решений, включая машинное обучение, графы знаний, правила, оптимизацию, лингвистические и агентные модели. Можно сказать, что ModelOps лежит в основе любой корпоративной стратегии искусственного интеллекта, управляя жизненными циклами всех моделей в производстве на всем предприятии, от запуска в production до оценки и обновления приложения согласно набору управляющих правил. Это позволяет бизнес-экспертам самостоятельно оценивать работу ИИ-модели с экономической точки зрения, независимо от специалистов по обработке и анализу данных.

Цель ModelOps в устранении разрыва между развертыванием модели и ее управлением в производственной среде с учетом бизнес-показателей, технических ограничений и рисков. Технически это реализуется с помощью повторно используемых компонентов, которые позволят версиям модели соответствовать бизнес-приложениям и включают MLOps-практики, как мониторинг модели, обнаружение дрейфа и активное обучение. Можно сказать, что ModelOps — это расширение MLOps для масштабируемого и управляемого объединения нескольких объектов, решений и платформ ИИ. ModelOps требует тех же специалистов, что и MLOps, а также компетенций, связанных с ИТ-операциями, управлением рисками и общим бизнес-менеджментом. Таким образом, в отличие от MLOps, ModelOps фокусируется не только на моделях машинного обучения, а нацелено на операционализацию всех ИИ-решений и используется ИТ-командой и бизнес-стейкхолдерами. ModelOps фокусируется на управлении моделями и комплексном управлении жизненным циклом, где нужно убедиться, что прогнозируемая ценность для бизнеса, операционная эффективность, а также уровни рисков соответствуют требованиям.

ModelOps полезен для решения таких проблем, как:

  • согласованное управление множеством ML-моделей, отличающихся друг от друга по области применения, настройке и группам клиентов;
  • сложность данных и аналитических алгоритмов;
  • ужесточение нормативных требований, например, в области защиты персональных данных;
  • разрозненная среда с множеством разнопрофильных команд – масштабирование ИИ может быть проблематичным из-за неэффективной координации разных групп специалистов. ModelOps помогает создать среду, где ML-модели можно легко перенести из разработки в производство.

Можно рассматривать ModelOps ModelOps как связующее звено между всеми остальными элементами конвейера ИИ, которое снижает риски «скрытых» решений, разработанных вне контроля ИТ-отдела и уменьшает несоответствия через оптимальное распределение ресурсов и повторное использование компонентов. Как это реализуется на практике, рассмотрим далее.

Технологии реализации концепции Model Operations

Платформы ModelOps обеспечивают единое представление всех моделей и различных конвейеров, ускоряя их развертывание и смягчая дрейфы. ModelOps улучшает интерпретируемость того, как создаются модели, и позволяет измерить их достоверность, а также помогает исправить отклонения от заданного базового уровня, сопоставляя результаты с ключевыми показателями эффективности бизнеса. ModelOps дает возможность генерировать новые идеи и выявлять интересные закономерности с помощью инструментов автоматизации, прогнозирования и оптимизации. Эта унифицированная среда сокращает затраты времени и денег на создание, развертывание и управление моделями за счет тесной интеграции с дешевыми облачными хранилищами и аналитическими сервисами.

Процесс ModelOps фокусируется на автоматизации управления, управления и мониторинга моделей в производстве на предприятии, позволяя ИИ и разработчикам приложений отслеживать смещения, устойчивость и надежность данных, кода и алгоритмов, а также бизнес-метрик. Сюда же относится обнаружение дрейфа, технические и нормативные ограничения, а также процедуры утверждения для внедрения моделей ИИ в производство в качестве бизнес-приложений. Процесс начинается со стандартного представления моделей-кандидатов для производства, включая спецификацию модели со всеми компонентами и зависимыми частями: данные, аппаратная и программная среда, классификаторы, и подключаемые модули кода, ключевые показатели эффективности бизнеса и уровни риска.

Задачи ModelOps очень похожи на MLOps. Следует отслеживать прогресс каждой модели, устанавливать целевые показатели точности для моделей или их классов и отслеживать их по таким параметрам, как дрейф и ухудшение во время разработки, проверки и развертывания. Также следует определить, на какие рыночные показатели влияет эксплуатируемая модель и сколько вычислительных ресурсов она потребляет. Поэтому к компонентам реализации ModelOps относятся инструменты CI/CD, среды разработки и тестирования, управления версиями и хранилища моделей.

Все это можно попытаться реализовать самостоятельно, выстроив сложную архитектуру конвейеров и хранилищ данных с мониторингом поведения и версионированием моделей, датасетов и программного кода. Однако, для крупных предприятий более рационально посмотреть в сторону готовых платформ, например, следующих:

  • ModelOp Center – набор гибких и расширяемых микросервисов, которые обеспечивают последовательное развертывание, мониторинг и управление всеми аналитическими моделями, независимо от их базовой инфраструктуры разработки и развертывания;
  • Modzy — программная платформа ModelOps и MLOps, позволяющая предприятиям развертывать, управлять и получать выгоду от ИИ — в любом масштабе. Она поддерживает интеграция с конвейерами данных, инструментами обучения моделей, конвейерами CI/CD и бизнес-приложениями для повышения эффективности преобразования ИИ.
  • Datatron — универсальное решение, позволяющее автоматизировать, оптимизировать и ускорить модели машинного обучения. Он поддерживает широкий спектр фреймворков и языков, таких как TensorFlow, H2O, Scikit-Learn, SAS, Python, R, Scala и пр. Кроме того, он поддерживает как локальную, так и облачную инфраструктуру.
  • ModelOps от SAS – комбинированный пакет с ПО и сервисами для управления аналитическими моделями, включая предоставление подробного плана проекта, оценку текущих моделей и их диспетчеризацию.
  • Superwise – решение, которое управляется API, поэтому его можно легко интегрировать в существующую среду. Оно помогает обнаруживать новые фичи, генерировать ключевые показатели эффективности и устанавливать пороговые значения, просматривая данные, чтобы поддерживать работоспособность ML-моделей, включая прогноз производительности и управление версиями.

Пара примеров

В заключение рассмотрим пару сценариев применения ModelOps. К примеру, в банке используются сотни моделей временных рядов, которые должны быть честными и точными, а также работать надежно. ModelOps автоматизирует жизненный цикл моделей в производстве, включая технические, деловые и нормативные ключевые показатели эффективности и пороговые значения. Это обеспечивает управление и мониторинг множеством моделей во время их функционирования, а также обновления по мере необходимости без нарушения работы самих бизнес-приложений. ModelOps как диспетчер на железной дороге следит за тем, чтобы все поезда шли вовремя и по правильному пути, обеспечивая контроль рисков, соблюдение нормативных требований и эффективность с точки зрения бизнеса.

Еще одним примером использования ModelOps является медтех, в частности, мониторинг уровня сахара в крови диабетиков на основе данных о состоянии пациента в режиме реального времени. Модель для прогнозировании гипогликемии должна постоянно обновляться с учетом текущих данных, а любые аномалии должны постоянно отслеживаться с обеспечением доступа к ним в распределенной среде, чтобы информация была доступна на мобильном устройстве, а также для отчетности в системе медучреждения. Оркестровка, управление, переобучение, мониторинг и обновление ML-моделей выполняются с помощью ModelOps.

Как применить лучшие практики MLOps в реальных проектах для эффективной аналитики больших данных на специализированных курсах в нашем лицензированном учебном центре обучения и повышения квалификации для разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

Я даю свое согласие на обработку персональных данных и соглашаюсь с политикой конфиденциальности.

Источники

  1. https://medium.com/censius/mlops-vs-devops-vs-modelops-2f86265881fa
  2. https://en.wikipedia.org/wiki/ModelOps
  3. https://neptune.ai/blog/modelops

Поиск по сайту