Насколько созрел ваш MLOps: многокритериальная 5-уровневая модель зрелости Machine Learning Operations

Автор Категория ,
Насколько созрел ваш MLOps: многокритериальная 5-уровневая модель зрелости Machine Learning Operations

Недавно мы рассказывали про модель зрелости MLOps от Google. Сегодня рассмотрим альтернативную методику оценки зрелости операций разработки и эксплуатации машинного обучения, которая больше похоже на наиболее популярную в области управленческого консалтинга модель CMMI, часто используемую в проектах цифровизации. Читайте далее, по каким критериям измеряется Machine Learning Operations Maturity Model и как применить это на практике.

 

5 критериев для оценки MLOps-зрелости

Предложенная компанией Google 3-х уровневая модель оценки зрелости MLOps не является единственной. Например, альтернатива от исследовательской ИТ-компанией GigaOm, в отличие от Google-варианта, учитывает не только технологии поддержки жизненного цикла машинного обучения, но и корпоративную культуру, которая неотделима от любой технической парадигмы. GigaOm выделяет 5 уровней MLOps-зрелости, оценивая состояние Machine Learning и окружающей инфраструктуры на предприятии по следующим критериям [1]:

 

  • стратегия (Strategy) – насколько хорошо подход MLOps согласуется с приоритетами руководства в организационном и культурном плане;
  • архитектура (Architecture) – способность управлять данными, моделями, средами развертывания и другими артефактами как единым целым;
  • моделирование (Modeling) – навыки и опыт в области Data Science, позволяющие создавать модели, которые релевантны бизнесу и правильно представляют предметную область;
  • процессы (Processes) – эффективное, действенное, измеримое и масштабируемое выполнение рабочих задач всех участников, задействованных в ML (аналитики и инженеры данных, ML-специалисты, Data Scientist’ы);
  • управление (Governance) – способность создавать безопасные, ответственные и справедливые ML-решения, с заслуживающими доверия входами и выходами, а также объяснимыми результатами.

 

 

Machine Learning Operations Maturity Model от GigaOm

Далее в таблице показано, как по вышеотмеченным критериям выстраиваются 5 уровней MLOps-зрелости по GigaOm-модели.

 

Критерий

Уровень 0

Уровень 1

Уровень 2

Уровень 3

Уровень 4

стратегия (Strategy)

·       отсутствие Data Scientist’ов

·       скептицизм ТОП-менеджмента по отношению к ценности ML для бизнеса

·       небольшие и разрозненные команды Data Scientist’ов и инженеров Big Data

·       небольшое число ML-энтузиастов в команде руководителей

·       есть тенденция к координации небольших команд Data Scientist’ов, инженеров и разработчиков Big Data

·       разработка ML-моделей пока дискретна и не структурирована

·       большие, тесно интегрированные друг с другом команды Data Scientist’ов, инженеров и разработчиков Big Data

·       наличие органа управления данными и ответственных лиц на уровне ТОП-менеджмента, таких как CDO (Chief Data Officer)

·       новые члены ML-команды быстро включаются в работу (около недели)

·       в крупных ML-проектах имеются контрольные точки для непрерывного мониторинга и учета прогресса

·       ML позиционируется как стратегическая инициатива, драйвер развития компании

·       Процессы доставки ML-решений хорошо управляются

·       Инженеры и исследователи данных интегрированы в единую команду

архитектура (Architecture)

·       разрозненные хранилища данных с частными интеграциями между отдельными системами

·       данные не готовы к непосредственному ML-моделированию и не подготавливаются к нему заранее

·       основные корпоративные данные готовы для ML

·       архитектура данных до сих пор незрелая

·       наиболее значимые корпоративные данные хранятся и эксплуатируются в облачных сервисах

·       архитектуру данных можно назвать зрелой

·       большинство корпоративных данных готово для ML

·       явная приверженность к облачным решениям для хранения и обработки данных

·       корпоративные данные хорошо каталогизированы и управляемы

·       имеются автоматизированные конвейеры обработки данных (data pipeline)

·       ML-конфигурации и инфраструктура являются управляемыми

·       ML-модели, как правило, реализуются в виде микросервисов

·       Имеется всеобъемлющая архитектура для управления всеми данными

·       Хранение и потребление данных выстроено в целостный конвейер через все проекты компании

·       Ведется мониторинг целевой ML-инфраструктуры с целью оптимизации затрат и расходования ресурсов

моделирование (Modeling)

·       обучение моделей производится вручную

·       ограниченное число пилотных ML-решений, запущенных в отдельные бизнес-проекты

·       ручное обучение моделей

·       несколько пилотных ML-решений

·       мониторинг ключевых ML-экспериментов без управления самими моделями

·       ведется мониторинг ML-экспериментов и управление моделями

·       зависимости различных ML-моделей между собой не отслеживаются и не до конца понимаются

·       модели каталогизированы по жизненному циклу, с учетом воспроизводимости и повторного использования

·       результаты ML-моделирования предсказуемы и целостны, поддаются аудиту и воспроизводству

·       Взаимозависимости между моделями контролируются и управляются

·       Влияние даже небольших изменений на ML-модели может быть измерено и оценено

процессы (Processes)

·       DevOps-практики не используются в поддержке жизненного цикла ML

·       Критерии успеха ML-проектов четко не определены

·       Некоторые DevOps-практики, такие как CI/CD адаптированы к не ML-компонентам

·       Нет целостности в оценке успеха ML/MLOps-проектов

·       ML-разработка итеративна в Agile-стиле, но CI/CD не применяются к моделям

·       Экспертиза по ML-инфраструктуре еще не наработана

·       Имеющиеся метрики и показатели оценки ML и MLOps-проектов не коррелируют друг с другом (отсутствие целостного подхода)

·       Данные тестируются на пригодность к ML, а отслеживаются на предмет изменений в процессе распространения

·       Ведется контроль версий всех артефактов (датасеты, тесты, модели)

·       DevOps-практики, такие как CI/CD и code review применяются к коду ML-продукта

·       MLOps-конвейер в production включает мониторинг всех этапов, от упаковки до развертывания и эксплуатации

·       Обширный MLpipeline поддерживается частыми обновлениями моделей

·       Новые алгоритмы и подходы могут быть протестированы на полном масштабе

·       Ведется автоматический сбор показателей, уведомлений, непрерывный анализ проблем, например, дрейф данных, а также автоматическое переобучение моделей в случае изменчивости данных, среды или других условий

управление (Governance)

Не рассматривается по причине фактического отсутствия объектов и средств управления

Не рассматривается на корпоративном уровне, но может частично применяться к отдельным участкам ML-операций

·       Не рассматривается объяснимость результатов ML-моделирования

·       ML-модели могут быть предвзяты (особенность формирования датасета, отбора признаков или алгоритма)

·       Ведется мониторинг релизов ML-моделей

·       Политики безопасности применяются к моделям и данным

·       Учитываются этичность и объяснимость ML-моделей и систем

·       предпринимаются попытки удалить предвзятые переменные из моделей

·       Возможность злонамеренного использования ML-решений учитывается в их жизненном цикле с целью предупреждения или смягчения последствий

·       Специалисты по информационной безопасности интегрированы в MLOps

·       ML-системы защищены от внешних манипуляций

·       ML-модели, операции и решения непрерывно подлежат аудиту (кто, когда, зачем и что изменил)

 

Согласно общему принципу моделей зрелости, организация продвигается по уровням последовательно, при этом путь каждой компании индивидуален. Не существует универсальных рецептов продвижения по ступеням какой-либо Maturity Model, включая MLOps. Однако, единая модель дает представление о приоритете каждого критерия, помогая CDO и другим ТОП-менеджерам планировать дальнейшие усилия через единые цели, маркеры и действия, актуальные для всех организаций [1].

В заключение отметим, что эффективное развертывание машинного обучения и MLOps-зрелость – это не просто предоставление объяснимых результатов Machine Learning в нужное время уполномоченным пользователям, а целая корпоративная культура с Agile– и DevOps-принципами. Здесь идет речь о непрерывной ответственности и безбарьерном сотрудничестве всех участников процессов каждого этапа жизненного цикла ML-артефактов (датасеты, модели, код) [2]. Как реализовать это организационно и технически, мы поговорим завтра. А практические приемы внедрения MLOps в проекты цифровизации частного бизнеса или цифровой трансформации государственных и муниципальных предприятий вы узнаете на наших специализированных курсах в лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

 

 

Источники

 1. https://azure.microsoft.com/ru-ru/resources/gigaom-delivering-on-the-vision-of-mlops/

2. https://opendatascience.com/what-are-mlops-and-why-does-it-matter/