Насколько созрел ваш MLOps: многокритериальная 5-уровневая модель зрелости Machine Learning Operations

цифровизация, цифровая трансформация, Big Data, Большие данные, Data Science, машинное обучение, Machine Learning, Agile, DevOps, MLOps

Недавно мы рассказывали про модель зрелости MLOps от Google. Сегодня рассмотрим альтернативную методику оценки зрелости операций разработки и эксплуатации машинного обучения, которая больше похоже на наиболее популярную в области управленческого консалтинга модель CMMI, часто используемую в проектах цифровизации. Читайте далее, по каким критериям измеряется Machine Learning Operations Maturity Model и как применить это на практике.

 

5 критериев для оценки MLOps-зрелости

Предложенная компанией Google 3-х уровневая модель оценки зрелости MLOps не является единственной. Например, альтернатива от исследовательской ИТ-компанией GigaOm, в отличие от Google-варианта, учитывает не только технологии поддержки жизненного цикла машинного обучения, но и корпоративную культуру, которая неотделима от любой технической парадигмы. GigaOm выделяет 5 уровней MLOps-зрелости, оценивая состояние Machine Learning и окружающей инфраструктуры на предприятии по следующим критериям [1]:

 

  • стратегия (Strategy) — насколько хорошо подход MLOps согласуется с приоритетами руководства в организационном и культурном плане;
  • архитектура (Architecture) — способность управлять данными, моделями, средами развертывания и другими артефактами как единым целым;
  • моделирование (Modeling) – навыки и опыт в области Data Science, позволяющие создавать модели, которые релевантны бизнесу и правильно представляют предметную область;
  • процессы (Processes) — эффективное, действенное, измеримое и масштабируемое выполнение рабочих задач всех участников, задействованных в ML (аналитики и инженеры данных, ML-специалисты, Data Scientist’ы);
  • управление (Governance) – способность создавать безопасные, ответственные и справедливые ML-решения, с заслуживающими доверия входами и выходами, а также объяснимыми результатами.

 

 

Machine Learning Operations Maturity Model от GigaOm

Далее в таблице показано, как по вышеотмеченным критериям выстраиваются 5 уровней MLOps-зрелости по GigaOm-модели.

 

Критерий

Уровень 0

Уровень 1

Уровень 2

Уровень 3

Уровень 4

стратегия (Strategy)

·       отсутствие Data Scientist’ов

·       скептицизм ТОП-менеджмента по отношению к ценности ML для бизнеса

·       небольшие и разрозненные команды Data Scientist’ов и инженеров Big Data

·       небольшое число ML-энтузиастов в команде руководителей

·       есть тенденция к координации небольших команд Data Scientist’ов, инженеров и разработчиков Big Data

·       разработка ML-моделей пока дискретна и не структурирована

·       большие, тесно интегрированные друг с другом команды Data Scientist’ов, инженеров и разработчиков Big Data

·       наличие органа управления данными и ответственных лиц на уровне ТОП-менеджмента, таких как CDO (Chief Data Officer)

·       новые члены ML-команды быстро включаются в работу (около недели)

·       в крупных ML-проектах имеются контрольные точки для непрерывного мониторинга и учета прогресса

·       ML позиционируется как стратегическая инициатива, драйвер развития компании

·       Процессы доставки ML-решений хорошо управляются

·       Инженеры и исследователи данных интегрированы в единую команду

архитектура (Architecture)

·       разрозненные хранилища данных с частными интеграциями между отдельными системами

·       данные не готовы к непосредственному ML-моделированию и не подготавливаются к нему заранее

·       основные корпоративные данные готовы для ML

·       архитектура данных до сих пор незрелая

·       наиболее значимые корпоративные данные хранятся и эксплуатируются в облачных сервисах

·       архитектуру данных можно назвать зрелой

·       большинство корпоративных данных готово для ML

·       явная приверженность к облачным решениям для хранения и обработки данных

·       корпоративные данные хорошо каталогизированы и управляемы

·       имеются автоматизированные конвейеры обработки данных (data pipeline)

·       ML-конфигурации и инфраструктура являются управляемыми

·       ML-модели, как правило, реализуются в виде микросервисов

·       Имеется всеобъемлющая архитектура для управления всеми данными

·       Хранение и потребление данных выстроено в целостный конвейер через все проекты компании

·       Ведется мониторинг целевой ML-инфраструктуры с целью оптимизации затрат и расходования ресурсов

моделирование (Modeling)

·       обучение моделей производится вручную

·       ограниченное число пилотных ML-решений, запущенных в отдельные бизнес-проекты

·       ручное обучение моделей

·       несколько пилотных ML-решений

·       мониторинг ключевых ML-экспериментов без управления самими моделями

·       ведется мониторинг ML-экспериментов и управление моделями

·       зависимости различных ML-моделей между собой не отслеживаются и не до конца понимаются

·       модели каталогизированы по жизненному циклу, с учетом воспроизводимости и повторного использования

·       результаты ML-моделирования предсказуемы и целостны, поддаются аудиту и воспроизводству

·       Взаимозависимости между моделями контролируются и управляются

·       Влияние даже небольших изменений на ML-модели может быть измерено и оценено

процессы (Processes)

·       DevOps-практики не используются в поддержке жизненного цикла ML

·       Критерии успеха ML-проектов четко не определены

·       Некоторые DevOps-практики, такие как CI/CD адаптированы к не ML-компонентам

·       Нет целостности в оценке успеха ML/MLOps-проектов

·       ML-разработка итеративна в Agile-стиле, но CI/CD не применяются к моделям

·       Экспертиза по ML-инфраструктуре еще не наработана

·       Имеющиеся метрики и показатели оценки ML и MLOps-проектов не коррелируют друг с другом (отсутствие целостного подхода)

·       Данные тестируются на пригодность к ML, а отслеживаются на предмет изменений в процессе распространения

·       Ведется контроль версий всех артефактов (датасеты, тесты, модели)

·       DevOps-практики, такие как CI/CD и code review применяются к коду ML-продукта

·       MLOps-конвейер в production включает мониторинг всех этапов, от упаковки до развертывания и эксплуатации

·       Обширный MLpipeline поддерживается частыми обновлениями моделей

·       Новые алгоритмы и подходы могут быть протестированы на полном масштабе

·       Ведется автоматический сбор показателей, уведомлений, непрерывный анализ проблем, например, дрейф данных, а также автоматическое переобучение моделей в случае изменчивости данных, среды или других условий

управление (Governance)

Не рассматривается по причине фактического отсутствия объектов и средств управления

Не рассматривается на корпоративном уровне, но может частично применяться к отдельным участкам ML-операций

·       Не рассматривается объяснимость результатов ML-моделирования

·       ML-модели могут быть предвзяты (особенность формирования датасета, отбора признаков или алгоритма)

·       Ведется мониторинг релизов ML-моделей

·       Политики безопасности применяются к моделям и данным

·       Учитываются этичность и объяснимость ML-моделей и систем

·       предпринимаются попытки удалить предвзятые переменные из моделей

·       Возможность злонамеренного использования ML-решений учитывается в их жизненном цикле с целью предупреждения или смягчения последствий

·       Специалисты по информационной безопасности интегрированы в MLOps

·       ML-системы защищены от внешних манипуляций

·       ML-модели, операции и решения непрерывно подлежат аудиту (кто, когда, зачем и что изменил)

 

Согласно общему принципу моделей зрелости, организация продвигается по уровням последовательно, при этом путь каждой компании индивидуален. Не существует универсальных рецептов продвижения по ступеням какой-либо Maturity Model, включая MLOps. Однако, единая модель дает представление о приоритете каждого критерия, помогая CDO и другим ТОП-менеджерам планировать дальнейшие усилия через единые цели, маркеры и действия, актуальные для всех организаций [1].

В заключение отметим, что эффективное развертывание машинного обучения и MLOps-зрелость – это не просто предоставление объяснимых результатов Machine Learning в нужное время уполномоченным пользователям, а целая корпоративная культура с Agile— и DevOps-принципами. Здесь идет речь о непрерывной ответственности и безбарьерном сотрудничестве всех участников процессов каждого этапа жизненного цикла ML-артефактов (датасеты, модели, код) [2]. Как реализовать это организационно и технически, мы поговорим завтра. А практические приемы внедрения MLOps в проекты цифровизации частного бизнеса или цифровой трансформации государственных и муниципальных предприятий вы узнаете на наших специализированных курсах в лицензированном учебном центре обучения и повышения квалификации разработчиков, менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data в Москве:

 

 

Источники

 1. https://azure.microsoft.com/ru-ru/resources/gigaom-delivering-on-the-vision-of-mlops/

2. https://opendatascience.com/what-are-mlops-and-why-does-it-matter/