Битва инженеров Big Data: DataOps vs DevOps – кто за что отвечает

Большие данные, Big Data, Agile, DevOps, администрирование, DataOps, цифровизация, цифровая трансформация, бизнес-процессы

Мы уже писали о происхождении термина DataOps, а также про методы и средства реализации этой концепции непрерывной интеграции данных между процессами, командами и системами в рамках data-driven company. Продолжая тему развития Agile-подходов в мире больших данных, сегодня рассмотрим, чем отличаются сферы ответственности DataOps- и DevOps-инженеров и почему оба этих специалиста должны присутствовать в Big Data команде.

Чем схожи DataOps и DevOps: 5 общих фактов

На основе происхождения и целевой направленности этих понятий, можно выявить несколько характеристик, которые их объединяют:

  1. Сокращение сроков разработки и поставки готового продукта (программного приложения или актуальных данных) за счет принципов Agile, в частности, гибкости и самоорганизации;
  2. Непрерывность процессов интеграции (Continuous Integration) и развертывания (Continuous Deployment);
  3. Автоматизация процессов тестирования, развертывания и мониторинга с помощью технологий контейнеризации и виртуализации (Jenkins, Docker, Rocket, Kubernetes и т.д.) [1];
  4. T-образная модель компетенций, когда необходимо иметь широчайший технический кругозор, будучи экспертом в конкретной прикладной области;
  5. Работа с инфраструктурными решениями для Big Data (локальными кластерами Hadoop и облачными платформами), включая подготовку, настройку и администрирование сред развертывания.
DataOps, Agile, DevOps, Continuous Integration
DataOps как пересечение принципов Agile, DevOps, автоматизации управления большими данными и непрерывной интеграции Big Data

В чем различие девопс- и датаопс-инженеров

Итак, DataOps и DevOps являются практическим продолжением принципов Agile и нужны для повышения эффективности ИТ-процессов, а также цифровой трансформации бизнеса. Однако, при схожести многих моментов, их локальные цели и, соответственно, средства достижения, отличаются.

Если DevOps концентрируется на быстрой и непрерывной поставке работающего программного обеспечения, то DataOps сосредоточен на демократизации и актуализации данных, а также возможностях оперативного и безопасного доступа к ним [1].

Поэтому процессы, в которых задействованы DataOps- и DevOps-инженеры, тоже отличаются: девопс-процесс имеет меньше шагов и больше концентрируется на непрерывности цепочки разработка-тестирование-развертывание. В датаопс используется гораздо большее количество инструментов, т.к. приходится иметь дело с множеством источников и моделей данных, управляя информационными потоками (оркестрация, orchestrate), корпоративными озерами (Data Lakes) и «песочницами» данных (Sandbox Management), формируя воспроизводимые среды для работы с Big Data [3]. О средствах реализации DataOps мы рассказывали здесь.

DevOps, бизнес-процессы, DataOps
Процессы DevOps и DataOps

В таблице представлены отличия DataOps- и DevOps-инженеров по следующим критериям [2]:

  • сфера ответственности;
  • направления деятельности;
  • прикладные задачи;
  • взаимодействие с другими членами команды Big Data.

Критерий

DataOps-инженер

DevOps-инженер

сфера ответственности

Автоматизация и мониторинг управления данными в течение всего их жизненного цикла

Автоматизация и мониторинг разработки и развертывания программного обеспечения

направления деятельности

–      инженерия данных

–      интеграция данных

–      повышение качества данных

–      обеспечение       целостности данных и политики безопасного доступа к ним

–      разработка ПО

–      тестирование

–      развертывание и поддержка эксплуатации

прикладные задачи

–      автоматизация процессов загрузки данных в хранилища

–      мониторинг операционных потоков данных

–      оптимизация аналитики данных

–      создание инфраструктуры для корректного хранения, движения и использования данных

–      разработка ПО в ускоренном режиме

–      частая поставка и развертывание ПО

–      быстрое переключение от задач разработки к эксплуатации через тестирование

взаимодействие с другими членами команды Big Data

–      инженеры данных (Data Engineers)

–      исследователи данных (Data Scientists)

–      аналитики данных (Data Analysts)

–      программисты, разработчики ПО (Software Engineers, Developers)

–      системные администраторы и техническая поддержка (System Administrators, Operational Team)

–      тестировщики (Testers, QA- Engineers)

компетенции DevOps и DataOps в Big Data
Ключевые компетенции DevOps и DataOps

Итак, в связи с разными сферами ответственности и прикладными задачами, а также с учетом общей Agile-направленности, можно сделать вывод, что DevOps— и DataOps-инженеры нужны Big Data команде. Какие еще специалисты требуются для успешного проекта по большим данным или корпоративной/отраслевой цифровизации, мы расскажем в следующей статье.  А получить практические знания и навыки, необходимые для каждого руководителя, администратора, DataOps-, DevOps-инженера, аналитика и пользователя Big Data, вы можете на наших практических курсах в специализированном учебном центре по технологиям больших данных и машинного обучения в Москве.

расписание компьютерные курсы для руководителей, аналитиков, программистов, администраторов и пользователей Internet of Things, Big Data и Machine Learning Смотреть расписание занятий
регистрация на компьютерные курсы для руководителей, аналитиков, программистов, администраторов и пользователей Internet of Things, Big Data и Machine Learning Зарегистрироваться на курс

Источники

  1. https://www.osp.ru/os/2018/2/13054175
  2. https://devops.com/devops-dataops-catalysts-for-organizational-transformation/
  3. https://www.bigdataschool.ru/bigdata/dataops-devops-4-big-data.html