Быстрее, гибче, самостоятельней: 3 принципа Agile в Big Data системах

Большие данные, Big Data, Agile, цифровая трансформация, цифровая экономика, цифровизация, бизнес-процессы, банки, нефтегазовая отрасль

Пока Agile (эджайл) из методологии разработки программного обеспечения становится настоящей философией ведения бизнеса, мы разберем, какие именно принципы этого подхода используются в каждой системе больших данных и почему любой Big Data проект успешно реализуется с помощью этих идей.

Что такое Agile: краткий ликбез

Изначально термин Agile относился к подходам и практикам гибкой разработки программного обеспечения, нацеленной на сокращение сроков вывода на рынок готового продукта и минимизацию рисков с помощью сведения разработки к серии коротких циклов (итераций). Ключевые идеи Agile, изложенные в Agile Manifesto, сосредоточены на командном взаимодействии, скорости реагирования, готовности к изменениям и ценности работающего продукта [1].

Такое видение отражает требования современного бизнеса к организации работы и, поскольку основные принципы Agile не связаны ИТ-спецификой, подход становится популярной практикой выстраивания процессов в различных прикладных областях: от нефтегазовой отрасли до банковской сферы. Например, проект «ГЕО Scrum», запущенный в «Газпром нефти» в 2018 году, для увеличения скорости принятия решения о целесообразности разработки новых активов геологоразведки [2]. Телеком-компании и множество финансовых корпораций (Центральный Банк РФ, Сбербанк, Альфа-Банк, Барс Банк и другие) также активно внедряют Agile для ускорения и оптимизации внутренних бизнес-процессов [3-6]. В частности, по итогам года эксплуатации Agile-практик в проектном офисе ЦентроБанка, скорость достижения результатов увеличилась примерно в 2 раза, повысилась вовлеченность сотрудников, улучшена прозрачность и управляемость изменений [4]. Этот гибкий подход отлично работает в управлении проектами, заменяя собой «громоздкость» классических методов постепенного выполнения задач. Кроме того, ориентация эджайл на эффективное командное взаимодействие соответствует ценностям цифровизации, что подтверждает опыт Райффайзен-Банка [7]. Таким образом, цифровая трансформация становится еще одним драйвером распространения эджайл.

Agile, цифровая трансформация, цифровая экономика, цифровизация, бизнес-процессы
Ключевые принципы Agile подходят для любого бизнеса

Большие данные – большие скорости

Непрерывный поток огромного объема информации из интернета, корпоративных систем или приборов попадает под определение Big Data при больших скоростях загрузки или накопления. Быстрота реагирования и высокая частота представления результата также являются одним из 12 основополагающих принципов Agile Manifesto [1].

Непрерывные изменения

Несмотря на тщательное тестирование даже коммерческих дистрибутивов Apache Hadoop (Cloudera, HortonWorks, ArenaData, MapR и др.), выпускаемых крупными ИТ-корпорациями, уязвимости встречаются в них также часто, как и в open source-аналогах. Чтобы предупредить взломы, утечки данных и другие нарушения корректного функционирования, вендоры и Apache Software Foundation постоянно выпускают обновления программного обеспечения. Подобная адаптивность и готовность к изменениям свойственны и для эджайл-методов, поскольку главной ценностью гибкой методологии является конкурентоспособный работающий продукт, а не точное следование первоначальному плану [1].

Самоорганизация данных, компонентов и специалистов

Важной характеристикой Big Data считается разнообразие форматов представления данных: от простого текста до графических символов и видеопотоков. При этом качество информации не всегда бывает высоким: аномальные, некорректные или отсутствующие значения встречаются достаточно часто. Тем не менее, все эти большие данные, разумеется, при должной настройке инфраструктуры, автоматически обрабатываются и анализируются с помощью специализированных компонентов, в т.ч. методов машинного обучения (Machine Learning). Подробнее об этом читайте в наших материалах по подготовке данных (Data Preparation).

В свою очередь, практически все элементы экосистемы Hadoop, на которой строится инфраструктура Big Data, развиваются с учетом взаимной интеграции друг с другом и сторонними продуктами. Об этом мы рассказывали в статьях о сравнении локальных дистрибутивов Hadoop и облачных решений для больших данных. Agile-команды также отличаются высоким уровнем самоорганизации: благодаря непрерывному взаимодействию, ретроспективному анализу проделанной работы и механизмам обратной связи, участники проекта быстро и эффективно решают возникшие проблемы [1]. Читайте в нашей следующей статье о развитии идей Agile в концепцию непрерывной поставки работоспособного продукта: DevOps в Big Data.

команда, цифровая трансформация, цифровая экономика, цифровизация, бизнес-процессы
Адаптивность и самоорганизация — важнейшие свойства Agile-команд и Big Data систем

Все детали практического внедрения Agile в проекты Big Data и цифровой трансформации (цифровизации) в курсе BDAM: Большие данные для руководителей в специализированном учебном центре обучения пользователей, инженеров, администраторов и аналитиков Big Data в Москве.

расписание компьютерные курсы для руководителей, аналитиков, программистов, администраторов и пользователей Internet of Things, Big Data и Machine Learning Смотреть расписание занятий
регистрация на компьютерные курсы для руководителей, аналитиков, программистов, администраторов и пользователей Internet of Things, Big Data и Machine Learning Зарегистрироваться на курс

Источники

  1. https://ru.m.wikipedia.org/wiki/Гибкая_методология_разработки
  2. https://www.gazprom-neft.ru/press-center/sibneft-online/archive/2018-december/2206442/
  3. https://onagile.ru/industries/telecommunication/agile-in-telecom
  4. http://www.tadviser.ru/index.php/Проект:Agile_в_Банке_России
  5. https://vc.ru/sberbank/38179-agile-na-11-000-sotrudnikov
  6. http://futurebanking.ru/post/3734
  7. http://www.tadviser.ru/index.php/ Статья:Интервью_с_CIO_Райффайзенбанка_Андреем_Поповым