Цифровая корпорация 21-го века: что такое Data-Driven Company

Data-Driven Company, Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование, предиктивная аналитика, цифровизация, цифровая трансформация, Big Data, Большие данные

В результате цифровой трансформации «традиционного предприятия» должна получиться идеальная организация, работающая на основе данных, в т.ч. больших (Big Data). Сегодня мы поговорим, что такое Data—Driven Company, чем она отличается и как ей стать: читайте в нашей статье, какие инструменты Big Data, методы Agile и инженерные подходы системного анализа применяются для «тотальной цифровизации», повышения эффективности труда и использования данных. Что такое Data—Driven Company (DDC) Data—Driven Company – это предприятие, гибкое управляемое данными – дата-ориентированная Agile-компания, бизнес-процессы и организационная структура которой построены на основе сквозной интеграции информационных потоков и их непрерывной, в т.ч. прогнозной предиктивной, аналитике. При этом цепочка создания ценности (основного продукта) выглядит следующим образом [1]: большие данные о рабочих процессах и продуктах, текущем и прогнозном состояниях внешней среды, настоящих и Далее …

NoOps: DevOps умер, да здравствует девопс! Новый Agile в облаках

NoOps, Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование

Продолжая тему развития Agile, сегодня мы расскажем о новом видении DevOps, предполагающем полный отказ от девопс-инженеров при сохранении всех принципов этого похода. Читайте в нашей статье, что такое NoOps и как эта концепция реализуется в мире Big Data. 5 разных мнений о DevOps Хотя термину «DevOps» уже исполнилось более 10 лет, а самому понятию – и того больше, до сих пор существует 5 совершенно разных точек зрения на счет практического использования этого подхода: DevOps – это стильно, модно, молодежно и нужно срочно внедрять, даже если в нем пока нет большой потребности или не позволяют возможности. Как поступать в таком случае, мы рассказывали в этой статье. DevOps – это просто раскрученный маркетинговый ход, всю работу дорогостоящего DevOps-инженера может сделать «продвинутый» системный Далее …

Чем DevOps-инженер отличается от администратора Big Data и сисадмина

Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование

Несмотря на почти 20-летнюю историю термина «DevOps», даже в ИТ-среде до сих пор есть мнение, что все рабочие задачи этого девопс-инженера может выполнить рядовой системный администратор. Почему это не так и как обстоят дела с администрированием Big Data систем, читайте в нашей сегодняшней статье. Критерии и источники данных для сравнения Проанализировав описание вакансий на популярных рекрутинговых площадках (HeadHunter, Мой круг), мы составили список наиболее востребованных технологий для сисадмина, администратора Big Data и DevOps-инженера и отобрали следующие критерии сравнения этих специалистов: Главная цель и основные рабочие задачи; Время ключевые факторы возникновения профессии; Объекты работы; Необходимые компетенции (средства, инструменты и техники); Взаимодействие с другими участниками процессов разработки и эксплуатации ИТ; Заработная плата. По результатам этого сравнения сделаны выводы о наиболее часто встречающейся Далее …

Как измерить эксплуатационную надежность Big Data и зачем это нужно

SLA, SLI, SLO, RPO, RTO

Рассматривая облачные сервисы для Big Data проектов, мы уже говорили про SLA (Service Level Agreement, соглашение об уровне предоставления услуг) и упоминали показатели измерения эксплуатационной надежности в материале про эволюцию Agile-подходов. Читайте в нашей сегодняшней статье, как эти SRE-метрики помогают DevOps-инженерам и администраторам обосновать экономическую необходимость затрат на средства дополнительной защиты Big Data систем от сбоев и когда такие инвестиции выгодны бизнесу. Зачем SLA мерит доступность Big Data системы и как это связано с SRE, DevOps и клиентами Как правило, для Big Data характерна высокая или постоянная доступность, а также непрерывный режим работы – это значит, что система защищена, а также легко, быстро с использованием автоматизированных средств восстанавливается от небольших простоев [1]. Именно доступность считается главным показателем качества. Поэтому большинство облачных провайдеров Далее …

Большая надежность для Big Data: эволюция Agile – SRE после DevOps

Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование, SRE

Большие данные требуют огромной гибкости и большой надежности – сегодня мы расскажем, что кто обеспечивает бесперебойную работу Google и других ИТ-гигантов и что нас ждет после DevOps. Читайте в нашей новой статье, как развиваются Agile-подходы к организации процессов разработки и эксплуатации Big Data систем и сколько это стоит. Что такое SRE и зачем это нужно Big Data Big Data системы функционируют в условиях повышенной нагрузки: постоянно увеличивающиеся потоки данных из множества разных источников хранятся и обрабатываются на распределенных серверах одного или нескольких кластеров. Благодаря механизму репликации, который поддерживает наиболее распространенная файловая система больших данных, HDFS, выход некоторых узлов из строя в большинстве случаев не приведет к полной потере информации. Однако, даже временный отказ или замедление работы приложения может быть катастрофичным Далее …

Почему вам не нужен DevOps и как его внедрить, если очень хочется

Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование

При всех достоинствах DevOps, этот, особенно популярный сейчас, подход к организации процессов разработки и эксплуатации ПО, не лишен недостатков. Сегодня мы поговорим о том, когда лучше обойтись без девопс и как его внедрить, если он не очень подходит, а очень хочется. Также расскажем, почему DevOps – не панацея и какие проблемы поджидают вас после его внедрения. Когда не нужен девопс На первый взгляд может показаться, что безбарьерная организация процессов разработки и эксплуатации приложений подходит любой ИТ-компании. Однако, это не совсем так. Прежде всего, считается, что малый бизнес и стартапы могут вполне обойтись без DevOps, т.к. тестирование, развертывание и поддержку небольших проектов можно выполнять и вручную, без использования сложных инструментов автоматизации (а также дорогих специалистов, которые умеют с ними работать). Кроме Далее …

Who is who в Agile-команде Big Data: разбор ролей Data Professional’ов

Большие данные, Big Data, Agile, DevOps, администрирование, DataOps, цифровизация, цифровая трансформация, бизнес-процессы, менеджмент, управление проектами

Ранее мы уже писали про DataOps- и DevOps-инженеров, а также про администраторов больших данных. Продолжая тему гибкого управления проектами (Agile) для повышения эффективности и ускорения бизнес-процессов, сегодня поговорим о том, какие еще специалисты нужны для успешного Big Data проекта. Профильные категории и процессы Big Data проекта Независимо от конечной цели и особенностей реализации, в команде любого проекта по большим данным выполняются все процессы по стандарту CRISP-DM, от формирования бизнес-требований до внедрения программного решения на основе разработанных аналитических моделей, в т.ч. с использованием машинного обучения (Machine Learning). Сгруппировав этапы разработки ПО со стадиями CRISP-DM, можно выделить 4 профильных категории Big Data проекта, в которых задействованы различные специалисты: Бизнес, куда входят специалисты предметной области (эксперты, потенциальные пользователи), посредники между проблемами и техническими Далее …

Битва инженеров Big Data: DataOps vs DevOps – кто за что отвечает

Большие данные, Big Data, Agile, DevOps, администрирование, DataOps, цифровизация, цифровая трансформация, бизнес-процессы

Мы уже писали о происхождении термина DataOps, а также про методы и средства реализации этой концепции непрерывной интеграции данных между процессами, командами и системами в рамках data-driven company. Продолжая тему развития Agile-подходов в мире больших данных, сегодня рассмотрим, чем отличаются сферы ответственности DataOps- и DevOps-инженеров и почему оба этих специалиста должны присутствовать в Big Data команде. Чем схожи DataOps и DevOps: 5 общих фактов На основе происхождения и целевой направленности этих понятий, можно выявить несколько характеристик, которые их объединяют: Сокращение сроков разработки и поставки готового продукта (программного приложения или актуальных данных) за счет принципов Agile, в частности, гибкости и самоорганизации; Непрерывность процессов интеграции (Continuous Integration) и развертывания (Continuous Deployment); Автоматизация процессов тестирования, развертывания и мониторинга с помощью технологий контейнеризации и Далее …

Что такое DataOps: зачем Big Data свой DevOps с блокчейном и данными

Большие данные, Big Data, Agile, DevOps, администрирование, DataOps, цифровизация, цифровая трансформация, бизнес-процессы

DataOps (DATA Operations, датаопс), по аналогии с DevOps (DEVelopment Operations, девопс) — это концепция и набор практик непрерывной интеграции данных между процессами, командами и системами для повышения эффективности корпоративного управления или отраслевого взаимодействия за счет распределенного сбора, централизованной аналитики и гибкой политики доступа к информации с учетом ее конфиденциальности, ограничений на использование и соблюдения целостности [1]. Как связаны DataOps, цифровизация и Agile-подходы, насколько это выгодно бизнесу и какие инструменты обеспечивают непрерывную работу с Big Data на практике, читайте в нашей сегодняшней статье. Как все началось: предпосылки появления DataOps Термину DataOps еще не исполнилось 5 лет, а он уже активно используется в ИТ-мире. Впервые это понятие прозвучало в 2015 году, а затем стало тиражироваться в контексте цифровизации и построения компаний, управляемых данными (data-driven Далее …

4 простых, но эффективных совета администратору Big Data и не только

Большие данные, Big Data, Agile, DevOps, Hadoop, администрирование

Администратор – обязательная роль в Big Data проекте, даже если он построен по принципу микросервисной архитектуры, когда за создание и развертывание каждого модуля отвечает отдельный DevOps-инженер. Задачи постоянной оценки производительности и поддержки ИТ-инфраструктуры актуальны как для новоявленных стартапов, работающих по современным Agile-принципам, так и для крупного бизнеса (enterprise). В этой статье мы собрали для вас 4 простых, но до сих пор отлично работающих совета для повышения эффективности процессов администрирования ИТ-хозяйства вообще и Big Data в частности. Следите за новостями Пригодится все: выпуск программных обновлений, огласка инцидентов о нарушениях информационной безопасности, выявление уязвимостей, выход новых законов, появление технологий, истории успешного старта и грандиозных провалов. Ищите полезную информацию сами, общайтесь с коллегами в форумах и мессенджерах, читайте и смотрите тематические ресурсы, чтобы Далее …