От беспорядочных связей к микросервисной консистентности: архитектурная история Big Data систем на примере Apache Kafka

Big Data, Большие данные, обработка данных, архитектура, Kafka, Agile, DevOps, DWH, Data Lake

В этой статье поговорим про интеграцию информационных систем: обсудим SOA и ESB-подходы, рассмотрим стриминговую архитектуру и возможности Apache Kafka для организации быстрого и эффективного обмена данными между различными бизнес-приложениями. Также обсудим, что влияет на архитектуру интеграции корпоративных систем и распределенных Big Data приложений, что такое спагетти-структура и почему много сервисов – это та же паста, только в профиль. Как рождаются спагетти или от чего зависит архитектура интеграции Чтобы пояснить, насколько сложны вопросы корпоративной ИТ-архитектуры, перечислим основные факторы, от которых зависит интеграция информационных систем [1]: Технологии (SOAP, REST, JMS, MQTT), форматы данных (JSON, XML, Apache Avro или Protocol Buffer), фреймворки и экосистемы (Nginx, Kubernetes, Apache Hadoop), собственные интерфейсы (EDIFACT, SAP BAPI и пр.); языки программирования и платформы, например, Java, .NET, Go Далее …

5 причин разделения кластеров Apache Kafka по DevOps

Big Data, Большие данные, обработка данных, архитектура, Kafka, SQL, Agile, DevOps

В продолжение темы про проявление Agile-принципов в Big Data системах, сегодня мы рассмотрим, как DevOps-подход отражается в использовании Apache Kafka. Читайте в нашей статье про кластерную архитектуру коннекторов Кафка и KSQL – SQL-движка на основе API клиентской библиотеки Kafka Streams для аналитики больших данных, о которой мы рассказывали здесь. Из чего сделана Apache Kafka: 6 базовых компонентов Apache Kafka – это не просто брокер сообщений, а полноценная стриминговая платформа для сбора, агрегации и обработки больших данных, включающая следующие компоненты [1]: ядро распределенного обмена сообщениями и хранения Big Data, обеспечивающее мощную пропускную способность, низкую задержку (latency), высокую доступность и безопасность; Kafka Connect – интеграционная структура для подключения внешних источников и приемников к Кафка; Kafka Streams – клиентская библиотека для создания распределенных Далее …

Быстро, непрерывно, вместе: 3 принципа Agile в KSQL и Apache Kafka Connect

Big Data, Большие данные, обработка данных, архитектура, Kafka, SQL, Agile

Мы уже рассказывали, как некоторые принципы Agile отражаются в Big Data системах. Сегодня рассмотрим это подробнее на примере коннекторов Кафка и KSQL – SQL-движка для Apache Kafka. Он который базируется на API клиентской библиотеки для разработки распределенных приложений с потоковыми данными Kafka Streams и позволяет обрабатывать данные в режиме реального времени с использованием SQL-операторов вместо Java-кода. Падайте быстро, поднимайтесь еще быстрее c Kafka Connect Напомним, Agile предполагает высокую скорость и частоту каждой итерации проекта, включая быструю реакцию на неудачи. Принцип непрерывной адаптации к изменяющимся обстоятельствам отражается в подходе «fail fast, learn faster»: падайте быстро, учитесь быстрее – не стоит бояться ошибок, следует оперативно их исправлять [1]. Этот принцип используется в среде коннекторов – Kafka Connect, которая позволяет связать Кафка с Далее …

Как не превратить Scrum в драку: анализ требований и project management по Agile

системный анализ, предиктивная аналитика, цифровизация, цифровая трансформация, Agile, управление проектами

В контексте темы бережливого производства в ИТ, сегодня мы расскажем про анализ требований к разработке ПО в условиях Agile-подходов к организации работы и соответствия жестким рамкам отечественных ГОСТов и зарубежных стандартов. Читайте в нашей статье, что говорит BABOK по этому поводу и когда нужно запускать процесс создания программной документации, чтобы потом не было мучительно больно. Лишнее для Lean или в чем ценность поддерживающих процессов? На первый взгляд с позиции бережливого производства (Lean) разработка требований не добавляет ценности конечному продукту, а является поддерживающим процессом для основной деятельности (собственно разработки ПО). Например, в этой статье мы рассматривали выявление требований в качестве иллюстративного примера для функционально-стоимостного анализа, а здесь – для объяснения метода Value Stream Mapping (картирование потоков создания ценностей). Напомним, одна из Далее …

Что общего между Lean в ИТ и ITIL: цифровизация для бережного управления Big Data и наоборот

Lean, бережливое производство, Big Data, Большие данные, системный анализ, предиктивная аналитика, цифровизация, цифровая трансформация, Agile, Machine Learning, машинное обучение, DevOps

Ранее мы рассказывали, что общего между бережливым производством и DevOps. Сегодня рассмотрим, как 7 принципов Lean отражены в разработке программного обеспечения. Также читайте в нашей статье об актуальности методологии ITIL для проектов цифровизации и внедрения технологий больших данных (Big Data). 7 принципов Lean в ИТ Мы уже упоминали, что впервые концепцию Lean к области ИТ адаптировали программисты Мэри и Том Поппендики, опубликовав в 2003 году книгу «Бережливое производство программного обеспечения» («Lean Software Development: An Agile Toolkit»). В этом труде они изложили принципы и практики бережливой разработки ПО [1]: ликвидировать потери, определив главную ценность для конечного потребителя (программное решение) и максимально сократив действия, которые ее не производят (согласование, документирование, тестирование); встраивать качество, используя разработку через тестирования; создавать знание не в виде Далее …

Как расширенная аналитика Big Data поможет ИТ избавиться от 8 потерь Lean

Big Data, Большие данные, системный анализ, предиктивная аналитика, цифровизация, цифровая трансформация, Agile, Machine Learning, машинное обучение, DevOps, Lean, бережливое производство

Продолжая разговор про бережливое производство в ИТ, сегодня мы рассмотрим виды потерь и источники их возникновения, а также поговорим, как принципы Lean помогают бизнесу избавиться от муда, мури и мура средствами больших данных (Big Data). 8 видов потерь в Lean с примерами из ИТ Прежде всего, поясним значение понятий муда, мури и мура, принятых в терминологии Lean. Эти слова произошли от японских выражений, означающих потери и их источники. Напомним, под потерями бережливое производство подразумевает действия, которые потребляют ресурсы, но не создают ценности для конечного потребителя. По-японски они называются муда – потери, затраты, отходы, мусор. Изначально создатели производственной системы компании Toyota, на которой основана концепция Lean, выделяли следующие 7 видов потерь [1]: перепроизводство, когда продукции больше, чем нужно или может быть Далее …

Agile и бережливое производство: что общего между Lean и DevOps

системный анализ, DevOps, Agile, предиктивная аналитика, цифровизация, цифровая трансформация, Lean

Чтобы сделать курс Аналитика больших данных для руководителей еще более интересным, мы продолжаем включать в него темы про методы производственной оптимизации. Сегодня рассмотрим, что такое бережливое производство (Lean) и почему Agile вообще и DevOps в частности активно используют принципы этой концепции. Также читайте в нашей статье, чем Lean отличается от системы менеджмента качества (СМК) и методики 6 сигм. Что такое Lean: бережливое производство для чайников Прежде всего, сделаем краткий ликбез по теме бережливого производства (Lean). Эта концепция управления предприятием предполагает непрерывное устранение всех видов потерь с целью максимальной оптимизации бизнеса для наилучшего удовлетворения потребителя. Она основана на производственной системе японской компании Toyota, благодаря которой автоконцерн вышел из послевоенного кризиса и стал успешной организацией в мировом масштабе. Идеи бережливого производства отражены во Далее …

Цифровая корпорация 21-го века: что такое Data-Driven Company

Data-Driven Company, Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование, предиктивная аналитика, цифровизация, цифровая трансформация, Big Data, Большие данные

В результате цифровой трансформации «традиционного предприятия» должна получиться идеальная организация, работающая на основе данных, в т.ч. больших (Big Data). Сегодня мы поговорим, что такое Data—Driven Company, чем она отличается и как ей стать: читайте в нашей статье, какие инструменты Big Data, методы Agile и инженерные подходы системного анализа применяются для «тотальной цифровизации», повышения эффективности труда и использования данных. Что такое Data—Driven Company (DDC) Data—Driven Company – это предприятие, гибкое управляемое данными – дата-ориентированная Agile-компания, бизнес-процессы и организационная структура которой построены на основе сквозной интеграции информационных потоков и их непрерывной, в т.ч. прогнозной предиктивной, аналитике. При этом цепочка создания ценности (основного продукта) выглядит следующим образом [1]: большие данные о рабочих процессах и продуктах, текущем и прогнозном состояниях внешней среды, настоящих и Далее …

NoOps: DevOps умер, да здравствует девопс! Новый Agile в облаках

NoOps, Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование

Продолжая тему развития Agile, сегодня мы расскажем о новом видении DevOps, предполагающем полный отказ от девопс-инженеров при сохранении всех принципов этого похода. Читайте в нашей статье, что такое NoOps и как эта концепция реализуется в мире Big Data. 5 разных мнений о DevOps Хотя термину «DevOps» уже исполнилось более 10 лет, а самому понятию – и того больше, до сих пор существует 5 совершенно разных точек зрения на счет практического использования этого подхода: DevOps – это стильно, модно, молодежно и нужно срочно внедрять, даже если в нем пока нет большой потребности или не позволяют возможности. Как поступать в таком случае, мы рассказывали в этой статье. DevOps – это просто раскрученный маркетинговый ход, всю работу дорогостоящего DevOps-инженера может сделать «продвинутый» системный Далее …

Чем DevOps-инженер отличается от администратора Big Data и сисадмина

Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование

Несмотря на почти 20-летнюю историю термина «DevOps», даже в ИТ-среде до сих пор есть мнение, что все рабочие задачи этого девопс-инженера может выполнить рядовой системный администратор. Почему это не так и как обстоят дела с администрированием Big Data систем, читайте в нашей сегодняшней статье. Критерии и источники данных для сравнения Проанализировав описание вакансий на популярных рекрутинговых площадках (HeadHunter, Мой круг), мы составили список наиболее востребованных технологий для сисадмина, администратора Big Data и DevOps-инженера и отобрали следующие критерии сравнения этих специалистов: Главная цель и основные рабочие задачи; Время ключевые факторы возникновения профессии; Объекты работы; Необходимые компетенции (средства, инструменты и техники); Взаимодействие с другими участниками процессов разработки и эксплуатации ИТ; Заработная плата. По результатам этого сравнения сделаны выводы о наиболее часто встречающейся Далее …