Как связаны Apache Kafka и Machine Learning: архитектура Big Data и IoT-систем

Kafka, Big Data, Большие данные, интернет вещей, IoT, Internet Of Things, архитектура, обработка данных, машинное обучение, Machine Learning, Spark

Рассмотрев основы Apache Kafka, сегодня мы расскажем о месте этого распределённого брокера сообщений в архитектуре Big Data систем. Читайте в нашей статье, какие компоненты Кафка обеспечивают ее использование в программных продуктах машинного обучения (Machine Learning, ML), интернете вещей (Internet Of Things, IoT), системах бизнес-аналитики (Business Intelligence, BI), а также других высоконагруженных средствах обработки и хранения больших данных. Типовая архитектура Big Data систем с Apache Kafka Успех современного бизнеса в data-driven мире напрямую зависит от скорости обработки информации и реакции на факты, полученные в результате этого процесса. Например, банку нужно обнаружить мошенничество еще до того, как злоумышленник похитит деньги с кредитной карты клиента, а интернет-магазин стремится предложить посетителю товар, который его заинтересует, только на основании поисковых запросов. Промышленные IoT-платформы с помощью Далее …

Роль Apache Kafka в Big Data и DevOps: краткий ликбез и практические кейсы

Kafka, Big Data, Большие данные, интернет вещей, IoT, Internet Of Things, DevOps, архитектура, администрирование, обработка данных

Мы уже упоминали Apache Kafka в статье про промышленный интернет вещей (Industrial Internet Of Things, IIoT). Сегодня поговорим о том, где и для чего еще в Big Data проектах используется эта распределённая, горизонтально масштабируемая система обработки сообщений. Как работает Apache Kafka Apache Kafka позволяет в режиме онлайн обеспечить сбор и обработку следующих данных: поведение пользователя на сайте; потоки информации с множества конечных устройств IoT и IIoT («сырые данные»); агрегация журналов работы приложений; агрегация статистики из распределенных приложений для корпоративных витрин данных (ETL-хранилищ); журналирование событий. Яркий пример использования Apache Kafka – непрерывная передача информации со smart-периферии (конечных устройств) в IoT-платформу, когда данные не только передаются, но и обрабатываются множеством клиентов, которые называются подписчиками (consumers). В роли подписчиков выступают приложения и программные Далее …

7 самых критичных уязвимостей Kubernetes за последние 2 года

Kubernetes, контейнеризация, информационная безопасность, уязвимости, атаки

В продолжении темы контейнеризации приложений и применения этой технологии в Big Data системах, сегодня мы поговорим, действительно она абсолютно безопасна. А также насколько популярнейшая DevOps-технология, Kubernetes, «великий кормчий» среди систем оркестрации контейнеров, соответствует своему визуальному образу «неуязвимого» океанического лайнера. Спойлер: на самом деле нет, K8s, как и любые другие технологии Big Data, подвержен хакерским атакам. Читайте подробности в нашей статье. Крупнейшие уязвимости Kubernetes в 2018 году В 2018 году было сразу несколько ярких инцидентов с нарушением информационной безопасности K8s, которые доставили немало волнений DevOps-инженерам и специалистам по cybersecurity Big Data систем. В частности, некорректная конфигурация панели управления Kubernetes и отсутствие на ней пароля для авторизации позволили злоумышленникам получить доступ к одному из pod’ов с учётной записью с возможностью обращения к Далее …

DDos-атака от видеоняни: информационная безопасность IoT и Big Data

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, Security, безопасность, защита информации, персональные данные, утечки данных

Продолжая тему информационной безопасности в мире Big Data, сегодня мы поговорим об проблемах защиты данных в системах Internet of Things. Читайте в нашем материале, как вредоносные ботнеты взламывают бытовые smart-устройства, с чем сталкивается промышленный интернет вещей при обеспечении безопасности, а также какие компоненты IoT/Big Data систем наиболее уязвимы и почему. Информационная безопасность IoT и Big Data: масштабы проблемы Важнейшими рисками для IoT-технологий являются перехват управления и утечки персональных данных. Например, согласно исследованию компании Avast, 23,7% IoT-устройств в России уязвимы для кибератак, что создает угрозу для безопасности людей и их личных данных. Особенно критична ситуация для веб-камер и видеонянь, а также сетевых принтеров и роутеров [1]. С учетом цифровизации производства и домохозяйств, включая стремительное распространение IoT-систем, проблема информационной безопасности интернета вещей становится все Далее …

Промышленный интернет вещей: 4 кейса применения Big Data в индустрии

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, машинное обучение, Machine Learning

Мы уже рассказывали, как интернет вещей (Internet of Things, IoT) вместе с технологиями Big Data и машинного обучения (Machine Learning) используются в нефтегазовой, транспортной, сельскохозяйственной и машиностроительных отраслях. Сегодня поговорим подробнее про промышленный IoT (Industrial Internet of Things, IIoT) на примерах его применения в тяжелом машиностроении и рассмотрим, почему индустриальный интернет вещей основан на решениях Big Data. Чем отличается промышленный интернет вещей от IoT? Промышленный интернет вещей используется в индустриальных условиях для автоматизации производства, тогда как IoT ориентирован на решение более простых задач бытового плана. Например, «умный дом» в пределах одного домохозяйства – это сфера применения IoT, а эффективное управление многоэтажным зданием, жилым кварталом или целым городом – уже задача для IIoT-системы. При этом основная ценность от внедрения IIoT – Далее …

Цифровая корпорация 21-го века: что такое Data-Driven Company

Data-Driven Company, Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование, предиктивная аналитика, цифровизация, цифровая трансформация, Big Data, Большие данные

В результате цифровой трансформации «традиционного предприятия» должна получиться идеальная организация, работающая на основе данных, в т.ч. больших (Big Data). Сегодня мы поговорим, что такое Data—Driven Company, чем она отличается и как ей стать: читайте в нашей статье, какие инструменты Big Data, методы Agile и инженерные подходы системного анализа применяются для «тотальной цифровизации», повышения эффективности труда и использования данных. Что такое Data—Driven Company (DDC) Data—Driven Company – это предприятие, гибкое управляемое данными – дата-ориентированная Agile-компания, бизнес-процессы и организационная структура которой построены на основе сквозной интеграции информационных потоков и их непрерывной, в т.ч. прогнозной предиктивной, аналитике. При этом цепочка создания ценности (основного продукта) выглядит следующим образом [1]: большие данные о рабочих процессах и продуктах, текущем и прогнозном состояниях внешней среды, настоящих и Далее …

Почему вам не нужен DevOps и как его внедрить, если очень хочется

Agile, DevOps, бизнес-процессы, управление, менеджмент, администрирование

При всех достоинствах DevOps, этот, особенно популярный сейчас, подход к организации процессов разработки и эксплуатации ПО, не лишен недостатков. Сегодня мы поговорим о том, когда лучше обойтись без девопс и как его внедрить, если он не очень подходит, а очень хочется. Также расскажем, почему DevOps – не панацея и какие проблемы поджидают вас после его внедрения. Когда не нужен девопс На первый взгляд может показаться, что безбарьерная организация процессов разработки и эксплуатации приложений подходит любой ИТ-компании. Однако, это не совсем так. Прежде всего, считается, что малый бизнес и стартапы могут вполне обойтись без DevOps, т.к. тестирование, развертывание и поддержку небольших проектов можно выполнять и вручную, без использования сложных инструментов автоматизации (а также дорогих специалистов, которые умеют с ними работать). Кроме Далее …

Как Big Data с Machine Learning борются с пробками и улучшают дороги

Big Data, Большие данные, машинное обучение, Machine Learning, транспорт, интернет вещей, IoT, Internet of Things, город, дороги, автомобили

Продолжая тему «умного» города (data-driven city), сегодня мы собрали для вас 5 практических примеров, как в крупнейших мегаполисах по всему миру интернет вещей и большие данные с датчиков, проездных билетов и дорожных камер помогают бороться с пробками и улучшать состояние дорог, повышая уровень их безопасности и удобства использования. Internet of Things и Big Data на дорогах Для решения проблемы с дорожными неровностями и сильно вдавленными в асфальт канализационными люками американская компания The New Urban Mechanics разработала мобильное приложение. С ним каждый житель Бостона может сообщить о недостатках дорожного полотна с помощью своего смартфона. Фото- и видеоматериалы автоматически отправляются на сервер коммунальных служб. В частности, в 2010 году городская администрация устранила более 7 000 неровностей. Благодаря оперативному сбору данных о дорожных проблемах, они исправляются на ранних стадиях. Так интернет Далее …

Не бойся падать – большие данные подстелят соломку: умное страхование

Большие данные, Big Data, Machine Learning, Internet of Things, IoT, машинное обучение, интернет вещей, предиктивная аналитика, страхование, цифровизация, цифровая трансформация, маркетинг

Big Data – это основа бизнеса страховых компаний, работа которых полностью основана на информации: статистике, сведениях о клиентах, страховых случаях и вероятностях их наступления, а также финансовой оценке всех этих данных. Читайте в нашей сегодняшней статье, как «большая тройка» современных информационных технологий (большие данные, машинное обучение и интернет вещей) увеличивают прибыль страховщиков, прогнозируя потребности текущих и находя новых клиентов, а также уменьшают их затраты, сокращая выплаты по мошенническим операциям. Зачем страховщикам Big Data, Machine Learning и Internet of Things Цифровизация захватила и сектор страхования: страховые компании стремятся стать data-driven организациями. Широкая продуктовая линейка и обилие информации обусловливают использование страховщиками технологий Big Data, Machine Learning и Internet of Things в следующих направлениях: персонализация страховых полисов; оценка рисков при формировании страховых тарифов; Далее …

Быстрее, гибче, самостоятельней: 3 принципа Agile в Big Data системах

Большие данные, Big Data, Agile, цифровая трансформация, цифровая экономика, цифровизация, бизнес-процессы, банки, нефтегазовая отрасль

Пока Agile (эджайл) из методологии разработки программного обеспечения становится настоящей философией ведения бизнеса, мы разберем, какие именно принципы этого подхода используются в каждой системе больших данных и почему любой Big Data проект успешно реализуется с помощью этих идей. Что такое Agile: краткий ликбез Изначально термин Agile относился к подходам и практикам гибкой разработки программного обеспечения, нацеленной на сокращение сроков вывода на рынок готового продукта и минимизацию рисков с помощью сведения разработки к серии коротких циклов (итераций). Ключевые идеи Agile, изложенные в Agile Manifesto, сосредоточены на командном взаимодействии, скорости реагирования, готовности к изменениям и ценности работающего продукта [1]. Такое видение отражает требования современного бизнеса к организации работы и, поскольку основные принципы Agile не связаны ИТ-спецификой, подход становится популярной практикой выстраивания процессов Далее …