Как Apache Kafka Streams API помогает DevOps-инженеру Big Data систем

Kafka, Big Data, Большие данные, архитектура, обработка данных, Spark, IoT, Internet Of Things, интернет вещей, DevOps

Продолжая разговор про Apache Kafka Streams, сегодня мы расскажем, как API этой мощной библиотеки упрощает жизнь DevOps-инженеру и разработчику Big Data систем. Читайте в нашей статье, как Kafka Streams API эффективно обрабатывать большие данные из топиков Кафка на лету без использования Apache Spark, а также быстро создавать и развертывать распределенные приложения с привычными DevOps-инструментами без дополнительных кластеров. Что такое Apache Kafka Streams API Apache Kafka Streams API – это интерфейс программирования, который позволяет распределенным приложениям в режиме реального времени обрабатывать данные, хранящиеся в Кафка, реализуя стандартные классы этой платформы потоковой обработки без развертывания отдельных кластеров. Благодаря этому инструменту можно организовать потоковую обработку данных прямо внутри кластера Кафка, без привлечения дополнительных технологий, таких как, например, Apache Spark или Storm. В частности, Далее …

Как Machine Learning помогает бизнесу зарабатывать на погоде: Big Data и метеомаркетинг

Big Data, Большие данные, маркетинг, машинное обучение, Machine Learning, Spark, Kafka, дрон, беспилотник, интернет вещей, Internet of Things, мультикоптер

Мы уже рассказывали, как машинное обучение (Machine Learning) и большие данные (Big Data) помогают бизнесу сделать свои маркетинговые кампании персональными и оптимизировать рекламный бюджет. В этой статье рассмотрим, как метеоусловия влияют на маркетинг и каким образом бизнес может заработать на использовании данных об этих внешних условиях. Как погода влияет на уровень продаж: анализ Big Data по метеоусловиям и выручке Погода задает настроение, которое является очень важным аспектом потребительского поведения – 84% покупателей совершают импульсивные (спонтанные) покупки в интернет-магазинах (40%) и оффлайн (60-80%) [1]. Поэтому маркетологи всего мира стремятся выявить закономерности по изменению уровня продаж в зависимости, в том числе и от внешних факторов, таких как погода. Для решения этой задачи отлично подходят аналитические инструменты Big Data, которые помогают найти корреляцию Далее …

И чем же она хороша: ТОП-10 достоинств Apache Kafka для Big Data систем

Kafka, Big Data, Большие данные, интернет вещей, IoT, Internet Of Things, архитектура, обработка данных, интеграция

Продолжая разговор про основы Apache Kafka, сегодня мы рассмотрим, почему этот распределённый брокер сообщений стал таким популярным в архитектуре систем Big Data. Читайте в нашей статье, как Кафка обеспечивает высокую производительность процессов сбора и агрегации информационных потоков от множества источников, надежно гарантируя долговечную сохранность сообщений, и эффективно интегрируется с другими хранилищами больших данных. 10 главных преимуществ Apache Kafka в мире Big Data Распределенность – отсутствие единой точки отказа за счет распределения данных и программных приложений по узлам кластера. Горизонтальная масштабируемость – возможность добавления новых источников данных и узлов с различными характеристиками в единый вычислительный кластер. Отказоустойчивость – сохранность сообщений обеспечивается архитектурой master-slave (ведущий-ведомый), механизмом реплицирования и синхронизацией реплик. Потеря сообщений возможна только в случае сбоя ведущего узла и отсутствия участвующих в Далее …

Как связаны Apache Kafka и Machine Learning: архитектура Big Data и IoT-систем

Kafka, Big Data, Большие данные, интернет вещей, IoT, Internet Of Things, архитектура, обработка данных, машинное обучение, Machine Learning, Spark

Рассмотрев основы Apache Kafka, сегодня мы расскажем о месте этого распределённого брокера сообщений в архитектуре Big Data систем. Читайте в нашей статье, какие компоненты Кафка обеспечивают ее использование в программных продуктах машинного обучения (Machine Learning, ML), интернете вещей (Internet Of Things, IoT), системах бизнес-аналитики (Business Intelligence, BI), а также других высоконагруженных средствах обработки и хранения больших данных. Типовая архитектура Big Data систем с Apache Kafka Успех современного бизнеса в data-driven мире напрямую зависит от скорости обработки информации и реакции на факты, полученные в результате этого процесса. Например, банку нужно обнаружить мошенничество еще до того, как злоумышленник похитит деньги с кредитной карты клиента, а интернет-магазин стремится предложить посетителю товар, который его заинтересует, только на основании поисковых запросов. Промышленные IoT-платформы с помощью Далее …

Алиса посылает Бобу сообщение: криптография в IoT и Big Data системах

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, Security, безопасность, защита информации, персональные данные, утечки данных

Почти каждая статья по системам шифрования и криптографическим методам иллюстрируется примере отношений Алисы с Бобом и прочими метафизическими личностями [1]. В продолжение темы информационной безопасности в интернете вещей и Big Data, сегодня мы поговорим о том, как именно криптография помогает защитить каналы передачи данных и IoT-устройства от перехвата управления и утечек информации. Криптографические методы интернета вещей Прежде всего, напомним, что интернет вещей состоит из нескольких уровней: smart-приборы – конечные IoT-устройства (датчики, сенсоры, контроллеры и пр.), которые собирают малые данные с технологического оборудования или бытовой техники и передают их в сеть; каналы передачи данных – проводные и беспроводные сетевые протоколы (Serial, RS-485, MODBUS, CAN bus, OPC UA, BLE, WiFi, Bluetooth, 6LoRaWAN, Sigfox и пр.) для отправки информации с конечных IoT-устройств на Далее …

Сетевая безопасность IoT-систем: IPv6 и криптография микроконтроллеров

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, Security, безопасность, защита информации, персональные данные, утечки данных

Продолжая разбираться с информационной безопасностью Internet of Things и Big Data систем, сегодня мы поговорим о каналах передачи данных – защищенных протоколах и криптографических средствах в smart-устройствах. От IoT-устройства в облако Big Data: особенности многоуровневой передачи данных по сетям Интернет вещей – это комплексная система трехзвенной архитектуры: информация с «умного» прибора или датчиков/сенсоров и других конечных устройств, установленных на технологическом оборудовании, не сразу попадает в облако IoT-платформы для интеллектуального анализа данных средствами Big Data и Machine Learning. Каждый компонент этой сложной системы является потенциально уязвимым. В то время, как хакеры изобретают все новые способы взлома smart-устройств и облачных кластеров, специалисты по кибербезопасности предпринимают всевозможные меры по улучшению защиты Internet of Things: от сертификации существующих до разработки новых технологий. В частности, Далее …

Как сделать интернет вещей безопасным: 3 вида cybersecurity в Big Data

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, Security, безопасность, защита информации, персональные данные, утечки данных

Мы уже рассказывали про уязвимости систем Internet of Things и причинах их возникновения. Сегодня поговорим о том, как снизить риски нарушения информационной безопасности интернета вещей, и кто отвечает за мероприятия по защите smart-устройств от взломов и IoT-платформ от утечек Big Data. Способы обеспечения информационной безопасности интернета вещей В соответствии с многоуровневой архитектурой IoT-систем, можно выделить следующие 3 участка, на которых необходимо обеспечить информационную безопасность: smart-устройства – «умные» датчики, сенсоры и другими приборы, которые собирают информацию с оборудования и отправляют ее в облако, передавая обратно управляющие сигналы по изменению состояния вещей; сетевые шлюзы и каналы передачи данных (проводные и беспроводные протоколы); программные IoT-платформы – облачные Big Data сервисы хранения и обработки информации. Для всех этих компонентов в частности и в целом Далее …

DDos-атака от видеоняни: информационная безопасность IoT и Big Data

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, Security, безопасность, защита информации, персональные данные, утечки данных

Продолжая тему информационной безопасности в мире Big Data, сегодня мы поговорим об проблемах защиты данных в системах Internet of Things. Читайте в нашем материале, как вредоносные ботнеты взламывают бытовые smart-устройства, с чем сталкивается промышленный интернет вещей при обеспечении безопасности, а также какие компоненты IoT/Big Data систем наиболее уязвимы и почему. Информационная безопасность IoT и Big Data: масштабы проблемы Важнейшими рисками для IoT-технологий являются перехват управления и утечки персональных данных. Например, согласно исследованию компании Avast, 23,7% IoT-устройств в России уязвимы для кибератак, что создает угрозу для безопасности людей и их личных данных. Особенно критична ситуация для веб-камер и видеонянь, а также сетевых принтеров и роутеров [1]. С учетом цифровизации производства и домохозяйств, включая стремительное распространение IoT-систем, проблема информационной безопасности интернета вещей становится все Далее …

Big Data-облака интернета вещей: что такое IoT-платформы и зачем они

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, архитектура

Рассматривая архитектуру и принципы работы IoT-систем, мы уже упоминали, что наиболее интеллектуальная часть работы по анализу данных выполняется в облаке с помощью специальных средств Big Data, объединенных в общую платформу. Сегодня поговорим о функциях IoT-платформ и технологиях, на которых основаны эти облачные решения. Также мы подготовили для вас краткий обзор наиболее популярных платформ для Internet of Things. Что такое IoT-платформа и зачем она нужна IoT-платформа – это программное обеспечение системы интернета вещей для подключения конечных устройств (датчиков, сенсоров, контроллеров и т.д.) к облаку и удаленного доступа к ним. Целью IoT-платформы является обеспечение бесшовной интеграции различных аппаратных средств с помощью специальных интерфейсов, протоколов связи, сетевых топологий, а также средств хранения, обработки и интеллектуального анализа данных [1]. Выделяют следующие 8 обязательных компонентов полноценной Далее …

Как интернет вещей использует Big Data: архитектура IoT-систем

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, архитектура

Мы уже немного рассказывали об архитектуре IoT-систем в статье про промышленный интернет вещей. Сегодня поговорим подробнее про аппаратные и программные компоненты Internet of Things и IIoT, а также разберем, как малые данные со множества датчиков преобразуются в Big Data. Архитектура IoT-системы Типовая архитектура IIoT-систем состоит из следующих 3-х уровней [1]: конечные устройства (вещи, Things) – датчики, сенсоры, контроллеры и прочее периферийное оборудование для измерения необходимых показателей и передачи этих данных в сеть по проводным или беспроводным протоколам (Serial, RS-485, MODBUS, CAN bus, OPC UA, BLE, WiFi, Bluetooth, 6LoRaWAN, Sigfox и пр.). Поскольку каждая «порция» этой информации невелика по объему, такие данные называют малыми (Little Data). сетевые шлюзы и хабы (Network)– роутеры, которые объединяют и подключают конечные устройства к облаку. Облако (Cloud) Далее …