Блокчейн, озеро данных и еще 3 кейса Apache NiFi в комплексных Big Data системах

Большие данные, предиктивная аналитика, Internet of Things, IIoT, IoT, интернет вещей, архитектура, Kafka, Spark

В прошлый раз мы рассмотрели пример прототипа IIoT-системы на основе одноплатного мини-компьютера Raspberry Pi, брокере обмена сообщениями Mosquitto и платформе маршрутизации данных Apache NiFi. Сегодня мы покажем, что этот инструмент преобразования и доставки данных из множества сторонних систем может применяться не только в IoT-решениях. Читайте в нашей статье про 5 примеров практического использования Apache NiFi в реальных Big Data проектах, представленных на международном саммите DataWorks в 2018 и 2019 годах. Построение Data Lake в автомобилестроительной компании Renault В корпорации Renault Apache NiFi используется в 2-х направлениях [1]: Industrial Internet of Things, выполняя роль ETL-интегратора технологических данных с производственных участков, где производятся и собираются автомобильные запчасти; как распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из Далее …

Как построить IIoT-систему на базе Apache Nifi: разбираем прототип

Industrial Internet Of Things, Apache Nifi, MiniFi, MQTT, Big Data, Большие данные, предиктивная аналитика, Цифровая трансформация, цифровизация, Internet of Things, IoT, IIoT, интернет вещей, архитектура

Мы уже рассказывали о многоуровневой системе промышленного интернета вещей и ее smart-компонентах, обеспечивающих первичную обработку и оперативную передачу технологических данных с конечных устройств в интеллектуальные сервисы IoT-платформы. Сегодня рассмотрим прототип такой IIoT-системы, построенной с использованием Big Data средств ETL-обработки информационных потоков – Apache NiFi и MiniFi, а также поговорим о брокере обмена сообщениями Mosquitto и протоколе MQTT. Архитектура IIoT-прототипа на основе Big Data средств Прежде всего отметим, что в данной статье описан достаточно простой пример IIoT-системы с целью показать возможности инструментария Big Data для сбора информации с конечных устройств и маршрутизации данных в облачную IoT-платформу для последующей обработки [1]. Итак, на уровне периферии датчики собирают информацию о параметрах технологического процесса и отправляют ее на шлюз (gateway) через различные проводные и Далее …

IIoT-интеграция АСУТП и Big Data: зачем это нужно и почему это сложно

Big Data, Большие данные, предиктивная аналитика, Цифровая трансформация, цифровизация, Internet of Things, IoT, IIoT, интернет вещей, АСУТП

Детализируя глобальные проблемы развития отечественного Industrial Internet of Things (IIoT), сегодня мы поговорим о технических аспектах построения комплексной Big Data и IIoT-системы, а также рассмотрим сложности интеграции реального производства с аналитикой больших данных и искусственным интеллектом на примере практических кейсов. Зачем нужна интеграция АСУТП и Big Data и при чем здесь Industrial Internet of Things Объединение данных из всех процессов и систем, существующих на производстве, с целью ускорения работы и сокращения разночтений – одна из главных выгод, которую цифровизация обещает промышленности. Однако, интеграция АСУТП и бизнес-приложений необходима не только в контексте цифровой трансформации, но и по более тривиальным причинам: повышение эффективности производственных процессов за счет их ускорения и снижения стоимости. Например, автоматический сбор и проверка значений важных переменных, характеризующих качество Далее …

12 уровней IIoT-архитектуры: от периферийных датчиков до аналитики Big Data

Big Data, Большие данные, Internet of Things, IoT, IIoT, интернет вещей, архитектура, Kafka, обработка данных, Spark, машинное обучение, Machine Learning

Мы уже рассматривали типовую архитектуру систем Internet of Things (IoT). Сегодня поговорим подробнее про уровневую модель передачи и обработки данных от конечных устройств до облачных IoT-платформ, а также приведем примеры наиболее популярных средств обеспечения каждого из уровней этой сложной архитектуры Industrial Internet of Things, включая инструменты Big Data. Многоуровневый IIoT: 12 слоев архитектуры В отличие от типовой Big Data системы, работающей по принципу клиент-серверного приложения, модель IIoT-решения гораздо сложнее. Аналогично клиент-серверному принципу, в IIoT-архитектуре можно выделить 2 разных по физическому расположению группы обязательных компонентов: периферия (Edge) — конечные smart-устройства, расположенные на технологическом оборудовании, за которым осуществляется удаленный мониторинг и управление; мощные Big Data инструменты, развернутые в центре обработки данных на серверах или в облаке (Backend). Тем не менее, из-за особенностей Далее …

Кто стоит за Industrial Internet of Things в России: государство, бизнес и еще 5 ключевых факторов развития отечественного IIoT-рынка

Big Data, Большие данные, предиктивная аналитика, Цифровая трансформация, цифровизация, Internet of Things, IoT, IIoT, интернет вещей

Рассмотрев основные причины задержки активного развития отечественного рынка промышленного интернета вещей (Industrial Internet of Things, IIoT), сегодня мы отметим наиболее значимые факторы роста IIoT-внедрений в России, а также поговорим про тренды этой технологии Industry 4.0, характерные для нашей страны. 7 главных факторов роста отечественного IIoT-рынка Несмотря на то, что доля России на мировом рынке IIoT-решений пока недостаточно высока на фоне мирового объема практического использования промышленного интернета вещей, можно сказать, что в нашей стране эта технологическая область все же активно развивается. В частности, госкорпорация «Ростеха» прогнозирует, что использование технологий Industrial Internet of Things в разных сферах отечественной промышленности обеспечит около 5,5 триллионов рублей дополнительной выручки и экономии. Особенно большую ценность (более 1 триллиона рублей) IIoT принесет в несырьевых отраслях и добыче Далее …

Реалии и перспективы современного IIoT-рынка в России

Big Data, Machine Learning, Большие данные, Машинное Обучение, нефтегазовая промышленность, нефтянка, предиктивная аналитика, Цифровая трансформация, цифровизация, Internet of Things, IoT, IIoT, интернет вещей

Продолжая разговор про мировые тренды развития промышленного интернета вещей (Industrial Internet of Things, IIoT), сегодня мы рассмотрим перспективы отечественного IIoT, а также проанализируем текущее развитие Big Data, Machine Learning и других ключевых технологий 4-ой промышленной революции (Industry 4.0, I4.0) в России. Промышленный интернет вещей в России: 3 главные перспективы Прежде всего перечислим наиболее перспективные направления российского использования IIoT-решений [1]: цифровизация государственной и околобюджетной сфер – муниципального транспорта, медицины, образования и построение «умного города» (Smart City), о котором мы писали здесь; автоматизация подсчета продукции и логистических задач, включая маркировку товаров, с помощью RFID-технологий в различных отраслях промышленности, от нефтегазового сектора до сельского хозяйства; мониторинг и предиктивная аналитика состояния природных ресурсов, предупреждение и оперативная ликвидация ЧС средствами IIoT, на пример, с помощью Далее …

Где и как используется Apache Samza: реальные примеры Big Data проектов

Big Data, Большие данные, архитектура, обработка данных, Spark, Hadoop, Kafka

Apache Samza часто сравнивают с другими Big Data фреймворками распределенных потоковых вычислений в реальном времени (Real Time, RT): Kafka Streams, Spark Streaming, Flink и Storm. Apache Spark и Flink обладают практически одинаковым набором функциональных возможностей и компонентов, поэтому их можно сравнивать между собой более-менее объективно. Apache Samza является более простой средой, которая в некоторых случаях может конкурировать с Kafka Streams и Storm. Сегодня мы расскажем, как именно Apache Samza используется на практике и почему крупные data-driven компании выбирают этот фреймворк потоковых RT-вычислений. За и против Apache Samza: когда выбирать Прикладные варианты использования Apache Samza (use-cases) обусловлены достоинствами и недостатками этой Big Data системы. В частности, Samza сохраняет состояние приложений (stateful), используя отказоустойчивую систему контрольных точек, реализованную как локальное хранилище значений Далее …

Apache Flink vs Spark: что и когда выбрать для потоковой обработки Big Data

Flink vs Spark, Big Data, Большие данные, архитектура, обработка данных, Apache Spark

Flink часто сравнивают с Apache Spark, другим популярным инструментом потоковой обработки данных. Оба этих распределенных отказоустойчивых фреймворка с открытым исходным кодом используются в высоконагруженных Big Data приложениях для анализа данных, хранящихся в кластерах Hadoop [1] и других кластерных системах. В этой статье мы поговорим, чем похожи и чем отличаются Флинк и Спарк, а также рассмотрим, в каких случаях оптимально выбрать тот или иной продукт. 5 сходств Apache Flink и Spark Apache Flink и Spark во многом очень похожи: у них одно прикладное назначение и похожие особенности реализации кластерной обработки потоковых данных. Также для них обоих характерны следующие свойства: оба продукта вышли из академической среды – Спарк из университета Беркли (UC Berkley), а Флинк – из берлинского ВУЗа TU University [2]; оба решения поддерживают Далее …

Как Apache Kafka Streams API помогает DevOps-инженеру Big Data систем

Kafka, Big Data, Большие данные, архитектура, обработка данных, Spark, IoT, Internet Of Things, интернет вещей, DevOps

Продолжая разговор про Apache Kafka Streams, сегодня мы расскажем, как API этой мощной библиотеки упрощает жизнь DevOps-инженеру и разработчику Big Data систем. Читайте в нашей статье, как Kafka Streams API эффективно обрабатывать большие данные из топиков Кафка на лету без использования Apache Spark, а также быстро создавать и развертывать распределенные приложения с привычными DevOps-инструментами без дополнительных кластеров. Что такое Apache Kafka Streams API Apache Kafka Streams API – это интерфейс программирования, который позволяет распределенным приложениям в режиме реального времени обрабатывать данные, хранящиеся в Кафка, реализуя стандартные классы этой платформы потоковой обработки без развертывания отдельных кластеров. Благодаря этому инструменту можно организовать потоковую обработку данных прямо внутри кластера Кафка, без привлечения дополнительных технологий, таких как, например, Apache Spark или Storm. В частности, Далее …

Повышаем скорость обработки потоков Big Data с помощью Apache Kafka Streams

Apache Kafka Streams, Кафка Стримс

Читайте в нашей сегодняшней статье, как Apache Kafka Streams помогает быстро создавать приложения для обработки потоков Big Data без кластера Кафка, работать с состояниями распределенных программ без базы данных, эффективно тестировать и разворачивать потоковые микросервисы согласно DevOps-подходу, а также реальные кейсы практического применения этой технологии. Что такое Apache Kafka Streams и зачем она нужна Apache Kafka Streams – это клиентская библиотека для разработки приложений и микросервисов, в которых входные и выходные данные хранятся в кластерах Кафка. Она сочетает в себе простоту написания и развертывания типовых приложений Java и Scala на стороне клиента с преимуществами кластерной технологии Kafka на стороне сервера [1] в соответствии с DevOps-подходом. Подробнее о том, как API-интерфейс Кафка Стримс помогает DevOps-Инженеру и разработчику Big Data систем, читайте Далее …