Рубрика: News

News about Big data analytics, Machine learning, Data Mining, Deep Learning, Hadoop distributions, NoSQL, Apache Kafka, Spark, Cassandra and everything related to this topic.

Не только Apache NiFi: еще 6 ETL-фреймворков загрузки и маршрутизации данных в Big Data и IoT

Анна Вичугова
Apache NiFi, Big Data, Большие данные, Internet of Things, IIoT, IoT, интернет вещей, архитектура

Несмотря на очевидные достоинства Apache NiFi, этой Big Data платформе быстрой загрузке и маршрутизации данных, активно применяемой в интернете вещей (Internet of Things, IoT), в т.ч. индустриальном (Industrial Iot, IIoT), также свойственны и некоторые недостатки. Сегодня мы поговорим об альтернативах Apache NiFi: Flume, Sqoop, Chuckwa, Gobblin, Falcon, а также Fluentd и StreamSets Data Collector. Читайте в нашей статье про сходства и отличия этих средств передачи больших данных. Что такое маршрутизация Big Data и зачем она нужна Под маршрутизацией данных мы будем понимать процесс сбора информации из различных источников (локальных и облачных файловых хранилищ, баз данных, IoT/IIoT-устройств), их агрегацию по определенным параметрам и дальнейшую передачу в другие системы-приемники (файловые хранилища, базы данных, брокеры сообщений и пр.). Как правило, функция хранения данных Далее …

Что не так с Apache NiFi: 5 главных недостатков, важных в Big Data и IoT-проектах

Анна Вичугова
Apache NiFi, Big Data, Большие данные, Internet of Things, IIoT, IoT, интернет вещей, архитектура, Kafka

Популярность Apache NiFi в Big Data системах и интернете вещей (Internet of Things, IoT), в т.ч. индустриальном (Industrial Iot, IIoT), обусловлена широкими функциональными возможностями этой платформы по быстрой загрузке и маршрутизации данных любого формата между множеством источников и приемников информации. Также среди ключевых преимуществ NiFi отмечается распределенная архитектура, масштабируемость, наличие GUI, плагинов и интерфейсов для индивидуальной настройки. Однако, как правило, недостатки являются продолжением главных достоинств. Сегодня мы поговорим об основных минусах этого фреймворка, с которыми можно столкнуться при его практическом использовании, и рассмотрим методы решения этих проблем. 5 основных недостатков Apache NiFi Итак, Apache NiFi свойственны следующие недостатки, которые стоит учитывать при использовании этой платформы маршрутизации данных в качестве production-решения при реализации комплексной Big Data системы или IoT/IIoT-проекта: некоторые неудобства Далее …

Чем хорош Apache NiFi: 10 главных достоинств для применения в Big Data и IoT-проектах

Анна Вичугова
Big Data, Большие данные, Internet of Things, IIoT, IoT, интернет вещей, архитектура, Kafka

Продолжая разговор про практическое использование Apache NiFi в системах больших данных (Big Data) и интернета вещей (Internet of Things), сегодня мы рассмотрим, чем обусловлена популярность этой кластерной платформы маршрутизации, преобразования и доставки распределенной информации. Читайте в нашей статье про ключевые преимущества Apache NiFi в контексте прикладного использования этого инструмента. 10 основных преимуществ Apache Nifi Напомним, Apache NiFi реализован по принципу распределенной архитектуры для быстрой параллельной загрузки и обработки данных, имеет большое количество плагинов для источников и преобразований, а также поддерживает версионирование конфигураций [1]. Главными достоинствами этой платформы маршрутизации, преобразования и доставки данных, особенно значимые для ее практического применения в Big Data проектах и системах интернета вещей, в т.ч. индустриального (Industrial IoT, IIoT), можно назвать следующие качества [2]: мощность и масштабируемость Далее …

Блокчейн, озеро данных и еще 3 кейса Apache NiFi в комплексных Big Data системах

Анна Вичугова
Большие данные, предиктивная аналитика, Internet of Things, IIoT, IoT, интернет вещей, архитектура, Kafka, Spark

В прошлый раз мы рассмотрели пример прототипа IIoT-системы на основе одноплатного мини-компьютера Raspberry Pi, брокере обмена сообщениями Mosquitto и платформе маршрутизации данных Apache NiFi. Сегодня мы покажем, что этот инструмент преобразования и доставки данных из множества сторонних систем может применяться не только в IoT-решениях. Читайте в нашей статье про 5 примеров практического использования Apache NiFi в реальных Big Data проектах, представленных на международном саммите DataWorks в 2018 и 2019 годах. Построение Data Lake в автомобилестроительной компании Renault В корпорации Renault Apache NiFi используется в 2-х направлениях [1]: Industrial Internet of Things, выполняя роль ETL-интегратора технологических данных с производственных участков, где производятся и собираются автомобильные запчасти; как распределенная платформа передачи информации в корпоративное озеро данных (Data Lake) и средство выгрузки из Далее …

Как построить IIoT-систему на базе Apache Nifi: разбираем прототип

Анна Вичугова
Industrial Internet Of Things, Apache Nifi, MiniFi, MQTT, Big Data, Большие данные, предиктивная аналитика, Цифровая трансформация, цифровизация, Internet of Things, IoT, IIoT, интернет вещей, архитектура

Мы уже рассказывали о многоуровневой системе промышленного интернета вещей и ее smart-компонентах, обеспечивающих первичную обработку и оперативную передачу технологических данных с конечных устройств в интеллектуальные сервисы IoT-платформы. Сегодня рассмотрим прототип такой IIoT-системы, построенной с использованием Big Data средств ETL-обработки информационных потоков – Apache NiFi и MiniFi, а также поговорим о брокере обмена сообщениями Mosquitto и протоколе MQTT. Архитектура IIoT-прототипа на основе Big Data средств Прежде всего отметим, что в данной статье описан достаточно простой пример IIoT-системы с целью показать возможности инструментария Big Data для сбора информации с конечных устройств и маршрутизации данных в облачную IoT-платформу для последующей обработки [1]. Итак, на уровне периферии датчики собирают информацию о параметрах технологического процесса и отправляют ее на шлюз (gateway) через различные проводные и Далее …

IIoT-интеграция АСУТП и Big Data: зачем это нужно и почему это сложно

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, Цифровая трансформация, цифровизация, Internet of Things, IoT, IIoT, интернет вещей, АСУТП

Детализируя глобальные проблемы развития отечественного Industrial Internet of Things (IIoT), сегодня мы поговорим о технических аспектах построения комплексной Big Data и IIoT-системы, а также рассмотрим сложности интеграции реального производства с аналитикой больших данных и искусственным интеллектом на примере практических кейсов. Зачем нужна интеграция АСУТП и Big Data и при чем здесь Industrial Internet of Things Объединение данных из всех процессов и систем, существующих на производстве, с целью ускорения работы и сокращения разночтений – одна из главных выгод, которую цифровизация обещает промышленности. Однако, интеграция АСУТП и бизнес-приложений необходима не только в контексте цифровой трансформации, но и по более тривиальным причинам: повышение эффективности производственных процессов за счет их ускорения и снижения стоимости. Например, автоматический сбор и проверка значений важных переменных, характеризующих качество Далее …

12 уровней IIoT-архитектуры: от периферийных датчиков до аналитики Big Data

Анна Вичугова
Big Data, Большие данные, Internet of Things, IoT, IIoT, интернет вещей, архитектура, Kafka, обработка данных, Spark, машинное обучение, Machine Learning

Мы уже рассматривали типовую архитектуру систем Internet of Things (IoT). Сегодня поговорим подробнее про уровневую модель передачи и обработки данных от конечных устройств до облачных IoT-платформ, а также приведем примеры наиболее популярных средств обеспечения каждого из уровней этой сложной архитектуры Industrial Internet of Things, включая инструменты Big Data. Многоуровневый IIoT: 12 слоев архитектуры В отличие от типовой Big Data системы, работающей по принципу клиент-серверного приложения, модель IIoT-решения гораздо сложнее. Аналогично клиент-серверному принципу, в IIoT-архитектуре можно выделить 2 разных по физическому расположению группы обязательных компонентов: периферия (Edge) — конечные smart-устройства, расположенные на технологическом оборудовании, за которым осуществляется удаленный мониторинг и управление; мощные Big Data инструменты, развернутые в центре обработки данных на серверах или в облаке (Backend). Тем не менее, из-за особенностей Далее …

Кто стоит за Industrial Internet of Things в России: государство, бизнес и еще 5 ключевых факторов развития отечественного IIoT-рынка

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, Цифровая трансформация, цифровизация, Internet of Things, IoT, IIoT, интернет вещей

Рассмотрев основные причины задержки активного развития отечественного рынка промышленного интернета вещей (Industrial Internet of Things, IIoT), сегодня мы отметим наиболее значимые факторы роста IIoT-внедрений в России, а также поговорим про тренды этой технологии Industry 4.0, характерные для нашей страны. 7 главных факторов роста отечественного IIoT-рынка Несмотря на то, что доля России на мировом рынке IIoT-решений пока недостаточно высока на фоне мирового объема практического использования промышленного интернета вещей, можно сказать, что в нашей стране эта технологическая область все же активно развивается. В частности, госкорпорация «Ростеха» прогнозирует, что использование технологий Industrial Internet of Things в разных сферах отечественной промышленности обеспечит около 5,5 триллионов рублей дополнительной выручки и экономии. Особенно большую ценность (более 1 триллиона рублей) IIoT принесет в несырьевых отраслях и добыче Далее …

Что сдерживает развитие IIoT в России: 7 ключевых факторов

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, Цифровая трансформация, цифровизация, Internet of Things, IoT, IIoT, интернет вещей

В предыдущей статье мы анализировали текущее состояние промышленного интернета вещей (Industrial Internet of Things, IIoT) на отечественном рынке и рассматривали наиболее перспективные направления развития этого технологического стека. Сегодня мы поговорим про специфические для нашей страны проблемы, которые сдерживают наступление 4-ой промышленной революции (Industry 4.0, I4.0) в России. Основные причины задержки развития отечественного IIoT Несмотря на активное продвижение терминов «цифровизация», «цифровая экономика» и «цифровая трансформация» на государственном уровне и в рамках отдельно взятых бизнесов, количество отечественных компаний, которые по-настоящему являются data-driven, пока можно пересчитать по пальцам одной руки. Основными факторами, сдерживающими наступление 4-ой промышленной революции (Industry 4.0, I4.0) в России вообще и ее ключевой технологии, Industrial Internet of Things, в частности, считаются следующие [1]: экономическая ситуация, когда закупочная стоимость импортных компонентов Далее …

Реалии и перспективы современного IIoT-рынка в России

Анна Вичугова
Big Data, Machine Learning, Большие данные, Машинное Обучение, нефтегазовая промышленность, нефтянка, предиктивная аналитика, Цифровая трансформация, цифровизация, Internet of Things, IoT, IIoT, интернет вещей

Продолжая разговор про мировые тренды развития промышленного интернета вещей (Industrial Internet of Things, IIoT), сегодня мы рассмотрим перспективы отечественного IIoT, а также проанализируем текущее развитие Big Data, Machine Learning и других ключевых технологий 4-ой промышленной революции (Industry 4.0, I4.0) в России. Промышленный интернет вещей в России: 3 главные перспективы Прежде всего перечислим наиболее перспективные направления российского использования IIoT-решений [1]: цифровизация государственной и околобюджетной сфер – муниципального транспорта, медицины, образования и построение «умного города» (Smart City), о котором мы писали здесь; автоматизация подсчета продукции и логистических задач, включая маркировку товаров, с помощью RFID-технологий в различных отраслях промышленности, от нефтегазового сектора до сельского хозяйства; мониторинг и предиктивная аналитика состояния природных ресурсов, предупреждение и оперативная ликвидация ЧС средствами IIoT, на пример, с помощью Далее …