Рубрика: Kafka

Big Data-облака интернета вещей: что такое IoT-платформы и зачем они

Анна Вичугова
Big Data, Большие данные, интернет вещей, IoT, Internet of Things, архитектура

Рассматривая архитектуру и принципы работы IoT-систем, мы уже упоминали, что наиболее интеллектуальная часть работы по анализу данных выполняется в облаке с помощью специальных средств Big Data, объединенных в общую платформу. Сегодня поговорим о функциях IoT-платформ и технологиях, на которых основаны эти облачные решения. Также мы подготовили для вас краткий обзор наиболее популярных платформ для Internet of Things. Что такое IoT-платформа и зачем она нужна IoT-платформа – это программное обеспечение системы интернета вещей для подключения конечных устройств (датчиков, сенсоров, контроллеров и т.д.) к облаку и удаленного доступа к ним. Целью IoT-платформы является обеспечение бесшовной интеграции различных аппаратных средств с помощью специальных интерфейсов, протоколов связи, сетевых топологий, а также средств хранения, обработки и интеллектуального анализа данных [1]. Выделяют следующие 8 обязательных компонентов полноценной Далее …

Промышленный интернет вещей: 4 кейса применения Big Data в индустрии

Анна Вичугова
Big Data, Большие данные, интернет вещей, IoT, Internet of Things, машинное обучение, Machine Learning

Мы уже рассказывали, как интернет вещей (Internet of Things, IoT) вместе с технологиями Big Data и машинного обучения (Machine Learning) используются в нефтегазовой, транспортной, сельскохозяйственной и машиностроительных отраслях. Сегодня поговорим подробнее про промышленный IoT (Industrial Internet of Things, IIoT) на примерах его применения в тяжелом машиностроении и рассмотрим, почему индустриальный интернет вещей основан на решениях Big Data. Чем отличается промышленный интернет вещей от IoT? Промышленный интернет вещей используется в индустриальных условиях для автоматизации производства, тогда как IoT ориентирован на решение более простых задач бытового плана. Например, «умный дом» в пределах одного домохозяйства – это сфера применения IoT, а эффективное управление многоэтажным зданием, жилым кварталом или целым городом – уже задача для IIoT-системы. При этом основная ценность от внедрения IIoT – Далее …

Сложно, дорого, универсально: 3 мифа о Hadoop и их опровержения

Анна Вичугова
Большие данные, Big Data, Hadoop, Apache, Cloudera, Hortonworks, администрирование, инфраструктура

Сегодня мы поговорим о заблуждениях насчет базового инфраструктурного понятия хранения и обработки больших данных – экосистеме Hadoop и развеем 3 самых популярных мифа об этой технологии. А также рассмотрим применение Cloudera, Hortonworks, Arenadata, MapR и HDInsight для проектов Big Data и машинного обучения (Machine Learning). Миф №1: Hadoop – это сложно Если настраивать инфраструктуру для Big Data проектов «с нуля», взяв за основу классический дистрибутив проекта Hadoop, развернуть экосистему для больших данных будет довольно трудоемким и длительным процессом, с которым справится не каждый системный администратор. Как правило, чтобы сократить время развертывания и сложность администрирования, используют готовые решения на основе Hadoop: Cloudera, Hortonworks, Arenadata, MapR или HDInsight [1]. Эти продукты уже содержат в себе не только 4 основных модуля хадуп (файловая Далее …

KSQL — для тех кто любит Kafka и не знает Java

Nikolay Komissarenko

KSQL — это движок SQL с открытым исходным кодом для Apache Kafka. Он обеспечивает простой, но мощный интерактивный SQL интерфейс для потоковой обработки на Kafka, без необходимости писать код на языке программирования, таком как Java или Python.  SELECT * FROM payments-kafka-stream WHERE fraud_probability > 0.8                                                                    KSQL поддерживает широкий спектр потоковых операций, включая фильтрацию данных, преобразования, агрегации, соединения, оконные операции и сессии. Он является масштабируемым, отказоустойчивым и позволяет в режиме реального времени удовлетворить потребности бизнеса в данных.  Теперь вы можете задаться вопросом, для чего я могу использовать KSQL? Вот несколько Далее …