В этой статье для дата-инженеров и аналитиков рассмотрим пример мониторинга состояния электрогенераторов с помощью анализа данных временных рядов и ранжирования в pandas для предупреждения выхода оборудования из строя. А также…
Метка: интернет вещей
Лямбда-архитектура IoT-системы на Apache Kafka, Flink и Cassandra
Автор Анна ВичуговаКатегория Flink, Internet of Things, Статьи
Добавляя в наши курсы для дата-инженеров интересные кейсы, сегодня рассмотрим, как реализовать Лямбда-архитектуру для комплексной аналитики больших данных с помощью Apache Flink, Kafka и Cassandra на примере системы интернета вещей.…
Легковесный Apache NiFi для IoT: Docker-образ MiNiFi на Raspberry PI4 ARM64
Автор Анна ВичуговаКатегория Internet of Things, NiFi, Статьи
Сегодня поговорим про совместное использование Apache NiFi с его легковесным агентом – MiNiFi. Преимущества для ETL-процессов в IoT-системах и не только, ограничения практического применения, а также пример контейнеризации и выполнения…
Потоковая аналитика больших данных в Grafana с Apache Kafka, Flink и SQL Stream Builder
Автор Анна ВичуговаКатегория Flink, Internet of Things, Kafka, Use Cases, Статьи
Сегодня рассмотрим, как построить конвейер потоковой обработки событий на Apache Kafka, Flink и SQL Stream Builder с визуализацией результатов в Grafana. Далее вас ждет практический кейс применения технологий Big Data…
Сложная обработка событий от IoT-устройств в Apache Kafka: кейс Tesla
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Статьи
Завершая серию статей по IoT-платформе компании Tesla на базе Apache Kafka, сегодня рассмотрим проблемы пиковой загрузки системы и особенности обработки высокоприоритетных событий. Читайте далее, как оптимально определить ключ раздела, чтобы…
Аналитика слишком больших данных в IoT-инфраструктуре Tesla c Apache Kafka, Alpakka и Akka Streams
Автор Анна ВичуговаКатегория Kafka, Статьи
Мы уже упоминали, что Apache Kafka не слишком хорошо обрабатывает сообщения чрезмерно большого размера. Сегодня рассмотрим, как эта проблема решается в конвейерах потоковой обработки IoT-инфраструктуры Tesla. Читайте далее про модификацию…
Безопасность в режиме онлайн: SIEM-система на базе Apache NiFi от Cloudera
Автор Анна ВичуговаКатегория Internet of Things, NiFi, Use Cases, Статьи
В этой статье для дата-инженеров рассмотрим, что такое Cloudera Flow Management и как это позволяет ускорить аналитику больших данных в кейсах информационной безопасности. Читайте далее о преимуществах SIEM-анализа, преобразования и…
Управление множеством IoT-устройств в Tesla на платформе Apache Kafka: организация топиков и парсинг сообщений
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Use Cases, Статьи
Продолжая разбирать кейс компании Tesla по организации централизованного управления устройствами интернета вещей (Internet of Things, IoT), сегодня разберем, как выполняется обработка сообщений в топиках Apache Kafka с помощью Confluent Schema…
Миллион проблем IoT и Apache Kafka для их решения: опыт Tesla
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Статьи
Являясь лидером отрасли, IoT-устройства Tesla обрабатывают триллионы событий в день, чтобы повысить эффективность своих электроавтомобилей. Однако, такая производительность была получена не сразу: чтобы достичь ее, инженерам компании пришлось решить множество…
Почему stateful-приложения Apache Flink падают в AWS: RocksDB и IOPS облачных SSD
Автор Анна ВичуговаКатегория Flink, Use Cases, Статьи
Продолжая разбирать особенности разработки потоковых приложений Apache Flink, сегодня рассмотрим проблему падения пропускной способности задания из-за встроенного хранилища состояний RocksDB и ее зависимость от производительности дисков. Вас ждет настоящая детективная…
