Сегодня рассмотрим, как построить конвейер потоковой обработки событий на Apache Kafka, Flink и SQL Stream Builder с визуализацией результатов в Grafana. Далее вас ждет практический кейс применения технологий Big Data…
Метка: интернет вещей
Сложная обработка событий от IoT-устройств в Apache Kafka: кейс Tesla
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Статьи
Завершая серию статей по IoT-платформе компании Tesla на базе Apache Kafka, сегодня рассмотрим проблемы пиковой загрузки системы и особенности обработки высокоприоритетных событий. Читайте далее, как оптимально определить ключ раздела, чтобы…
Аналитика слишком больших данных в IoT-инфраструктуре Tesla c Apache Kafka, Alpakka и Akka Streams
Автор Анна ВичуговаКатегория Kafka, Статьи
Мы уже упоминали, что Apache Kafka не слишком хорошо обрабатывает сообщения чрезмерно большого размера. Сегодня рассмотрим, как эта проблема решается в конвейерах потоковой обработки IoT-инфраструктуры Tesla. Читайте далее про модификацию…
Безопасность в режиме онлайн: SIEM-система на базе Apache NiFi от Cloudera
Автор Анна ВичуговаКатегория Internet of Things, NiFi, Use Cases, Статьи
В этой статье для дата-инженеров рассмотрим, что такое Cloudera Flow Management и как это позволяет ускорить аналитику больших данных в кейсах информационной безопасности. Читайте далее о преимуществах SIEM-анализа, преобразования и…
Управление множеством IoT-устройств в Tesla на платформе Apache Kafka: организация топиков и парсинг сообщений
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Use Cases, Статьи
Продолжая разбирать кейс компании Tesla по организации централизованного управления устройствами интернета вещей (Internet of Things, IoT), сегодня разберем, как выполняется обработка сообщений в топиках Apache Kafka с помощью Confluent Schema…
Миллион проблем IoT и Apache Kafka для их решения: опыт Tesla
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Статьи
Являясь лидером отрасли, IoT-устройства Tesla обрабатывают триллионы событий в день, чтобы повысить эффективность своих электроавтомобилей. Однако, такая производительность была получена не сразу: чтобы достичь ее, инженерам компании пришлось решить множество…
Почему stateful-приложения Apache Flink падают в AWS: RocksDB и IOPS облачных SSD
Автор Анна ВичуговаКатегория Flink, Use Cases, Статьи
Продолжая разбирать особенности разработки потоковых приложений Apache Flink, сегодня рассмотрим проблему падения пропускной способности задания из-за встроенного хранилища состояний RocksDB и ее зависимость от производительности дисков. Вас ждет настоящая детективная…
Зачем вам Apache Livy или как скрестить Spark с Airflow для эффективных Big Data pipeline’ов
Автор Анна ВичуговаКатегория AirFlow, Internet of Things, Spark, Use Cases, Статьи
Сегодня поговорим про построение конвейеров обработки данных (data pipeline) на примере совместного использования Apache Spark с Airflow и рассмотрим типовые проблемы этой комбинации. Читайте в нашей статье, как автоматизировать задачи…
Цифровизация рабочего пространства: ТОП-3 тенденции 2020
Автор Анна ВичуговаКатегория Internet of Things, Use Cases, Статьи, Цифровая трансформация
Вчера мы говорили про наиболее перспективные технологии 2020 с точки зрения исследовательского агентства Gartner и их влияние на цифровую трансформацию. Сегодня продолжим разбирать современные тенденции изменения рабочего пространства с учетом…
Успехи Industry 4.0 на российских заводах: 5 примеров СИБУРа
Автор Анна ВичуговаКатегория Machine Learning, Use Cases, Статьи, Цифровая трансформация
В этой статье рассмотрим, как технологии Industry 4.0 помогают российскому нефтехимическому холдингу СИБУР повысить операционную эффективность производства и обеспечить безопасность труда. Сегодня мы собрали для вас 5 примеров практического использования…
