Сегодня рассмотрим, как построить конвейер потоковой обработки событий на Apache Kafka, Flink и SQL Stream Builder с визуализацией результатов в Grafana. Далее вас ждет практический кейс применения технологий Big Data…
Рубрика: Internet of Things
Сложная обработка событий от IoT-устройств в Apache Kafka: кейс Tesla
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Статьи
Завершая серию статей по IoT-платформе компании Tesla на базе Apache Kafka, сегодня рассмотрим проблемы пиковой загрузки системы и особенности обработки высокоприоритетных событий. Читайте далее, как оптимально определить ключ раздела, чтобы…
Безопасность в режиме онлайн: SIEM-система на базе Apache NiFi от Cloudera
Автор Анна ВичуговаКатегория Internet of Things, NiFi, Use Cases, Статьи
В этой статье для дата-инженеров рассмотрим, что такое Cloudera Flow Management и как это позволяет ускорить аналитику больших данных в кейсах информационной безопасности. Читайте далее о преимуществах SIEM-анализа, преобразования и…
Управление множеством IoT-устройств в Tesla на платформе Apache Kafka: организация топиков и парсинг сообщений
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Use Cases, Статьи
Продолжая разбирать кейс компании Tesla по организации централизованного управления устройствами интернета вещей (Internet of Things, IoT), сегодня разберем, как выполняется обработка сообщений в топиках Apache Kafka с помощью Confluent Schema…
Миллион проблем IoT и Apache Kafka для их решения: опыт Tesla
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Статьи
Являясь лидером отрасли, IoT-устройства Tesla обрабатывают триллионы событий в день, чтобы повысить эффективность своих электроавтомобилей. Однако, такая производительность была получена не сразу: чтобы достичь ее, инженерам компании пришлось решить множество…
Зачем вам Apache Livy или как скрестить Spark с Airflow для эффективных Big Data pipeline’ов
Автор Анна ВичуговаКатегория AirFlow, Internet of Things, Spark, Use Cases, Статьи
Сегодня поговорим про построение конвейеров обработки данных (data pipeline) на примере совместного использования Apache Spark с Airflow и рассмотрим типовые проблемы этой комбинации. Читайте в нашей статье, как автоматизировать задачи…
Цифровизация рабочего пространства: ТОП-3 тенденции 2020
Автор Анна ВичуговаКатегория Internet of Things, Use Cases, Статьи, Цифровая трансформация
Вчера мы говорили про наиболее перспективные технологии 2020 с точки зрения исследовательского агентства Gartner и их влияние на цифровую трансформацию. Сегодня продолжим разбирать современные тенденции изменения рабочего пространства с учетом…
Как связать Greenplum и Kafka: 2 способа интеграции и коннектор Arenadata DB
Автор Анна ВичуговаКатегория Greenplum, Internet of Things, Kafka, Use Cases, Статьи
Мы уже рассказывали про интеграцию Tarantool с Apache Kafka на примере Arenadata Grid. Сегодня рассмотрим, как интегрировать Кафка с MPP-СУБД Greenplum и каковы ограничения каждого из существующих способов. Читайте в…
Зачем вам Tarantool: разгоняем большие данные с помощью In-Memory database
Автор Анна ВичуговаКатегория Internet of Things, Use Cases, Статьи, Цифровая трансформация
В этой статье мы рассмотрим резидентные (In-Memory) базы данных на примере Tarantool и Arenadata Grid: что это, как они работают и где используются. Еще поговорим, каким образом эти Big Data…
Что такое лямбда-архитектура: основы Big Data для начинающих
Автор Анна ВичуговаКатегория Internet of Things, Machine Learning, Spark, Use Cases, Статьи
Рассматривая основы больших данных, сегодня мы расскажем лямбда-архитектуру, одну из двух главных подходов к построению Big Data систем. Читайте в нашей статье, зачем нужна эта концепция и как она работает,…
