Хотя наши практические курсы по Greenplum и Arenadata DB больше ориентированы на аналитиков и дата-инженеров, чем на администраторов, в программы обучения также включены важные сведения по настройке этих MPP-СУБД. В…
Метка: архитектура
Как рассчитать конверсию контекстной рекламы с помощью Apache Flink SQL: практический пример
Автор Анна ВичуговаКатегория Flink, Use Cases, Статьи
Реклама является одним из наиболее крупных сегментов практического применения технологий Big Data. Поэтому сегодня рассмотрим, как Flink SQL реализует потоковую аналитику больших данных в AdTech-кейсах. Разбираем пример JOIN-соединения двух потоков…
Горизонтальное масштабирование кластера Apache Kafka: тонкости переназначения разделов
Автор Анна ВичуговаКатегория Kafka, Статьи
В поддержку курсов по администрированию Apache Kafka, сегодня рассмотрим особенности масштабирования кластера и связанное с этим переназначение разделов. Читайте далее, чем горизонтальное масштабирование лучше вертикального, как переназначить разделы между брокерами…
Как сохранить датафрейм вне кучи: секреты Apache Spark для разработчиков
Автор Анна ВичуговаКатегория Spark, Статьи
В рамках обучения разработчиков Spark-приложений, сегодня рассмотрим, как сохранить датафрейм в памяти вне кучи исполнителя и зачем это нужно. Вас ждет краткий ликбез по управлению памятью в Apache Spark с…
Потоковая аналитика больших данных в Grafana с Apache Kafka, Flink и SQL Stream Builder
Автор Анна ВичуговаКатегория Flink, Internet of Things, Kafka, Use Cases, Статьи
Сегодня рассмотрим, как построить конвейер потоковой обработки событий на Apache Kafka, Flink и SQL Stream Builder с визуализацией результатов в Grafana. Далее вас ждет практический кейс применения технологий Big Data…
Сложная обработка событий от IoT-устройств в Apache Kafka: кейс Tesla
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Статьи
Завершая серию статей по IoT-платформе компании Tesla на базе Apache Kafka, сегодня рассмотрим проблемы пиковой загрузки системы и особенности обработки высокоприоритетных событий. Читайте далее, как оптимально определить ключ раздела, чтобы…
Аналитика слишком больших данных в IoT-инфраструктуре Tesla c Apache Kafka, Alpakka и Akka Streams
Автор Анна ВичуговаКатегория Kafka, Статьи
Мы уже упоминали, что Apache Kafka не слишком хорошо обрабатывает сообщения чрезмерно большого размера. Сегодня рассмотрим, как эта проблема решается в конвейерах потоковой обработки IoT-инфраструктуры Tesla. Читайте далее про модификацию…
Динамическое сжатие файлов в Apache Spark: опыт Databricks и не только
Автор Анна ВичуговаКатегория Spark, Статьи
При том, что Apache Spark является одной из главных технологий стека Big Data, этот фреймворк не очень хорошо работает с множеством файлов небольшого размера. Поэтому в рамках обучения дата-инженеров и…
Управление множеством IoT-устройств в Tesla на платформе Apache Kafka: организация топиков и парсинг сообщений
Автор Анна ВичуговаКатегория Internet of Things, Kafka, Use Cases, Статьи
Продолжая разбирать кейс компании Tesla по организации централизованного управления устройствами интернета вещей (Internet of Things, IoT), сегодня разберем, как выполняется обработка сообщений в топиках Apache Kafka с помощью Confluent Schema…
Тонкости потоковой передачи данных в BigQuery из Apache Kafka и Spark: 5 неочевидных особенностей
Автор Анна ВичуговаКатегория Kafka, Spark, Статьи
В рамках курсов для дата-инженеров и разработчиков распределенных приложений, сегодня рассмотрим пример построения системы потоковой передачи для аналитики больших данных на базе Apache Kafka, Spark и Google BigQuery. Читайте далее…
