Мы уже писали про датчики или сенсоры – особый тип операторов Apache AirFlow, предназначенных для ожидания какого-то события. Сегодня рассмотрим практический пример обучения дата-инженеров и разработчиков по использованию внешнего сенсора…
Метка: DWH
Платформа аналитики больших данных Леруа Мерлен: потоковый CDC с Apache Kafka, NiFi, AirFlow и Flink в DWH на Greenplum
Автор Анна ВичуговаКатегория AirFlow, Flink, Greenplum, Kafka, NiFi, Spark, Статьи
Чтобы добавить в наши курсы для дата-инженеров по технологиям Apache Kafka, Spark, AirFlow, NiFi, Flink и Greenplum, еще больше практических примеров, сегодня разберем кейс ритейлера Леруа Мерлен. Читайте далее, как…
Помнить все: 10 практик устранения нехватки памяти в Greenplum и 2 схемы управления ресурсами кластера
Автор Анна ВичуговаКатегория Greenplum, Use Cases, Статьи
Развивая наш новый курс «Greenplum для инженеров данных», сегодня рассмотрим, почему в этой MPP-СУБД возникают проблемы нехватки памяти, каковы типовые способы их решения и чем очереди ресурсов отличаются от ресурсных…
Аналитика больших данных с Apache Airflow без дата-инженера: Viewflow от DataCamp
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
В этой статье поговорим про Viewflow: что такое, как устроено, чем полезно аналитикам данных и Data Scientist’ам. Встречайте новый фреймворк на базе Apache AirFlow от DataCamp – американского edu-стартапа в…
Как построить OLAP-конвейер в реальном времени на Greenplum и Apache NiFi: разбор интеграционного коннектора для приема больших данных
Автор Анна ВичуговаКатегория Greenplum, NiFi, Use Cases, Статьи
Сегодня разберем еще одну интересную тему из нашего нового курса «Greenplum для инженеров данных» по построению конвейеров приема данных для этой MPP-СУБД в рамках веб-интерфейса платформы автоматизированного управления потоками работ…
Трудности перекоса: как устранить неравномерность данных и вычислений в Greenplum
Автор Анна ВичуговаКатегория Greenplum, Статьи
Партиционирование таблиц – надежный способ повышения производительности Greenplum, который тесно связан с особенностями распределения данных по сегментам кластера. Читайте далее, чем опасно неравномерное распределение данных и вычислений по узлам, а…
Партиционирование таблиц в Greenplum: 10 лучших практик и особенности распределения по сегментам
Автор Анна ВичуговаКатегория Greenplum, Статьи
Мы уже рассказывали про основы хранения и аналитики больших данных в Greenplum, а также рассматривали особенности индексации и сжатия данных в этой MPP-СУБД. Продолжая разговор о нашем новом курсе «Greenplum…
Индексируем и сжимаем: особенности хранения и аналитики Big Data в Greenplum
Автор Анна ВичуговаКатегория Greenplum, Статьи
В продолжение вчерашней статьи по нашему новому курсу «Greenplum для инженеров данных», сегодня рассмотрим особенности индексации и сжатия данных в этой MPP-СУБД. Читайте далее, почему в Greenplum можно обойтись без индексов,…
Как хранить большие данных в Greenplum: ТОП-15 рекомендаций
Автор Анна ВичуговаКатегория Greenplum, Статьи
Продвигая наш новый курс «Greenplum для инженеров данных», сегодня мы рассмотрим особенности организации таблиц в этой MPP-СУБД, типы данных и оптимальное расположение столбцов. Читайте далее, чем heap storage отличается от…
Как упростить работу с DWH и Data Lake: DBT + Apache Spark в AWS
Автор Анна ВичуговаКатегория Spark, Use Cases, Статьи
Сегодня рассмотрим, что такое Data Build Tool, как этот ETL-инструмент связан с корпоративным хранилищем и озером данных, а также чем полезен дата-инженеру. В качестве практического примера разберем кейс подключения DBT…
