Версия сайта для слабовидящих
Как Lakehouse объединяет пакетную и потоковую обработку, какие проблемы возникают при реализации этой гибридной архитектуры данных и каким образом они решаются с помощью Delta-подхода и...
Безопасный обмен большими данными с открытым протоколом Delta Sharing
Что такое Delta Sharing, зачем нужен и как устроен этот открытый стандарт, а также как его использовать для централизованного управления доступом к данным в архитектуре...
Зачем вам CDF или как упростить CDC-конвейер для Delta Lake
Как реализовать CDC для Delta Lake: разбираемся с функцией Change Data Feed от Databricks, которая позволяет быстро узнать обо всех изменениях строк в дельта-таблицах озера...
Самообслуживаемый сервис Apache Spark Structured Streaming для Delta Lake
В этой статье для обучения дата-инженеров и ИТ-архитекторов рассмотрим, как Apache Spark Structured Streaming помогает реализовать самообслуживаемый сервис потоковой передачи данных в Delta Lake. А...
Как применить триггеры Apache Spark Structured Streaming для пакетных заданий
Можно ли применять Apache Spark Structured Streaming для пакетных заданий и в каких случаях это целесообразно. Разбираемся, как устроена потоковая передача событий в Spark Structured...
ТОП-7 проблем с платформами данных и способы их обойти
Сегодня разберем распространенные трудности корпоративных платформ обработки и хранения Big Data, а также как избежать этих проблем, используя современные методы и средства проектирования дата-архитектур и...
Ошибки обновления таблиц в Delta Lake и их решения с Apache Spark Structured Streaming
Сегодня мы продолжим говорить про Apache Spark Structured Streaming и его применение для обновления данных в таблицах Delta Lake. А также на практических примерах разберем,...
Идемпотентность приложений Apache Spark Structured Streaming в Delta Lake
Продолжая недавний разговор про Apache Spark Structured Streaming, сегодня рассмотрим, как этот движок потоковой обработки данных помогает дата-инженеру реализовать идемпотентную запись в таблицы Delta Lake,...
Динамическое сжатие файлов в Apache Spark: опыт Databricks и не только
При том, что Apache Spark является одной из главных технологий стека Big Data, этот фреймворк не очень хорошо работает с множеством файлов небольшого размера. Поэтому...
Февральская новинка-2021: Apache Spark премиум-класса в Delta Lake Databricks на Google Cloud
Продолжая вчерашний разговор про Delta Lake на базе Apache Spark от Databricks, сегодня мы расскажем одну из последних новостей о запуске этого решения на Google...