При том, что развертывание и эксплуатация Apache Kafka на Kubernetes требуют от администратора кластера много сил и времени, эта идея имеет массу достоинств, о чем мы писали здесь. Поэтому появляются…
Метка: архитектура
Потоковый веб-парсинг на Apache Flink + RabbitMQ: кейс от дата-инженеров FiscalNote
Автор Анна ВичуговаКатегория Flink, Статьи
В этой статье для дата-инженеров и разработчиков распределенных приложений разберем кейс американской ИТ-компании FiscalNote, которая использует Apache Flink в качестве движка потоковой обработки информации со сторонних веб-сайтов. Трудности сериализации сообщений…
ksqlDB 0.22.0: ноябрьское обновление компонента Apache Kafka от Confluence
Автор Анна ВичуговаКатегория Kafka, Статьи
3 ноября 2021 года компания Confluent, которая занимается продвижением и коммерциализацией Apache Kafka, выпустила новый релиз ksqlDB, который включает 20 исправленных ошибок и 18 добавленных фич. Самое интересное в выпуске…
Greenplum под защитой: настраиваем Kerberos
Автор Анна ВичуговаКатегория Greenplum, Статьи
В этой статье для администраторов Greenplum рассмотрим, как настроить систему сетевой защиты Kerberos для этой MPP-СУБД, чтобы контролировать доступ к хранящимся в ней данным с помощью сервера аутентификации. А также…
Повышаем устойчивость приложений Apache Kafka через обработку исключений
Автор Анна ВичуговаКатегория Kafka, Статьи
Сегодня разберем практический вопрос из обучения администраторов кластера Apache Kafka и разработчиков распределенных приложений. Про исключения в Kafka-приложениях: какие они бывают, почему случаются, с какими параметрами конфигурации связаны и что…
Savepoint vs Checkpoint в Apache Flink: сходства и отличия
Автор Анна ВичуговаКатегория Flink, Статьи
Разбираемся с механизмами отказоустойчивости Flink-приложений. Что такое контрольные точки (Checkpoint), чем они отличаются от точек сохранения (Savepoint) и что между ними общего. А также при чем здесь snapshot, что выбирать…
10 важных конфигураций Apache Kafka для практической работы
Автор Анна ВичуговаКатегория Kafka, Статьи
Чтобы сделать наши курсы по Apache Kafka для администраторов кластеров и разработчиков распределенных приложений еще более полезными, сегодня рассмотрим несколько полезных и значимых конфигурационных параметров этой платформы потоковой передачи событий.…
Последний релиз 2021: новинки Apache NiFi 1.15.2
Автор Анна ВичуговаКатегория NiFi, Статьи
Всего через 1,5 месяца после выпуска версии 1.15.0, 22 декабря 2021 года вышел очередной релиз Apache NiFi. Разбираем главные новинки и исправленные баги, а также смотрим, как команда разработчиков решила…
Управление состояниями в Apache Flink: краткий ликбез
Автор Анна ВичуговаКатегория Flink, Статьи
Что такое состояния в приложениях Apache Flink, каких видов они бывают, как ими управлять и зачем это нужно: основы разработки stateful-заданий и API DataStream. Чем состояние с ключом отличается от…
Миллиарды сообщений в секунду: микросервисная ML-система на Apache Kafka и DynamoDB
Автор Анна ВичуговаКатегория Kafka, Use Cases, Статьи
В этой статье разберем кейс бразильской фудтех-компании Ifood по реализации микросервисной ML-системы на Apache Kafka и serverless NoSQL-СУБД DynamoDB с пропускной способностью миллиарды сообщений в секунду. Сложности масштабирования микросервисов и…
