Мы уже писали про динамическое изменение правил фильтрации без перезапуска Flink-приложений. В продолжение этой темы в рамках продвижения нашего нового курса по потоковой обработке данных помощью Apache Flink, сегодня рассмотрим,…
Рубрика: Flink
Обнаружение мошенничества при скимминге банковских карт c Apache Kafka, Flink и HBase
Автор Анна ВичуговаКатегория Flink, HBase, Kafka, Статьи
Пример выявления финансового мошенничества при скимминге банковских карт в банкоматах с помощью технологий Big Data. Как Apache Kafka, Flink и HBase помогут обнаружить злоумышленников в режиме реального времени. Что такое…
2 подхода к динамической фильтрации потоковых данных в Apache Flink
Автор Анна ВичуговаКатегория Flink, Статьи
Как изменять правила фильтрации данных без перезапуска потокового Flink-приложения: практический пример для разработчиков и дата-инженеров. Чем подход с ключами состояний отличается от широковещательных соединений, каковы достоинства и недостатки этих альтернатив.…
Потоковая аналитика пользовательских сеансов с Apache Flink на примере Wynk
Автор Анна ВичуговаКатегория Flink, Статьи
В этой статье для инженеров данных и разработчиков Hadoop-приложений рассмотрим опыт индийской компании Wynk по применению Apache Flink в качестве средства потоковой аналитики больших данных пользовательского поведения в мобильных приложениях…
Лямбда-архитектура IoT-системы на Apache Kafka, Flink и Cassandra
Автор Анна ВичуговаКатегория Flink, Internet of Things, Статьи
Добавляя в наши курсы для дата-инженеров интересные кейсы, сегодня рассмотрим, как реализовать Лямбда-архитектуру для комплексной аналитики больших данных с помощью Apache Flink, Kafka и Cassandra на примере системы интернета вещей.…
Автоматическая диагностика и исправление сбоев в платформе данных Netflix c Apache Spark, Kafka, Flink и другими технологиями Big Data
Автор Анна ВичуговаКатегория Flink, Kafka, Spark, Статьи
Чтобы сделать наши курсы для дата-инженеров еще более интересными, сегодня рассмотрим практический пример построения инфраструктуры для автоматической диагностики и исправления ошибок пакетной и потоковой обработки данных в Netflix. Комплексная система…
Потоковый веб-парсинг на Apache Flink + RabbitMQ: кейс от дата-инженеров FiscalNote
Автор Анна ВичуговаКатегория Flink, Статьи
В этой статье для дата-инженеров и разработчиков распределенных приложений разберем кейс американской ИТ-компании FiscalNote, которая использует Apache Flink в качестве движка потоковой обработки информации со сторонних веб-сайтов. Трудности сериализации сообщений…
Savepoint vs Checkpoint в Apache Flink: сходства и отличия
Автор Анна ВичуговаКатегория Flink, Статьи
Разбираемся с механизмами отказоустойчивости Flink-приложений. Что такое контрольные точки (Checkpoint), чем они отличаются от точек сохранения (Savepoint) и что между ними общего. А также при чем здесь snapshot, что выбирать…
Управление состояниями в Apache Flink: краткий ликбез
Автор Анна ВичуговаКатегория Flink, Статьи
Что такое состояния в приложениях Apache Flink, каких видов они бывают, как ими управлять и зачем это нужно: основы разработки stateful-заданий и API DataStream. Чем состояние с ключом отличается от…
Дыра в Apache Log4j: опасность для Hadoop, Spark, Kafka, Neo4j и других технологий Big Data
Автор Анна ВичуговаКатегория Flink, Greenplum, Hive, Kafka, Neo4j, Spark, Статьи
В начале декабря 2021 года мир ИТ взволновала новость о критической уязвимости CVE-2021-44228 в библиотеке Apache Log4j. Разбираемся, что это такое и чем опасно для систем хранения и аналитики больших…
