Мы уже писали про динамическое изменение правил фильтрации без перезапуска Flink-приложений. В продолжение этой темы в рамках продвижения нашего нового курса по потоковой обработке данных помощью Apache Flink, сегодня рассмотрим,…
Метка: Flink
Feature Store на Apache HBase с Phoenix, RonDB и Kafka: кейс Dream11
Автор Анна ВичуговаКатегория Machine Learning, Статьи
Современные ML-системы представляют собой сложные комплексные платформы из множества компонентов, одним из которых является хранилище фичей для моделей машинного обучения. Индийская gamedev-компания Dream11 делится своим опытом, как построить такое Feature…
Обнаружение мошенничества при скимминге банковских карт c Apache Kafka, Flink и HBase
Автор Анна ВичуговаКатегория Flink, HBase, Kafka, Статьи
Пример выявления финансового мошенничества при скимминге банковских карт в банкоматах с помощью технологий Big Data. Как Apache Kafka, Flink и HBase помогут обнаружить злоумышленников в режиме реального времени. Что такое…
2 подхода к динамической фильтрации потоковых данных в Apache Flink
Автор Анна ВичуговаКатегория Flink, Статьи
Как изменять правила фильтрации данных без перезапуска потокового Flink-приложения: практический пример для разработчиков и дата-инженеров. Чем подход с ключами состояний отличается от широковещательных соединений, каковы достоинства и недостатки этих альтернатив.…
Практический MLOps: 4 стратегии развертывания систем Machine Learning
Автор Анна ВичуговаКатегория Machine Learning, Статьи
Сегодня рассмотрим наиболее распространенные в MLOps стратегии развертывания, т.е. подходы к внедрению моделей машинного обучения в производство. Выбор стратегии зависит от бизнес-требований и от контекста применения результатов ML-моделирования. Какие бывают…
Потоковая аналитика пользовательских сеансов с Apache Flink на примере Wynk
Автор Анна ВичуговаКатегория Flink, Статьи
В этой статье для инженеров данных и разработчиков Hadoop-приложений рассмотрим опыт индийской компании Wynk по применению Apache Flink в качестве средства потоковой аналитики больших данных пользовательского поведения в мобильных приложениях…
Лямбда-архитектура IoT-системы на Apache Kafka, Flink и Cassandra
Автор Анна ВичуговаКатегория Flink, Internet of Things, Статьи
Добавляя в наши курсы для дата-инженеров интересные кейсы, сегодня рассмотрим, как реализовать Лямбда-архитектуру для комплексной аналитики больших данных с помощью Apache Flink, Kafka и Cassandra на примере системы интернета вещей.…
Автоматическая диагностика и исправление сбоев в платформе данных Netflix c Apache Spark, Kafka, Flink и другими технологиями Big Data
Автор Анна ВичуговаКатегория Flink, Kafka, Spark, Статьи
Чтобы сделать наши курсы для дата-инженеров еще более интересными, сегодня рассмотрим практический пример построения инфраструктуры для автоматической диагностики и исправления ошибок пакетной и потоковой обработки данных в Netflix. Комплексная система…
Потоковый веб-парсинг на Apache Flink + RabbitMQ: кейс от дата-инженеров FiscalNote
Автор Анна ВичуговаКатегория Flink, Статьи
В этой статье для дата-инженеров и разработчиков распределенных приложений разберем кейс американской ИТ-компании FiscalNote, которая использует Apache Flink в качестве движка потоковой обработки информации со сторонних веб-сайтов. Трудности сериализации сообщений…
Savepoint vs Checkpoint в Apache Flink: сходства и отличия
Автор Анна ВичуговаКатегория Flink, Статьи
Разбираемся с механизмами отказоустойчивости Flink-приложений. Что такое контрольные точки (Checkpoint), чем они отличаются от точек сохранения (Savepoint) и что между ними общего. А также при чем здесь snapshot, что выбирать…
