В рамках обучения аналитиков Big Data и разработчиков Apache Spark и Kafka, сегодня рассмотрим кейс ИТ-компании Southworks по онлайн-обработке потокового видео как наглядный пример эффективного сочетания этих потоковых фреймворков с…
Метка: NoSQL
Можно ли заменить Apache Kafka базой данных и почему не стоит даже пытаться
Автор Анна ВичуговаКатегория Kafka, Статьи
Однажды мы уже разбирали, способна ли Apache Kafka заменить собой базы данных в мире Big Data. Сегодня рассмотрим обратную постановку этой задачи: можно ли реализовать постоянный обмен сообщениями в стиле…
Заменит ли Apache Kafka прочие СУБД в мире Big Data: за и против
Автор Анна ВичуговаКатегория Kafka, Статьи
В этой статье мы поговорим про возможность нехарактерного использования Apache Kafka: не как распределенной стримминговой платформы или брокера сообщений, а в виде базы данных. Читайте далее, как Apache Kafka дополняет…
Что не так с Delta Lake на Apache Spark: 7 основных проблем и их решения
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
При всех своих достоинствах Delta Lake, включая коммерческую реализацию этой Big Data технологии от Databricks, оно обладает рядом особенностей, которые могут расцениваться как недостатки. Сегодня мы рассмотрим, чего не стоит…
Введение в PySpark
Автор Роман КотюбеевКатегория Spark, Статьи
Python считается из основных языков программирования в областях Data Science и Big Data, поэтому не удивительно, что Apache Spark предлагает интерфейс и для него. Data Scientist’ы, которые знают Python, могут…
Практический пример монетизации Big Data с помощью Elasticsearch и Kibana
Автор Анна ВичуговаКатегория Use Cases, Статьи, Цифровая трансформация
Недавно мы рассказывали, что аналитика больших данных с помощью технологий Big Data – это необязательно удел только крупных корпораций. В этой статье мы рассмотрим реальный бизнес-кейс, как извлечь выгоду из…
Как найти товарные остатки с помощью Big Data и Machine Learning: пример Леруа Мерлен
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Use Cases, Статьи, Цифровая трансформация
Чтобы наглядно показать, как аналитика больших данных и машинное обучение помогают быстро решить актуальные бизнес-проблемы, сегодня мы рассмотрим кейс компании Леруа Мерлен. Читайте в нашей статье про нахождение аномалий в…
3 достоинства и 5 особенностей интеграции Apache Kudu и Spark с примерами
Автор Анна ВичуговаКатегория Cloudera, Spark, Статьи
Недавно мы разбирали особенности интеграции Apache Kudu и Spark. В продолжение этой темы, сегодня поговорим про некоторые особенности выполнения SQL-операций с данными при интеграции этих Big Data фреймворков, а также…
Как организовать конвейер self-service Machine Learning на Apache Kafka, Spark Streaming, Kudu и Impala: пример расширенной BI-аналитики Big Data
Автор Анна ВичуговаКатегория Cloudera, Kafka, Machine Learning, Spark, Use Cases, Статьи
Продолжая разбирать production-кейсы реального использования этих технологий Big Data, сегодня поговорим подробнее, каковы плюсы совместного применения Kudu, Spark Streaming, Kafka и Cloudera Impala на примере аналитической платформы для мониторинга событий…
Как сократить цикл BI-аналитики Big Data в тысячи раз или ETL-конвейер Apache Kafka-Storm-Kudu-Impala в Xiaomi
Автор Анна ВичуговаКатегория Cloudera, Hive, Kafka, Spark, Use Cases, Статьи
Сегодня мы рассмотрим практический кейс использования Apache Kudu с Kafka, Storm и Cloudera Impala в крупной китайской корпорации, которая производит смартфоны. На базе этих Big Data технологий компания Xiaomi построила…
