Вчера мы упоминали, что использование Spark или Tez в качестве движка исполнения SQL-запросов в Apache Hive вместо классического Hadoop MapReduce намного ускоряет аналитику больших данных. Сегодня рассмотрим подробнее, чем отличаются…
Метка: NoSQL
Как ускорить SQL-запросы в Apache Hive: ТОП-5 методов оптимизации
Автор Анна ВичуговаКатегория Hive, Статьи
Apache Hive – востребованный инструмент класса SQL-on-Hadoop, который также активно используется в работе с фреймворком Spark. Поэтому сегодня разберем важную тему из обучения дата-инженеров и аналитиков больших данных про оптимизацию…
Почему stateful-приложения Apache Flink падают в AWS: RocksDB и IOPS облачных SSD
Автор Анна ВичуговаКатегория Flink, Use Cases, Статьи
Продолжая разбирать особенности разработки потоковых приложений Apache Flink, сегодня рассмотрим проблему падения пропускной способности задания из-за встроенного хранилища состояний RocksDB и ее зависимость от производительности дисков. Вас ждет настоящая детективная…
RocksDB как хранилище состояний для stateful-приложений Apache Flink
Автор Анна ВичуговаКатегория Flink, Статьи
Мы уже рассказывали, что приложения Kafka Streams используют RocksDB в качестве хранилища состояний. Сегодня рассмотрим, как это key-value NoSQL-СУБД используется для разработки stateful-приложений Apache Flink. Читайте далее о преимуществах и…
Кейс потоковой аналитики больших данных с Apache Kafka, Spark (Flink) и BI-системами
Автор Анна ВичуговаКатегория Flink, Greenplum, Kafka, Machine Learning, Spark, Use Cases, Статьи
Сегодня рассмотрим пример построения системы потоковой аналитики больших данных на базе Apache Kafka, Spark, Flink, NoSQL-СУБД, BI-системой Tableau или визуализацией в Kibana. Читайте далее, кому и зачем исследовать Twitter-посты в…
Как ускорить Greenplum: настраиваем память хостов и сегментов
Автор Анна ВичуговаКатегория Greenplum, Статьи
Продолжая рассказывать про наш новый курс «Greenplum для инженеров данных», сегодня поговорим про особенности конфигурирования памяти в этой MPP-СУБД: разберем, как память хоста распределяется между сегментами и рассмотрим, как администратор…
3 проблемы приложений Apache Kafka Streams из-за RocksDB и способы их решения
Автор Анна ВичуговаКатегория Kafka, Статьи
Вчера мы рассказывали, почему некоторые OOM-ошибки stateful-приложений Kafka Streams могут быть вызваны некорректной работой RocksDB – встроенного key-value NoSQL-хранилище состояний. Сегодня рассмотрим, какие проблемы с дисковыми операциями характерны для этой…
Исправляем OOM-ошибки приложений Apache Kafka Streams через конфигурирование RocksDB
Автор Анна ВичуговаКатегория Kafka, Статьи
Сегодня заглянем под капот stateful-приложений Kafka Streams и рассмотрим, что такое RocksDB, как устроено это key-value NoSQL-хранилище и почему его необходимо настраивать для быстрой и безотказной работы приложений потоковой аналитики…
Большие данные под защитой: лучшие практики cybersecurity в Greenplum
Автор Анна ВичуговаКатегория Greenplum, Use Cases, Статьи
Хотя наш новый курс «Greenplum для инженеров данных» и не предполагает подробное изучение инструментов администрирования кластера этой MPP-СУБД, сегодня мы рассмотрим некоторые из них. Читайте далее про особенности шифрования в…
Масштабируемая видеоаналитика в реальном времени с нейросетями YOLO на Apache Kafka, Spark Structured Streaming и Cassandra
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Spark, Use Cases, Статьи
В рамках обучения аналитиков Big Data и разработчиков Apache Spark и Kafka, сегодня рассмотрим кейс ИТ-компании Southworks по онлайн-обработке потокового видео как наглядный пример эффективного сочетания этих потоковых фреймворков с…
