В начале декабря 2021 года мир ИТ взволновала новость о критической уязвимости CVE-2021-44228 в библиотеке Apache Log4j. Разбираемся, что это такое и чем опасно для систем хранения и аналитики больших…
Метка: Elasticsearch
Arenadata LogSearch: российская enterprise-адаптация Elasticsearch
Автор Анна ВичуговаКатегория Use Cases, Статьи
В октябре 2021 года российская компания «Аренадата Софтвер» выпустила новый продукт для аналитики больших данных под брендом Arenadata. Что такое Arenadata LogSearch (ADLS), при чем здесь Elasticsearch и какие потребности…
Масштабируемая индексация Apache HBase почти в реальном времени: кейс Pinterest
Автор Анна ВичуговаКатегория Use Cases, Статьи
Обучая дата-инженеров и разработчиков распределенных приложений для аналитики больших данных, сегодня рассмотрим кейс компании Pinterest по построению масштабируемого решения для индексации записей в Apache HBase. Чем хранилище Ixia отличается от…
Потоковая аналитика больших данных на Flink SQL и Redpanda вместо Apache Spark с Kafka
Автор Анна ВичуговаКатегория Flink, Kafka, Spark, Статьи
В продолжение недавней статьи для дата-инженеров про альтернативные платформы потоковой передачи событий вместо Apache Kafka, сегодня рассмотрим пример аналитики больших данных средствами Flink SQL, записи результатов в Elasticsearch и их…
Кейс потоковой аналитики больших данных с Apache Kafka, Spark (Flink) и BI-системами
Автор Анна ВичуговаКатегория Flink, Greenplum, Kafka, Machine Learning, Spark, Use Cases, Статьи
Сегодня рассмотрим пример построения системы потоковой аналитики больших данных на базе Apache Kafka, Spark, Flink, NoSQL-СУБД, BI-системой Tableau или визуализацией в Kibana. Читайте далее, кому и зачем исследовать Twitter-посты в…
ОЗУ, Kafka и Logstash для решения IOPS-проблемы в кластере Apache NiFi
Автор Анна ВичуговаКатегория Kafka, NiFi, Статьи
В рамках обучения дата-инженеров, сегодня рассмотрим проблему роста числа операций ввода-вывода в секунду (IOPS) при обработке большого количества данных в потоках Apache NiFi и способы ее решения. Читайте далее, как…
Зачем вам Arenadata Platform Security: ТОП-5 преимуществ корпоративного Apache Ranger для безопасности Hadoop-кластера от отечественного разработчика Big Data решений
Автор Анна ВичуговаКатегория Новости, Статьи
В январе 2021 года российский разработчик решений для хранения и аналитики больших данных, компания Arenadata, представила новый продукт в линейке сервисов отечественного дистрибутива Apache Hadoop. Модуль Arenadata Platform Security обеспечивает…
Как читать медицинские снимки с Apache Spark: Big Data библиотека для быстрой обработки DICOM-файлов
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Spark, Use Cases, Статьи
Продвигая наши курсы для разработчиков Spark с примерами реальных систем аналитики больших данных, сегодня рассмотрим библиотеку для чтения файлов формата DICOM от индийской компании Abzooba. Читайте далее, как автоматизировать поиск…
Как подготовить датасет к Machine Learning с PySpark и построить систему потоковой аналитики больших данных на Apache Kafka и ELK: пример прогнозирования CTR
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Spark, Use Cases, Статьи
В продолжение разговора о применении технологий Big Data и Machine Learning в рекламе и маркетинге, сегодня рассмотрим архитектуру системы прогнозирования конверсии рекламных объявлений. Читайте далее, как организовать предиктивную аналитику больших…
Как укротить NiFi: решаем проблемы ввода-вывода
Автор Анна ВичуговаКатегория Kafka, NiFi, Use Cases, Статьи
Apache NiFi – это простая и мощная система для обработки и распределения больших данных в потоковом режиме, которая отлично справляется с огромными объемами и скоростями, оперируя с сотнями гигабайт и…
