Сегодня в рамках продвижения нашего курса по графовой аналитике больших данных в бизнес-приложениях, рассмотрим новый инструмент популярной графовой СУБД Neo4j для загрузки данных – Data Importer. Что это такое, как…
Метка: NoSQL
5 способов организации ETL-процессов с Greenplum: команды и утилиты
Автор Анна ВичуговаКатегория Greenplum, Статьи
Мы уже рассматривали, как загрузить в Greenplum большие объемы данных. В продолжение этой важной для обучения дата-инженеров темы, сегодня разберем еще несколько инструментов, решающих задачу организации ETL-процессов с этой MPP-СУБД.…
Feature Store на Apache HBase с Phoenix, RonDB и Kafka: кейс Dream11
Автор Анна ВичуговаКатегория Machine Learning, Статьи
Современные ML-системы представляют собой сложные комплексные платформы из множества компонентов, одним из которых является хранилище фичей для моделей машинного обучения. Индийская gamedev-компания Dream11 делится своим опытом, как построить такое Feature…
Анализ европейской газотранспортной системы с Neo4j
Автор Анна ВичуговаКатегория Neo4j, Статьи
В рамках практического обучения аналитиков данных и специалистов по Data Science реальным задачам современных бизнес-приложений, сегодня разберем актуальную и острую для многих стран тему по промышленному использованию природных ресурсов в…
Интеграция Apache NiFi и Hive в ETL-конвейере
Автор Анна ВичуговаКатегория Hive, NiFi, Статьи
В этой статье для дата-инженеров рассмотрим пример интеграции Apache NiFi c Hive в рамках ETL-конвейера потокового веб-скрейпинга, который будет получать данные с веб-страницы практически без кода, обрабатывать их и загружать…
Как повысить эффективность кластера Apache HBase: YCSB-тестирование региональных серверов
Автор Анна ВичуговаКатегория HBase, Статьи
Сегодня затронем тему администрирования кластеров Apache HBase и рассмотрим, приносит ли реальную пользу совместное размещение нескольких региональных серверов (RegionServer) на одном узле кластера. Сравнительный анализ по тестам YCSB-бенчмарка. Регионы и…
Neo4j на страже закона: кейс поиска рецидивистов
Автор Анна ВичуговаКатегория Machine Learning, Neo4j, Use Cases, Статьи
Как быстро и эффективно с помощью Neo4j выявить преступников, незаконно ввозящих в страну контрафактные товары. Почему графовая СУБД Neo4j обошла документо-ориентированную MongoDB, из чего состоит алгоритм поиска рецидивистов средствами технологий…
Как связать Greenplum и Hadoop: интеграция c PXF
Автор Анна ВичуговаКатегория Greenplum, Hive, Статьи
В этой статье для дата-инженеров и администраторов кластера рассмотрим, как считать данные из распределенной файловой системы Apache Hadoop в MPP-СУБД Greenplum. Архитектура и принцип работы PXF-коннектора к HDFS с примерами…
Побег от Cassandra в AWS S3 c Apache Spark: кейс сервиса Strava
Автор Анна ВичуговаКатегория NoSql, Spark, Статьи
В этой статье для дата-инженеров и разработчиков распределенных приложений потоковой аналитики больших данных разберем пример перевода сервиса Strava с кластера Cassandra в облачное хранилище AWS S3 и какую роль в…
Не только MSCK REPAIR TABLE: добавляем разделы в хранилище метаданных Hive с оператором AirFlow и Apache Spark
Автор Анна ВичуговаКатегория Hive, NoSql, Статьи
Что такое MSCK REPAIR TABLE в Apache Hive, зачем нужна эта команда, ее достоинства и недостатки, а также альтернативные варианты для задач пакетной дата-инженерии. Разбираем на примере конвейера обработки данных в…
