Сегодня затронем тему администрирования кластеров Apache HBase и рассмотрим, приносит ли реальную пользу совместное размещение нескольких региональных серверов (RegionServer) на одном узле кластера. Сравнительный анализ по тестам YCSB-бенчмарка. Регионы и…
Рубрика: HBase
Обнаружение мошенничества при скимминге банковских карт c Apache Kafka, Flink и HBase
Автор Анна ВичуговаКатегория Flink, HBase, Kafka, СтатьиПример выявления финансового мошенничества при скимминге банковских карт в банкоматах с помощью технологий Big Data. Как Apache Kafka, Flink и HBase помогут обнаружить злоумышленников в режиме реального времени. Что такое…
Cloudera Operational Database: комплексная платформа данных на Apache HBase и Phoenix
Автор Анна ВичуговаКатегория HBase, NoSql, СтатьиВ этой статье для дата-инженеров и администраторов SQL-on-Hadoop рассмотрим, что такое Cloudera Data Platform Operational Database, как это связано с Apache HBase и Phoenix. Также разберем, каким образом перенести данные…
Как реализовать строгую согласованность вторичных глобальных индексов таблиц HBase и с Phoenix: кейс Salesforce
Автор Анна ВичуговаКатегория HBase, СтатьиНедавно на примере ИТ-компании Salesforce мы рассказывали про вторичную индексацию таблиц Apache HBase с помощью Phoenix – средства обращения к NoSQL-хранилищу через SQL-запросы. В продолжение этого кейса, сегодня рассмотрим, как…
Современная инженерия данных: от Data Lake к облачной Лямбда
Автор Анна ВичуговаКатегория AirFlow, HBase, Kafka, Spark, Use Cases, СтатьиСегодня обсудим ключевые тренды развития дата-инженерии и инструментальные средства их реализации. Как это применяется на практике, рассмотрим на примере эволюции хранилища данных в индонезийской ИТ-компании Bukalapak, от локального кластера Apache…
Сложности индексации таблиц Apache HBase и способы их обхода с Phoenix
Автор Анна ВичуговаКатегория HBase, СтатьиВ Apache HBase индексация таблиц возможна только по одному полю. Обойти это ограничение позволяет Apache Phoenix – инструмент обращения к NoSQL-хранилищу средствами SQL-запросов. В этой статье для дата-инженеров, архитекторов ИТ-решений…
SQL-запросы к Apache HBase через Phoenix с HUE
Автор Анна ВичуговаКатегория HBase, Hive, СтатьиДля дата-инженеров и аналитиков про манипулирование данными в Apache Hadoop HDFS средствами SQL-запросов с помощью удобных инструментов. Apache Phoenix для обращения к таблицам NoSQL-хранилища HBase через SQL-запросы из графического интерфейса…
Сложности перехода: миграция из Apache HBase в Google BigTable – кейс компании Box
Автор Анна ВичуговаКатегория HBase, Use Cases, СтатьиНедавно мы писали про пользу snapshot’ов Apache HBase на примере компании Vimeo. Сегодня рассмотрим кейс корпорации Box, которая специализируется на облачных enterprise-продуктах совместного управления контентом и файлами. Переход от локальной…
Инкрементное резервное копирование таблиц HBase и аварийное восстановление с AWS S3
Автор Анна ВичуговаКатегория HBase, СтатьиВ статье для дата-инженеров и администраторов Apache Hadoop разберем, как реализовать инкрементное резервное копирование таблиц HBase из кластеров CDH/CDP в облачное объектное хранилище AWS S3. Практический пример от международной ИТ-компании…
Масштабируемая индексация Apache HBase почти в реальном времени: кейс Pinterest
Автор Анна ВичуговаКатегория HBase, Use Cases, СтатьиОбучая дата-инженеров и разработчиков распределенных приложений для аналитики больших данных, сегодня рассмотрим кейс компании Pinterest по построению масштабируемого решения для индексации записей в Apache HBase. Чем хранилище Ixia отличается от…