Для дата-инженеров и аналитиков про манипулирование данными в Apache Hadoop HDFS средствами SQL-запросов с помощью удобных инструментов. Apache Phoenix для обращения к таблицам NoSQL-хранилища HBase через SQL-запросы из графического интерфейса…
Метка: HBase
Сложности перехода: миграция из Apache HBase в Google BigTable – кейс компании Box
Автор Анна ВичуговаКатегория Use Cases, Статьи
Недавно мы писали про пользу snapshot’ов Apache HBase на примере компании Vimeo. Сегодня рассмотрим кейс корпорации Box, которая специализируется на облачных enterprise-продуктах совместного управления контентом и файлами. Переход от локальной…
Размер имеет значение: Spark и Phoenix для больших запросов в Apache HBase
Автор Анна ВичуговаКатегория Spark, Статьи
Добавляя новые интересные примеры в наши курсы для дата-аналитиков, разработчиков распределенных приложений и администраторов SQL-on-Hadoop, сегодня рассмотрим опыт видеоаналитики в компании Vimeo с использованием Apache Spark. Как быстро запросить множество…
Инкрементное резервное копирование таблиц HBase и аварийное восстановление с AWS S3
Автор Анна ВичуговаКатегория Use Cases, Статьи
В статье для дата-инженеров и администраторов Apache Hadoop разберем, как реализовать инкрементное резервное копирование таблиц HBase из кластеров CDH/CDP в облачное объектное хранилище AWS S3. Практический пример от международной ИТ-компании…
Масштабируемая индексация Apache HBase почти в реальном времени: кейс Pinterest
Автор Анна ВичуговаКатегория Use Cases, Статьи
Обучая дата-инженеров и разработчиков распределенных приложений для аналитики больших данных, сегодня рассмотрим кейс компании Pinterest по построению масштабируемого решения для индексации записей в Apache HBase. Чем хранилище Ixia отличается от…
От JDBC-подключения до SQL-запросов: пара примеров по Apache Hive, HBase и Spark
Автор Анна ВичуговаКатегория Hive, Статьи
В рамках курсов по Apache Hadoop для дата-аналитиков и инженеров данных сегодня рассмотрим пару практических примеров работы с популярным SQL-on-Hadoop инструментом этой экосистемы. Читайте далее, как настроить соединение удаленного сервера…
Как перейти к Apache NiFi от Storm: пара практических кейсов
Автор Анна ВичуговаКатегория NiFi, Статьи
Apache Storm обычно сравнивают со другими популярными фреймворками потоковой аналитики больших данных: Spark и Flink. Однако для несложной обработки событий дата-инженер может заменить эти платформы более легким инструментом маршрутизации потоковых…
Новый релиз Apache Hadoop 3.3.1: ТОП-15 обновлений
Автор Анна ВичуговаКатегория Новости, Статьи
Постоянно обновляя наши курсы по Apache Hadoop для администраторов кластеров и инженеров данных, сегодня рассмотрим главные новинки июньского релиза 2021. Читайте далее, как поддержка Erasure Coding сэкономит место в HDFS,…
3 задания по Apache Hadoop для чайников: развлекательная проверка знаний
Автор Анна ВичуговаКатегория Hive, Spark, Тесты
Сегодня в качестве пятничного развлечения для дата-инженеров, разработчиков распределенных приложений, администраторов, аналитиков и других специалистов по большим данным мы приготовили небольшой квиз по Apache Hadoop. Проверьте свое знание главной технологии…
Как спроектировать идеальный Big Data Pipeline: 5 главных качеств конвейера обработки больших данных с примерами
Автор Анна ВичуговаКатегория Hive, Spark, Use Cases, Статьи
В этой статье разберем ключевые характеристики идеального конвейера обработки больших данных. Читайте далее, чем отличается Big Data Pipeline, а также какие приемы и технологии помогут инженеру данных спроектировать и реализовать…
