В недавней статье про преимущества хранилища метаданных Apache Hive и другие плюсы этого популярного инструмента SQL-on-Hadoop, мы упоминали формат открытых таблиц Iceberg как альтернативу для хранения огромных наборов аналитических данных.…
Метка: NoSQL
Перспективы Apache Hive: развитие или забвение?
Автор Анна ВичуговаКатегория Hive, Статьи
Появившись более 10 лет назад, Apache Hive до сих пор является самым популярным инструментом стека SQL-on-Hadoop и активно используется для аналитики больших данных. Однако, технологии Big Data постоянно развиваются: Spark…
Еще пара примеров по Apache Hive и Spark: безопасный доступ и реализация SCD
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
В этой статье для разработчиков распределенных приложений Apache Spark, администраторов SQL-on-Hadoop и дата-аналитиков рассмотрим особенности аутентификации удаленного пользователя, а также отслеживание измененных данных в таблицах Apache Hive. Читайте далее, зачем…
От JDBC-подключения до SQL-запросов: пара примеров по Apache Hive, HBase и Spark
Автор Анна ВичуговаКатегория Hive, Статьи
В рамках курсов по Apache Hadoop для дата-аналитиков и инженеров данных сегодня рассмотрим пару практических примеров работы с популярным SQL-on-Hadoop инструментом этой экосистемы. Читайте далее, как настроить соединение удаленного сервера…
Зачем вам Beekeeper или как очистить метаданные таблицы Apache Hive
Автор Анна ВичуговаКатегория Hive, Статьи
Сегодня рассмотрим, что такое Beekeeper и как этот сервис помогает администраторам Hadoop и пользователям Apache Hive очищать метаданные этого NoSQL-хранилища. Читайте далее, зачем удалять устаревшие пути из Metastore и как…
Greenplum vs PostgreSQL: 7 сходств и 3 отличия
Автор Анна ВичуговаКатегория Greenplum, Статьи
Поскольку Greenplum и Arenadata DB основаны на популярной open-source СУБД PostgreSQL, сегодня разберем, чем они отличаются от этой объектно-реляционной базы данных. Далее вас ждет краткий и понятный ответ на вопрос…
Зачем Apache Hive внешняя база данных для MetaStore: смотрим на примере Arenadata Hadoop 2.1.4 со Spark 3
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
В июле 2021 года «Аренадата Софтвер», российская ИТ-компания разработчик отечественных решений для хранения и аналитики больших данных, представила минорный релиз корпоративного дистрибутива на базе Apache Hadoop — Arenadata Hadoop 2.1.4.…
Tez vs Spark: что выбрать для Apache Hive
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
Вчера мы упоминали, что использование Spark или Tez в качестве движка исполнения SQL-запросов в Apache Hive вместо классического Hadoop MapReduce намного ускоряет аналитику больших данных. Сегодня рассмотрим подробнее, чем отличаются…
Как ускорить SQL-запросы в Apache Hive: ТОП-5 методов оптимизации
Автор Анна ВичуговаКатегория Hive, Статьи
Apache Hive – востребованный инструмент класса SQL-on-Hadoop, который также активно используется в работе с фреймворком Spark. Поэтому сегодня разберем важную тему из обучения дата-инженеров и аналитиков больших данных про оптимизацию…
Почему stateful-приложения Apache Flink падают в AWS: RocksDB и IOPS облачных SSD
Автор Анна ВичуговаКатегория Flink, Use Cases, Статьи
Продолжая разбирать особенности разработки потоковых приложений Apache Flink, сегодня рассмотрим проблему падения пропускной способности задания из-за встроенного хранилища состояний RocksDB и ее зависимость от производительности дисков. Вас ждет настоящая детективная…
