Что такое функции командной строки в Impala и для чего они нужны

Автор Категория ,
Что такое функции командной строки в Impala и для чего они нужны

В прошлый раз мы говорили про метаданные в Apache Impala. Сегодня поговорим про функции командной строки в Impala. Читайте далее про особенности работы функций командной строки Impala, благодаря которым становится возможным процесс оптимизации обработки Big Data массивов.

Как работают функции командной строки в Impala: особенности оптимизации обработки Big Data

Командная строка Impala (Impala Shell Command) – это модуль для ввода команд с помощью графического интерфейса Impala Cloudera. Основное назначение этой командной строки – это поиск и устранение проблем работы запросов обработки Big Data массивов. Основными функциями командной строки являются следующие:

  • help – команда, которая отвечает за вывод на экран всех информации о всех доступных функциях командной строки (включая табличные функции);
  • version – отвечает за вывод информации об установленной сборке (версии) сервера Impala. Версия командной строки Impala обычно совпадает с версией сборки сервера;
  • history – вывод последних пяти использованных команд (запросов);
  • connect – команда, отвечающая за запуск экземпляра соединения Impala (Impala connection instance);
  • explain – вывод на экран плана выполнения SQL-запроса. Данная команда выполняется с параметром, в качестве которого выступает выполняемый SQL-запрос.

Особенности работы с основными функциями командной строки в Impala: несколько практических примеров

Для того, чтобы начать работу с функциями командной строки Impala (Impala Shell), необходимо ввести команду impala-shell:

[root@quickstart cloudera] # impala-shell

 

курсы etl, big data курсы москва, курсы по kafkasql, курсы по apache spark, курсы по sparksql, курс разработчиков greenplum, обучение arenadata hadoop, курсы администрирования spark, arenadata hadoop, курс hbase
Сообщение об успешном подключении к командной строке Impala

Для того, чтобы вывести информацию о всех доступных командах командной строки (в том числе и табличных), необходимо использовать функцию help:

[quickstart.cloudera:21000] > help;

 

курсы etl, big data курсы москва, курсы по kafkasql, курсы по apache spark, курсы по sparksql, курс разработчиков greenplum, обучение arenadata hadoop, курсы администрирования spark, arenadata hadoop, курс hbase
Все доступные команды командной строки (с учетом установленной версии Impala)

За вывод на экран информации об установленной версии (сборке) Impala-сервера отвечает команда version:

[quickstart.cloudera:21000] > version;

 

курсы etl, big data курсы москва, курсы по kafkasql, курсы по apache spark, курсы по sparksql, курс разработчиков greenplum, обучение arenadata hadoop, курсы администрирования spark, arenadata hadoop, курс hbase
Информация о сборке Impala

Для того, чтобы узнать историю последних запросов, используется shell-команда history:

[quickstart.cloudera:21000] > history;

 

курсы etl, big data курсы москва, курсы по kafkasql, курсы по apache spark, курсы по sparksql, курс разработчиков greenplum, обучение arenadata hadoop, курсы администрирования spark, arenadata hadoop, курс hbase
Последние использованные запросы

Иногда бывает, что при аварийном сбое сервера, необходимо заново установить соединение или запустить еще один экземпляр Impala-соединения (при невозможности переподключения). Для этого используется функция connect:

[quickstart.cloudera:21000] > connect;

 

курсы etl, big data курсы москва, курсы по kafkasql, курсы по apache spark, курсы по sparksql, курс разработчиков greenplum, обучение arenadata hadoop, курсы администрирования spark, arenadata hadoop, курс hbase
Успешное соединение с Impala

Impala также имеет возможность вывода плана выполнения любого запроса (query execution plan), который может включать в себя, например, память, затраченную на выполнение этого запроса или количество партиций, участвующих в запросе. Для вывода плана исполнения используется команда explain, которая в качестве параметра принимает SQL-запрос:

[quickstart.cloudera:21000] > explain select * from sample;

 

курсы etl, big data курсы москва, курсы по kafkasql, курсы по apache spark, курсы по sparksql, курс разработчиков greenplum, обучение arenadata hadoop, курсы администрирования spark, arenadata hadoop, курс hbase
Таблица плана выполнения указанного запроса

Таким образом, функциям командной строки, Impala обеспечивает разработчика информацией, которая может помочь в оптимизации запросов для анализа Big Data массивов. Это делает Apache Impala весьма удобным средством для работы с Big Data.

Hadoop SQL администратор Hive

Код курса
HIVE
Ближайшая дата курса
8 июня, 2022
Длительность обучения
8 ак.часов
Стоимость обучения
20 000 руб.

Больше подробностей про применение Apache Impala в проектах анализа больших данных вы узнаете на практических курсах по Impala в нашем лицензированном учебном центре обучения и повышения квалификации ИТ-специалистов в Москве:

IMPA: CLOUDERA IMPALA DATA ANALYTICS
ADQM: ЭКСПЛУАТАЦИЯ ARENADATA QUICKMARTS
ADBR: Arenadata DB для разработчиков
ADB: Эксплуатация Arenadata DB
HBASE: Администрирование кластера HBase
HIVE: Hadoop SQL администратор Hive
NoSQL: Интеграция Hadoop и NoSQL

Записаться на курс

Смотреть раcписание

Источники

  1. https://data-flair.training/blogs/impala-shell-command/
Leave a reply