ADQM: Эксплуатация Arenadata QuickMarts

Курс «Эксплуатация Arenadata QuickMarts»

Ближайшая дата курса
по запросу
Стоимость обучения 72 000 руб. Регистрация
Длительность обучения 16 ак.часов
Код курса ADQM

Стоимость сертификационного экзамена 9.000 руб.

Практический 2-хдневный курс для аналитиков больших данных, разработчиков Big Data приложений и администраторов кластеров по особенностям эксплуатации кластерной колоночной СУБД Arenadata QuickMarts (ADQM).

Что такое Arenadata QuickMarts и где это используется

Arenadata QuickMarts (ADQM) – это кластерная колоночная СУБД для генерации аналитических отчетов по большим данным в режиме реального времени. Она отлично подходит для OLAP-сценариев, когда данные в основном считываются, а не записываются, транзакции отсутствуют, а результат выполнения SQL-запроса существенно меньше исходных данных. ADQM оптимизирована для хранения информации в колоночных форматах на жестких дисках. Благодаря этому и векторной обработке данных на C++ достигается весьма высокая скорость формирования аналитических отчетов. Это особенно востребовано в следующих прикладных отраслях работы с Big Data:

  • веб-аналитика и контекстная реклама;
  • real time мониторинг бизнес-метрик, например, анализ потребительского поведения на сайте;
  • интерактивное взаимодействие с пользователями, например, онлайн-игры;
  • контроль технических показателей, в т.ч. интернет вещей (Internet of Things).

В основе Arenadata QuickMarts лежит ClickHouse – open-source СУБД от Яндекса, созданная компанией в 2009 году для собственных нужд веб-аналитики в рамках «Яндекс.Метрики». В 2019 году на базе этого продукта отечественный разработчик Apache Hadoop, компания Arenadata, представила свою корпоративную СУБД для быстрой аналитики больших данных. ClickHouse активно используется в сервисах Яндекс (Метрика, Почта, Маркет, Танк), а также во внешних проектах: Bloomberg, ВКонтакте, Rambler, Тинькофф банк, Avito.ru, СМИ2, ivi.ru, Mail.ru и множестве других компаний, которым нужна быстрая аналитика больших объемов структурированных данных.

Аренадата, Arenadata QuickMarts, аналитика больших данных

 

 

Как устроены курсы по Arenadata QuickMarts и ClickHouse в Школе Больших Данных

«Эксплуатация Arenadata QuickMarts» — 2-дневный курс, который даёт необходимые знания для развёртывания и эксплуатации кластера ClickHouse (CH), разработки приложений на основе CH. В курсе детально разбирается архитектура, окружение, управление ADQM, загрузка и выгрузка данных, интеграция с внешними источниками, настройка безопасности и возможности мониторинга.

Курс «Эксплуатация Arenadata QuickMarts» будет полезен аналитикам, системным администраторам, архитекторам, разработчикам, планирующим использовать или уже применяющим в работе продукт Arenadata QuickMarts (ADQM). Акцент при проведении курса будет сделан на разборе практических примеров.

Предварительная подготовка:

  • Базовые знания работы ОС;
  • Знание SQL.

Обучение на курсах Arenadata сделано максимально удобным для заказчиков и включает различные форматы: на территории Заказчика или в учебных классах «Школы Больших Данных» — официального партнёра компании «Аренадата Софтвер». Также возможно проведение занятий дистанционно в онлайн-формате.

Сертификация

Прохождение курса “Эксплуатация Arenadata QuickMarts” подтверждается именным сертификатом. Чтобы получить его, слушателям необходимо успешно сдать экзамен. Пройти его можно и без предварительного обучения при условии уже имеющихся знаний по разработке в Arenadata DB. Подробнее о процедуре сертификации читайте здесь.

По завершении курса и сертификационного тестирования вы получите следующие документы:

 

 

Программа курса «Эксплуатация Arenadata QuickMarts»

1. Обзор архитектуры ADQM

  • Архитектура. Инфраструктура ADQM, Движок MergeTree. Особенности работы ClickHouse. Виды MergeTree движков (AggregatingMergeTree, ReplacingMergeTree, SummingMergeTree)
  • Лабораторная работа

2. Окружение СУБД

  • Утилиты, папки и файлы — что за что отвечает.
  • Лабораторная работа

3. Управление БД

  • Остановка и запуск из ADCM и без него. Проверка статуса инстансов СУБД.
  • Лабораторная работа

4. Загрузка данных

  • Как правильно загружать данные в систему. Способы загрузки данных.
  • Лабораторная работа

5. Выгрузка данных из ClickHouse

  • Выгрузка в разных форматах из ClickHouse.
  • Лабораторная работа

6. Интеграция с внешними источниками

  • Kafka, redis, mongo, mysql, odbc (большие и малые объёмы).
  • Внешние словари.
  • Специальные движки.
  • Лабораторная работа.

7. Пользователи, группы — безопасность

  • Пользователи в clickhouse.
  • Группы и квоты в clickhouse.
  • ClickHouse + baje. Использование прокси-сервера для разграничения доступа.
  • Лабораторная работа

8. Мониторинг

  • Обзор метрик, на какие из них ставить алерты и какие? Строим в Grafana сложные графики.
  • Лабораторная работа

9. Установка из ADCM

  • Процесс развёртывания кластера ADQM с помощью ADCM.
  • Лабораторная работа

10. Обновление из ADCM

  • Обновление существующего кластера.
  • Лабораторная работа

11. Примеры использования в реальных кейсах

  • Пример использования catboost в ClickHouse.
  • Построение модели, применение её в ClickHouse.
  • Лабораторная работа

 

 

Программа курса «Эксплуатация Arenadata QuickMarts»

Скачать программу курса «Эксплуатация Arenadata QuickMarts» в формате pdf

Укажите e-mail, на который будет оправлена ссылка для скачивания файла: