ADQM: Эксплуатация Arenadata QuickMarts

Курс «Эксплуатация Arenadata QuickMarts»

Курс «Эксплуатация Arenadata QuickMarts»

 

Ближайшая дата курса по эксплуатации Arenadata QuickMarts 16-17 марта
   
Стоимость обучения 144.000 рублей
Стоимость сертификационного экзамена  9.000 рублей

Регистрация  Практический 2-хдневный курс для аналитиков больших данных, разработчиков Big Data приложений и администраторов кластеров по особенностям эксплуатации кластерной колоночной СУБД Arenadata QuickMarts (ADQM).

Что такое Arenadata QuickMarts и где это используется

Arenadata QuickMarts (ADQM) – это кластерная колоночная СУБД для генерации аналитических отчетов по большим данным в режиме реального времени. Она отлично подходит для OLAP-сценариев, когда данные в основном считываются, а не записываются, транзакции отсутствуют, а результат выполнения SQL-запроса существенно меньше исходных данных. ADQM оптимизирована для хранения информации в колоночных форматах на жестких дисках. Благодаря этому и векторной обработке данных на C++ достигается весьма высокая скорость формирования аналитических отчетов. Это особенно востребовано в следующих прикладных отраслях работы с Big Data:

  • веб-аналитика и контекстная реклама;
  • real time мониторинг бизнес-метрик, например, анализ потребительского поведения на сайте;
  • интерактивное взаимодействие с пользователями, например, онлайн-игры;
  • контроль технических показателей, в т.ч. интернет вещей (Internet of Things).

В основе Arenadata QuickMarts лежит ClickHouse – open-source СУБД от Яндекса, созданная компанией в 2009 году для собственных нужд веб-аналитики в рамках «Яндекс.Метрики». В 2019 году на базе этого продукта отечественный разработчик Apache Hadoop, компания Arenadata, представила свою корпоративную СУБД для быстрой аналитики больших данных. ClickHouse активно используется в сервисах Яндекс (Метрика, Почта, Маркет, Танк), а также во внешних проектах: Bloomberg, ВКонтакте, Rambler, Тинькофф банк, Avito.ru, СМИ2, ivi.ru, Mail.ru и множестве других компаний, которым нужна быстрая аналитика больших объемов структурированных данных.

Аренадата, Arenadata QuickMarts, аналитика больших данных

Подробности

Как устроены курсы по Arenadata QuickMarts и ClickHouse в Школе Больших Данных

«Эксплуатация Arenadata QuickMarts» — 2-дневный курс, который даёт необходимые знания для развёртывания и эксплуатации кластера ClickHouse (CH), разработки приложений на основе CH. В курсе детально разбирается архитектура, окружение, управление ADQM, загрузка и выгрузка данных, интеграция с внешними источниками, настройка безопасности и возможности мониторинга. 

Курс «Эксплуатация Arenadata QuickMarts» будет полезен аналитикам, системным администраторам, архитекторам, разработчикам, планирующим использовать или уже применяющим в работе продукт Arenadata QuickMarts (ADQM). Акцент при проведении курса будет сделан на разборе практических примеров. 

Предварительная подготовка: 

  • Базовые знания работы ОС; 
  • Знание SQL.

Обучение на курсах Arenadata сделано максимально удобным для заказчиков и включает различные форматы: на территории Заказчика или в учебных классах «Школы Больших Данных» — официального партнёра компании «Аренадата Софтвер». Также возможно проведение занятий дистанционно в онлайн-формате.  

Сертификация

Прохождение курса «Эксплуатация Arenadata QuickMarts» подтверждается именным сертификатом. Чтобы получить его, слушателям необходимо успешно сдать экзамен. Пройти его можно и без предварительного обучения при условии уже имеющихся знаний по разработке в Arenadata DB. Подробнее о процедуре сертификации читайте здесь. 

По завершении курса и сертификационного тестирования вы получите следующие документы:

Узнать больше

Программа курса «Эксплуатация Arenadata QuickMarts»

День 1:

Обзор архитектуры ADQM

  • Архитектура. Инфраструктура ADQM, Движок MergeTree. Особенности работы ClickHouse. Виды MergeTree движков (AggregatingMergeTree, ReplacingMergeTree, SummingMergeTree)
  • Лабораторная работа

Окружение СУБД

  • Утилиты, папки и файлы — что за что отвечает.
  • Лабораторная работа

Управление БД

  • Остановка и запуск из ADCM и без него. Проверка статуса инстансов СУБД.
  • Лабораторная работа

Загрузка данных

  • Как правильно загружать данные в систему. Способы загрузки данных.
  • Лабораторная работа

Выгрузка данных из ClickHouse

  • Выгрузка в разных форматах из ClickHouse.
  • Лабораторная работа

День 2:

Интеграция с внешними источниками

  • Kafka, redis, mongo, mysql, odbc (большие и малые объёмы).
  • Внешние словари.
  • Специальные движки.
  • Лабораторная работа.

Пользователи, группы — безопасность

  • Пользователи в clickhouse.
  • Группы и квоты в clickhouse.
  • ClickHouse + baje. Использование прокси-сервера для разграничения доступа.
  • Лабораторная работа

Мониторинг

  • Обзор метрик, на какие из них ставить алерты и какие? Строим в Grafana сложные графики.
  • Лабораторная работа

Установка из ADCM

  • Процесс развёртывания кластера ADQM с помощью ADCM.
  • Лабораторная работа

Обновление из ADCM

  • Обновление существующего кластера.
  • Лабораторная работа

Примеры использования в реальных кейсах

  • Пример использования catboost в ClickHouse.
  • Построение модели, применение её в ClickHouse.
  • Лабораторная работа

 

Записаться на курс

Ещё материалы по этой теме: