Курс «Эксплуатация Arenadata QuickMarts»
| Ближайшая дата курса | 16 — 17 марта | |
| Стоимость обучения | 72.000 руб. | Регистрация |
| Стоимость сертификационного экзамена | 9.000 руб. | Регистрация |
| Код курса | ADQM | |
Практический 2-хдневный курс для аналитиков больших данных, разработчиков Big Data приложений и администраторов кластеров по особенностям эксплуатации кластерной колоночной СУБД Arenadata QuickMarts (ADQM).
Что такое Arenadata QuickMarts и где это используется
Arenadata QuickMarts (ADQM) – это кластерная колоночная СУБД для генерации аналитических отчетов по большим данным в режиме реального времени. Она отлично подходит для OLAP-сценариев, когда данные в основном считываются, а не записываются, транзакции отсутствуют, а результат выполнения SQL-запроса существенно меньше исходных данных. ADQM оптимизирована для хранения информации в колоночных форматах на жестких дисках. Благодаря этому и векторной обработке данных на C++ достигается весьма высокая скорость формирования аналитических отчетов. Это особенно востребовано в следующих прикладных отраслях работы с Big Data:
- веб-аналитика и контекстная реклама;
- real time мониторинг бизнес-метрик, например, анализ потребительского поведения на сайте;
- интерактивное взаимодействие с пользователями, например, онлайн-игры;
- контроль технических показателей, в т.ч. интернет вещей (Internet of Things).
В основе Arenadata QuickMarts лежит ClickHouse – open-source СУБД от Яндекса, созданная компанией в 2009 году для собственных нужд веб-аналитики в рамках «Яндекс.Метрики». В 2019 году на базе этого продукта отечественный разработчик Apache Hadoop, компания Arenadata, представила свою корпоративную СУБД для быстрой аналитики больших данных. ClickHouse активно используется в сервисах Яндекс (Метрика, Почта, Маркет, Танк), а также во внешних проектах: Bloomberg, ВКонтакте, Rambler, Тинькофф банк, Avito.ru, СМИ2, ivi.ru, Mail.ru и множестве других компаний, которым нужна быстрая аналитика больших объемов структурированных данных.
Как устроены курсы по Arenadata QuickMarts и ClickHouse в Школе Больших Данных
«Эксплуатация Arenadata QuickMarts» — 2-дневный курс, который даёт необходимые знания для развёртывания и эксплуатации кластера ClickHouse (CH), разработки приложений на основе CH. В курсе детально разбирается архитектура, окружение, управление ADQM, загрузка и выгрузка данных, интеграция с внешними источниками, настройка безопасности и возможности мониторинга.
Курс «Эксплуатация Arenadata QuickMarts» будет полезен аналитикам, системным администраторам, архитекторам, разработчикам, планирующим использовать или уже применяющим в работе продукт Arenadata QuickMarts (ADQM). Акцент при проведении курса будет сделан на разборе практических примеров.
Предварительная подготовка:
- Базовые знания работы ОС;
- Знание SQL.
Обучение на курсах Arenadata сделано максимально удобным для заказчиков и включает различные форматы: на территории Заказчика или в учебных классах «Школы Больших Данных» — официального партнёра компании «Аренадата Софтвер». Также возможно проведение занятий дистанционно в онлайн-формате.
Сертификация
Прохождение курса «Эксплуатация Arenadata QuickMarts» подтверждается именным сертификатом. Чтобы получить его, слушателям необходимо успешно сдать экзамен. Пройти его можно и без предварительного обучения при условии уже имеющихся знаний по разработке в Arenadata DB. Подробнее о процедуре сертификации читайте здесь.
По завершении курса и сертификационного тестирования вы получите следующие документы:
-
сертификат компании Arenadata, подтверждающий знание программных продуктов Arenadata в соответствии с требованиями вендора;
-
сертификат нашего учебного центра «Школа Больших Данных».
Программа курса «Эксплуатация Arenadata QuickMarts»
День 1:
Обзор архитектуры ADQM
- Архитектура. Инфраструктура ADQM, Движок MergeTree. Особенности работы ClickHouse. Виды MergeTree движков (AggregatingMergeTree, ReplacingMergeTree, SummingMergeTree)
- Лабораторная работа
Окружение СУБД
- Утилиты, папки и файлы — что за что отвечает.
- Лабораторная работа
Управление БД
- Остановка и запуск из ADCM и без него. Проверка статуса инстансов СУБД.
- Лабораторная работа
Загрузка данных
- Как правильно загружать данные в систему. Способы загрузки данных.
- Лабораторная работа
Выгрузка данных из ClickHouse
- Выгрузка в разных форматах из ClickHouse.
- Лабораторная работа
День 2:
Интеграция с внешними источниками
- Kafka, redis, mongo, mysql, odbc (большие и малые объёмы).
- Внешние словари.
- Специальные движки.
- Лабораторная работа.
Пользователи, группы — безопасность
- Пользователи в clickhouse.
- Группы и квоты в clickhouse.
- ClickHouse + baje. Использование прокси-сервера для разграничения доступа.
- Лабораторная работа
Мониторинг
- Обзор метрик, на какие из них ставить алерты и какие? Строим в Grafana сложные графики.
- Лабораторная работа
Установка из ADCM
- Процесс развёртывания кластера ADQM с помощью ADCM.
- Лабораторная работа
Обновление из ADCM
- Обновление существующего кластера.
- Лабораторная работа
Примеры использования в реальных кейсах
- Пример использования catboost в ClickHouse.
- Построение модели, применение её в ClickHouse.
- Лабораторная работа
