
Курс «Arenadata DB для разработчиков»
Ближайшая дата курса | 18 мая 2021 |
|
Стоимость обучения | 144.000 руб. | Регистрация |
Стоимость сертификационного экзамена | 9.000 руб. | |
Код курса | ADBR |
Интенсивный 4-дневный курс для разработчиков Big Data по эффективной и безопасной эксплуатации ADB в продуктовых средах, развертыванию схем и таблиц, написанию процедур, постройке витрин данных, процедурам загрузки, обработки и выгрузки данных, настройках безопасности и дополнительных расширениях.
Что такое Arenadata DB
Arenadata DB (ADB) – это российский Big Data продукт, распределенная масштабируемая отказоустойчивая СУБД на базе аналитической массивно-параллельной системы с открытым исходным кодом Greenplum, адаптированная для корпоративного использования и зарегистрированная в государственном реестре РФ программ для ЭВМ.
Arenadata DB обеспечивает надежное безопасное хранение и аналитическую обработку больших объемов (до сотен терабайт) структурированных и слабоструктурированных данных для решения различных бизнес-задач, от предиктивной аналитики, регулярной отчетности и анализа оттока клиентов до построения корпоративных хранилищ данных.
На практике Arenadata DB используется в ритейле, телекоммуникационных компаниях, государственных предприятиях и других секторах экономики для организации витрин данных и быстрой аналитики Big Data с генерацией сложных отчетов в режиме near real-time.
Arenadata DB зарегистрирована в Едином реестре российских программ, соответствует политике импортозамещения и может использоваться в проектах цифровизации государственных организаций и частных компаний России.
Кому нужны курсы по Arenadata DB
Авторизованные курсы Arenadata в Школе Больших Данных по Arenadata DB ориентированы на следующие категории ИТ-специалистов:
- разработчик Big Data приложений;
- инженер данных (Data Engineer);
- администратор больших данных (Big Data Administrator);
- администратор баз данных (Database Administrator);
- аналитик больших данных (Data Analyst).
Необходимая предварительная подготовка
- Базовые знания по работе с командной строкой Linux;
- Понимание основ работы реляционных баз данных;
- Базовые знания T-SQL (опыт написания запросов из нескольких таблиц);
- Знакомство с ETL/ELT процессами
О курсе по Arenadata DB для разработчиков
Продолжительность 4 дня, 32 академических часа Соотношение теории к практике 40/60
Обучающий курс «Arenadata DB для разработчиков» будет полезен разработчикам, планирующим использовать или уже применяющим в работе ADB. Также курс пригодится тем, в чьих задачах стоит миграция на ADB. Акцент при проведении курса сделан на разборе практических примеров.
Обучение на курсах Arenadata сделано максимально удобным для заказчиков и включает различные форматы: на территории Заказчика или в учебных классах «Школы Больших Данных» – официального партнёра компании “Аренадата Софтвер”. Также возможно проведение занятий дистанционно в онлайн-формате.
Сертификация
Прохождение курса «Arenadata DB для разработчиков» подтверждается именным сертификатом. Чтобы получить его, слушателям необходимо успешно сдать экзамен. Пройти его можно и без предварительного обучения при условии уже имеющихся знаний по разработке в Arenadata DB. Подробнее о процедуре сертификации читайте здесь.
По завершении курса и сертификационного тестирования вы получите следующие документы:
- сертификат компании Arenadata, подтверждающий знание программных продуктов Arenadata в соответствии с требованиями вендора;
- сертификат нашего учебного центра «Школа Больших Данных».
Программа курса Arenadata DB для разработчиков
1. Обзор архитектуры ADB
- Концепция MPP и её имплементация в ADB. Терминология и архитектура СУБД. Интерконнект. Выполнение запросов. Отказоустойчивость.
2. Основные отличия от других СУБД
- Основные отличия ADB от Hadoop, ADQM, Oracle, Postgres.
3. Подключение к БД
- Реквизиты. Доступы. psql.
- Лабораторная работа
4. Устройство БД
- Шаблоны БД. Логическая схема данных. Обзор дефолтных схем. Основные объекты для работы с БД.
- Лабораторная работа
5. Пользователи и группы
- Роль и пользователь, группы. Доступы. Создание пользователей, управление. Интеграция с LDAP.
- Лабораторная работа
6. Создание таблицы в БД
- Основные правила создания таблиц. Типы данных. Распределение таблицы. Skew. Констрейнты. Тип хранения данных. Компрессия.
- Лабораторная работа
7. Выполнение запросов
- Получение плана. Оптимизаторы. Статистика выполнения. Разбор плана запроса. Redistribute и Broadcast. Поиск узких мест.
- Лабораторная работа
8. Партиционирование таблицы
- Создание партиционированных таблиц. Ключ партиционирования. Разные типы хранения. Файлспейсы и тейблспейсы. Мульти-партиционирование. Удаление. Разбиение. Обмен партиций. Внешние таблицы. Загрузка в партиционированные таблицы.
- Лабораторная работа
9. Индексы
- Применимость индексов. Типы. Best practices. Управление индексами. Основные параметры управления индексами в запросе.
- Лабораторная работа
10. Транзакции
- Обзор. Уровни изоляции. CAP-теорема.
- Лабораторная работа
11. MVCC
- Цели. Реализация. Bloat. VACUUM. VACUUM FULL. Пример. Регламенты.
- Лабораторная работа
12. Блокировки
- Синтаксис. Пример.
- Лабораторная работа
13. Статистика
- Цели. Сбор статистики.
- Лабораторная работа
14. Ресурсные группы
- Обзор. Ограничиваемые ресурсы. Сценарии использования. GUCs.
- Лабораторная работа
15. Внешние таблицы.
- Обычные внешние таблицы. Web-внешние таблицы.
16. GPFDIST
- Сценарии. Сервер gpfdist. Создание внешних таблиц. Опции LOCATION. Достижение лучшей производительности. Параметры GUC. Примеры.
- Лабораторная работа
17. GPLOAD
- Использование утилиты
- Лабораторная работа
18. PXF
- Архитектура. Директории сервиса. Конфигурационные файлы. Логи. Управление сервисом. HDFS. HBASE. Hive. JDBC. Pushdown. Batching. Pooling. User impersonation.
- Лабораторная работа
19. COPY
- Синтаксис. Пример.
- Лабораторная работа
20. UDF
- Цели. PL/SQL. PL/python. C-функции. PLContainer. Волатильность функций. Доверенность функций.
- Лабораторная работа
21. Продвинутые запросы
- Описание языка запросов. Особенности использования. Встроенные функции и операторы. Оконные функции. Common Table Expressions. Работа с JSON и XML данными. Обработка запросов разными оптимизаторами. Особенности работы с партиционированными таблицами.
- Лабораторная работа
22. Дополнительные модули и библиотеки
- Встроенная аналитика на основе MADLib. Работа с географическими данными и объектами с помощью PostGis. Дополнительные модули, поддерживаемые в GP.
- Лабораторная работа
23. Принципы работы, синтаксис запросов и функций, процедур. Миграция СУБД
- Синтаксис запросов/функций в ADB. Соответствие типов DDL. Конструкции SQL. Конструкции PL/SQL. Примеры миграции Oracle -> Greenplum. Блокеры
- Лабораторная работа
24. Интеграция источников данных и ADB
- Batch-загрузка. PXF. Примеры загрузки данных по JDBC из СУБД Oracle
- Лабораторная работа
25. Реализация DWH на базе ADB
- Загрузка данных в ODS/DDS слои. Загрузка справочников SCD1/SCD2. Загрузка фактовых таблиц.
- Лабораторная работа
26. Создание витрины данных
- Примеры распределения данных и оптимизация для построения витрины (ELT)
- Лабораторная работа
Экзамен