ADBR: Arenadata DB для разработчиков

Arenadata DB для разработчиков

Курс «Arenadata DB для разработчиков»

Ближайшая дата курса Arenadata DB для разработчиков 26 —  29 января
   
Стоимость обучения 144.000 рублей
Стоимость сертификационного экзамена  9.000 рублей

Регистрация Интенсивный 4-дневный курс для разработчиков Big Data по эффективной и безопасной эксплуатации ADB в продуктовых средах, развертыванию схем и таблиц, написанию процедур,  постройке витрин данных, процедурам загрузки, обработки и выгрузки данных, настройках безопасности и дополнительных расширениях.

Что такое Arenadata DB

Arenadata DB (ADB) – это российский Big Data продукт, распределенная масштабируемая отказоустойчивая СУБД на базе аналитической массивно-параллельной системы с открытым исходным кодом Greenplum, адаптированная для корпоративного использования и зарегистрированная в государственном реестре РФ программ для ЭВМ.

Arenadata DB обеспечивает надежное безопасное хранение и аналитическую обработку больших объемов (до сотен терабайт) структурированных и слабоструктурированных данных для решения различных бизнес-задач, от предиктивной аналитики, регулярной отчетности и анализа оттока клиентов до построения корпоративных хранилищ данных.

На практике Arenadata DB используется в ритейле, телекоммуникационных компаниях, государственных предприятиях и других секторах экономики для организации витрин данных и быстрой аналитики Big Data с генерацией сложных отчетов в режиме near real-time.

ArenaData DB

Arenadata DB зарегистрирована в Едином реестре российских программ, соответствует политике импортозамещения и может использоваться в проектах цифровизации государственных организаций и частных компаний России.

Подробности

 

Кому нужны курсы по Arenadata DB

Авторизованные курсы Arenadata в Школе Больших Данных по Arenadata DB ориентированы на следующие категории ИТ-специалистов:

  • разработчик Big Data приложений;
  • инженер данных (Data Engineer);
  • администратор больших данных (Big Data Administrator);
  • администратор баз данных (Database Administrator);
  • аналитик больших данных (Data Analyst).

Необходимая предварительная подготовка

  • Базовые знания по работе с командной строкой Linux;
  • Понимание основ работы реляционных баз данных;
  • Базовые знания T-SQL (опыт написания запросов из нескольких таблиц);
  • Знакомство с ETL/ELT процессами

Узнать больше 

О курсе по Arenadata DB для разработчиков

Продолжительность 4 дня, 32 академических часа

Соотношение теории к практике 40/60

Обучающий курс «Arenadata DB для разработчиков» будет полезен разработчикам, планирующим использовать или уже применяющим в работе ADB. Также курс пригодится тем, в чьих задачах стоит миграция на ADB. Акцент при проведении курса сделан на разборе практических примеров. 

Обучение на курсах Arenadata сделано максимально удобным для заказчиков и включает различные форматы: на территории Заказчика или в учебных классах «Школы Больших Данных» — официального партнёра компании «Аренадата Софтвер». Также возможно проведение занятий дистанционно в онлайн-формате.  

Сертификация

Прохождение курса «Arenadata DB для разработчиков» подтверждается именным сертификатом. Чтобы получить его, слушателям необходимо успешно сдать экзамен. Пройти его можно и без предварительного обучения при условии уже имеющихся знаний по разработке в Arenadata DB. Подробнее о процедуре сертификации читайте здесь

По завершении курса и сертификационного тестирования вы получите следующие документы:

 

Регистрация

 

Программа курса Arenadata DB для разработчиков

День 1:

Обзор архитектуры ADB

  • Концепция MPP и её имплементация в ADB. Терминология и архитектура СУБД. Интерконнект. Выполнение запросов. Отказоустойчивость.

Основные отличия от других СУБД

  • Основные отличия ADB от Hadoop, ADQM, Oracle, Postgres.

Подключение к БД

  • Реквизиты. Доступы. psql.
  • Лабораторная работа

Устройство БД

  • Шаблоны БД. Логическая схема данных. Обзор дефолтных схем. Основные объекты для работы с БД.
  • Лабораторная работа

Пользователи и группы

  • Роль и пользователь, группы. Доступы. Создание пользователей, управление. Интеграция с LDAP.
  • Лабораторная работа

Создание таблицы в БД

  • Основные правила создания таблиц. Типы данных. Распределение таблицы. Skew. Констрейнты. Тип хранения данных. Компрессия.
  • Лабораторная работа

День 2:

Выполнение запросов

  • Получение плана. Оптимизаторы. Статистика выполнения. Разбор плана запроса. Redistribute и Broadcast. Поиск узких мест.
  • Лабораторная работа

Партиционирование таблицы

  • Создание партиционированных таблиц. Ключ партиционирования. Разные типы хранения. Файлспейсы и тейблспейсы. Мульти-партиционирование. Удаление. Разбиение. Обмен партиций. Внешние таблицы. Загрузка в партиционированные таблицы.
  • Лабораторная работа

Индексы

  • Применимость индексов. Типы. Best practices. Управление индексами. Основные параметры управления индексами в запросе.
  • Лабораторная работа

Транзакции

  • Обзор. Уровни изоляции. CAP-теорема. 
  • Лабораторная работа

MVCC

  • Цели. Реализация. Bloat. VACUUM. VACUUM FULL. Пример. Регламенты.
  • Лабораторная работа

Блокировки

  • Синтаксис. Пример.
  • Лабораторная работа

Статистика

  • Цели. Сбор статистики.
  • Лабораторная работа

Ресурсные группы

  • Обзор. Ограничиваемые ресурсы. Сценарии использования. GUCs.
  • Лабораторная работа

День 3:

Внешние таблицы.

  • Обычные внешние таблицы. Web-внешние таблицы.

GPFDIST

  • Сценарии. Сервер gpfdist. Создание внешних таблиц. Опции LOCATION. Достижение лучшей производительности. Параметры GUC. Примеры.
  • Лабораторная работа

GPLOAD

  • Использование утилиты
  • Лабораторная работа

PXF

  • Архитектура. Директории сервиса. Конфигурационные файлы. Логи. Управление сервисом. HDFS. HBASE. Hive. JDBC. Pushdown. Batching. Pooling. User impersonation.
  • Лабораторная работа

COPY

  • Синтаксис. Пример.
  • Лабораторная работа

UDF

  • Цели. PL/SQL. PL/python. C-функции. PLContainer. Волатильность функций. Доверенность функций. 
  • Лабораторная работа

Продвинутые запросы

  • Описание языка запросов. Особенности использования. Встроенные функции и операторы. Оконные функции. Common Table Expressions. Работа с JSON и XML данными. Обработка запросов разными оптимизаторами. Особенности работы с партиционированными таблицами.
  • Лабораторная работа

Дополнительные модули и библиотеки

  • Встроенная аналитика на основе MADLib. Работа с географическими данными и объектами с помощью PostGis. Дополнительные модули, поддерживаемые в GP.
  • Лабораторная работа

День 4:

Принципы работы, синтаксис запросов и функций, процедур. Миграция СУБД

  • Синтаксис запросов/функций в ADB. Соответствие типов DDL. Конструкции SQL. Конструкции PL/SQL. Примеры миграции Oracle -> Greenplum. Блокеры
  • Лабораторная работа

ETL vs ELT подходы

Интеграция источников данных и ADB

  • Batch-загрузка. PXF. Примеры загрузки данных по JDBC из СУБД Oracle
  • Лабораторная работа

Реализация DWH на базе ADB

  • Загрузка данных в ODS/DDS слои. Загрузка справочников SCD1/SCD2. Загрузка фактовых таблиц.
  • Лабораторная работа

Создание витрины данных

  • Примеры распределения данных и оптимизация для построения витрины (ELT)
  • Лабораторная работа

Экзамен

Записаться на курс