Курс GRAD: Администрирование Arenadata DB / Greenplum
4-дневный обучающий курс «Администрирование базы данных Arenadata DB (Greenplum)» предоставляет необходимые знания и навыки по сопровождению и поддержке кластера Arenadata DB при эксплуатации в облачной инфраструктуре и дата центре.
Курс по обслуживанию и администрированию кластера ADB предназначен для подготовки администраторов и специалистов, отвечающих за установку и обслуживание баз данных ArenadataDB (Greenplum), включая предварительную подготовку и планирование систем для установки кластера Greenplum, настройку конфигурации сервисов, табличного пространства, безопасности и клиентского доступа, а также операций мониторинга и решения проблем с эксплуатацией ADB. Подробно рассматриваются вопросы загрузки/выгрузки данных, средства резервного копирования и восстановления системы, настройки безопасности и интеграция.
Программа курса «Администрирование базы данных Arenadata DB (Greenplum)»
Аудитория: DB администраторы и специалисты, желающие получить практические навыки по установке, конфигурированию, обслуживанию и управлению кластером Arenadata DB (ADB).
Предварительная подготовка:
Знание базовых команд Linux (опыт работы с командной строкой, файловой системой, POSIX, текстовыми редакторами vi, nano)
Основы работы с базами данных
Опыт работы с PSQL/ SQL
Примечание: лабораторные работы в курсе проводятся с использованием лабораторного стенда в облаке Яндекс Cloudна community версии дистрибутива ArenadataDB6.XX/7.XX
Архитектура Arenadata DB (Greenplum)/ MPP
Greenplum Мастера и Сегменты
Greenplum Interconnect
Отказоустойчивость
Выбор дистрибутива
Требования по установке.
Планирование и масштабирование.
Установка с использованием ADCM. Ручная установка.
Настройка Data Layout и параметров окружения.
Управление сервисами Arenadata DB (Greenlum)
Клиентское подключение к БД. Клиентские приложения и утилиты.
Arenadata DB (Greenplum) в облаке
Практическая работа: Установка и настройка Arenadata DB с использованием ADCM
Логическая и физическая структура БД
Установка по умолчанию: схемы и шаблоны
Табличные пространства в Arenadata DB
Внешние таблицы
Создание и обслуживание индексов
Создание и управление представлениями (views)
Практическая работа: Предварительная настройка кластера Arenadata DB
Управление ресурсами кластера- ресурсные группы
Управление данными в Arenadata DB
Вставка, обновление и удаление строк
Очистка (Vacuum) базы данных
Масштабирование (Расширение) кластера
Планы запросов
Управление файлами логов БД
Реиндексация
Задачи операций обслуживания
Практическая работа: Настройка и использование ресурсных групп на кластере Arenadata DB (ADB) Greenplum
Практическая работа: Операции обслуживания базы данных Arenadata DB
Практическая работа:Масштабирование кластера Arenadata DB (Greenplum) добавлением узлов сегментных хостов
Механизмы загрузки и выгрузки данных
Использование внешних таблиц
Сценарии загрузки данных в БД
Интеграции с другими источниками: Kafka, Hadoop, NiFi, S3
Практическая работа: Настройка доступа Arenadata DB (Greenplum) к внешним данным и работа с внешними таблицами
Практическая работа: Настройка сервиса PXF для кластера Arenadata DB (Greenplum)
Создание партиционированных таблиц
Ключ партиционирования
Разные типы хранения
Tablespace
Мульти-партиционирование
Удаление, разбиение, обмен партиций
Внешние таблицы (обычные и web-внешние)
Практическая работа: Загрузка в партиционированные таблицы
Опции отказоустойчивости для Arenadata DB
Зеркалирование сегментов в Arenadata DB
Отказоустойчивость Сегментов и восстановление в ADB
Зеркалирование Мастеров в ADB
Восстановление сегмента. Восстановление мастера
Практическая работа: Обеспечение отказоусточивости кластера Arenadata DB с помощью зеркалирования сегментов
Практическая работа: Обеспечение отказоусточивости кластера с помощью зеркалирования Мастера ADB
Практическая работа: Восстановление после сбоя зеркал сегментов и мастера в кластере Arenadata DB
Основные принципы операций восстановления и резервного копирования
Backup утилиты Arenadata DB
Процедура резервного копирования
Процедура восстановления БД
Практическая работа: Резервное копирование и восстановление кластера Arenadata DB
Мониторинг и анализ состояния системы (System state)
Инструменты мониторинга Arenadata DB / ADCM
Основные причины проблем производительности
Собираемые метрики и сбор статистики
Управление нагрузкой и оповещениями
Мониторинг журналов: анализ сообщений об ошибках и идентификация проблемных запросов
Оптимизация параметров БД и дизайна БД
Best Practices
Практическая работа: Настройка мониторинга кластера Arenadata DB
Контроль доступа и обеспечение безопасности
RBAC в СУБД Arenadata DB (Greenplum)
Поддержка шифрования и аутентификации с использованием SSL
Интеграция с LDAP
Практическая работа: Настройка LDAP аутентификации для Arenadata DB
О продукте
Arenadata DB (Greenplum) — это MPP аналитическая СУБД, построенная на базе СУБД Greenplum с открытым исходным кодом. Arenadata DB (ADB) ориентирована на аналитику больших данных, т.е. аналитические сценарии (OLAP) чтения больших массивов информации и поддерживает колоночный способ хранения данных. Использует массивно-параллельную архитектуру (MPP, Massively Parallel Processing) без разделения ресурсов отлично подходит для OLAP-сценариев, поскольку аналитические СУБД работают с огромными объёмами данных, которые постоянно растут. Скорость вычислений в MPP-системе прямо пропорциональна числу узлов в кластере. Также MPP-архитектура обеспечивает высокую отказоустойчивость: кластер БД отвечает на запросы даже при отказе некоторых узлов.
Будучи реляционной СУБД, Greenplum поддерживает ACID-требования к транзакциям и ANSI SQL, а также отлично обрабатывает локальные и распределенные запросы с JOIN-операторами. Поэтому Greenplum хорошо работает в аналитических сценариях, включая предиктивную аналитику, прогнозирование и скоринг событий, а также предоставление данных для BI-дэшбордов.
Arenadata DB (Greenplum) представляет собой несколько экземпляров PostgreSQL, работающих как единая СУБД благодаря мастер-хосту, на котором развёрнут мастер-сегмент — главный экземпляр PostgreSQL. Именно к мастер-сегменту подключаются пользователи и отправляют на него все SQL-запросы. Мастер-сегмент не содержит данных, а только принимает входящие подключения, собирает и систематизирует запросы, чтобы маршрутизировать их по сегментам, которые содержат фактические данные и выполняют запросы.
Что Вы получите
Успешно окончив курс «Администрирование Arenadata DB » в нашем лицензированном учебном центре «Школа Больших Данных», вы получите удостоверение о повышении квалификации установленного образца.
Прошёл обучение в Школе Больших данных по программе "Администрирование кластера Arenadata Hadoop". В целом всё понравилось. Курс читался очень профессионально, подача материала понятная и последовательная, преподаватель Н. Комиссаренко свой предмет знает очень глубоко и старается во-всём помогать…
В данный момент прослушиваю курс ADH: Администрирование кластера Arenadata Hadoop.
Курс ведет очень квалифицированный специалист - Николай Комиссаренко. Материал излагается очень доступно. На любые вопросы, всегда, можно получить развернутый ответ с примерами. Обучение очень доволен.
В декабре 2020 прошёл курс Arenadata Hadoop в дистанционной форме.
Уроки построены грамотно, с полным погружением и возможностью проработать всё, что ты слышишь и видишь, задать вопросы и получить развёрнутые ответы.
Повествование инструктора не монотонное, со множеством аналогий
Принял участие в курсе «ADH: Администрирование кластера Arenadata Hadoop». Для тех, кто думет посещать этот курс или нет в «Школе Больших Данных»:
- Входной порог оказался сильно выше чем я ожидал. Нужно точно высокий уровень знаний по администирования linux серверов. Без этого часть материала будет сложнее.
- Курс проводил Николай Комиссаренко - очень крутой специалист в своей области.
- По содержанию курс очень емкий. Кажется, что нужно было бы даже разбить на 2 или сделать длинее. Не по всем компонентам hadoop сформировалось понимание.
- Очень важно, что были большие блоки самостоятельной практической работы по качественным и понятным лаб-гайдам.
В итоге: курс точно полезный для всех, довольно сложный для новичков в этой области, денег своих точно стоит.
Обучение рассчитано на системных администраторов, DevOps-инженеров и архитекторов данных, которые хотят освоить работу с массивно-параллельными СУБД. Также курс будет полезен специалистам, переходящим с классических баз (PostgreSQL, Oracle) на Greenplum или Arenadata DB.
Для комфортного прохождения курса важно уверенно владеть Linux (работа в консоли, основы Bash) и понимать базовые принципы работы реляционных баз данных. Знание SQL на уровне написания простых запросов обязательно.
Arenadata DB — это корпоративный дистрибутив Greenplum, адаптированный под требования крупных предприятий. В курсе мы рассматриваем как базовые механизмы Greenplum, так и специфические компоненты ADB: утилиту развертывания ADCM, расширенные возможности мониторинга и интеграции, которые важны для промышленной эксплуатации.
Да, практика занимает более 60% времени обучения. Каждый студент получает доступ к выделенному кластеру в облачной инфраструктуре. Вы самостоятельно пройдете путь от установки системы до настройки отказоустойчивости и оптимизации тяжелых запросов.
Безусловно. Один из ключевых блоков программы посвящен резервному копированию и восстановлению данных. Мы разбираем работу с утилитами gpbackup/gprestore и сценарии восстановления сегментов при выходе серверов из строя.
Да, в курсе подробно разбирается процесс расширения кластера (expand). Вы узнаете, как добавлять новые узлы, как происходит перераспределение данных и на что обратить внимание, чтобы не допустить просадки производительности во время этой процедуры.
Мы разбираем стандартные средства диагностики производительности, анализ системных представлений и логов. Также касаемся интеграции с популярными инструментами мониторинга, которые помогают вовремя заметить «перекос» данных (data skew) или блокировки.
Программа курса полностью покрывает теоретическую и практическую базу, необходимую для сдачи экзамена на сертифицированного администратора Arenadata DB. Вы освоите все критические навыки, которые проверяются вендором.
Да, после успешного завершения курса и выполнения практических заданий вы получите сертификат учебного центра Big Data School, который подтверждает вашу квалификацию в области администрирования ADB.
Да, обучение доступно в онлайн-формате. Вы подключаетесь к живым лекциям с преподавателем, можете задавать вопросы в реальном времени и получаете удаленный доступ к лабораторным стендам. Все записи занятий сохраняются в личном кабинете.
Для практики каждому слушателю выделяется удаленный доступ к подготовленной лабораторной среде в облаке. Вам не нужно устанавливать тяжелое ПО на свой компьютер — достаточно браузера и SSH-клиента. Все настройки кластера ADB вы выполняете на реальных виртуальных машинах.
Да, во время обучения создается общий чат в Telegram или другом мессенджере. Там можно обсуждать сложные моменты, консультироваться по лабораторным работам и обмениваться опытом с коллегами. Преподаватель остается на связи и помогает разобраться с трудностями.
Все вебинары записываются. Видео появляется в личном кабинете в тот же день или на следующее утро. Вы сможете пересмотреть теорию в любое удобное время, а доступ к лабораторному стенду сохраняется на весь период курса.
Да, «Школа Больших Данных» имеет образовательную лицензию. Помимо сертификата центра, вы можете получить удостоверение о повышении квалификации установленного (государственного) образца, если у вас есть высшее или среднее профессиональное образование.
Конечно. Мы работаем и с компаниями по договору, и с частными лицами. Оплатить курс можно картой на сайте или по счету. Для физлиц также возможна оплата в рассрочку.
У вас остается доступ к личному кабинету с презентациями, методическими пособиями и записями лекций. Обычно доступ сохраняется на срок до 30 дней после окончания обучения, чтобы вы успели закрепить материал.
Мы стараемся формировать небольшие группы по 10–15 человек. Это позволяет преподавателю уделить внимание каждому слушателю, оперативно проверять практические задания и отвечать на вопросы в ходе лекции.
Да, если вашей компании нужно обучить группу сотрудников, мы можем провести закрытый интенсив. Программу в этом случае можно немного адаптировать под ваши конкретные задачи и инфраструктурные особенности.
Обычно занятия проходят в интенсивном формате в течение нескольких рабочих дней (с 10:00 до 17:00 или 18:00 по Москве). Это позволяет полностью погрузиться в тему администрирования ADB и не растягивать обучение на месяцы.
Прямого распределения по рабочим местам нет, но сертификат нашей школы высоко ценится на рынке РФ и СНГ. Мы часто получаем запросы от партнеров на поиск квалифицированных администраторов Arenadata и Greenplum, поэтому лучшие выпускники могут получить рекомендации.
Отправьте заявку на обучение
Остались вопросы по формату обучения, содержанию курсов, стоимости, сертификатам или другим важным моментам?
Оставьте номер телефона или email и мы оперативно проконсультируем вас в течение дня
Налоговый вычет на обучение— это сумма из дохода физического лица, которая освобождается от уплаты НДФЛ 13%. Налоговый вычет можно оформить в разных ситуациях, в том числе в случае затрат на обучение. На налоговый вычет имеют право граждане РФ, которые официально работают и оплачивают обучение:
своё в любой форме (очной, заочной, вечерней и т. д.);
своего ребёнка до 24 лет на очном отделении в колледже или вузе;
брата или сестры до 24 лет на очном отделении в колледже или вузе;
опекаемого или подопечного до 24 лет на очном отделении в колледже или вузе.
Как получить налоговый вычет?
После окончания календарного года необходимо обратиться в налоговый орган по месту жительства и предоставить:
налоговую декларацию 3-НДФЛ за каждый год учёбы, в котором оплачивалось обучение (для этого может понадобиться справка о доходах от работодателя);
чеки или квитанции об оплате обучения (если они не сохранились, можно запросить копии в банке или бухгалтерии учебного заведения);
договор с учебным заведением с приложениями и дополнительными соглашениями к нему;
копию лицензии учебного заведения, если этих сведений нет в договоре;
справку об обучении на очном отделении (если вычет оформляется на родственника);
заявление о возврате средств и реквизиты счёта для перечисления денег.
! Начиная с расходов с 01.01.2024 года для подтверждения права на социальный вычет по обучению необходимо приложить только справку об оплате образовательных услуг для представления в налоговый орган, выданную образовательной организацией или индивидуальным предпринимателем, осуществляющими образовательную деятельность.
Также вычет можно оформить через работодателя — для этого следует подать документы онлайн в личном кабинете на сайте ФНС России. Ответ на заявление придёт в течение 30 дней. Если вы обратились в ФНС лично, документ нужно отнести в бухгалтерию на работе, чтобы они перестали удерживать НДФЛ из зарплаты. При оформлении вычета через работодателя ничего дополнительно делать не нужно.
Как получить социальный вычет, если обучение проходили по публичной оферте, расположенной на сайте образовательной организации?
В случае, если обучающийся проходил обучение по договору-оферты, размещенной на сайте компании (публичная оферта), чтобы получить социальный вычет по НДФЛ физическому лицу к стандартному пакету документов необходимо приложить заявление о присоединении к договору-оферты. В этом заявлении обязательно должна быть исчерпывающая информация о физическом лице и оказываемой услуге. Чтобы подать такое заявление, вам необходимо скачать наш шаблон заявления, заполнить его и направить в наш учебный центр по адресу: info@bigdataschool.ru.
Политика возврата
Возврат денежных средств за обучение возможен как по инициативе Исполнителя, так и по инициативе Заказчика/Слушателя
В соответствии с п. 4. ст. 26.1. Закона РФ № 2300-I «О Защите прав потребителей» Покупатель вправе отказаться от заказанной Услуги в любое время до момента исполнения Заказа.
Возврат по инициативе Исполнителя осуществляется в объеме 100% оплаченной суммы. Для возврата должны быть выполнены следующие условия:
Исполнителем отправлено информационное письмо об отмене или переносе заявленной даты предоставления Услуги на электронную почту Заказчика, предоставленную в Заказе;
Заказчик, на основании информационного письма принимает решение об отказе от Услуги или соглашается на альтернативные даты оказания Услуги и письменно извещает Исполнителя о своем решении;
в случае отказа от Услуги Заказчик должен предоставить Исполнителю Требование о возврате либо в письменном виде по адресу г. Москва, ул. Илимская, дом 5, корпус 2, офис 407, ООО «Учебный центр «Коммерсант», либо в электронном на адрес электронной почты: info@kommersant-cc.ru. Требование может быть составлено в свободной форме с обязательным указанием контактных данных Заказчика, совпадающих с указанными при заказе Услуги, наименования Услуги и причин возврата. Заказчик вправе задать все возникшие вопросы Исполнителю по телефону +7(495) 41 41 121.
Возврат денежных средств по инициативе Заказчика, в случае отсутствия факта начала обучения за 3 и более дней до его начала, Заказчику возвращается 100% оплаченной суммы за вычетом комиссии платежной системы (3%) на основании Заявления о возврате. Возврат денежных средств возможен в течение 10 дней с момента получения Заявления о возврате, тем же способом каким была осуществлена оплата.
Возврат денежных средств по инициативе Заказчика по личным причинам, после начала обучения, но до момента прохождения 50% материалов курса, Заказчику возвращается сумма, рассчитанная по формуле: Стоимость курса — (Стоимость курса / общее количество уроков * количество пройденных уроков) — 30% от стоимости курса.
Возврат денежных средств по инициативе Заказчика по личным причинам, после прохождения 50% материалов курса невозможен.
Возврат денежных средств по инициативе Заказчика, после начала обучения, по претензии к качеству обучения, несоответствию заявленным стандартам, описанию, размещенному на интернет-сайтах https://www.kommersant-cc.ru, https://www.bigdataschool.ru, https://babok-school.ru/, https://python-school.ru возможен на основании аргументированной Претензии. В этом случае осуществляется полный или частичный возврат по договорённости и усмотрению Исполнителя.
Условия для возврата денежных средств за услугу. Для возврата денежных средств на банковскую карту Заказчику необходимо заполнить «Заявление о возврате» или письменную «Претензию» с просьбой о возврате в адрес Исполнителя: 127576, РФ, г. Москва, ул. Илимская, дом 5, корпус 2, офис 407, ООО «Учебный центр «Коммерсант» и на электронный адрес info@kommersant-cc.ru, указав следующие данные:
полное фирменное наименование Исполнителя;
фамилия, имя, отчество и паспортные данные Заказчика/Слушателя;
наименование Услуги;
причина возврата денежных средств за Услугу;
дата оказания Услуги;
сумма, подлежащая возврату;
банковские реквизиты;
подписи Исполнителя и Заказчика/ Слушателя.
И приложить документы, которые вы прилагаете к заявлению (например, копия квитанции об оплате, копия паспорта, реквизиты банка).
Возврат денежных средств производится не позднее чем через 10 (десять) дней с даты предоставления Покупателем соответствующего требования.
Срок рассмотрения Заявления и возврата денежных средств Заказчику начинает исчисляться с момента получения Компанией Заявления и рассчитывается в рабочих днях без учета праздников/выходных дней. Если заявление поступило Компании после 18.00 рабочего дня или в праздничный/выходной день, моментом получения Компанией Заявления считается следующий рабочий день.
Для возврата денежных средств, зачисленных на расчетный счет Компании ошибочно посредством платежных систем, Заказчик должен обратиться с письменным заявлением и приложением копии паспорта и чеков/квитанций, подтверждающих ошибочное зачисление. Данное заявление необходимо направить по адресу: 127576, РФ, г. Москва, ул. Илимская, дом 5, корпус 2, а/я 11, ООО «Учебный центр «Коммерсант» и на электронный адрес info@kommersant-cc.ru. После получения письменного заявления с приложением копии паспорта и чеков/квитанций Компания производит возврат в срок до 10 (десяти) рабочих дней со дня получения 3аявления на расчетный счет Заказчика, указанный в заявлении. В этом случае, сумма возврата будет равняться стоимости Заказа.
Как оплатить обучение «Долями»?
Сервис «Долями» помогает вам разделить сумму покупки на четыре равных платежа — без комиссии и дополнительных плат. Приступить к обучению вы сможете сразу после оплаты первой части. Оплатить можно картами любых платежных систем любых банков, а также Apple Pay и Google Pay. Долями работает без комиссии, кредитного договора и переплат.
Вот как это сделать:
Выберите интересующий вас курс на сайте Школы.
Напишите менеджеру Школы о своем намерении оплатить обучение «Долями» (info@bigdataschool.ru), указав интересующий вас курс, ФИО, e-mail и/или номер телефона для связи.
Получите от менеджера ссылку на оплату.
Оплатите в течение суток 25% стоимости курса.
Согласуйте с менеджером старт обучения и приступайте к обучению.
Оставшиеся три части спишутся автоматически с шагом в две недели. Перед каждым платежом Т-банк пришлет вам напоминание о дате списания.
Оставьте сообщение, и мы перезвоним вам в течение рабочего дня
Мы используем файлы cookie
Это поможет Вам эффективно использовать Сайт, а нам поддерживать корректное функционирование его сервисов. Подтвердите свое согласие на обработку cookie, приняв условия, согласно политике использования файлов cookie или покиньте сайт
Форма обратной связи
Изменение базового тарифа с 1 января 2026 года
Подробнее