INTR: Основы Hadoop

Курс Основы Hadoop

Ближайшая дата курса Основы Hadoop  
   20-22 января 2020
   30-01 апреля 2020
Стоимость обучения    54.000 рублей

курс Основы Hadoop и машинного обучения

 

3-дневный  курс по основам Hadoop:

  • базовые установка и настройка кластера Hadoop в облаке
  • основные операции с файловой системой HDFS
  • запуск задач и управление ресурсами MapReduce и YARN
  • взаимодействие с компонентами экосистемы Hadoop: Spark, Hive, sqoop, Flume.

Курс «Основы Hadoop» представляет сокращенную версию курса «Администрирование кластера Hadoop»  и проводится параллельно с данным курсом в 3 дня, согласно утвержденной программе, на платформе Cloudera, HortonWorks или ArenaData Hadoop  по выбору.

Примечание: с 1 января 2019 года данный курс проводится в объединенном формате по дистрибутивам Hadoop версии 2  компаний Cloudera/HortonWorks/ArenaData на выбор для пользователей. Для корпоративного формата обучения возможна выделенная программа по одной версии дистрибутива Hadoop (уточняйте у менеджера).

Для кого предназначен курс Основы Hadoop

Аудитория: Системные администраторы, системные архитекторы, разработчики Hadoop, желающие получить теоретические знания и практические навыки по установке, настройке и использованию кластера Hadoop с использованием дистрибутивов Cloudera и HortonWorks.

Предварительный необходимый уровень подготовки:

  • Начальный опыт работы в Unix
  • Опыт работы с текстовым редактором vi, nano

Продолжительность: 3 дня, 24 академических часа.

Курс  Основы Hadoop содержит базовые сведения по установке и настройке кластера Hadoop, выполнению основных операций в файловой системе HDFS, запуска задач MapReduce, основам управления ресурсами Hadoop с помощью планировщика задач YARN и знакомит слушателей с концепциями использования Hadoop и компонент экосистемы Hadoop (MapReduce, Apache Hive, Apache Pig, Apache Flume, Apache Sqoop и Apache Spark) для организации хранения больших данных и процессинга.

Курс построен на сквозных практических примерах с тренировочными наборами данных, для запуска batch и потоковых (streaming)  задач в Hadoop кластере. Индивидуальные кластера Hadoop для каждого слушателя в облачной инфраструктуре Amazon Web Services, что позволяет закрепить все концепции и понятия на практических заданиях с использованием выбранного слушателем дистрибутива (Cloudera Distributed Hadoop, HortonWorks HDP или ArenaData Hadoop) и  познакомиться с выбранным программным обеспечением по управлению кластером  Cloudera Manager или Apache Ambari на выбор.

Соотношение теории к практике 50/50

Программа курса «Основы Hadoop»

  1. Основы Hadoop и Big Data

    • Что такое Big Data. Понимание проблемы Big Data. Эволюция систем распределенных вычислений Hadoop. Концепция Data Lake.
  2. Архитектура Apache Hadoop

    • Hadoop сервисы и основные компоненты: Name node, Data Node, YARN, HDFS.
    • Отказоустойчивость и высокая доступность.
    • Batch процессинг.
    • Потоковая обработка
  3. Распределенная файловая система HDFS

    • Основы HDFS: Блоки HDFS. Основные команды работы с HDFS. Операции чтения и записи, назначения HDFS. Дисковые квоты.
    • Архитектура HDFS. Управление репликацией. Политики гибридного хранения данных HDFS.
    • Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы.
    • Влияние компрессии на производительность. Кодеки компрессии.
    • Импорт(загрузка) данных на HDFS
  4. MapReduce

    • Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2. Ограничения и параметры MapReduce и YARN. Управление запуском пользовательских задач (jobs) под MapReduce.
  5. Установка кластера Hadoop

    • Установка Hadoop кластера.
    • Выбор начальной конфигурации.
    • Оптимизация уровня ядра для узлов.
    • Оптимизация Java, JVM, Heap size, Garbage Collection
    • Начальная конфигурация HDFS и MapReduce.
    • Файлы логов и конфигураций.
    • Настройка подключений Hadoop клиентов.
    • Установка кластера Hadoop в облаке.
    • Особенности настройки кластера Hadoop на физическом сервере (on-premises)
    • Топология кластера Hadoop
    • Tiering — многоуровневое хранение данных (Cold, Warm,Hot, RAM disk). Storage policy — полтиики хранения. Метки конфигураций узлов. RACK awareness.
  6. Архитектура YARN — планировщик и менеджер ресурсов

    • Поиск узких мест. Производительность. Файловая система. Data Node. Сетевая производительность.
    • FIFO scheduler
    • Capacity scheduler (Планировщик по мощности)
    • Fair scheduler (Гранулярное управление ресурсами)
    • Защита очередей и доминантное управление ресурсами DRF
  7. Инструментарий Hadoop экосистемы

    • Графический интерфейс сервиса HUE/Zeppelin
    • Базовые операции в  Apache Pig
    • Использование  Apache Hive для доступа к данным на HDFS  по SQL интерфейсу,  понятие Hive таблицы, HiveQL — базовый синтаксис.
    • Импорт и экспорт SQL таблиц с применением Apache sqoop
    • Настройка агентов для управления потоковыми операциями с Apache Flume
    • Базовые операции в Apache Spark

Примерный список практических занятий для курса «Основы Hadoop»:

  • Установка 3х-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager/Apache Ambari
  • Базовые операции обслуживания кластера Hadoop и файловые операции HDFS
  • Управление ресурсами и запуском задач с использованием YARN и MapReduce
  • ETL операции преобразования с использованием Apache Pig
  • Знакомство с SQL интерфейсом доступа Apache Hive
  • Выполнение базовых операций  импорта/экспорта с применением Apache sqoop
  • Настройка агента потоковой обработки Apache Flume(опционально)
  • Применение веб-интерфейса HUE/Zeppelin (опционально)

Примечание:
• Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу)
• Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей

курс Основы Hadoop, по большим данным и машинному обучению Скачать программу курса «Основы Hadoop» в формате pdf

Администрирование кластера Hadoop