INTR: Курс Основы Hadoop

Курс Основы Hadoop

Ближайшая дата курса
08 ноября 2021
31 января 2022
04 апреля 2022
Стоимость обучения 54.000 руб. Регистрация
Код курса INTR

3-дня практического обучения по установке и первоначальной настройке кластера Apache Hadoop – основы Big Data для начинающих и специалистов. Практическое обучение Хадуп для системных администраторов, архитекторов и разработчиков Big Data.

Курс «Основы Hadoop» представляет сокращенную версию курса «Администрирование кластера Hadoop»  и проводится параллельно с данным курсом в 3 дня, согласно утвержденной программе, на платформе Cloudera Data Platform Private Cloud, HortonWorks(ограниченно  доступен) или Arenadata Hadoop  (ознакомительно).

 

Что такое Apache Hadoop и где это используется

Apache Hadoop – это основная технология хранения и обработки больших данных (Big Data), свободно распространяемый набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ на кластерах из сотен и тысяч узлов. Сегодня вокруг Apache Hadoop существует целая экосистема связанных проектов и технологий, которые используются для интеллектуального анализа больших данных (Data Mining), в том числе с помощью машинного обучения (Machine Learning) .

На практике Apache Hadoop используется во множестве компаний по всему миру для:

  • хранения множества информации в различных форматах;
  • сортировка огромных объемов данных и разбор содержимого чрезвычайно больших файлов;
  • аналитики поисковых запросов и пользовательских логов в высоконагруженных веб-сайтах и корпоративных информационных системах;
  • быстрая обработка графических данных.

Лучшие практики (best practices) и сценарии (use cases) прикладного использования Хадуп рассматриваются в нашем курсе “Основы Hadoop” от лицензированного учебного центра “Школа Больших Данных“.

 

 

Для кого предназначен курс “Основы Hadoop”

Курс “Основы Hadoop” ориентирован на начинающих и опытных ИТ-специалистов в области больших данных, которые хотят получить теоретические знания и прикладные навыки по установке, настройке и использованию кластера Apache Hadoop версии 3 на базе дистрибутива Cloudera Data Platform (CDP) Private Cloud (замена дистрибутива HortonWorks). Практическое обучение Хадуп в “Школе Больших Данных” позволит системному администратору, архитектору и разработчику Big Data освоить следующие умения:

  • базовые установка и настройка кластера Hadoop в облаке
  • основные операции с файловой системой HDFS
  • запуск задач и управление ресурсами MapReduce и YARN
  • взаимодействие с компонентами экосистемы Hadoop: Spark, Hive, Sqoop, Flume.

Предварительный необходимый уровень подготовки:

  • Базовый опыт работы в Linux (обязательно)
  • Опыт работы с любым текстовым редактором vi, nano

По завершении курса “Основы Hadoop” в нашем лицензированном учебном центре «Школа Больших Данных» вы получите сертификат или удостоверение установленного образца, которые могут засчитываться в качестве свидетельств о повышении квалификации.

 

 

Как организовано обучение в “Школе Больших Данных”

Продолжительность: 3 дня, 24 академических часа.

Соотношение теории к практике 50/50

Практический курс  “Основы Hadoop” содержит базовые сведения по установке, настройке и эксплуатации кластера Hadoop версии 3. Обучение Хадуп в нашем учебном центре включает теоретический минимум, необходимый для эффективной практической работы с кластером Apache Hadoop. На курсе рассматриваются следующие темы:

  • выполнение основных операций в файловой системе HDFS;
  • запуск задач MapReduce;
  • основы управления ресурсами Hadoop с помощью планировщика задач YARN;
  • концепции использования Hadoop и компонентов экосистемы Hadoop (MapReduce, Apache Hive, Apache Pig, Apache Flume, Apache Sqoop и Apache Spark) для организации хранения больших данных и процессинга.

Курс построен на сквозных практических примерах с тренировочными наборами данных для запуска пакетных (batch) и потоковых (streaming) задач в Hadoop кластере. Для каждого слушателя предоставляются индивидуальные кластера в облачной инфраструктуре Amazon Web Services (AWS), чтобы вы освоили все концепции и понятия на практике. Какой именно дистрибутив Хадуп выбрать, решаете вы: Cloudera Data Platform или  Arenadata Hadoop (ознакомительно). Также на наших курсах обучения основам Hadoop вы познакомитесь с программным обеспечением по управлению кластером  Cloudera Manager.

Примечание: с 1 января 2021 года данный курс проводится  по дистрибутиву Hadoop версии 3  Cloudera Data Platform (CDP) Private Cloud (замена дистрибутива HortonWorks) компании Cloudera.

Для корпоративного формата обучения возможна выделенная программа по любой версии дистрибутива Hadoop (версия 2/3, ванильный Apache Hadoop, Cloudera, HortonWorks, Arenadata – уточняйте у менеджера).

Программа курса «Основы Hadoop»

  1. Основы Hadoop и Big Data
    • Что такое Big  Data. Понимание проблемы Big Data
    • Эволюция систем распределенных вычислений Hadoop
    • Концепция Data Lake и pipelines
  2. Архитектура Apache Hadoop
    • Hadoop сервисы и основные компоненты. Name nodeDataNode.
    • YARN сервис-планировщик
    • Демоны HDFS
    • Отказоустойчивость и высокая доступность
  3. Hadoop Distributed File System
    • Архитектура HDFS. Блоки HDFS
    • Основные команды работы с HDFS
    • Операции чтения и записи, назначения HDFS
    • Дисковые квоты. Поддержка компрессии
    • Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы
    • Импорт (загрузка) данных на HDFS
  4. MapReduce
    • Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2/3.
    • Ограничения и параметры MapReduce и YARN
    • Управление запуском пользовательских задач (jobs) под MapReduce.
  5. Дизайн кластера Hadoop
    • Сравнение дистрибутивов и версий Hadoop 2/3 (Cloudera Data Platform, Apache Hadoop, Arenadata Hadoop): различия и ограничения
    • Требования программного и аппаратного обеспечения
    • Планирование кластера
    • Масштабирование кластера Hadoop. Отказоустойчивость Hadoop
    • Federated NameNode. Hadoop в облаке
    • Интеграция с другими решениями: streaming (DataFlow), NoSQL
  6. Установка кластера CDP
    • Оптимизация OS для узлов кластера
    • Установка Hadoop кластера с использованием Cloudera Data Platform Private Cloud
    • Выбор начальной конфигурации
    • Начальная конфигурация HDFS и MapReduce
    • Файлы логов и конфигурации
    • Установка Hadoop клиентов
    • Установка Hadoop кластера в облаке
  7. Операции обслуживания кластера Hadoop
    • Дисковая подсистема
    • Квоты
    • Остановка, запуск, перезапуск (Graceful Shutdown)
    • Управление узлами
  8. Оптимизация и управление ресурсами
    • Производительность. Файловая система. Data Node и Data layout и партиционирование, bucketing
    • Планировщики: FIFO Scheduler. Планировщик емкости (Capacity Scheduler). Гранулярное управление ресурсами (Fair Scheduler). Защита очередей и доминантное управление ресурсами DRF
  9. Управление кластером Hadoop с использованием Cloudera Manager
    • Основные операции и задачи Cloudera Manager
    • Мониторинг с Cloudera Manager
    • Диагностика и разрешение проблем с Cloudera Manager
  10.  Инструментарий Apache Hadoop экосистемы 
    • Графический интерфейс сервиса HUE/Zeppelin
    • Основы Apache Zookeeper
    • Введение в Hadoop SQL: Apache Hive, понятие Hive таблицы, установка Hive
    • Использование Apache Sqoop — установка и выполнение базовых операций
    • Обзор и назначение компонент: Apache Spark, Apache Solr, Cloudera Impala, Apache HBase, Apache Phoenix, Apache Oozie

 

Примерный список практических занятий по курсу «Основы Hadoop»:

  • Установка 3х-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager
  • Базовые операции обслуживания кластера Hadoop и файловые операции HDFS
  • Управление ресурсами и запуском задач с использованием YARN и MapReduce
  • Знакомство с SQL интерфейсом доступа Apache Hive
  • Выполнение базовых операций  импорта/экспорта с применением Apache sqoop
  • Применение веб-интерфейса HUE/Zeppelin (опционально)

Примечание:
• Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу)
• Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей

 

 

Программа курса «Основы Hadoop»

Скачать программу курса «Основы Hadoop» в формате pdf

Отправить ссылку на: