Курс Интеграция Hadoop и NoSQL

SQL-on-Hadoop, Hadoop NoSQL, курсы по Hadoop SQL и NoSQL, обучение инженеров и архитекторов Big Data

Практический курс NoSQL: Hadoop и NoSQL для инженеров и архитекторов Big Data

Ближайшая дата курса 24 — 28 августа
  26 — 30 октября
Стоимость обучения    90.000 рублей
Код курса    

Регистрация5-дневный практический курс для инженеров данных, архитекторов Data Lake и Data Warehouse, а также разработчиков Big Data решений.

Что такое NoSQL и где это используется

NoSQL (Not Only SQL) – это подход к реализации масштабируемого хранилища с гибкой моделью данных, когда проблемы масштабируемости (scalability) и доступности (availability), важные для Big Data решений, решаются за счёт атомарности (atomicity) и согласованности данных (consistency). Выделяют 4 типа NoSQL-СУБД:

  1. Ключ-значение (Key-value)для хранения изображений, создания специализированных файловых систем и кэширования объектов в масштабируемых Big Data системах, таких как игровые и рекламные приложения, проекты интернета вещей (IoT/IIoT). Примеры: Oracle NoSQL Database, Berkeley DB, MemcacheDB, Redis, Riak, Amazon DynamoDB.
  2. Документно-ориентированное хранилище для каталогов, пользовательские профилей и CMS-систем, где каждый уникальный документ меняется со временем.  Применяется в издательском деле и документальном поиске, например, CouchDB, Couchbase, MongoDB, eXist, Berkeley DB XML.
  3. Колоночное хранилище (Column Family), где значения хранятся в столбцах (колонках), представленных в отдельных файлах. Это позволяет хранить большое количество атрибутов в сжатом виде, что ускоряет выполнение запросов, поиск и агрегацию данных. Такие СУБД отлично подходят для обработки счётчиков и событий, связанных со временем, например, в системах биржевой аналитики, IoT/IIoT-приложениях, CMS-системах и пр. Примеры Google Big Table, Apache HBase, Cassandra, ScyllaDB, Apache Accumulo и
  4. Графовое хранилище – это сетевая база, которая использует узлы и рёбра для отображения и хранения данных. Эта модель оптимальна для задач обхода графа без дополнительных вычислений, как Join-операции в SQL. Эти СУБД поддерживают ACID-требования и применяются для анализа связей: соцсети, выявление мошенничества, маршруты общественного транспорта, дорожные карты, топологии. Примеры: InfoGrid, Neo4j, Amazon Neptune, OrientDB, AllegroGraph, Blazegraph, InfiniteGraph, FlockDB, Titan, ArangoDB.

Зачем интегрировать Hadoop с NoSQL-СУБД и реляционными базами данных

Apache Hadoop — это основная технология хранения и обработки больших данных, open-source набор утилит, библиотек и фреймворк для разработки и выполнения распределённых программ на кластерах из сотен и тысяч узлов. Сегодня вокруг Apache Hadoop существует целая экосистема связанных проектов и технологий, которые используются для интеллектуального анализа больших данных (Data Mining), в том числе с помощью машинного обучения (Machine Learning).

На практике Apache Hadoop используется во множестве компаний по всему миру для:

  • хранения множества разноформатной информации в рамках озера данных (Data Lake);
  • сортировка огромных объемов данных и разбор содержимого чрезвычайно больших файлов;
  • аналитики поисковых запросов и пользовательских логов в высоконагруженных веб-сайтах и корпоративных информационных системах;
  • обработки графических данных.

NoSQL-СУБД Apache HBase использует файловую систему Hadoop (HDFS) для хранения данных, обеспечивая высокую скорость за счет кэширования в памяти и обработки данных на стороне сервера через фильтры и сопроцессоры. Поэтому HBase востребована в системах аналитики больших данных в реальном времени (OLTP) и табличных пользовательских приложений. Поддержка внешних SQL-решений, таких как Apache Phoenix, Drill, Hive и Cloudera Impala, позволяет работать с данными в HBase, как с реляционными таблицами. Такие SQL-on-Hadoop инструменты существенно снижают порог входа в технологию, облегчая ежедневную работу аналитиков данных и Data Scientist’ов.

Узнать больше о Hadoop и NoSQL

Кому нужны обучающие курсы по Apache Hadoop и NoSQL

Наши авторские курсы по интеграции NoSQL и Hadoop ориентированы на инженеров данных, архитекторов Data Lake и КХД, а также разработчиков Big Data систем, которые хотят получить следующие знания и навыки:

  • понять, как организовать комплексную Big Data инфраструктуру на базе озера данных Apache Hadoop, интегрированного с корпоративными хранилищами данных (КХД), OLAP и OLTP системами;
  • разобраться с архитектурой КХД и Data Lake, принципами их наполнения, средствами организации ELT/ETL-процессов;
  • освоить инструменты создания конвейеров данных (data pipelines), включая потоковый (streaming) и пакетный (batch) режимы с применением Apache Sqoop и Spark;
  • научиться формировать запросы к большим данным с помощью средств SQL-on-Hadoop (Apache Hive, Cloudera Impala, Apache Phoenix);
  • приобрести опыт работы с MPP-СУБД Greenplum и ArenadataDB для эффективного охранения и быстрой аналитики больших данных, а также с OLAP-системами Yandex ClickHouse и Arenadata Quick Marts;
  • узнать лучшие практики использования всех этих инструментов для решения прикладных бизнес-задач.

 Предварительный уровень подготовки:

  • Опыт работы в Unix
  • Знание SQL

Программа курса

Как построены курсы по SQL-on-Hadoop и NoSQL

Продолжительность: 5 дней, 40 академических часа

Соотношение теории к практике 40/60

Практическое обучение инженеров данных и архитекторов Big Data в «Школе Больших Данных» включает теоретический минимум, необходимый для прикладной работы и эффективному использованию Apache HBase, Spark, Sqoop, Hive, Impala, Greenplum, ArenadataDB, Yandex ClickHouse и Arenadata Quick Marts. Подробно рассматриваются вопросы проектирования озер и корпоративных хранилищ данных, схемы HBase, Greenplum, ArenadataDB, Yandex ClickHouse и Arenadata Quick Marts. Подробно рассматриваются вопросы проектирования озер и корпоративных хранилищ данных, импорта и экспорта информации из реляционных источников, преобразование данных в процессах ETL/ELT с использованием batch-процессинга Hive и конвейеров на Apache Spark.

Курс содержит описание механизма SQL-доступа к данным в OLAP и OLTP-решениях посредством Cloudera Impala и Apache HBase/Phoenix. MPP-системы разбираются на примере аналитической СУБД Greenplum/ArenadataDB, в т.ч. интеграцию с Hadoop-кластерами по протоколу параллельного обмена данных со сторонними системами PXF (Platform eXtension Framework). Также курс включает знакомство с кластерной колоночной СУБД Arenadata Quick Marts (Yandex СlickHouse), которая позволяет в режиме реального времени генерировать аналитические отчёты на больших объемах данных.

На практике вы самостоятельно построите собственный data pipeline в рамках ETL/ELT-процессов, поработаете с SQL-запросами к Hadoop, спроектируете схему организации NoSQL-таблиц в озере и корпоративном хранилище данных.

Успешно окончив курсы по интеграции Hadoop и NoSQL в нашем лицензированном учебном центре, вы получите сертификат о повышении квалификации государственного образца.

Зарегистрироваться

Программа курса Интеграция Hadoop и NoSQL

  1. Введение в NoSQL
  • Базовые принципы и компоненты Hadoop
  • Основные концепции и виды NoSQL решений
  • Архитектура Data Lake
  • Принципы формирование pipelines и Data Lake
  1. Организация импорта данных
  • Apache Sqoop – основные принципы:
    • простой импорт и экспорт данных из реляционных источников
    • сценарии применения
  • Apache Spark – обзор возможностей:
    • импорт и экспорт данных из реляционных источников и файлов
    • нагруженный импорт данных с преобразованием для вложенных, JSON, XML форматов
  • Особенности использования форматов хранения файлов AVRO, ORC, Parquet.
  1. Организация Hadoop SQL интерфейса доступа к данным на файловой системе HDFS
  • Apache Hive – интерфейс доступа для batch-процессинга данных на HDFS
    • Основные компоненты системы
    • Batch процессинг с использованием движков MapReduce/Tez, LLAP, Spark — особенности
    • Тюнинг JOIN операций
    • Сценарии использования
  • Cloudera Impala – OLAP аналитика данных в MPP Hadoop
    • Особенности решения
    • Интеграция с Hive и HBase
    • Форматы файлов для Cloudera Impala (Parquet, ORC)
    • Особенности JOIN-операций
    • Сценарии использования
  • Spark SQL
    • Возможности фреймворка и предоставляемые API
    • Сложные преобразования и агрегация с использованием Spark SQL
    • Интеграция с Hive
    • Сценарии использования
  1. NoSQL в Hadoop
  • Спектр возможностей NoSQL в экосистеме Hadoop
  • Apache HBase – для real-time доступа на чтение и запись
    • Архитектура решения, концепция CRUD,
    • Проектирование базы данных, выбор column family
    • Сценарии использования HBase
    • Использование Apache Phoenix для HBase
  1. Организация хранилища MPP NoSQL на примере Greenplum/ArenadataDB
  • Концепция MPP и её реализация в Greenplum/ArenadataDB.
    • Загрузка и распределение данных. Сегментирование таблиц. Индексация
    • Внешние таблицы, реплицированные таблицы, consistent hashing
    • Оптимизация запросов, JOIN
    • Best practices
    • Сценарии использования
  1. OLAP на колоночных базах данных на примере Yandex ClickHouse и Arenadata Quick Marts
  • Особенности реализации
  • Шардирование, партиционирование, индексация
  • Сценарии использования

РегистрацияСкачать программу курса«Интеграция Hadoop и NoSQL» в формате pdf