Профессия «Дата-инженер»: профессиональная переподготовка ИТ-специалистов

250 академических часов

10 курсов по технологиям Big Data

Диплом с присвоением квалификации

Кто такой дата-инженер

Дата-инженер – это специалист, который отвечает за сбор из различных источников и доставку данных конечным потребителям: аналитикам и ученым по данным (Data Scientist’ам). Именно он работает с ETL/ELT-процессами, обеспечивает загрузку данных в корпоративные хранилища и озера, помогает ИТ-архитектору выстраивать эффективные системы аналитики больших данных, организуя конвейеры доставки и преобразования нужной информации из множества разных СУБД и файлов различных форматов.

Какие задачи решает дата-инженер?

Построение конвейеров сбора данных из различных источников, организация ETL/ELT-процессов, преобразование форматов данных, загрузка данных в корпоративные хранилища и озера, доставка данных получателям (пользователям и сервисам) в нужное время и в нужном виде. Data Engineer работает согласно концепции DataOps, своевременно обеспечивая стейкхолдерам доступ к необходимой информации. Без дата-инженера аналитики не получат важные бизнес-метрики на BI-дэшбордах, а разработчики ML-систем не смогут обучить свои модели и запустить их на реальных данных.

Где востребованы инженеры данных?

ИТ-компании, ритейл, государственные организации, крупные агентства веб-аналитики и онлайн-рекламы, производственные предприятия, банки, страхование, масштабные корпорации и небольшие фирмы с большими объемами данных, получаемых из множества разных источников и направляемых в разные системы-приемники. В России чаще всего дата-инженеры требуются в Яндекс, ВК, Сбербанк, ВТБ, ФНС, Северсталь, X5 Retail Group, Ozon, Wildberries и множество других data-driven компаний.

Насколько выгодно оплачивается труд дата-инженера?

Инженер данных - один из самых высокооплачиваемых ИТ-специалистов в области Big Data. Средняя зарплата дата-инженера в России на 2022 год составляет около 4-х тысяч долларов. А в целом Data Engineer зарабатывает больше, чем аналитик данных и Data Scientist. Причем не только в России и странах бывшего СНГ, но и на рынках Европы, а также США и Канады.

Рост медианной зарплаты по годам в %
Рост открытых вакансий по годам в %
Годовая зарплата дата-инженера в разных странах, тысяч $

Профессиональные компетенции инженера данных

основы администрирования Linux-систем
программирование на Python
SQL на продвинутом уровне
умение работать с популярными реляционными и NoSQL-СУБД (MySQL, MSSQL, Oracle Database, Neo4j, Redis, Hive, Snowflake)
понимание принципов организации и работы корпоративных хранилищ и озер данных
знакомство с BI-системами (Tableau, PowerBI)
умение работать с компонентами экосистемы Apache Hadoop (MapReduce, Spark, AirFlow, Hive, HBase, Storm)
знание принципов организации ETL/ELT-процессов
владение востребованными пакетными и потоковыми оркестраторами заданий (AirFlow, NiFi, Dagster, Hop и пр.)
умение работать с технологиями потоковой передачи событий (Kafka, Spark Streaming, Flink)
знание технологий контейнерной виртуализации (Docker, Kubernetes)
понимание концепции DataOps
основы Data Science и Machine Learning

Образовательная программа «Дата-инженер»

Часть 1. Пакетная обработка (90 часов)
FUNP

Бесплатный

Тест на знание Python
Workshop Batch Pipeline
Часть 2. Потоковая обработка (60 часов)
SCALA

Бесплатный

Тест на знание SCALA
Workshop Stream Pipeline
Итоговое тестирование
1. Введение в анализ данных и разработку на языке Python
  • Python как инструмент для анализа данных и решения задач машинного обучения. Установка и настройка среды разработки. Обзор и сравнение имеющихся IDE.
  • Основы работы в Jupyter Notebook. Интерпретирование строковых и текстовых полей. Удаленная разработка с использованием сервиса Google colaboratory.
2. Библиотеки NumPy и SciPy для решения задач анализа данных и машинного обучения
3. Библиотека Pandas для работы с высокоуровневыми структурами данных
4. Визуализация результатов анализа данных с использованием библиотек Matplotlib, Seaborn, Pandas
5. Роль и место библиотек языка Python в построении конвейера для обработки и анализа данных с целью последующего применения методов машинного обучения

Полный сборник видео-курсов «Основы языка Python для анализа данных и решения задач машинного обучения».

1. Продвинутые возможности библиотек языка Python для обработки и визуализации данных

Цель: познакомить участников с продвинутыми возможностями основных библиотек языка Python для обработки и визуализации данных и сформировать необходимые навыки по работе с данными в рассматриваемых библиотеках

Теоретическая часть:

  • изучение возможностей библиотек языка Python для обработки (Pandas, NumPy, SciPy, Sklearn) и визуализации (matplotlib, seaborn) данных.
  • обзор основных приемов по работе с данными:
    • первичный анализ данных
    • получение описательных статистик
    • изменение типа данных
    • построение сводных таблиц
    • визуализация статистических характеристик данных (гистограммы, графики плотностей распределений, тепловые карты, «ящики с усами» и «виолончели»)

Практическая часть: решение практических задач обработки и визуализации данных на примере табличных данных.

2. Библиотеки Python в корректировании типичных особенностей в данных

Цель: познакомить участников с основными особенностями в данных, с которыми приходится сталкиваться в реальных задачах, и научить успешно их корректировать с использованием библиотек языка Python. Продемонстрировать применение указанных подходов в случае промышленного варианта подготовки данных на примере использования Apache Spark (PySpark).

Теоретическая часть:

  • обзор типичных особенностей в данных и подходов к их корректировке:
    • отсутствующие значения
    • выбросы
    • дубликаты
  • подготовка данных для использования в алгоритмах машинного обучения:
    • нормализация числовых данных
    • преобразование категориальных значений
    • работа с текстовыми данными

Практическая часть: подготовка «сырых» данных для использования в алгоритме машинного обучения с подробным анализом влияния каждой особенности датасета на конечный результат работы алгоритма

3. Подходы к построению дополнительного признакового пространства на основе исходных данных

Цель: познакомить участников с основными подходами получения дополнительных и наиболее значимых характеристик из исходных данных. Продемонстрировать влияние дополнительных признаков на улучшение метрик качества работы алгоритмов машинного обучения с использованием библиотеки Sklearn

Теоретическая часть:

  • обзор подходов формирования дополнительного признакового пространства и выбора наиболее значимых характеристик
    • увеличение размерности исходного признакового пространства
      • постановка задачи в случае обучения с учителем – с использованием целевой переменной
      • постановка задачи в случае обучения без учителя
    • уменьшение размерности исходного признакового пространства
  • подробный анализ задачи увеличения размерности исходного признакового пространства в случае обучения с учителем:
    • статистические методы фильтрации признаков в задачах классификации и регрессии
    • методы машинного обучения как инструменты для получения наиболее значимых признаков в данных

 Практическая часть: решение прикладной задачи построения дополнительного признакового пространства и получения наиболее значимых признаков с подробным анализом влияния рассмотренных теоретических подходов на конечный результат работы алгоритмов машинного обучения

4. Проектная работа

Цель: закрепить полученные слушателями курса знания по подготовке данных.

Теоретическая часть: краткий обзор пройденного материала со ссылками на рабочие блокноты, в которых решалась та или иная задача подготовки данных.

Практическая часть: самостоятельное решение задачи подготовки датасета для машинного обучения с использованием собственной базы данных или на лабораторном наборе от организаторов курса. Итоговый разбор работ слушателей курса.

  1. Основы Hadoop и Big Data
    • Что такое Big  Data. Понимание проблемы Big Data
    • Эволюция систем распределенных вычислений Hadoop
    • Концепция Data Lake и pipelines
  2. Архитектура Apache Hadoop
    • Hadoop сервисы и основные компоненты. Name nodeDataNode.
    • YARN сервис-планировщик
    • Демоны HDFS
    • Отказоустойчивость и высокая доступность
  3. Hadoop Distributed File System
    • Архитектура HDFS. Блоки HDFS
    • Основные команды работы с HDFS
    • Операции чтения и записи, назначения HDFS
    • Дисковые квоты. Поддержка компрессии
    • Основные форматы хранения данных TXT, AVRO, ORC, Parquet, Sequence файлы
    • Импорт (загрузка) данных на HDFS
  4. MapReduce
    • Ведение в MapReduce. Компоненты MapReduce. Работа программ MapReduce. YARN MapReduce v2/3.
    • Ограничения и параметры MapReduce и YARN
    • Управление запуском пользовательских задач (jobs) под MapReduce.
  5. Дизайн кластера Hadoop
    • Сравнение дистрибутивов и версий Hadoop 2/3 (Cloudera Data Platform, Apache Hadoop, Arenadata Hadoop): различия и ограничения
    • Требования программного и аппаратного обеспечения
    • Планирование кластера
    • Масштабирование кластера Hadoop. Отказоустойчивость Hadoop
    • Federated NameNode. Hadoop в облаке
    • Интеграция с другими решениями: streaming (DataFlow), NoSQL
  6. Установка кластера CDP
    • Оптимизация OS для узлов кластера
    • Установка Hadoop кластера с использованием Cloudera Data Platform Private Cloud
    • Выбор начальной конфигурации
    • Начальная конфигурация HDFS и MapReduce
    • Файлы логов и конфигурации
    • Установка Hadoop клиентов
    • Установка Hadoop кластера в облаке
  7. Операции обслуживания кластера Hadoop
    • Дисковая подсистема
    • Квоты
    • Остановка, запуск, перезапуск (Graceful Shutdown)
    • Управление узлами
  8. Оптимизация и управление ресурсами
    • Производительность. Файловая система. Data Node и Data layout и партиционирование, bucketing
    • Планировщики: FIFO Scheduler. Планировщик емкости (Capacity Scheduler). Гранулярное управление ресурсами (Fair Scheduler). Защита очередей и доминантное управление ресурсами DRF
  9. Управление кластером Hadoop с использованием Cloudera Manager
    • Основные операции и задачи Cloudera Manager
    • Мониторинг с Cloudera Manager
    • Диагностика и разрешение проблем с Cloudera Manager
  10.  Инструментарий Apache Hadoop экосистемы 
    • Графический интерфейс сервиса HUE/Zeppelin
    • Основы Apache Zookeeper
    • Введение в Hadoop SQL: Apache Hive, понятие Hive таблицы, установка Hive
    • Использование Apache Sqoop — установка и выполнение базовых операций
    • Обзор и назначение компонент: Apache Spark, Apache Solr, Cloudera Impala, Apache HBase, Apache Phoenix, Apache Oozie

 

Примерный список практических занятий по курсу «Основы Hadoop»:

  • Установка 3х-узлового кластера в облаке Amazon Web Services с использованием Cloudera Manager
  • Базовые операции обслуживания кластера Hadoop и файловые операции HDFS
  • Управление ресурсами и запуском задач с использованием YARN и MapReduce
  • Знакомство с SQL интерфейсом доступа Apache Hive
  • Выполнение базовых операций  импорта/экспорта с применением Apache sqoop
  • Применение веб-интерфейса HUE/Zeppelin (опционально)

Примечание:
• Доступ к лабораторному стенду на Amazon Web Services предоставляется на время учебных курсов с 8:30 до 18:30 (возможно продление времени по запросу)
• Практические занятия с меткой (опционально) выполняются по желанию и при наличии свободного времени у слушателей

1. Основные концепции Apache Hive

  • Архитектура Hive.
  • Инструменты администирования и исполнения запросов: beeline/Hive shell & HUE Query Editor.
  • Схема чтения и записи в Hive.
  • Структура и формат хранения файлов HIVE.
  • Синтаксис HiveQL. Hive DDL и DML операции.

2. Импорт и экспорт в Apache Hive

  • Загрузка данных в таблицы Hive.
  • Внешние и управляемые таблицы в HiveQL.
  • Оптимизации производительности с использование Partition, Buckets.
  • Импорт/экспорт данных БД.
  • Форматы хранения данных и применение компрессии.

3. Реализация JOIN в Hive

  • Map JOIN.
  • Comon JOIN.
  • Skewed JOIN.
  • Collocated JOIN.

4. Advanced HiveQL и Hadoop SQL 

  • Интеграция Hive с Pig, Impala, Hbase, Spark, Sqoop.
  • Thrift сервер
  • User Defined Functions
  • Hive на Spark.
  • Hive на Tez

5. Сценарии применения Hive

Практические лабораторные работы на кластере в AWS по настройке партиционирования больших данных на файловой системе HDFS, оптимизация исполнения запросов и интеграция с существующими решениями Cloudera Impala, HBase, Spark SQL и Sqoop.

1. Введение в потоковую обработку

  • Потоковая и пакетная обработка данных
  • Особенности потоковой обработки
  • Надежность и потоковая обработка.

2. Потоковая обработка в Apache Spark

  • Два вида потоков (на основе RDD и Dataframe)
  • Парадигма потоковой обработки в Structured Streaming
  • Источники (sources и sink).

3. Совместное использование Batch и Streaming

  • Трансформации и действия в Apache Spark
  • Объединение данных в Spark (join)
  • Особенности использования трансформаций при работе с потоковыми данными

4. Источники потоковых данных

  • Файловый источник данных
  • Apache Kafka как источник данных
  • Другие источники потоковых данных

5. Обеспечение надежности потоковой обработки в Apache Spark

  • Механизм checkpoint в Apache Spark
  • Настройка streaming checkpoint
  1. Введение в Kafka

  2. Основные концепции Kafka

    • Как работает Kafka: Топики (Topics) и партиций (Partitions). Репликация данных.
    • Брокеры (Brokers): Развертывание. Конфигурация Multibroker
    • Поставщики данных (Producers): Типы партиций. Синхронные и асинхронные Producers.
    • Потребители данных (Consumers): Очереди Consumers.
  3. Установка кластера Apache Kafka

    • Требования по установке кластера Kafka
    • Установка и настройка кластера Zookeeper: Настройка кворума. Конфигурация сервисов и файловой системы. Оптимизация и отказоустойчивость Zookeeper. Установка кластера Kafka без использования Zookeeper KIP-500
    • Установка и настройка кластера Kafka: Планирование установки и sizing кластера Kafka.
    • Типовые проблемы при установке. Запуск и первоначальное конфигурирование Kafka.
    • Конфигурация Listeners. Отказоустойчивость кластера Kafka.
    • Установка кластера Kafka на AWS
  4. Базовые операции в Apache Kafka

    • Операции с Топиками (Topic)
    • Публикация данных с консольного Producer
    • Получение данных с консольного Consumer
    • Пользовательские интерфейсы для работы с Kafka
  5. Оптимизация кластера Apache Kafka

    • Оптимизация производительности компонент кластера
    • Масштабирование кластера
    • Балансировка разделов(partition) и использование Partition Reassignment Tools
    • Best Practices Kafka/Confluent
    • Мониторинг кластера Kafka
    • Настройка мониторинга кластера Kafka с использованием Prometheus + Grafana
  6. Интеграция с Apache Kafka

    • Использование Apache NiFi
    • Интеграция Apache Flume с Kafka
    • Сценарии интеграции с Apache Kafka
  7. Расширенная конфигурация кластера Kafka

    • Расширенная конфигурация топиков (Topic): Изменение конфигурации топиков.
    • Sizing (количество партиций и фактор репликации). Сегменты и индексы. Политика очистки
      логов (Log Cleanup Policy). Сжатие и консолидация данных в логах.
    • Confluent REST Proxy. Confluent Schema Registry (обзорно)
    • Репликация кластера с использованием Mirror Maker 2
  8. Безопасность в Kafka

    • Шифрование SSL: Установка центра сертификатов (CA), настройка SSL/TLS для Kafka кластера и
      клиентов
    • Аутентификация SSL/SASL
    • Аутентификация Kerberos: Настройка Kerberos. Keytabs и principals. Настройка кластера Kafka и клиентов для поддержки Kerberos
    • Авторизация в Kafka
    • Управление списками управления доступом (ACL)

По необходимости программа может быть адаптирована к потребностям Заказчика. 

  1. Введение в Apache NiFi
    • Архитектура Hadoop Data Flow
    • Архитектура решения и ключевые концепции Apache NiFi :
      • Принципы потоковой обработки данных
      • FlowFile
      • processor
      • connector
      • FlowFile Repository
      • Content Repository
      • Provenance Repository
    • Data Lineage и Data Provenance (Data Provenance Events)
    • Функционал NiFi по управлению потоковой обработкой данных:
      • гарантированная доставка
      • управление каналом (буферизация, pressure)
      • QoS
      • версионность
  2. Администрирование NiFi
    • Установка и настройка кластера Apache NiFi
    • Управление кластером NiFi
    • Создание NiFi DataFlow
    • Добавление процессора, возможности масштабирования, работа с атрибутами и свойствами
    • Процессорные группы (Remote Processor Group)
    • Использование NiFi шаблонов
    • Оптимизация DataFlow
    • Инструменты мониторинга и уведомлений NiFi
    • Apache NiFi Registry версионность и поддержка production deployment
  3. Интеграция и масштабирование
    • Вертикальное и горизонтальное масштабирование и отказоустойчивость NiFi
    • Доступные расширения и готовые «из коробки» процессоры и коннекторы
    • Возможности интеграции кластера NiFi (consumer/provider) с Kafka
    • Apache Nifi vs MiniFi
    • Интеграция Apache Kafka, NiFi, MiNiFi
    • Типовые сценарии/схемы потоковой обработки данных

 

В результате обучения вы получите

В результате обучения вы приобретете базовые знания и навыки, необходимые для начала практической работы в качестве дата-инженера уровня middle на реальных проектах

Освоите тонкости программирования на Python для распределенных приложений и кластерных сервисов

Познакомитесь с парадигмами пакетной и потоковой обработки информации, а также популярными архитектурами реализации Big Data систем (Lambda, Kappa)

Узнаете принципы построения корпоративных озер и хранилищ данных на локальных и облачных кластерах (DWH, Data Lake, Delta Lake, Data Mesh)

Сможете организовать потоковые и пакетные конвейеры сбора, преобразования и маршрутизации данных из разных источников в разные места назначения: реляционные и нереляционные СУБД, облачные хранилища, файловые и прикладные системы

Сумеете реализовать ETL/ELT-процессы с помощью Apache NiFi, AirFlow, а также других потоковых и пакетных оркестраторов

Поймете, как наладить мониторинг качества данных и процессов их обработки с использованием современных инструментов администрирования (Grafana, Prometheus, Zabbix и пр.)

Разберетесь с концепцией DataOps и сможете применять ее положения в практической деятельности для своевременного обеспечения нужными данными соответствующих участников корпоративных бизнес-процессов

Получите опыт реальной работы с Apache Hadoop, HBase, Hive, Spark, Kafka, AirFlow, NiFi и другими технологиями Big Data на уровне junior-администратора и продвинутого пользователя

Освоите лучшие практики современной инженерии данных на примере российских и зарубежных компаний, например, как сократить затраты на облачный кластер, оптимизировав SQL-запросы или изменив форматы хранения данных

Познакомитесь с основами Data Science и процессами подготовки данных к ML-моделированию

Научитесь работать с технологиями контейнерной виртуализации (Docker, Kubernetes)

Узнаете, как использовать готовые шаблоны, операторы и процессоры обработки данных, а также коннекторы для интеграции разных систем. Сможете реализовать собственное решение и запустить его в production.

сертифицированные курсы Big Data Hadoop Spark Kafka в Москве
Сертификат – Школа Больших Данных (ООО “Учебный центр “Коммерсант”)
сертифицированные курсы Big Data Hadoop Spark Kafka в Москве
Удостоверение – Школа Больших Данных (ООО “Учебный центр “Коммерсант”)

Как проходит обучение

Формат занятий

Офлайн-обучение или онлайн-курсы проходят в формате интерактивного семинара: даже в дистанционном режиме с вами занимается живой преподаватель - рассказывает теорию, дает практические задания и проверяет результаты выполнения. В качестве примеров рассматриваются кейсы из реального бизнеса и лучшие практики DataOps. Все материалы занятий (видеозаписи, презентации, методические указания и пр.) доступны в течение всего периода обучения и после него

Продолжительность обучения:
Соотношение теории к практике: 30/70
Входной и выходной контроль

Программа профессиональной переподготовки "Инженер данных" включает несколько контрольных точек для проверки знаний и навыков слушателей:

Результирующие документы

После освоения всех модулей образовательной программы, успешного выполнения практических заданий и контрольных точек слушатели получают официальное свидетельство о получении новой квалификации - диплом о профессиональной переподготовке, который предоставляет право на ведение профессиональной деятельности в сфере "Инженерия больших данных" и подтверждает присвоение квалификации "Инженер данных"

Преимущества профессиональной переподготовки и повышения квалификации в Школе Больших Данных

Комплексная образовательная программа

В программу включены только действительно востребованные на практике технологии без воды и всем известной теории. Мы объединили 10 самых актуальных курсов в единый сквозной проект с долей практики 70%. Работаем с последними версиями фреймворков и зорко следим за всеми новинками дата-инженерии

Профессиональные инструкторы

получайте знания и навыки у практикующих профессионалов, которые ежедневно решают сложные задачи дата-инженерии, от разработки скриптов до администрирования платформ, и рады поделиться своим опытом на наглядных примерах

Настоящий диплом о профпереподготовке

Благодаря наличию государственной лицензии на образовательную деятельность по программам дополнительного профессионального образования № 040221 от 29.07.2019, мы официально имеем право выдавать свидетельства о повышении квалификации и дипломы о профессиональной переподготовке

Подробные учебно-методические пособия

Полностью выполнить каждый шаг практических заданий вам помогут детальные инструкции по всем образовательным модулям. А доступ к учебному кластеру AWS в режиме 24/7 на весь период обучения позволит еще лучше усвоить практику в любое удобное вам время

Удобная образовательная среда

Получайте новые знания в просторных учебных классах нашего комфортного офиса с индивидуальными рабочими местами и современным оборудованием. Для тех, кто предпочитает онлайн, предлагаем дистанционное обучение в режиме интерактивного удаленного взаимодействия, а также проводим корпоративные курсы на территории заказчика

коммерческая выгода

Оптом - всегда дешевле. Вместо покупки 10 отдельных курсов по конкретным технологиям, за меньшую стоимость вы получаете комплексную образовательную программу с плавной интеграцией продуктовых модулей и единым сквозным проектом. А диплом о профпереподготовке официально подтвердит вами полученные знания и навыки

lic_2020-scaled.jpg
Государственная лицензия на образовательную деятельность – Школа Больших Данных (ООО “Учебный центр “Коммерсант”)
0
Уникальных курса
0
Слушателей в год
0
Преподавателей
0
Учебных часов в год
Andrey Kuznetsov
Read More
В декабре 2020 прошел курс "Администрирование кластера Kafka". Курс проводился удаленно. В части организации обучения придраться не к чему. Необходимую информацию прислали заранее, лабораторный стенд и портал обучения работали стабильно. Немного разочаровали лабораторные работы. На месте BigDataSchool я бы их переделал. В документах с лабами нужно сделать нормальное форматирование и нумерацию пунктов. Все пункты, необходимые для выполнения, нужно сделать в виде текста. В лабах много работ по созданию «обвязки» kafka (создание самоподписных сертификатов, развертывание MIT и т.п), которые можно сделать заранее. Это позволит студентам уделять больше времени изучению самой kafka. BigDataSchool идет навстречу и позволяет пользоваться лабораторным стендом гораздо дольше установленных часов обучения. Это очень к стати, если в течении дня Вы вынуждены отвлекаться от обучения. В целом, курс дает хорошую базу по kafka. Преподаватель хорошо подает материал, делает акценты в нужных местах, подробно отвечает на вопросы.
Александр Горелов
Александр Горелов
Read More
В октябре прошел курс Анализ данных с Apache Spark, это был второй раз, когда я обучался в этом месте. В целом, все хорошо, думаю что не последний. Не могу не подчеркнуть профессионализм преподавателя Королева Михаила, отвечал на поставленные вопросы, делился своим опытом. В общем, рекомендую!
Федор Чернилин
Федор Чернилин
Read More
Заканчиваю прохождения курса "ADH: Администрирование кластера Arenadata Hadoop". Хочу сказать, что выстроен грамотный план обучения, где отслеживается отличное соотношение практики и теории. Преподаватель, Комисаренко Николай, обладает отличным чувством юмора, что позволило не скучать на серьезных темах, и обладает отличным навыком объяснять сложные вещи простыми словами. На курс приходил с большим числом вопросов, на все из которых получил грамотные ответы, после чего все разложилось по полочкам.
Алексей Александров
Read More
Обучался на программе HADM. Подача материала доступная. Порадовало соотношение теории и практики 50/50. Отзывчивый преподаватель. Однозначно рекомендую!!!
Grigory Sidorov
Grigory Sidorov
Read More
Прошел Курс Администрирование кластера Hadoop. Подача материала хорошая, размеренная. Преподаватель отвечает на все вопросы, и пытается как можно прозрачней приподнести материал.
Peter Fedoseev
Peter Fedoseev
Read More
С 30 ноября по 4 декабря прошел курс "Администрирование кластера Hadoop". Учитывая, что я обладал довольно поверхностной информацией в данной теме (я CIO) - ушел с курсов просветленным. Многое стало понятным, в процессе обучения наложил знания на существующую инфраструктуру компании, в которой работаю. Рекомендую коллегам руководителям в ИТ - прокачаться на данном курсе, вы поймете куда двигаться в ближайшие 2-3 года. Админам, работающим или стремящимся в BigData- обязательно! Рекомендация - настойчиво, для тех кто "думает, что знает": перед курсом уделите время работе с командной строкой Linux! Total recall - обязательное условие. Много практической работы, и если есть затык в Linux - будете безнадежно отставать при выполнении лабораторных работ.
Dmitry Demianov
Read More
Прошел тут курс "NIFI: Кластер Apache NiFi", вёл Комисаренко Николай. Живое и понятное обучение. Преподаватель отвечал на все вопросы от самых глупых, до самых умных и это было приятно. Так же порадовало, что преподаватель не идёт по заранее проложенным рельсам, а проходит весь путь вместе с вами, стараясь привнести, что-то новое.
Демьян Н
Демьян Н
Read More
Учился на курсе Администрирование Hadoop. Курс вёл Николай Комиссаренко. Отлично подготовленная, продуманная, системная программа курса. Практические занятия организованы так, что у студентов есть возможность познакомиться с реальными особенностями изучаемого продукта. Отключил голову и прощёлкал лабы по книжке - здесь не работает. Преподаватель легко и развёрнуто отвечает на возникающие вопросы не только по теме предмета, но и по смежным.
Юрий Филиппов
Read More
Был на курсе "Администрирование кластера Hadoop". Отличная подача материала. Очень много практики и технических подробностей. Подробный обзор стека технологий, платформы и инструментов. Рекомендую!
Alexandr Chesnokov
Read More
Прошёл курс по администрированию Apache Kafka. Очень понравилась как подача материала, так и структура курса. Только вот времени маловато оказалось... не всё успел доделать, но это уже не к курсу претензии :). Практики было довольно много, и это хорошо
Роман Бессчётнов
Роман Бессчётнов
Read More
Посетил курс администрирование Hadoop. На курсе устанавливали кластер с нуля на виртуалках в облаке Amazon. Настраивали Kerberos, тестировали выполнение задач на кластере, управление ресурсами кластера. Т.к. кластер развернут в облаке, после завершения занятий можно самостоятельно работать с кластером из дома. Лекции вел Николай Комиссаренко, после обучения предоставил все материалы. На занятиях отвечал на дополнительные вопросы, рассмотрели как решить пару живых задач от студентов. Хороший курс для начала изучения BigData.
Previous
Next

Наши преподаватели

С вами будут делиться своими знаниями и практическим опытом ведущие разработчики Big Data решений, отраслевые эксперты, опытные администраторы кластеров, сертифицированные специалисты в аналитике больших данных и цифровой трансформации бизнеса
prepod-n-kommisarenko.jpg
Комиссаренко Николай

Основатель Школы Больших Данных и ведущий преподаватель курсов по администрированию Big Data кластеров.

prepod-ermilov-dmitrij-mihajlovich.jpg
Ермилов Дмитрий

Ведущий Data Scientsit в ФГУП “Центр информационных технологий”, Москва. Автор и преподаватель курсов Big Data Science Machine Learning. 

prepod-oleg-konorev.jpg
Олег Конорев

Руководитель группы Data Science в НИИ “Квант”, Москва. Автор и преподаватель курсов Big Data Science Machine Learning. 

prepod-mihail-korolev.jpg
Королев Михаил

Руководитель проектов с корпоративными данными, ведущий Data Engineer АО “Альфастрахование”, Москва. Ведущий преподаватель курсов по Apache Spark. 

Оплата: условия и особенности

Для юридических лиц
Гибкие условия оплаты

Выбирайте, как вам удобно оплатить стоимость курсов - предоплата, оплата по факту проведения занятий, счет-оферта, заключение рамочного договора, пост-оплата под гарантийное письмо. НДС не предусмотрен

Удобное вам время и место

Обучайтесь онлайн или офлайн: в наших классах или прямо в своей компании - возможен выезд преподавателя на территорию Заказчика и дистанционный формат обучения в режиме интерактивного удаленного взаимодействия. Минимальный размер группы для проведения корпоративного или выездного обучения — 6 человек

Адаптация программы под запросы Заказчика

Нужны дополнительные модули и темы? Адаптируем нашу типовую программу, объединим несколько курсов или разработаем совершенно новый модуль под ваши потребности. Адаптация увеличивает стоимость обучения на 30%

«ООО «Учебный центр «Коммерсант» (лицензия на образовательную деятельность № 040221 от 29.07.2019) предлагает гибкие условия оплаты для физических и юридических лиц, коммерческих и бюджетных организаций по обучению сотрудников современным технологиям хранения и аналитики больших данных. Обучайтесь в нашем учебном центре, дистанционно или офлайн в вашем офисе при проведении корпоративных курсов на территории Заказчика.

Работаем напрямую без посредников и гарантируем проведение курсов по расписанию с учетом специфических потребностей Заказчика.

Оплата обучения для физических лиц: особенности и преимущества
Рассрочка оплаты за обучение

Если вам удобнее оплачивать стоимость обучения частями, мы всегда пойдем навстречу и организуем оплату в рассрочку

Налоговый вычет

Вы можете вернуть 13% от суммы, оплаченной за курсы - государство освобождает расходы на обучение от НДФЛ. Мы предоставим вам все документы для ФНС: договор с учебным центром, копию государственной лицензии на образовательную деятельность (№ 040892 от 07.08.2020), чеки или квитанции об оплате обучения

Скидки и акции

Воспользуйтесь своей персональной скидкой, получив промо-код после прохождения бесплатных интерактивных тестов на нашем сайте или по партнерской программе. Скидки можно суммировать. Подробности у менеджера - просто напишите в чат на сайте или оставьте заявку в форме обратной связи

КАК К НАМ ДОБРАТЬСЯ (СХЕМА ПРОЕЗДА В BIG DATA SCHOOL)

На общественном транспорте

От метро «Алтуфьево» (последний вагон, направо, направо) проехать на автобусе (троллейбусе) №73, 73а, 259, 571 до остановки «ул. Костромская» (3-я остановка). От остановки «ул. Костромская» пройти через дублер на ул. Илимская и следовать по ней ~350м. Перед остановкой «Илимская улица, 3» повернуть налево к БЦ «Бизнес-Депо» (ул. Илимская, д. 5, корпус 2).

Пешком

От метро «Алтуфьево»(последний вагон, выход из метро направо и налево по лестнице) пройти по Алтуфьевскому шоссе(~10мин.)до улицы Илимская и следовать по ней до пешеходного перехода ~350м. После автобусной остановки «Илимская улица, 3» повернуть направо к БЦ «Бизнес-Депо», корпус 2, подъезд 2.

На автомобиле

Свободный паркинг по улице Илимская, где достаточно свободных мест в будни, или парковка бизнес-центра по предварительной договоренности при наличии парковочных мест.

Контакты авторизированного учебного центра
«Школа Больших Данных»
Адрес:

127576, г. Москва, м. Алтуфьево,
Илимская ул. 5 корпус 2, офис 319, БЦ «Бизнес-Депо»

Телефон:

+7 (495) 414-11-21
+7 (995) 100-45-63

Часы работы:

Понедельник - Пятница: 09.00 – 18.00

ОСТАВЬТЕ СООБЩЕНИЕ, И МЫ ПЕРЕЗВОНИМ ВАМ
В ТЕЧЕНИЕ РАБОЧЕГО ДНЯ