Все курсы
Практический курс «Графовые алгоритмы в Apache Spark»
Код курса | Даты начала курса | Стоимость обучения | Длительность обучения | Формат обучения |
---|---|---|---|---|
GRAS | 16 мая 2024 08 августа 2024 07 ноября 2024 |
48 000 руб. | 16 ак.часов | Дистанционный |
Регистрация |
Аудитория
2-дневный практический курс для разработчиков Apache Spark, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов Big Data, которые используют или планируют использовать Spark для решения задач графовой обработки данных.
О курсе
Практический курс по Спарк рассчитан на разработчиков Big Data, дата инженеров и аналитиков данных, Data Scientist’ов и других специалистов по большим данным, которые хотят получить опыт настройки и использования Apache Spark Graphframe. На этом курсе вы изучите предоставляемые фреймворком Spark возможности графовой обработки данных, графовых алгоритмов, представления информации в графовом виде, а также парадигму Pregel.
В качестве прикладных примеров рассматриваются реальные бизнес-кейсы:
- формирование списка интересов потребителя для точной сегментации целевой аудитории;
- определение круга знакомых пропавшего человека;
- выявление подозрительных схем финансовых транзакций;
- рекомендательные и антифрод-системы;
- поиск мошеннических схем в страховании;
- оптимизация транспортных маршрутов.
Соотношение теории к практике 50/50
Предварительная подготовка
- Опыт работы в Unix/SQL;
- Знания в объеме, аналогичном курсу Core Spark
- Начальный опыт программирования (Python/Java);
- Начальный опыт в экосистеме Hadoop
Программа курса «Графовые алгоритмы в Apache Spark»
1. Введение в графовую модель
- Понятие графа, его реализация
- Графовые алгоритмы и задачи.
2. Графовая обработка в Apache Spark
- Текущий статус поддержки графовых вычислений в Spark
- Основная абстракция Graphframe и работа с ней
- Представление графа в Spark Graphframe
- Основные атрибуты и методы.
3. Графовые алгоритмы в Apache Spark
- Реализованные графовые алгоритмы
- Применение для решения практических задач
4. Pregel и его применение
- Парадигма Pregel и ее история
- Реализация в Spark
- Применение для решения практических задач
Кто проводит курс
Королев Михаил
МГУ им. М.В. Ломоносова (Москва, 1992)
Профессиональные компетенции:
- Сертифицированный разработчик Spark и Hadoop (CCA Cloudera)
- Сертифицированный разработчик (Cloudera Certified Professional Data Engineer)
- Построение корпоративных хранилищ и озер данных (Cloudera CDH, Hadoop)
- Организация ETL-конвейеров (ApacheAirflow, Spark, Apache Livy)
- Поддержка инфраструктуры больших данных (Apache Hive,HBase, Kafka,Elasticsearch)
- Руководитель проектов с корпоративными данными
- Ведущий Data Engineer АО “Альфастрахование”, Москва
География наших клиентов
- Москва
- Санкт-Петербург
- Нижний Новгород
- Екатеринбург
- Казань
- Краснодар
- Красноярск
- Перьм
- Челябинск
- Новосибирск
- Томск
- Тверь
- Саратов
- Самара
- Ростов-на-Дону
- Хабаровск
- Волгоград
- Калуга
- Якутск
- Севастополь
- Тольяти
- Владивоссток
- Тюмень
- Южно-Сахалинск
- Уфа
- Ставрополь
- Минск
- Алматы
- Астана
- Ташкент
- Душанбе
- Бешкек
Программа курса «GRAS: Графовые алгоритмы в Apache Spark»
Укажите e-mail, на который будет оправлена ссылка для скачивания файла: