Apache Spark + AirFlow – известная каждому дата-инженеру комбинация технологий Big Data для запуска сложных конвейеров обработки данных. Но совместное использование этих фреймворков ограничено недостатками AirFlow, часть из которых можно…
Метка: PySpark
Машинное обучение с Apache Spark: битва пакетов или отличия библиотек MLLib от ML
Автор Анна ВичуговаКатегория Machine Learning, Spark, Статьи
Сегодня рассмотрим Apache Spark с точки зрения Data Science специалиста: поговорим про сходства и отличия библиотек машинного обучения в этом фреймворке. Также ответим на вопрос «Spark ML vs MLLib», разберем,…
На заметку разработчику: 3 причуды Apache Spark и как с ними бороться
Автор Анна ВичуговаКатегория Spark, Статьи
Развивая наши курсы по Apache Spark, сегодня мы рассмотрим несколько особенностей, с разработчик которыми может столкнуться при выполнении обычных операции, от чтения архивированного файла до обращения к сервисам Amazon. Читайте…
Вспомнить все: 6 сегментов памяти Apache Spark и параметры их конфигурирования
Автор Анна ВичуговаКатегория Spark, Статьи
В этой статье продолжим говорить про обучение разработчиков Apache Spark и рассмотрим, какие сегменты памяти есть в этом Big Data фреймворке и как с ними работать наиболее эффективно. Читайте далее,…
3 достоинства и пара недостатков Apache Spark на Kubernetes
Автор Анна ВичуговаКатегория Spark, Статьи
С учетом тренда на контейнеризацию при разработке и развертывании любых технологий, в т.ч. Big Data, сегодня рассмотрим плюсы и минусы совместного использования Apache Spark с Kubernetes. Читайте далее, как отправить…
Что такое Big Data Reconciliation: согласование больших данных c Apache Spark
Автор Анна ВичуговаКатегория Spark, Use Cases, Статьи
Мы уже рассказывали, почему качество данных является важнейшим аспектом разработки и эксплуатации Big Data систем. Приемлемое для эффективного использования качество массивов информации достигается не только с помощью процессов подготовки датасета…
Как подготовить датасет к Machine Learning с PySpark и построить систему потоковой аналитики больших данных на Apache Kafka и ELK: пример прогнозирования CTR
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Spark, Use Cases, Статьи
В продолжение разговора о применении технологий Big Data и Machine Learning в рекламе и маркетинге, сегодня рассмотрим архитектуру системы прогнозирования конверсии рекламных объявлений. Читайте далее, как организовать предиктивную аналитику больших…
Насколько ты знаешь Apache Spark: открытый тест на знание популярного Big Data фреймворка
Автор Анна ВичуговаКатегория Spark, Статьи, Тесты
Обучение Apache Spark, Kafka, Hadoop и прочим технологиям Big Data – это не только курсы, теоретические статьи и практические задания, но и проверка полученных знаний. Поэтому сегодня мы предлагаем вам…
Конвейрезируй это: как построить ML-pipeline в Apache Spark MLLib
Автор Анна ВичуговаКатегория Machine Learning, Spark, Статьи
Сегодня поговорим про особенности построения конвейеров машинного обучения в Apache Spark. Читайте далее, как Spark MLLib реализует идеи MLOps, что такое трансформеры и оценщики, из чего еще состоит Machine Learning…
Как оптимизировать запрос в Apache Spark SQL: Predicate Pushdown vs Projection Pushdown
Автор Анна ВичуговаКатегория Spark, Статьи
Продолжая разбирать практические особенности аналитики больших данных с Apache Spark, сегодня рассмотрим возможности оптимизации SQL-запросов в этом Big Data фреймворке с помощью механизмов предикатного и проекционного сжатия. Читайте далее про…
