В этой статье по обучению дата-инженеров разберем, что такое Apache Beam, чем этот фреймворк отличается от AirFlow и что между ними общего. На первый взгляд Apache Airflow и Beam являются…
Метка: MLOps
Синергия Apache Airflow и Ray для MLOps-конвейеров: инженерия Data Science
Автор Анна ВичуговаКатегория AirFlow, Machine Learning, Статьи
MLOps и построение конвейеров машинного обучения – одни из самых актуальных задач современной Data Science. Сегодня рассмотрим, чем совместное использование Apache Airflow и Ray полезно для дата-инженера и ML-разработчика. Читайте…
Февральская новинка-2021: Apache Spark премиум-класса в Delta Lake Databricks на Google Cloud
Автор Анна ВичуговаКатегория Spark, Статьи
Продолжая вчерашний разговор про Delta Lake на базе Apache Spark от Databricks, сегодня мы расскажем одну из последних новостей о запуске этого решения на Google Cloud с середины февраля 2021…
Конвейрезируй это: как построить ML-pipeline в Apache Spark MLLib
Автор Анна ВичуговаКатегория Machine Learning, Spark, Статьи
Сегодня поговорим про особенности построения конвейеров машинного обучения в Apache Spark. Читайте далее, как Spark MLLib реализует идеи MLOps, что такое трансформеры и оценщики, из чего еще состоит Machine Learning…
Потоковая обработка событий в Machine Learning и Big Data: основы StreamSQL для начинающих
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Статьи
Вчера мы говорили про промышленный Machine Learning в больших данных и рассматривали проблемы микросервисной архитектуры в системах машинного обучения. Продолжая разбирать, как Feature Store повышает эффективность MLOps-процессов, сокращая цикл разработки…
Зачем вам Feature Store или что не так с микросервисами в ML-системах
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Spark, Use Cases, Статьи
Сегодня рассмотрим, когда микросервисные архитектуры не подходят для систем машинного обучения и какие технологии Big Data следует использовать в этом случае. В этой статье мы расскажем, что такое Feature Store,…
Не только AirFlow: Apache Luigi и еще 3 ETL-оркестратора для Big Data Pipeline'ов
Автор Анна ВичуговаКатегория AirFlow, Machine Learning, Use Cases, Статьи
Чтобы максимально приблизить обучение Airflow к практической работе дата-инженера, сегодня мы рассмотрим, какие еще есть альтернативы для оркестрации ETL-процессов и конвейеров обработки больших данных. Читайте далее, что такое Luigi, Argo,…
Что не так с Delta Lake на Apache Spark: 7 основных проблем и их решения
Автор Анна ВичуговаКатегория Hive, Spark, Статьи
При всех своих достоинствах Delta Lake, включая коммерческую реализацию этой Big Data технологии от Databricks, оно обладает рядом особенностей, которые могут расцениваться как недостатки. Сегодня мы рассмотрим, чего не стоит…
Облачное Delta Lake на Apache Spark от Databricks vs классическое озеро данных на Hadoop: 5 главных отличий
Автор Анна ВичуговаКатегория Spark, Статьи
Продолжая разговор про Delta Lake, сегодня мы рассмотрим, чем это быстрое облачное хранилище для больших данных в реализации компании Databricks отличается от классического озера данных (Data Lake) на Apache Hadoop…
Какой Machine Learning в вашем production: 5 популярных паттернов на любой вкус и 2 основные стратегии внедрения
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Статьи, Цифровая трансформация
Завершая цикл статей про MLOps, сегодня мы расскажем про 5 шаблонов практического внедрения моделей Machine Learning в промышленную эксплуатацию (production). Читайте далее, что такое Model-as-Service, чем это отличается от гибридного…
