Продвигая наши курсы для разработчиков Spark с примерами реальных систем аналитики больших данных, сегодня рассмотрим библиотеку для чтения файлов формата DICOM от индийской компании Abzooba. Читайте далее, как автоматизировать поиск…
Рубрика: Machine Learning
Как подготовить датасет к Machine Learning с PySpark и построить систему потоковой аналитики больших данных на Apache Kafka и ELK: пример прогнозирования CTR
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Spark, Use Cases, Статьи
В продолжение разговора о применении технологий Big Data и Machine Learning в рекламе и маркетинге, сегодня рассмотрим архитектуру системы прогнозирования конверсии рекламных объявлений. Читайте далее, как организовать предиктивную аналитику больших…
Конвейрезируй это: как построить ML-pipeline в Apache Spark MLLib
Автор Анна ВичуговаКатегория Machine Learning, Spark, Статьи
Сегодня поговорим про особенности построения конвейеров машинного обучения в Apache Spark. Читайте далее, как Spark MLLib реализует идеи MLOps, что такое трансформеры и оценщики, из чего еще состоит Machine Learning…
10 вопросов на знание основ Big Data: открытый интерактивный тест для начинающих
Автор Анна ВичуговаКатегория AirFlow, Hive, Kafka, Machine Learning, Spark, Use Cases, Статьи, Тесты
Чтобы сделать самостоятельное обучение технологиям Big Data по статьям нашего блога еще более интересным, сегодня мы предлагаем вам простой интерактивный тест по основам больших данных, включая администрирование кластеров, инженерию конвейеров…
Потоковая обработка событий в Machine Learning и Big Data: основы StreamSQL для начинающих
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Статьи
Вчера мы говорили про промышленный Machine Learning в больших данных и рассматривали проблемы микросервисной архитектуры в системах машинного обучения. Продолжая разбирать, как Feature Store повышает эффективность MLOps-процессов, сокращая цикл разработки…
Зачем вам Feature Store или что не так с микросервисами в ML-системах
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Spark, Use Cases, Статьи
Сегодня рассмотрим, когда микросервисные архитектуры не подходят для систем машинного обучения и какие технологии Big Data следует использовать в этом случае. В этой статье мы расскажем, что такое Feature Store,…
Как построить ML-pipeline на Qlik Replicate, Apache Kafka и других технологиях Big Data: архитектура real-time аналитики больших данных
Автор Анна ВичуговаКатегория Kafka, Machine Learning, Use Cases, Статьи
Сегодня поговорим про ETL-процессы в мире Big Data на примере построения непрерывного конвейера поставки больших данных о транзакциях для сервисов машинного обучения. Читайте далее, из чего состоит типичная архитектура такой…
Преобразование столбцов в PySpark
Автор Роман КотюбеевКатегория Machine Learning, Spark, Статьи
Обработка данных является одной из самых первоочередных задач анализа Big Data. Сегодня мы расскажем о самых полезных преобразованиях PySpark, которые можно выполнить над столбцами. Читайте далее, как привести значения к…
3 метода векторизации слов в PySpark
Автор Роман КотюбеевКатегория Machine Learning, Spark, Статьи
Продолжаем говорить о NLP в PySpark. После того как тексты обработаны: удалены стоп-слова и проведена лемматизация — их следует векторизовать для последующей передачи алгоритмам Machine Learning. Сегодня мы расскажем о…
Не только AirFlow: Apache Luigi и еще 3 ETL-оркестратора для Big Data Pipeline'ов
Автор Анна ВичуговаКатегория AirFlow, Machine Learning, Use Cases, Статьи
Чтобы максимально приблизить обучение Airflow к практической работе дата-инженера, сегодня мы рассмотрим, какие еще есть альтернативы для оркестрации ETL-процессов и конвейеров обработки больших данных. Читайте далее, что такое Luigi, Argo,…
