Дополняя наши курсы по аналитике больших данных в бизнес-приложениях новыми полезными примерами, сегодня рассмотрим, как Apache Arrow помогает повысить производительность извлечения данных из Neo4j с помощью их колоночного представления и…
Метка: Machine Learning
Автоматическая диагностика и исправление сбоев в платформе данных Netflix c Apache Spark, Kafka, Flink и другими технологиями Big Data
Автор Анна ВичуговаКатегория Flink, Kafka, Spark, Статьи
Чтобы сделать наши курсы для дата-инженеров еще более интересными, сегодня рассмотрим практический пример построения инфраструктуры для автоматической диагностики и исправления ошибок пакетной и потоковой обработки данных в Netflix. Комплексная система…
Spark NLP 3.4.0: новый релиз ML-библиотеки для Apache Spark 3.2.x на Scala 2.12
Автор Анна ВичуговаКатегория Spark, Статьи
2022 год только начался, а John Snow Labs уже радует разработчиков ML-приложений новым релизом библиотеки Spark NLP. Ключевые фичи 3.4.0 для версии Apache Spark 3.2.x на Scala 2.12: новые GPT-2…
Миллиарды сообщений в секунду: микросервисная ML-система на Apache Kafka и DynamoDB
Автор Анна ВичуговаКатегория Kafka, Use Cases, Статьи
В этой статье разберем кейс бразильской фудтех-компании Ifood по реализации микросервисной ML-системы на Apache Kafka и serverless NoSQL-СУБД DynamoDB с пропускной способностью миллиарды сообщений в секунду. Сложности масштабирования микросервисов и…
Как организовать Feature Engineering на SQL-запросах: инженерия Data Science
Автор Анна ВичуговаКатегория Machine Learning, Статьи
В рамках наших курсов для дата-инженеров и специалистов в области Data Science, сегодня рассмотрим, как реализовать один из важнейших этапов машинного обучения – Feature Engineering. Читайте далее, как генерировать признаки…
Greenplum с PXF и глубокое обучение в Apache MADlib для классификации изображений
Автор Анна ВичуговаКатегория Greenplum, Machine Learning, Статьи
Недавно мы рассказывали про оптимизацию SQL-запросов в PXF – интеграционном фреймворке Greenplum. Сегодня рассмотрим, как этот способ обращения к внешним источникам данных можно применить к задачам машинного обучения на примере…
Синергия Apache Airflow и Ray для MLOps-конвейеров: инженерия Data Science
Автор Анна ВичуговаКатегория AirFlow, Machine Learning, Статьи
MLOps и построение конвейеров машинного обучения – одни из самых актуальных задач современной Data Science. Сегодня рассмотрим, чем совместное использование Apache Airflow и Ray полезно для дата-инженера и ML-разработчика. Читайте…
Из CSV-файла в GridDB: ETL-конвейер на Apache NiFi для анализа данных временных рядов
Автор Анна ВичуговаКатегория NiFi, Use Cases, Статьи
Чтобы добавить в наши курсы для дата-инженеров еще больше полезных примеров, сегодня рассмотрим, как построить конвейер преобразования CSV-файлов и загрузить данные в масштабируемую NoSQL-СУБД GridDB с помощью Apache NiFi. Краткий…
Машинное обучение для обогащения графа торгового ассортимента: кейс H&M
Автор Анна ВичуговаКатегория Use Cases, Статьи
Продвигая наш новый курс по графовой аналитике больших данных в бизнес-приложениях, сегодня рассмотрим работу Data Science исследователей из Пизанского университета и сотрудников крупного ритейлера H&M по анализу данных торгового ассортимента…
Потоковый конвейер обработки видео с Apache Kafka и алгоритмами Machine Learning
Автор Анна ВичуговаКатегория Kafka, Статьи
Сегодня рассмотрим пример построения интеллектуальными конвейера потоковой обработки видео с Apache Kafka и алгоритмами машинного обучения. Читайте далее, зачем для этого нужен протокол RTSP, что такое библиотека Sarama и как…
