Что не так с датасетами в системах машинного обучения, с какими трудностями сталкиваются аналитики, инженеры данных и специалисты по Data Science при внедрении MLOps, почему важна согласованность различных информационных хранилищ,…
Метка: DevOps
CI/CD для дата-инженера: разработка DAG и развертывание в среде Airflow с GitLab
Автор Анна ВичуговаКатегория AirFlow, Статьи
Интеграция Apache Airflow с инструментами CI/CD является одной из лучших практик современной дата-инженерии, о чем мы недавно писали. Читайте далее, зачем нужно управлять кодом DAG с помощью популярных систем управления…
DevOps + MLOps: мониторинг ML-моделей с New Relic
Автор Анна ВичуговаКатегория Machine Learning, Статьи
Зачем нужен мониторинг ML-систем в production, чем он отличается от простого отслеживания метрик ПО и при чем здесь MLOps. Как настроить телеметрию ML-приложений в New Relic: 5 простых шагов для…
Что такое CML: MLOps и непрерывное машинное обучение
Автор Анна ВичуговаКатегория Machine Learning, Статьи
Что такое непрерывное машинное обучение, как оно работает и при чем здесь MLOps. Почему сложно вести разработку ML-моделей в стиле CI/CD и как CML помогает обойти эти ограничения. Автоматизация процессов…
MLOps-конвейер с MLFlow: CI/CD для модели машинного обучения
Автор Анна ВичуговаКатегория Machine Learning, Статьи
Недавно мы писали про сложности разработки и развертывания ML-систем и способы их решения с помощью концепции MLOps. Продолжая эту тему, важную для обучения специалистов по Data Science, аналитиков и инженеров…
Как сэкономить на AWS со Spark и Kubernetes: спотовые узлы и готовые платформы
Автор Анна ВичуговаКатегория Spark, Use Cases, Статьи
Продолжая разговор про оптимизацию приложений Apache Spark в Kubernetes, сегодня разберем, как сократить расходы на облачный кластер с помощью спотовых узлов. А в качестве практического примера рассмотрим кейс компании Weather2020,…
Оптимизация Apache Spark на Kubernetes: 4 способа ускорить контейнеризованные приложения
Автор Анна ВичуговаКатегория Spark, Статьи
Недавно мы рассказывали об особенностях запуска приложений Apache Spark в кластере Kubernetes с учетом новшеств релиза 3.1.1, где с этого варианта развертывания снят экспериментальный режим. В дополнение к ранее рассмотренным…
7 функций общей доступности Kubernetes в Apache Spark 3.1.1: мартовский релиз 2021
Автор Анна ВичуговаКатегория Spark, Статьи
Вчера мы упоминали, что с марта 2021 года в версии Apache Spark 3.1.1 с развертывания на Kubernetes снят экспериментальный режим, внесено множество улучшений для стабильной работы контейниризованных приложений и добавлены…
3 достоинства и пара недостатков Apache Spark на Kubernetes
Автор Анна ВичуговаКатегория Spark, Статьи
С учетом тренда на контейнеризацию при разработке и развертывании любых технологий, в т.ч. Big Data, сегодня рассмотрим плюсы и минусы совместного использования Apache Spark с Kubernetes. Читайте далее, как отправить…
Потоковая аналитика больших данных с ksqlDB на Kubernetes: практический пример
Автор Анна ВичуговаКатегория Kafka, Use Cases, Статьи
В этой статье поговорим про KSQL на примере кейса компании американской компании Pluralsight, которая предлагает различные обучающие видео-курсы для разработчиков ПО, ИТ-администраторов и творческих профессионалов. Читайте далее, как использовать Apache…
