Дополняя наши курсы по аналитике больших данных в бизнес-приложениях новыми полезными примерами, сегодня рассмотрим, как Apache Arrow помогает повысить производительность извлечения данных из Neo4j с помощью их колоночного представления и…
Метка: Python
Мониторинг Apache Airflow через Slack
Автор Анна ВичуговаКатегория AirFlow, Статьи
В этой статье для разработчиков Data Flow, инженеров данных и администраторов Apache AirFlow рассмотрим, как организовать мониторинг этого batch-оркестратора через популярный корпоративный мессенджер Slack. Хотя по умолчанию Airflow имеет встроенную…
Spark NLP 3.4.0: новый релиз ML-библиотеки для Apache Spark 3.2.x на Scala 2.12
Автор Анна ВичуговаКатегория Spark, Статьи
2022 год только начался, а John Snow Labs уже радует разработчиков ML-приложений новым релизом библиотеки Spark NLP. Ключевые фичи 3.4.0 для версии Apache Spark 3.2.x на Scala 2.12: новые GPT-2…
Синергия Apache Airflow и Great Expectations для высокого качества больших данных
Автор Анна ВичуговаКатегория AirFlow, Статьи
Сегодня рассмотрим, что такое Great Expectations, чем этот инструмент полезен для специалистов по Data Science и дата-инженеров, а также как связать его с Apache Airflow, какую пользу это принесет в…
Apache Airflow vs Beam: сходства и отличия
Автор Анна ВичуговаКатегория AirFlow, Статьи
В этой статье по обучению дата-инженеров разберем, что такое Apache Beam, чем этот фреймворк отличается от AirFlow и что между ними общего. На первый взгляд Apache Airflow и Beam являются…
Управление зависимостями между конвейерами данных в Apache Airflow и Prefect
Автор Анна ВичуговаКатегория AirFlow, Статьи
Дополняя наши курсы для дата-инженеров по Apache AirFlow полезными примерами, сегодня поговорим про сложности управления зависимыми конвейерами данных в этом batch-оркестраторе. Как решить проблемы связанных DAG’ов в AirFlow и в…
Бессерверный парсинг веб-сайтов на Apache NiFi и OpenFaaS с Selenium
Автор Анна ВичуговаКатегория NiFi, Статьи
Сегодня разберемся с serverless-технологиями и рассмотрим, как самостоятельно создать и интегрировать бессерверный парсер Selenium с Apache Nifi. Краткий ликбез по OpenFaaS, Selenium и Chromium, а также преимущества serverless-технологий и пример…
Как организовать Feature Engineering на SQL-запросах: инженерия Data Science
Автор Анна ВичуговаКатегория Machine Learning, Статьи
В рамках наших курсов для дата-инженеров и специалистов в области Data Science, сегодня рассмотрим, как реализовать один из важнейших этапов машинного обучения – Feature Engineering. Читайте далее, как генерировать признаки…
Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
Развивая наши курсы для дата-инженеров по Apache AirFlow, сегодня рассмотрим, как автоматизировать развертывание сложных DAG’ов с помощью Docker и Kubernetes на примере управления конвейерами обработки данных. Лучшие практики и советы…
Польза умных сенсоров Apache Airflow: Smart Sensor для LRLW-задач
Автор Анна ВичуговаКатегория AirFlow, Use Cases, Статьи
Добавляя в наши курсы для дата-инженеров еще больше полезных примеров, сегодня рассмотрим, как Airbnb развивает Apache AirFlow и на практике используют эту платформу для создания, планирования и мониторинга конвейеров данных.…
