Еще больше и быстрее: извлечение данных из Neo4j с Apache Arrow

Автор Категория ,
Еще больше и быстрее: извлечение данных из Neo4j с Apache Arrow

Дополняя наши курсы по аналитике больших данных в бизнес-приложениях новыми полезными примерами, сегодня рассмотрим, как Apache Arrow помогает повысить производительность извлечения данных из Neo4j с помощью их колоночного представления и…

Мониторинг Apache Airflow через Slack

Автор Категория ,
Мониторинг Apache Airflow через Slack

В этой статье для разработчиков Data Flow, инженеров данных и администраторов Apache AirFlow рассмотрим, как организовать мониторинг этого batch-оркестратора через популярный корпоративный мессенджер Slack. Хотя по умолчанию Airflow имеет встроенную…

Spark NLP 3.4.0: новый релиз ML-библиотеки для Apache Spark 3.2.x на Scala 2.12

Автор Категория ,
Spark NLP 3.4.0: новый релиз ML-библиотеки для Apache Spark 3.2.x на Scala 2.12

2022 год только начался, а John Snow Labs уже радует разработчиков ML-приложений новым релизом библиотеки Spark NLP. Ключевые фичи 3.4.0 для версии Apache Spark 3.2.x на Scala 2.12: новые GPT-2…

Синергия Apache Airflow и Great Expectations для высокого качества больших данных

Автор Категория ,
Синергия Apache Airflow и Great Expectations для высокого качества больших данных

Сегодня рассмотрим, что такое Great Expectations, чем этот инструмент полезен для специалистов по Data Science и дата-инженеров, а также как связать его с Apache Airflow, какую пользу это принесет в…

Apache Airflow vs Beam: сходства и отличия

Автор Категория ,
Apache Airflow vs Beam: сходства и отличия

В этой статье по обучению дата-инженеров разберем, что такое Apache Beam, чем этот фреймворк отличается от AirFlow и что между ними общего. На первый взгляд Apache Airflow и Beam являются…

Управление зависимостями между конвейерами данных в Apache Airflow и Prefect

Автор Категория ,
Управление зависимостями между конвейерами данных в Apache Airflow и Prefect

Дополняя наши курсы для дата-инженеров по Apache AirFlow полезными примерами, сегодня поговорим про сложности управления зависимыми конвейерами данных в этом batch-оркестраторе. Как решить проблемы связанных DAG’ов в AirFlow и в…

Бессерверный парсинг веб-сайтов на Apache NiFi и OpenFaaS с Selenium

Автор Категория ,
Бессерверный парсинг веб-сайтов на Apache NiFi и OpenFaaS с Selenium

Сегодня разберемся с serverless-технологиями и рассмотрим, как самостоятельно создать и интегрировать бессерверный парсер Selenium с Apache Nifi. Краткий ликбез по OpenFaaS, Selenium и Chromium, а также преимущества serverless-технологий и пример…

Как организовать Feature Engineering на SQL-запросах: инженерия Data Science

Автор Категория ,
Как организовать Feature Engineering на SQL-запросах: инженерия Data Science

В рамках наших курсов для дата-инженеров и специалистов в области Data Science, сегодня рассмотрим, как реализовать один из важнейших этапов машинного обучения – Feature Engineering. Читайте далее, как генерировать признаки…

Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand

Автор Категория , ,
Управление жизненным циклом конвейеров Apache Airflow: советы дата-инженеров Databand

Развивая наши курсы для дата-инженеров по Apache AirFlow, сегодня рассмотрим, как автоматизировать развертывание сложных DAG’ов с помощью Docker и Kubernetes на примере управления конвейерами обработки данных. Лучшие практики и советы…

Польза умных сенсоров Apache Airflow: Smart Sensor для LRLW-задач

Автор Категория , ,
Польза умных сенсоров Apache Airflow: Smart Sensor для LRLW-задач

Добавляя в наши курсы для дата-инженеров еще больше полезных примеров, сегодня рассмотрим, как Airbnb развивает Apache AirFlow и на практике используют эту платформу для создания, планирования и мониторинга конвейеров данных.…