14 июля 2021 года вышел минорный релиз Apache NiFi – версия 1.14.0. Сегодня рассмотрим его главные фичи, исправленные ошибки и улучшения, уделив особое внимание новым функциям обеспечения информационной безопасности в…
Рубрика: NiFi
3 тонкости процессоров в NiFi, о которых вы не знали + 5 лучших практик конфигурирования
Автор Анна ВичуговаКатегория NiFi, Статьи
Продолжая обучение дата-инженеров, сегодня рассмотрим, как сделать управление потоками данных в Apache NiFi эффективнее. Читайте далее, какие настройки позволят обойтись без процессора RetryFlowFile для повторных попыток, зачем менять GetFile на…
5 проблем Apache NiFi на Kubernetes и способы их решения
Автор Анна ВичуговаКатегория Cloudera, NiFi, Статьи
В рамках нового курса Apache NiFi для инженеров данных, сегодня разберем особенности развертывания этого маршрутизатора потоков Big Data на платформе управления контейнерными приложениями Kubernetes. Советы дата-инженерам, как сократить расходы на…
3 вопроса про Apache NiFi от дата-инженеров: отвечает Cloudera
Автор Анна ВичуговаКатегория Cloudera, NiFi, Use Cases, Статьи
Запуская наш новый курс по Apache NiFi для инженеров данных, сегодня рассмотрим 3 популярных вопроса про этот Big Data фреймворк с комментариями компании Cloudera. Читайте далее, может ли NiFi заменить…
Как построить OLAP-конвейер в реальном времени на Greenplum и Apache NiFi: разбор интеграционного коннектора для приема больших данных
Автор Анна ВичуговаКатегория Greenplum, NiFi, Use Cases, Статьи
Сегодня разберем еще одну интересную тему из нашего нового курса «Greenplum для инженеров данных» по построению конвейеров приема данных для этой MPP-СУБД в рамках веб-интерфейса платформы автоматизированного управления потоками работ…
ОЗУ, Kafka и Logstash для решения IOPS-проблемы в кластере Apache NiFi
Автор Анна ВичуговаКатегория Kafka, NiFi, Статьи
В рамках обучения дата-инженеров, сегодня рассмотрим проблему роста числа операций ввода-вывода в секунду (IOPS) при обработке большого количества данных в потоках Apache NiFi и способы ее решения. Читайте далее, как…
Как работает SQL в Apache NiFi: потоковая обработка Big Data с помощью структурированных запросов
Автор Анна ВичуговаКатегория NiFi, Use Cases, Статьи
Сегодня рассмотрим, как можно фильтровать потоки больших данных в Apache NiFi через типовой механизм SQL-запросов. Читайте далее, чем эта ETL-платформа стриминговой маршрутизации Big Data отличается от других систем, которые используют…
Все грани Apache NiFi для построения ETL-pipeline’ов и обработки потоковых данных с Kafka и Spark
Автор Анна ВичуговаКатегория Kafka, Machine Learning, NiFi, Spark, Use Cases, Статьи
Продолжая разговор про инженерию больших данных, сегодня рассмотрим, как построить ETL-pipeline на открытых технологиях Big Data. Читайте далее про получение, агрегацию, фильтрацию, маршрутизацию и обработку потоковых данных с помощью Apache…
Как укротить NiFi: решаем проблемы ввода-вывода
Автор Анна ВичуговаКатегория Kafka, NiFi, Use Cases, Статьи
Apache NiFi – это простая и мощная система для обработки и распределения больших данных в потоковом режиме, которая отлично справляется с огромными объемами и скоростями, оперируя с сотнями гигабайт и…
Что такое Arenadata Streaming: сочетаем Apache Kafka с NiFi в корпоративном масштабе
Автор Анна ВичуговаКатегория Kafka, NiFi, Статьи
Мы уже рассказывали про преимущества совместного использования Apache Kafka и NiFi. Сегодня рассмотрим, как эти две популярные технологии потоковой обработки больших данных (Big Data) сочетаются в рамках единого решения от…
