Зачем вам Apache Livy или как скрестить Spark с Airflow для эффективных Big Data pipeline’ов

Автор Категория , , , ,
Зачем вам Apache Livy или как скрестить Spark с Airflow для эффективных Big Data pipeline’ов

Сегодня поговорим про построение конвейеров обработки данных (data pipeline) на примере совместного использования Apache Spark с Airflow и рассмотрим типовые проблемы этой комбинации. Читайте в нашей статье, как автоматизировать задачи…

Цифровизация рабочего пространства: ТОП-3 тенденции 2020

Автор Категория , , ,
Цифровизация рабочего пространства: ТОП-3 тенденции 2020

Вчера мы говорили про наиболее перспективные технологии 2020 с точки зрения исследовательского агентства Gartner и их влияние на цифровую трансформацию. Сегодня продолжим разбирать современные тенденции изменения рабочего пространства с учетом…

Как связать Greenplum и Kafka: 2 способа интеграции и коннектор Arenadata DB

Автор Категория , , , ,
Как связать Greenplum и Kafka: 2 способа интеграции и коннектор Arenadata DB

Мы уже рассказывали про интеграцию Tarantool с Apache Kafka на примере Arenadata Grid. Сегодня рассмотрим, как интегрировать Кафка с MPP-СУБД Greenplum и каковы ограничения каждого из существующих способов. Читайте в…

Зачем вам Tarantool: разгоняем большие данные с помощью In-Memory database

Автор Категория , , ,
Зачем вам Tarantool: разгоняем большие данные с помощью In-Memory database

В этой статье мы рассмотрим резидентные (In-Memory) базы данных на примере Tarantool и Arenadata Grid: что это, как они работают и где используются. Еще поговорим, каким образом эти Big Data…

Что такое лямбда-архитектура: основы Big Data для начинающих

Автор Категория , , , ,
Что такое лямбда-архитектура: основы Big Data для начинающих

Рассматривая основы больших данных, сегодня мы расскажем лямбда-архитектуру, одну из двух главных подходов к построению Big Data систем. Читайте в нашей статье, зачем нужна эта концепция и как она работает,…

Как сделать город безопасным: Big Data и Machine Learning против преступности

Автор Категория , , , ,
Как сделать город безопасным: Big Data и Machine Learning против преступности

Сегодня мы расскажем про интерактивные карты преступности в России и за рубежом, а также рассмотрим, как технологии больших данных (Big Data) и машинного обучения (Machine Learning) помогают обнаружить и предупредить…

Красивая Big Data и модный Machine Learning: 15 историй из мира fashion

Автор Категория , , , ,
Красивая Big Data и модный Machine Learning: 15 историй из мира fashion

В честь Международного женского дня, 8 марта, мы собрали для вас 15 интересных кейсов о том, как большие данные (Big Data) и машинное обучение (Machine Learning, ML) используются в индустрии…

Хайп вокруг Big Data с Machine Learning: прогнозы Gartner и российские реалии

Автор Категория , , ,
Хайп вокруг Big Data с Machine Learning: прогнозы Gartner и российские реалии

Сегодня мы поговорим, что такое Hype Cycle от самого известного аналитического агентства Gartner и как будут развиваться наиболее популярные сегодня ИТ-тренды в области больших данных (Big Data), управления данными (Data…

5 угроз, от которых искусственный интеллект защитит человечество, провоцируя множество новых

Автор Категория , , , ,
5 угроз, от которых искусственный интеллект защитит человечество, провоцируя множество новых

К 23 февраля мы собрали для вас 5 кейсов, где выступать в роли защитника будет искусственный интеллект. Смертельные болезни, внешние угрозы, преступники, экологические проблемы и чрезмерные траты ресурсов – читайте…

Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных

Автор Категория , , , ,
Какая бывает аналитика: предиктивная, описательная и еще 2 вида аналитики больших данных

В этой статье мы разберем одно из ключевых понятий цифровизации: что такое предиктивная аналитика и чем она отличается от дескриптивной. Также рассмотрим на практических примерах, какие виды аналитики больших данных…