Как связать Greenplum и Kafka: 2 способа интеграции и коннектор Arenadata DB

Big Data, Большие данные, обработка данных, архитектура, SQL, Greenplum, Arenadata, Kafka, интеграция Гринплам и Кафка

Мы уже рассказывали про интеграцию Tarantool с Apache Kafka на примере Arenadata Grid. Сегодня рассмотрим, как интегрировать Кафка с MPP-СУБД Greenplum и каковы ограничения каждого из существующих способов. Читайте в сегодняшнем материале, что такое GPSS, PXF и при чем тут Docker-контейнер с коннектором Кафка для Arenadata DB. IoT и не только или зачем интегрировать Greenplum с Apache Kafka Прежде всего поясним, почему вообще возникает задача интеграции MPP-СУБД Greenplum с брокером сообщений Apache Kafka. Представьте, что есть множество входящих потоков данных, например, от устройств интернета вещей (Internet of Things, IoT), которые необходимо проанализировать в реальном времени. Или нужна оперативная аналитика биржевых показателей на платформе онлайн-трейдинга, где миллионы клиентов со всего мира торгуют валютой и ценными бумагами в режиме онлайн. Технология массивно-параллельной Далее …

Зачем вам Tarantool: разгоняем большие данные с помощью In-Memory database

Big Data, Большие данные, обработка данных, архитектура, Hadoop, SQL, интернет вещей, Internet of Things, IoT, IIoT, Arenadata, резидентные СУБД, In-Memory Database

В этой статье мы рассмотрим резидентные (In-Memory) базы данных на примере Tarantool и Arenadata Grid: что это, как они работают и где используются. Еще поговорим, каким образом эти Big Data системы могут ускорить работу распределенных приложений без замены существующих СУБД, а также при чем здесь промышленный интернет вещей и экосистема Apache Hadoop для хранения больших данных. Who is who на рынке In-Memory DataBase: краткий обзор самых популярных решений В 2019 году аналитическое агентство Gartner включило резидентные базы данных, в которых информация размещается в памяти, в перечень наиболее перспективных технологий в области Data Management. При этом на графике технологической зрелости (Hype Cycle) In-Memory database (IMDB) расположены на восходящем участке по пути к плато продуктивности [1]. Это не удивительно с учетом длительной Далее …

Видеоаналитика с Machine Learning в ритейле: персональный маркетинг vs 152-ФЗ

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning, видеонаблюдение, FMCG

В продолжение темы про использование технологий Big Data и Machine Learning в FMCG-бизнесе, сегодня мы поговорим, как распознавание лиц помогает сформировать персональные маркетинговые предложения и насколько это законно. Разбираемся с видеоаналитикой и 152-ФЗ «О персональных данных» на примерах отечественных и зарубежных ритейлеров. От воров до VIP-клиентов: 5 примеров распознавания лиц в FMCG Вчера мы упоминали, что современные видеоаналитики с мощными алгоритмами Machine Learning – это отличный инструмент персонализированного маркетинга, который позволяет сформировать рекламное предложение специально для конкретного человека, с учетом его интересов, потребностей и финансовых возможностей. Примечательно, что распознавание лиц уже достаточно широко используется в ритейле и сфере услуг. Например, в международном финансовом центре Сеула камеры на информационных стендах в реальном времени определяют возраст и пол человека, формируя рекламное предложение соответственно выявленным Далее …

Как видеоаналитика Big Data с Machine Learning приносит деньги: 7 примеров FMCG

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning, видеоаналитика, видеонаблюдение, FMCG

Современное видеонаблюдение в ритейле – это не только обнаружение магазинных воришек, а полноценная аналитика Big Data с мощными алгоритмами Machine Learning для оперативного и стратегического управления. В этой статье мы приготовили для вас 7 сценариев практического использования технологий видеоаналитики в FMCG-секторе с реальными кейсами их внедрения в России на примере торговых сетей «Магнит», «Верный» и X5 Retail Group. Что такое видеоаналитика или зачем вам камера с Big Data и Machine Learning Отечественный рынок видеоаналитики непрерывно растет: ожидается, что к 2025 году его объем составит 51,75 миллиарда рублей, что в 2,75 раз больше аналогичного показателя 2019 года. При этом современные системы видеонаблюдения – это не просто камеры, а полноценные программно-аппаратные комплексы с набором интеллектуальных задач, таких как [1]: детектирование событий; подсчет Далее …

Коботы в ритейле: 3 причины взглянуть на робототехнику по-новому

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning, cobot, кобот

Цифровизация ритейла – это не только внедрение Apache Hadoop, Spark, Kafka и Machine Learning для аналитики больших данных, прогнозирования спроса и оптимизации складской логистики. Сегодня мы расскажем, что такое коботы и как эти технологии помогают бизнесу. В этой статье мы собрали для вас 7 примеров использования коллаборативных роботов в FMCG. Кто такие коботы и при чем тут цифровизация По итогам прошлогодней промышленной выставки Hannover Messe/Fair (215 000 посетителей и 6500 экспонатов), которая состоялась 1-5 апреля 2019 года в германском Ганновере, коботы вошли в ТОП-5 самых перспективных технологий 4-ой промышленной революции (Industry 4.0, I4.0). Напомним, промышленный интернет вещей (Industrial Internet of Things, IIoT) – одно из наиболее востребованных приложений концепции I4.0. При том, что IIoT, в первую очередь, ориентирован на промышленность, Далее …

Big Data, Machine Learning и Internet of Things в складской логистике: 7 FMCG-кейсов

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning, дрон, квадрокоптер, RFID, Kafka, Spark, Hadoop

Вчера мы затрагивали тему управления поставками в ритейле с помощью технологий Big Data и Machine Learning. Теперь разберем подробнее, как большие данные, машинное обучение и интернет вещей меняют складскую логистику и насколько это выгодно бизнесу. Сегодня мы собрали для вас 7 практических примеров: кейсы от отечественных и зарубежных транспортных компаний, а также крупных FMCG-компаний. 5 направлений использования Big Data, Machine Learning и Internet of Things в логистике Сначала перечислим наиболее перспективные приложения технологий Big Data, Machine Learning и Internet of Things в логистике: складская роботизация – от «умных» погрузчиков до дронов. Например, в Amazon маленькие роботы KIVA самостоятельно перемещают предметы внутри склада, сокращая расходы на 20%. В этой же компании летающие дроны успешно доставляют заказы удаленностью до 30 минут [1]. Далее …

Нейросети для программ лояльности и оптимизации поставок: 3 Big Data кейса в FMCG

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning, FMCG

Продолжая рассказывать про применение технологий Big Data и Machine Learning в ритейле, сегодня мы собрали для вас еще 3 интересных примера от FMCG-гигантов. Читайте в нашей статье, как большие данные и машинное обучение помогли Coca-Cola, Starbucks, Neutrogena, Magnum, Procter&Gamble и Nestlé наладить геолокационный маркетинг, повысить узнаваемость своих брендов и улучшить управление поставками. Выгодная покупка здесь и сейчас: Big Data, Machine Learning и Internet of Things в геолокационном маркетинге Геолокационный маркетинг позволяет взаимодействовать с потребителем на основе его местоположения, например, предлагая ему любимый продукт или скидку, когда человек проходит мимо точки продаж. Обычно для определения местоположения пользователя используются iBeacon-датчики на основе Bluetooth. Эта технология уже принесла десятки миллионов долларов американскому ритейлеру Macy’s, оператору торгово-развлекательных центров Simon Property Group и британскому магазину Trinity Leeds, Далее …

Всегда Coca-Cola: 5 Big Data кейсов от FMCG-гиганта

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning

По запросу одного из наших клиентов, этой статьей мы открываем серию публикаций про применение технологий Big Data и Machine Learning в торговле быстрооборачиваемых товаров повседневного спроса (FMCG, Fast moving consumer goods). Сегодня рассмотрим, как большие данные, машинное обучение и прочие методы искусственного интеллекта используются в производстве и продаже газированных напитков на примере компании Coca-Cola. Big Data, Machine Learning и Internet of Things: все будет Coca-Cola Ежедневно в мире потребляется около 2-х миллиардов прохладительных напитков, из которых более 500 брендов принадлежат компании Coca-Cola – крупнейшему производителю газированной воды. Предприятие генерирует множество данных: показатели технологических процессов, бизнес-метрики, информация о пользовательских предпочтениях и множество других разнообразных данных. Разумеется, для этого активно используются современные ИТ-инструменты, в т.ч. технологии Big Data и Machine Learning. Примеры Далее …

Зачем руководителю обучение Big Data: 4 причины пойти на курсы аналитики больших данных

обучение руководителей, курсы по Big Data, аналитика больших данных для менеджеров, Big Data, Большие данные, интернет вещей, Internet of Things, IoT, IIoT, Machine Learning, машинное обучение, цифровизация, цифровая трансформация

В этом материале рассмотрим, для чего современному менеджеру нужно обучение технологиям Big Data, когда стоит строить собственное Data Lake, чем цифровизация отличается от автоматизации, а также почему курс Аналитика больших данных для руководителей – это эффективная инвестиция в будущее вашего бизнеса. Почему вам нужна аналитика больших данных: мотивация эффективного обучения Итак, для чего вообще и насколько глубоко руководителю следует разбираться в современных информационных технологиях? Почему менеджер должен тратить свое время на изучение больших данных вместо непосредственного выполнения своих прямых обязанностей? Разве не более эффективно поручить всю эту Big Data программистам, администраторам, аналитикам и прочим техническим специалистам, чтобы уделить еще больше внимания управлению бизнесом, увеличивая прибыль и сокращая затраты? Как ни странно, нет. В сегодняшнем цифровом мире именно руководитель, в первую Далее …

Что такое лямбда-архитектура: основы Big Data для начинающих

Big Data, Большие данные, архитектура, Spark, Hadoop, машинное обучение, интернет вещей, Internet of Things, IoT, IIoT, Machine Learning, лямбда-архитектура

Рассматривая основы больших данных, сегодня мы расскажем лямбда-архитектуру, одну из двух главных подходов к построению Big Data систем. Читайте в нашей статье, зачем нужна эта концепция и как она работает, а также при чем тут машинное обучение, интернет вещей, Apache Spark и Hadoop. Что такое Лямбда-архитектура и зачем она нужна Рассмотрим типичный кейс по рассылке контекстной рекламы о скидках в ближайшем офлайн-магазине. Для повышения конверсии необходимо персонализировать маркетинговое предложение. Для этого следует быстро и точно сегментировать каталог клиентов с учетом анализа исторических данных по каждому из них, одновременно определив местоположение конкретного абонента в режиме реального времени. За сегментирование и предиктивную аналитику клиентских потребностей отвечают алгоритмы машинного обучения (Machine Learning). При этом реклама становится нерелевантной при физическом перемещении потребителя, поэтому нужно Далее …