Аналитика больших данных для фармацевтов: Arenadata Hadoop и другие Big Data системы в аптечной сети АСНА

Big Data, Большие данные, обработка данных, архитектура, Hadoop, Data Lake, DWH, цифровизация, цифровая трансформация, Arenadata

В этой статье разберем кейс построения экосистемы управления Big Data с озером данных на примере федеральной фармацевтической сети — российской Ассоциации независимых аптек (АСНА). Читайте в этом материале, зачем фармацевтическому ритейлеру большие данные, с какими трудностями столкнулся этот проект цифровизации и как открытые технологии (Arenadata Hadoop, Apache Spark, NiFi и Hive), взаимодействуют с проприетарными решениеми Informatica Big Data Management и 1С, а также облачными сервисами Azure. Постановка задачи от бизнеса: проблемы, возможности и ограничения АСНА позиционирует себя не просто информационным агрегатором по локальным и сетевым аптекам, а высокотехнологичной data-driven компанией с уникальной бизнес-моделью, в которой ключевую роль играет управление данными. Поэтому обеспечение их чистоты, качества и надежности является ключевой бизнес-задачей. Поскольку количество партнеров и поставщиков постоянно увеличивается, требование к быстрой Далее …

Нейросети для программ лояльности и оптимизации поставок: 3 Big Data кейса в FMCG

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning, FMCG

Продолжая рассказывать про применение технологий Big Data и Machine Learning в ритейле, сегодня мы собрали для вас еще 3 интересных примера от FMCG-гигантов. Читайте в нашей статье, как большие данные и машинное обучение помогли Coca-Cola, Starbucks, Neutrogena, Magnum, Procter&Gamble и Nestlé наладить геолокационный маркетинг, повысить узнаваемость своих брендов и улучшить управление поставками. Выгодная покупка здесь и сейчас: Big Data, Machine Learning и Internet of Things в геолокационном маркетинге Геолокационный маркетинг позволяет взаимодействовать с потребителем на основе его местоположения, например, предлагая ему любимый продукт или скидку, когда человек проходит мимо точки продаж. Обычно для определения местоположения пользователя используются iBeacon-датчики на основе Bluetooth. Эта технология уже принесла десятки миллионов долларов американскому ритейлеру Macy’s, оператору торгово-развлекательных центров Simon Property Group и британскому магазину Trinity Leeds, Далее …

3 главных достоинства и недостатка MPP-СУБД для хранения и аналитики Big Data на примере Greenplum

Greenplum, Big Data, Большие данные, обработка данных, архитектура, Hadoop, SQL, цифровизация, цифровая трансформация, DWH, ритейл, банк, Arenadata, Аренадата

Сегодня поговорим про достоинства и недостатки массово-параллельной архитектуры для хранения и аналитической обработки больших данных, рассмотрев Greenplum и Arenadata DB. Читайте в нашей статье, что такое MPP-СУБД, где и как это применяется, чем полезны эти Big Data решения и с какими проблемами можно столкнуться при их практическом использовании. Что MPP-СУБД и как это работает Особенностью массово-параллельная архитектура (Massive parallel processing, MPP) является физическое разделение памяти узлов, объединенных в кластер [1]. В случае MPP-СУБД каждый узел кластера работает со только своими жесткими дисками, распараллеливая операции чтения и записи данных. После того, как каждый из узлов закончит свои вычисления и отсортирует их в нужном порядке, ему нужно получить необходимые данные от остальных серверов. Для этого каждый узел отправляет свою порцию данных на все остальные сервера Далее …

Очень быстрая аналитика больших данных: Arenadata QuickMarts и яндексовский ClickHouse

Arenadata QuickMarts, ClickHouse, Аренадата, Big Data, Большие данные, обработка данных, архитектура, Hadoop, SQL, цифровизация, цифровая трансформация, DWH, ритейл

Вчера мы рассказывали про применение Arenadata DB в крупной отечественной сети розничного ритейла. Сегодня рассмотрим еще один Big Data продукт от российской компании Аренадата, который Х5 Retail Group использует для быстрой аналитики больших данных. Читайте в нашей статье, что такое Arenadata QuickMarts и при чем здесь ClickHouse от Яндекса. Что такое Arenadata QuickMarts и зачем она нужна Начнем с определения: Arenadata QuickMarts (ADQM) – это кластерная колоночная СУБД для генерации аналитических отчетов по большим данным в режиме реального времени. Подчеркнем, что основным назначением систем интерактивной аналитики OLAP (Online Analytical Processing) является именно построение отчетов, а не как таковое хранение данных (data storage) и обработка транзакций в реальном времени (OLTP, Online Transaction Processing). Подробнее об отличиях OLAP и OLTP мы писали Далее …

Еще больше данных для торговой аналитики: Arenadata в Х5 Retail Group

Arenadata, Аренадата, Big Data, Большие данные, обработка данных, архитектура, Hadoop, SQL, Hive, цифровизация, цифровая трансформация, DWH, ритейл, HBase

Продолжая разговор про успехи применения отечественных Big Data продуктов, сегодня мы рассмотрим пример использования Arenadata DB в одной из ведущих отечественных компаний розничного ритейла. Читайте в нашей статье про особенности внедрения распределенной отказоустойчивой MPP-СУБД для аналитики больших данных в Х5 Retail Group. Зачем ритейлеру еще одно Big Data решение: специфика проекта Еще в 2016 году компания X5 Retail Group начала выстраивать комплексный data-driven подход к бизнесу, чтобы оперативно и даже заблаговременно принимать управленческие решения на основе данных. Для этого было решено создать глобальную аналитическую платформу, которая будет агрегировать все корпоративные данные, автоматизируя задачи Data Governance и отвечая на вопросы менеджеров и аналитиков компании. При этом пользоваться такой Big Data системой будут более 2000 аналитиков, задавая около 800 конкурентных запросов одновременно. Далее …

Завод, телеком и госсектор: 3 примера внедрения Arenadata

Big Data, Большие данные, обработка данных, архитектура, Hadoop, SQL, ETL, Hive, Data Lake, цифровизация, цифровая трансформация, Kafka, Spark, NiFi, Airflow, DWH, Аренадата, Arenadata

В этой статье мы продолжим рассказывать про практическое использование отечественных Big Data решений на примере российского дистрибутива Arenadata Hadoop (ADH) и массивно-параллельной СУБД для хранения и анализа больших данных Arenadata DB (ADB). Сегодня мы приготовили для вас еще 3 интересных кейса применения этих решений в проектах цифровизации бизнеса и государственном управлении. Великолепная 5-ка в отечественном Big Data конкурсе Далее рассмотрим следующие Big Data проекты: технологическая платформа для объединения федеральных хранилищ данных (ХД) и аналитики в ПАО «Ростелеком»; цифровая платформа Счетной палаты РФ; озеро данных (Data Lake) Новолипецкого металлургического комбината; распределённая СУБД для аналитики больших данных в X5 Retail Group. Все эти проекты, участвовали в конкурсе ИТ-портала Global CIO «Проект года-2019» и вошли в ТОП-5 лучших решений, наряду с «умным» озером Далее …

Зачем руководителю обучение Big Data: 4 причины пойти на курсы аналитики больших данных

обучение руководителей, курсы по Big Data, аналитика больших данных для менеджеров, Big Data, Большие данные, интернет вещей, Internet of Things, IoT, IIoT, Machine Learning, машинное обучение, цифровизация, цифровая трансформация

В этом материале рассмотрим, для чего современному менеджеру нужно обучение технологиям Big Data, когда стоит строить собственное Data Lake, чем цифровизация отличается от автоматизации, а также почему курс Аналитика больших данных для руководителей – это эффективная инвестиция в будущее вашего бизнеса. Почему вам нужна аналитика больших данных: мотивация эффективного обучения Итак, для чего вообще и насколько глубоко руководителю следует разбираться в современных информационных технологиях? Почему менеджер должен тратить свое время на изучение больших данных вместо непосредственного выполнения своих прямых обязанностей? Разве не более эффективно поручить всю эту Big Data программистам, администраторам, аналитикам и прочим техническим специалистам, чтобы уделить еще больше внимания управлению бизнесом, увеличивая прибыль и сокращая затраты? Как ни странно, нет. В сегодняшнем цифровом мире именно руководитель, в первую Далее …

BABOK, DMBOK и еще 3 профессиональных стандарта для Big Data специалиста

Big Data, Большие данные, обработка данных, управление проектами, бизнес-процессы, цифровизация, цифровая трансформация, архитектура

Мы уже рассказывали про профессиональный стандарт бизнес-аналитика – руководство BABOK и его значимость в области больших данных. Сегодня рассмотрим еще 3 подобных свода знаний, которые полезны для архитектора, разработчика, менеджера, инженера, исследователя и аналитика Big Data: PMBOK, SWEBOK и DMBOK. А также разберем, что такое EABOK и насколько это применимо в Data Governance. Еще раз о том, зачем нужен очередной Body Of Knowledge Практически каждый профессиональный стандарт представляет собой рамочный документ (фреймворк), который регламентирует основные входы, выходы и критерии их оценки, а также инструменты выполнения определенной деятельности. При том, что свод знаний принято называть руководством, он не содержит детального описания процессов решения задач, хотя включает их список и перечень полезных методов, подходов и техник. Поэтому любой Body Of Knowledge (BOK) Далее …

5 причин, почему робот-полицейский – это фантастика. По крайней мере, пока.

Big Data, Большие данные, предиктивная аналитика, цифровизация, цифровая трансформация, машинное обучение, Machine Learning, искусственный интеллект, люди

Завершая цикл публикаций о применении больших данных и машинного обучения в оперативно-розыскной деятельности и других задачах МВД, сегодня мы рассмотрим перспективы этих технологий: заменят ли они живых полицейских и когда это произойдет. Спойлер: еще не скоро. Читайте в нашей статье про доверие к Big Data и Machine Learning для их корректного использования. Как и почему ошибаются Big Data и Machine Learning При всей пользе больших данных, машинного обучения и прочих методов искусственного интеллекта, стоит помнить, что эти технологии – это всего лишь инструменты. При правильном применении они способны качественно улучшить любой бизнес-процесс, в т.ч. оперативно-розыскную деятельность. В частности, сократить время на наведение справок и поиск контактов с помощью графовой аналитики социальных сетей, предупредить финансовые мошенничества и отмывание денег за счет Далее …

Big Data и Machine Learning спасают жизни: 3 кейса по распознаванию образов

Big Data, Большие данные, цифровизация, цифровая трансформация, предиктивная аналитика, Machine Learning, бизнес, Большие данные, люди, Машинное Обучение, искусственный интеллект

Чтобы зарядить вас оптимизмом и в очередной раз показать практическую пользу от технологий больших данных, машинного обучения и других методов искусственного интеллекта, сегодня мы расскажем, как Big Data и Machine Learning предупреждают аварии, диагностируют смертельные болезни на ранних стадиях и помогают найти без вести пропавших людей. Большие данные и машинное обучение против разговоров за рулем Можно по-разному относиться к видеокамерам на дорогах, однако в большинстве случаев они дисциплинируют водителей. Самый распространенный кейс – это фиксаций превышения разрешенной скорости движения с автоматической фотографией госномера правонарушителя. Однако, это не единственный пример прикладного использования алгоритмов распознавания образов на базе Machine Learning. Сегодня, с повсеместным распространением мобильных телефонов, именно они становятся фактором, провоцирующим ДТП. В частности, только за 2017 году в США погибло более Далее …