Рубрика: Machine Learning

7 этических проблем отечественной цифровизации и пути их решения

Анна Вичугова
цифровизация, цифровая трансформация, цифровая экономика, управление, утечки данных, Security, защита информации, Big Data, Machine Learning, искусственный интеллект, большие данные, безопасность, Большие данные, предиктивная аналитика

Вчера мы говорили о том, какие организационные барьеры мешают реализации запланированных проектов национальной программы «Цифровая экономика РФ». Сегодня рассмотрим основные этические риски, которые сдерживают развитие цифровой трансформации в России и разберем некоторые возможности их обхода. Чем страшна цифровизация: 7 ключевых проблем с точки зрения этики 16 января 2020 года Центр подготовки руководителей цифровой трансформации на базе Высшей школы государственного управления РАНХиГС совместно с ВШЭ представил доклад о главных этических проблемах и рисках внедрения цифровых технологий в России цифровыми технологии. Ключевыми проблемами работы с большими данными, методами искусственного интеллекта (ИИ) и интернетом вещей эксперты назвали следующие [1]: инфляция приватных данных, когда бизнес и государство собирает все больше данных о своих пользователях (гражданах) за тот же объем предоставляемых услуг. К примеру, обязательная регистрация на сайтах Далее …

Успехи Industry 4.0 на российских заводах: 5 примеров СИБУРа

Анна Вичугова
Big Data, Большие данные, обработка данных, архитектура, цифровизация, цифровая трансформация, интернет вещей, Internet Of things, IIoT, IoT, Data Lake, Machine Learning, машинное обучение, нефтегазовая промышленность, нефтянка, предиктивная аналитика

В этой статье рассмотрим, как технологии Industry 4.0 помогают российскому нефтехимическому холдингу СИБУР повысить операционную эффективность производства и обеспечить безопасность труда. Сегодня мы собрали для вас 5 примеров практического использования различных методов и инструментов Big Data, Machine Learning, Industrial Internet of Things (IIoT), а также XR (AR+VR). Зачем нефтехимикам технологии Industry 4.0: 5 бизнес-направлений Напомним, СИБУР – это крупнейшая в России интегрированная группа газоперерабатывающих и нефтехимических предприятий, которая производит и продает на отечественном и международном рынках нефтехимическую продукцию: полипропилен, полиэтилен, пластики, синтетические каучуки, пенополистирол и пр. [1]. В составе компании много заводов, распределенных по всей территории страны, с разной степенью продвинутости в плане технологий Industry 4.0 (I4.0). Однако наиболее примечательным в этом отношении можно назвать следующие кейсы: предупреждение поломок и Далее …

Как найти товарные остатки с помощью Big Data и Machine Learning: пример Леруа Мерлен

Анна Вичугова
Big Data, Большие данные, обработка данных, архитектура, цифровизация, цифровая трансформация, Kafka, ритейл, Greenplum, Tarantol, SQL, NoSQL, AirFlow, NiFi, ETL, Data Lake, Machine Learning, машинное обучение

Чтобы наглядно показать, как аналитика больших данных и машинное обучение помогают быстро решить актуальные бизнес-проблемы, сегодня мы рассмотрим кейс компании Леруа Мерлен. Читайте в нашей статье про нахождение аномалий в сведениях об остатках товара на складах и в магазинах с помощью моделей Machine Learning, а также про прикладное использование Apache Kafka, NiFi, AirFlow, Greenplum, MongoDB, Tarantool, Kubernetes и прочих технологий Big Data. Где товар или постановка задачи от бизнеса: проблемы, возможности и ограничения Проблема оперативной инвентаризации товаров, доступных для продажи прямо сейчас, актуальна для любого торгового предприятия. В Леруа Мерлен она усугублялась тем, что помимо сети крупных супермаркетов, в компании также есть склады и так называемые дарксторы. Заказы из интернет-магазинов могут собираться из всех трех торговых баз (супермаркет, склад, даркстор). Далее …

Как организовать конвейер self-service Machine Learning на Apache Kafka, Spark Streaming, Kudu и Impala: пример расширенной BI-аналитики Big Data

Анна Вичугова
Big Data, Большие данные, обработка данных, архитектура, HBase, Impala, SQL, NoSQL, Kudu, Spark, Kafka, банки, security, машинное обучение, Machine Learning

Продолжая разбирать production-кейсы реального использования этих технологий Big Data, сегодня поговорим подробнее, каковы плюсы совместного применения Kudu, Spark Streaming, Kafka и Cloudera Impala на примере аналитической платформы для мониторинга событий информационной безопасности банка «Открытие». Также читайте в нашей статье про возможности этих технологий в контексте машинного обучения (Machine Learning), в т.ч. самообслуживаемого (self-service ML). BI-система на базе Big Data для банковской безопасности Apache Kudu, Spark, Kafka и прочие технологии Big Data активно используются не только в типовых BI-приложениях, но и в аналитических системах обеспечения информационной безопасности. В частности, в январе 2020 года банк «Открытие» совместно с компанией «Неофлекс» завершил проект по внедрению аналитической платформы мониторинга событий информационной безопасности на базе технологий Big Data. Система обеспечивает непрерывный мониторинг и позволяет в Далее …

Расширенная аналитика больших данных с помощью Self-service Machine Learning и AutoML: как Data Science усиливает технологии Big Data

Анна Вичугова
Big Data, Большие данные, цифровизация, цифровая трансформация, Machine Learning, Машинное Обучение, предиктивная аналитика

Продолжая разговор про расширенную аналитику больших данных с помощью инструментов Big Data и методов Data Science, сегодня рассмотрим, что такое самообслуживаемое машинное обучение, а также разберем, чем self-service Machine Learning отличается от AutoML. Что такое самообслуживаемое машинное обучение В июне 2020 года аналитическое агентство Gartner опубликовало очередной список самых перспективных трендов в области аналитики данных. Первое место в этой десятке топовых технологий занимает умный, быстрый и ответственный искусственный интеллект (ИИ), включая прозрачные датасеты и легко интерпретируемые алгоритмы машинного обучения. Анализируя другие тренды из этого исследования, можно сделать вывод об общей тенденции к повышению уровня демократизации технологий Big Data и Data Science, таких как расширенное управление данными, публичные облака, интеллектуальное принятие решений и аналитический подход к использованию информации [1]. Таким образом, Далее …

Самостоятельная и независимая аналитика больших данных: разбираемся с self-service BI для Big Data

Анна Вичугова
Big Data, Большие данные, Hadoop, Data Lake, цифровизация, цифровая трансформация, Machine Learning, Машинное Обучение, предиктивная аналитика, SQL

Аналитика больших данных для руководителей и других конечных бизнес-пользователей – это не только графические дэшборды BI-систем. Сегодня рассмотрим, что такое самообслуживаемая аналитика Big Data, какова ее польза для бизнеса и чего не стоит ждать от self-service BI. Что такое self-service BI: определение, назначение и примеры Еще в 2018 году исследовательское агентство Gartner анонсировало тренд на увеличение интереса к самообслуживаемой бизнес-аналитике (self-service Business Intelligence, BI). Это стало возможным благодаря росту объема информации, распространению технологий Big Data и популяризации Data Science. Кроме того, цифровизация как основная идея современного подхода к бизнесу продвигает принципы data-driven, когда управленческие решения принимаются на основе объективного анализа данных [1]. Gartner предлагает следующее определение self-service BI: аналитика самообслуживания — это форма бизнес-аналитики, где профессионалы предметной области могут самостоятельно Далее …

Роль Python в мире Big Data: 5 причин освоить этот язык программирования

Анна Вичугова
Python, Big Data, Большие данные, обработка данных, администрирование, Kafka, Hadoop, Spark

Сегодня мы расскажем, почему каждый Big Data специалист должен знать этот язык программирования и как «Школа Больших Данных» поможет вам освоить его на профессиональном уровне. Читайте в нашей статье, кому и зачем нужны корпоративные курсы по Python в области Big Data, Machine Learning и других методов Data Science. Чем хорош Python: 3 главных достоинства При том, что Python считается универсальным языком программирования, который используется, в т.ч. для веб-разработки и создания специальных решений, наибольшую популярность он приобрел в области Big Data и Data Science благодаря следующим ключевым преимуществам [1]: низкий порог входа из-за простоты и лаконичности даже сложных логических конструкций. Этот язык программирования в разы проще Java и Scala, а аналогичный код на нем будет намного короче; множество готовых библиотек для Далее …

Аналитика больших данных в Elasticsearch: возможности Machine Learning в ELK Stack

Анна Вичугова
Big Data, Большие данные, Elasticsearch, Machine Learning, машинное обучение, Data Lake, NoSQL, предиктивная аналитика

В этой статье рассмотрим несколько примеров по аналитике больших данных в Elasticsearch (ES), а также разберем возможности алгоритмов машинного обучения в ELK Stack. Читайте, как использовать NoSQL-СУБД ES в качестве озера данных для проверки различных бизнес-гипотез с помощью Machine Learning, показывая результаты моделирования в интерфейсе Kibana: практическая аналитика Big Data. Как анализировать Big Data в Elasticsearch: 4 реальных кейса Прежде всего, перечислим несколько бизнес-задач, для решения которых могут использоваться компоненты ELK-стека [1]: анализ поведения пользователей в разных интернет – магазинах – мониторинг и поиск взаимосвязей между различными событиями (клики, покупки, просмотры, лайки, сообщения в чатах и пр.); поиск пользователей с похожими потребностями, например, найти всех клиентов в радиусе 3 км, которые продают детские санки, чтобы сообщить об этом тем, кто Далее …

Что такое programmatic print и при чем тут персональный маркетинг с Big Data: 4 кейса от FMCG-гигантов

Анна Вичугова
Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, машинное обучение, Machine Learning, маркетинг

Сегодня мы расскажем, что такое программная печать, зачем ритейлеры используют эту технологию и как programmatic print связана с Big Data. Читайте в нашей статье, как IKEA, «Рив Гош», «Ив Роше» и Bonprix используют Big Data для персонального маркетинга в своих рекламных кампаниях, а также повышают лояльность клиентов и стимулируют продажи с помощью Machine Learning. Что такое программная печать: персональный маркетинг как компромисс между онлайн и оффлайн Programmatic print – это новый подход к персонализированному маркетингу, который объединяет онлайн-предложения с печатными носителями (листовки, журналы, купоны и пр). К примеру, пользователь посмотрел товар в интернет магазине, прложил его в корзину, но не завершил покупку. В течение 2-х суток этот клиент найдет в своем почтовом ящике листовку с рекламным предложением тех товаров, которыми Далее …

Видеоаналитика с Machine Learning в ритейле: персональный маркетинг vs 152-ФЗ

Анна Вичугова
Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning, видеонаблюдение, FMCG

В продолжение темы про использование технологий Big Data и Machine Learning в FMCG-бизнесе, сегодня мы поговорим, как распознавание лиц помогает сформировать персональные маркетинговые предложения и насколько это законно. Разбираемся с видеоаналитикой и 152-ФЗ «О персональных данных» на примерах отечественных и зарубежных ритейлеров. От воров до VIP-клиентов: 5 примеров распознавания лиц в FMCG Вчера мы упоминали, что современные видеоаналитики с мощными алгоритмами Machine Learning – это отличный инструмент персонализированного маркетинга, который позволяет сформировать рекламное предложение специально для конкретного человека, с учетом его интересов, потребностей и финансовых возможностей. Примечательно, что распознавание лиц уже достаточно широко используется в ритейле и сфере услуг. Например, в международном финансовом центре Сеула камеры на информационных стендах в реальном времени определяют возраст и пол человека, формируя рекламное предложение соответственно выявленным Далее …