Метка: цифровая экономика

Как устроен конвейер аналитики больших данных на Apache Kafka и Druid в Netflix

Анна Вичугова
курсы по Kafka, обучение Kafka, Big Data, Большие данные, предиктивная аналитика, цифровая экономика, Druid, Kafka, обработка данных, архитектура, SQL

В этой статье разберем, что такое прикладная аналитика больших данных на примере практического использования Apache Kafka и Druid в Netflix для обработки и визуализации метрик пользовательского поведения. Читайте далее, зачем самой популярной стриминговой компании отслеживать показатели клиентских устройств и как это реализуется с помощью Apache Druid, Kafka и других технологий Big Data. Big Data Pipeline на Apache Kafka и Druid Напомним, бизнес Netflix, по сути, представляет собой интернет-кинотеатр, где можно в режиме онлайн смотреть видеозаписи: фильмы, передачи и пр. Чтобы понимать, как обновления и другие нововведения воспринимаются пользователями, Netflix отслеживает метрики о клиентских устройствах, классифицируя последние по типу: Smart TV, iPad, Android-телефон и т.д. Анализируя логи с этих устройств в реальном времени в качестве источника событий, аналитики Big Data могут Далее …

Чем похожи CRISP-DM и BABOK®Guide: бизнес-анализ в Data Science

Анна Вичугова
цифровизация, цифровая трансформация, Big Data, Большие данные, предиктивная аналитика, цифровая экономика, BABOK, CRISP-DM, бизнес-анализ, подготовка данных, Data Science, Data Mining

Мы уже рассказывали, что цифровизация и другие масштабные проекты внедрения технологий Big Data должны обязательно сопровождаться процедурами бизнес-анализа, начиная от выявления требований на старте до оценки эффективности уже эксплуатируемого решения. Сегодня рассмотрим, как задачи бизнес-анализа из руководства BABOK®Guide коррелируют с этапами методологии исследования данных CRISP-DM, которая считается стандартом де-факто в области Data Science. Еще раз про CRISP-DM: что это и из чего состоит CRISP-DM (Cross-Industry Standard Process for Data Mining) — это наиболее распространенная на практике методология выполнения Data Science проектов, которую принято называть межотраслевым стандартным процессом исследования данных. Он описывает жизненный цикл Data Science проектов в следующих 6 фазах, каждая из которых включает ряд задач: понимание бизнеса (Business Understanding), где через оценку текущей ситуации определяются бизнес-цели и требования, а также Далее …

Цифровизация рабочего пространства: ТОП-3 тенденции 2020

Анна Вичугова
цифровизация, цифровая трансформация, цифровая экономика, Agile, администрирование, интернет вещей, Internet of Things, IoT

Вчера мы говорили про наиболее перспективные технологии 2020 с точки зрения исследовательского агентства Gartner и их влияние на цифровую трансформацию. Сегодня продолжим разбирать современные тенденции изменения рабочего пространства с учетом эпидемиологической напряженности и тренда на дистанционное взаимодействие. Читайте далее, что такое Desktop as a Service, как выглядит интеллектуальное рабочее пространство, чем отличается BYOD от BYOT и каким образом все это полезно для корпоративной цифровизации. Цифровизация офиса: 6 трендов 2020 от Gartner Помимо всего прочего, 2020 год также можно назвать годом удаленной работы и трансформации рабочего пространства из-за пандемии COVID-19, карантинного режима и мер по предотвращению инфекции. В связи с этим компания Gartner провела перечень самых популярных технологий по организации офисных мест, причем не только удаленных [1]: облачная цифровизация рабочей ячейки, Далее …

От ДНК-чипов до цифровых двойников: 5 самых перспективных технологий 2020 от Gartner

Анна Вичугова
цифровизация, цифровая трансформация, Big Data, Большие данные, цифровая экономика, Agile

Постоянно обновляя наши курсы «Аналитика больших данных для руководителей» в соответствии с развитием области Big Data и вызовов современного бизнеса, сегодня мы расскажем про наиболее перспективные технологии с точки зрения исследовательского агентства Gartner, а также рассмотрим их влияние на цифровую трансформацию. Читайте в нашей статье, почему цифровой двойник нужен не только производству, как цифровая трансформация преобразует корпоративную архитектуру, а также при чем тут созидательный искусственный интеллект (ИИ) и доверие алгоритмам. Хайп-цикл 2020: ТОП-5 новых технологий Карантинные меры из-за пандемии COVID-19 оказали беспрецедентное влияние на все области человеческой жизни, включая ИТ-сферу. При общем негативном влиянии на мировую экономику, коронавирус выступил драйвером развития технологий удаленного взаимодействия, масштабной обработки и аналитики больших данных, о чем мы писали здесь. Поэтому неудивительно, что эксперты Gartner Далее …

ТОП-15 проблем цифровой трансформации, с которыми сталкивается каждый CDTO

Анна Вичугова
цифровизация, цифровая трансформация, Big Data, Большие данные, цифровая экономика

В продолжении темы про текущее состояние и ожидаемые тренды цифровой трансформации отечественных предприятий, сегодня мы рассмотрим, что мешает директору по цифровизации успешно воплощать стратегию корпоративного изменения. Читайте далее, с какими основными трудностями сталкивается Chief Digital Transformation Officer (CDTO) и как их обойти. 5 проблем CDTO: главные факторы, препятствующие цифровой трансформации Как показал опрос ТОП-менеджеров, проведенный российской аналитической компанией KMDA в рамках исследования современного состояния отечественной цифровизации в 2020 году, наиболее значимыми факторами, которые препятствуют успешной реализации проектов Digital Transformation, считаются следующие [1]: чрезмерная загруженность повседневными делами («текучка» операционной деятельности), что отмечает каждый 2-ой руководитель; отсутствие поддержки и координации со стороны высшего руководства, недостаточно четкая концепция управления цифровой трансформацией, включая отсутствие единого органа управления, приводит к слабому кросс-функциональному взаимодействию подразделений и Далее …

Блеск и нищета отечественной цифровизации: разбор аналитического отчета KMDA 2020

Анна Вичугова
цифровизация, цифровая трансформация, Big Data, Большие данные, предиктивная аналитика, цифровая экономика

Недавно мы писали про 5 главных факторов, которые сдерживают цифровизацию бизнеса и государства по версии аналитического агентства Gartner. Сегодня поговорим про динамику отечественной цифровой трансформации, рассмотрев соответствующий отчет российского исследовательского бюро KMDA. Читайте в нашей статье, какие отрасли в России могут считать себя data-driven, от чего зависит успех цифровизации и каковы основные препятствия на пути к его достижению. Приоритеты, лидеры и аутсайдеры отечественной цифровизации Поскольку в нашей стране до недавнего времени аналитика больших данных (Big Data), а также непрерывный мониторинг и оптимизация бизнес-процессов были прерогативой крупных корпораций, неудивительно, что именно они являются ключевыми игроками на рынке цифровизации. Причем лидерство здесь принадлежит ИТ-сектору и финансовым предприятиям, а также отдельным направлениям ЖКХ за счет активного внедрения технологий «умного видеонаблюдения» с распознаванием лиц Далее …

Почему бизнес-анализ особенно нужен в проектах Big Data: взгляд BABOK

Анна Вичугова
цифровизация, цифровая трансформация, Big Data, Большие данные, предиктивная аналитика, цифровая экономика, BABOK, Hadoop, Data Lake, Kafka

Сегодня мы расскажем о важности прикладного бизнес-анализа в проектах Big Data, включая цифровизацию частного бизнеса и государственных предприятий. Читайте в нашей статье, как области знаний профессионального руководства по бизнес-анализу BABOK®Guide соответствуют типовым этапам внедрения технологий больших данных в корпоративную деятельность, и почему цифровая трансформация любой компании – это, прежде всего, бизнес-архитектура, а не ИТ-инфраструктура.   Еще раз о том, что такое BABOK: 6 областей знаний по бизнес-анализу Напомним, BABOK®Guide – это профессиональный свод знаний по бизнес-анализу, который описывает области знаний этой деятельности, а также прикладные подходы и техники, которые наиболее часто используются при ее практическом выполнении. Подробно о назначении и содержании BABOK мы рассказывали здесь. Согласно BABOK, бизнес-анализ нужен, чтобы изменить предприятие, включая его процессы, структуры и ИТ-системы, путем корректного Далее …

Налоги, гранты и еще 7 мер господдержки для отечественного ИТ-сектора в 2020 году

Анна Вичугова
цифровизация, цифровая трансформация, Big Data, Большие данные, цифровая экономика

Продолжая тему тотальной цифровизации и аналитики больших данных в государственных интересах, сегодня мы рассмотрим, как власть хочет поддержать отечественный ИТ-сектор с помощью налоговых маневров, инвестиций в образование и систему грантов. Читайте в нашей статье, как эти мероприятия отразятся на общем бюджете страны и что думает по этому поводу бизнес. Как государство хочет поддержать отечественный ИТ-сектор: 9 разых способов 9 июля 2020 года в Иннополисе состоялось совещание Правительства РФ с представителями IT-индустрии, включая руководителей «Яндекса», Mail.ru Group, «Лаборатории Касперского», 1С, Telegram и других известных ИТ-компаний. Именно там была анонсирована новая программа господдержки IT» до 2024 года. Наиболее значительными ее заявлениями можно назвать следующие [1]: сохранить нулевой НДС для программного обеспечения, внесенного в реестр Минкомсвязи, а также для облачных SaaS-решений; увеличить число Далее …

Я знаю, что вы делали прошлым летом и сегодня утром: как государство и бизнес собирают Big Data о каждом из нас

Анна Вичугова
цифровизация, цифровая трансформация, Big Data, Большие данные, предиктивная аналитика, цифровая экономика, искусственный интеллект, security, утечки данных, безопасность

Мы уже писали о преимуществах DaaS-похода, когда облачные провайдеры предоставляют данные как услугу, включая сложную предиктивную аналитику с использованием алгоритмов машинного обучения. Это позволяет быстро и удобно воспользоваться технологиями Big Data без существенных инвестиций в ИТ-инфраструктуру и дорогих специалистов, таких как Data Scientist, инженер и аналитик больших данных. Однако все плюсы достоинства этой бизнес-модели немного меркнут, когда товаром становитесь вы сами. Сегодня мы расскажем, как большой брат проникает в личную жизнь россиян еще больше, а понятие приватности стремительно исчезает, уступая место тотальному контролю со стороны государства и крупных корпораций. Телефон и твой номер тянут меня, как магнит или DaaS-сервисы от мобильных операторов Пока бизнес пытается легализовать для граждан торговлю собственными персональными данными, запуская маркетплейс «Датамания» совместно с отечественным Фондом развития Далее …

Практический пример монетизации Big Data с помощью Elasticsearch и Kibana

Анна Вичугова
цифровизация, цифровая трансформация, Big Data, Большие данные, предиктивная аналитика, цифровая экономика, Elasticsearch, NoSQL, ритейл

Недавно мы рассказывали, что аналитика больших данных с помощью технологий Big Data – это необязательно удел только крупных корпораций. В этой статье мы рассмотрим реальный бизнес-кейс, как извлечь выгоду из накопленных данных о своих пользователях, применяя для этого возможности NoSQL-СУБД Elasticsearch для полнотекстового поиска по полуструктурированным данным и веб-интерфейс визуализации результатов Kibana. Постановка задачи с точки зрения бизнеса Рассмотрим кейс небольшого интернет-магазина зоотоваров, где есть партия кормов для кошек и собак, у которой через несколько месяцев истекает срок годности. Чтобы оперативно реализовать его в пределах этого срока, компания решила объявить распродажу, сообщив об этом своим покупателям, общая база которых насчитывает около миллиона клиентов. Однако, корма для кошек и собак будут интересны только владельцам этих животных, а не, например, хозяевам рептилий Далее …