Метка: социальные сети

Особенности JOIN-операций в Apache Kafka Streams на примере Twitter

Анна Вичугова
Big Data, Большие данные, обработка данных, Kafka, архитектура, Machine Learning, машинное обучение, KSQL

Продолжая разговор про практическое применение Apache Kafka на примере организации рекомендательной системы Twitter, сегодня мы рассмотрим, как с помощью Kafka Streams был разработан конвейер сбора и агрегации данных для машинного обучения (Machine Learning). Читайте в нашей статье про особенности объединения больших данных через LeftJoin и InnerJoin в Apache Kafka Streams. Архитектура приложения Kafka Streams в Twitter При относительной простоте высокоуровневой архитектуры конвейера Machine Learning в рамках рекомендательной системы Twitter на базе Apache Kafka, о чем мы рассказывали вчера, ее создание не обошлось без трудностей. В частности, специалистам Big Data в компании пришлось модифицировать типовую join-функцию в Kafka Streams. Кроме того, большой объем трафика, также оказывал отрицательное влияние на join-функции по умолчанию, дополнительно нагружая сам кластер Kafka. При этом логика обработки конвейера логов Далее …

От онлайн-ставок до выборов президента: 3 практических примера использования DaaS-подхода в реальном бизнесе

Анна Вичугова
цифровизация, цифровая трансформация, Big Data, Большие данные, предиктивная аналитика, обработка данных

В этой статье продолжим разбираться с DaaS-подходом и рассмотрим несколько реальных кейсов, когда бизнес выбирал услугу «данные как сервис» у облачного провайдера и какую практическую пользу, а также проблемы это принесло. Читайте в нашей статье, как концепция Data as a Service влияет на деятельность частных компаний и целых государств, а также каких результатов помогает добиться встроенная в DaaS-платформы аналитика больших данных (Big Data). 5 направлений бизнеса, где пригодится DaaS Прежде чем рассказать о практических примерах использования концепции Data as a Service, перечислим варианты ее применения в реальном бизнесе [1]: бенчмаркинговый анализ, когда автоматический сбор и глобальная аналитика больших данных позволяет сравнивать показатели эффективности своей компании с конкурентами и отраслевыми аналогами; единая версия данных для сторонних сервисов, когда DaaS-платформа выступает в Далее …

Найти и обезвредить: как Big Data и Machine Learning сканируют ваши соцсети для предупреждения преступлений

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, цифровизация, цифровая трансформация, машинное обучение, Machine Learning, большие данные и машинное обучение для полиции МВД

В этой статье мы продолжим рассматривать примеры использования технологий Big Data и Machine Learning в задачах профилактики и расследовании преступлений. Сегодня читайте, как машинное обучение и большие данные позволяют предупредить массовые убийства и выявить закладки наркотиков с помощью методов графовой аналитики и автоматической оценки сообщений в соцсетях. Machine Learning против Колумбайна и буллинга в соцсетях В 2018 и 2019 годах по России прокатилась волна массовых убийств в образовательных организациях. Несчастья случились в Керче, Перми и Вольске, где пара школьников напала на своих одноклассников и учителей, нанося им тяжелые ранения, вплоть до смерти. Подростки вдохновлялись опытом своих заокеанских сверстников, которые в 1999 году в американской школе Колумбайн жестоко расстреляли 13 человек, ранили более 20 и застрелились сами. В сентябре 2019 года Далее …

Как большие данные (Big Data) убивают типичного клиента или почему вам срочно нужен персональный маркетинг

Анна Вичугова

Как меняется маркетинг в эпоху социальных сетей и больших данных (Big Data) и чем это поможет вашему бизнесу: рассматриваем практические примеры персонализации рекламных предложений. Новый маркетинг: почему вашего типичного клиента больше нет Описывая портрет своего потенциального клиента, традиционный маркетинг попадает в ловушку обобщения. Например, целевая аудитория продукта: домохозяйки с маленькими детьми, владельцы японских авто с пробегом более 100 тысяч километров или обеспеченные миллинеалы с высшим образованием. При этом возникает «проблема мертвых душ» — группа есть, а человека нет. В реальном мире отсутствует абстрактный «пользователь продукта», такой как молодой человек 25-35 лет, пользующийся мобильным интернетом по 3 часа каждый день. В жизни есть вполне конкретный Петр Евгеньевич Сидоров, 27 лет, холост, который работает врачом-анестезиологом сутки через двое, 3 раза в неделю Далее …