Как подготовить датасет к Machine Learning с PySpark и построить систему потоковой аналитики больших данных на Apache Kafka и ELK: пример прогнозирования CTR

курсы по большим данным и машинному обучению, обучение Big Data и Machine Learning, аналитика больших данных в реальном времени обучение на примерах, Big Data, Kafka, архитектура, Большие данные, маркетинг, обработка данных, предиктивная аналитика, реклама, машинное обучение, Machine Learning, Spark, Python, PySpark, Elasticsearch

В продолжение разговора о применении технологий Big Data и Machine Learning в рекламе и маркетинге, сегодня рассмотрим архитектуру системы прогнозирования конверсии рекламных объявлений. Читайте далее, как организовать предиктивную аналитику больших данных на Apache Kafka и компонентах ELK-стека (Elasticsearch, Logstash, Kibana), почему так важно тщательно подготовить данные к машинному обучению, какие функции PySpark помогают сделать это и на что обратить внимание при настройке Spark-кластера. Строим систему потоковой аналитики Big Data на Apache Kafka и Kibana через Logstash и Elasticsearch Начнем с постановки задачи: требуется спрогнозировать конверсию рекламных объявлений, т.е. вычислить CTR-рейтинг (click through rate) или показатель кликабельности. Эта важная метрика эффективности интернет-маркетинга определяет отношение числа кликов на рекламное объявление к числу показов и измеряется в процентах. К примеру, если реклама была Далее …

Что под капотом ретаргетинга: прогнозирование намерений пользователя с Apache Hadoop и Spark Structured Streaming на сервисах Amazon

курсы по большим данным, обучение Big Data, аналитика больших данных в реальном времени, Big Data, Kafka, Spark, архитектура, Большие данные, маркетинг, обработка данных, предиктивная аналитика, реклама, машинное обучение, Machine Learning, SQL, Hive, Hadoop, Amazon Web Services, AWS Kinesis

Мы уже рассказывали о возможностях ретаргетинга и использовании Apache Spark Structured Streaming для реализации этого рекламного подхода на примере Outbrain. Такое применение технологий Big Data сегодня считается довольно распространенным. Чтобы понять, как это работает на практике, рассмотрим кейс маркетинговой ИТ-компании MIQ, которая запускает Spark-приложения на платформе Qubole и сервисах Amazon, создавая конвейеры потоковой передачи и аналитики больших данных с использованием готовых соединителей и операторов, а также компонентов экосистемы Apache Hadoop — Presto и Hive. Еще раз о том, что такое ретаргетинг и при чем здесь Big Data c Machine Learning Ретаргетинг в сфере e-commerce – это техника убеждения потенциальных клиентов вернуться на веб-сайт после того, как этот ресурс был закрыт без покупки или другого конвертирующего действия (оставить заявку, подписаться на Далее …

Веб-реклама, ретаргетинг и проблемы потоковой аналитики больших данных с Apache Kafka, Spark Streaming и Druid: кейс платформы Outbrain

курсы по Apache Spark Apache Spark обучение, курсы по Kafka, обучение Kafka, обработка данных, большие данные, Big Data, Kafka, архитектура, Spark, Druid, предиктивная аналитика, потоковая обработка больших данных кейсы

Современная аналитика больших данных ориентируется на обработку Big Data в реальном времени. Такие вычисления «на лету» позволяют в режиме онлайн узнавать о критически важных производственных показателях и оперативно понимать клиентские потребности. Это существенно ускоряет и автоматизирует цикл принятия управленческих решений в соответствии с требованиями сегодняшнего бизнеса. Обычно для реализации архитектуры потоковой обработки данных используются распределенные масштабируемые и надежные технологии Big Data, такие как Apache Kafka и Spark Streaming. Читайте далее, как на их основе нью-йоркская платформа веб-рекламы Outbrain разработала собственную систему онлайн-аналитики и при чем здесь Graceful shutdown. На чем стоит ретаргетинг: потоковая аналитика больших данных в онлайн-рекламе Чтобы показать важность аналитики событий в реальном времени для компании Outbrain, прежде всего поясним суть ее бизнеса. По сути, Outbrain является биржей Далее …

Что такое programmatic print и при чем тут персональный маркетинг с Big Data: 4 кейса от FMCG-гигантов

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, машинное обучение, Machine Learning, маркетинг

Сегодня мы расскажем, что такое программная печать, зачем ритейлеры используют эту технологию и как programmatic print связана с Big Data. Читайте в нашей статье, как IKEA, «Рив Гош», «Ив Роше» и Bonprix используют Big Data для персонального маркетинга в своих рекламных кампаниях, а также повышают лояльность клиентов и стимулируют продажи с помощью Machine Learning. Что такое программная печать: персональный маркетинг как компромисс между онлайн и оффлайн Programmatic print – это новый подход к персонализированному маркетингу, который объединяет онлайн-предложения с печатными носителями (листовки, журналы, купоны и пр). К примеру, пользователь посмотрел товар в интернет магазине, прложил его в корзину, но не завершил покупку. В течение 2-х суток этот клиент найдет в своем почтовом ящике листовку с рекламным предложением тех товаров, которыми Далее …

Видеоаналитика с Machine Learning в ритейле: персональный маркетинг vs 152-ФЗ

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning, видеонаблюдение, FMCG

В продолжение темы про использование технологий Big Data и Machine Learning в FMCG-бизнесе, сегодня мы поговорим, как распознавание лиц помогает сформировать персональные маркетинговые предложения и насколько это законно. Разбираемся с видеоаналитикой и 152-ФЗ «О персональных данных» на примерах отечественных и зарубежных ритейлеров. От воров до VIP-клиентов: 5 примеров распознавания лиц в FMCG Вчера мы упоминали, что современные видеоаналитики с мощными алгоритмами Machine Learning – это отличный инструмент персонализированного маркетинга, который позволяет сформировать рекламное предложение специально для конкретного человека, с учетом его интересов, потребностей и финансовых возможностей. Примечательно, что распознавание лиц уже достаточно широко используется в ритейле и сфере услуг. Например, в международном финансовом центре Сеула камеры на информационных стендах в реальном времени определяют возраст и пол человека, формируя рекламное предложение соответственно выявленным Далее …

Как Machine Learning помогает бизнесу зарабатывать на погоде: Big Data и метеомаркетинг

Big Data, Большие данные, маркетинг, машинное обучение, Machine Learning, Spark, Kafka, дрон, беспилотник, интернет вещей, Internet of Things, мультикоптер

Мы уже рассказывали, как машинное обучение (Machine Learning) и большие данные (Big Data) помогают бизнесу сделать свои маркетинговые кампании персональными и оптимизировать рекламный бюджет. В этой статье рассмотрим, как метеоусловия влияют на маркетинг и каким образом бизнес может заработать на использовании данных об этих внешних условиях. Как погода влияет на уровень продаж: анализ Big Data по метеоусловиям и выручке Погода задает настроение, которое является очень важным аспектом потребительского поведения – 84% покупателей совершают импульсивные (спонтанные) покупки в интернет-магазинах (40%) и оффлайн (60-80%) [1]. Поэтому маркетологи всего мира стремятся выявить закономерности по изменению уровня продаж в зависимости, в том числе и от внешних факторов, таких как погода. Для решения этой задачи отлично подходят аналитические инструменты Big Data, которые помогают найти корреляцию Далее …

Не бойся падать – большие данные подстелят соломку: умное страхование

Большие данные, Big Data, Machine Learning, Internet of Things, IoT, машинное обучение, интернет вещей, предиктивная аналитика, страхование, цифровизация, цифровая трансформация, маркетинг

Big Data – это основа бизнеса страховых компаний, работа которых полностью основана на информации: статистике, сведениях о клиентах, страховых случаях и вероятностях их наступления, а также финансовой оценке всех этих данных. Читайте в нашей сегодняшней статье, как «большая тройка» современных информационных технологий (большие данные, машинное обучение и интернет вещей) увеличивают прибыль страховщиков, прогнозируя потребности текущих и находя новых клиентов, а также уменьшают их затраты, сокращая выплаты по мошенническим операциям. Зачем страховщикам Big Data, Machine Learning и Internet of Things Цифровизация захватила и сектор страхования: страховые компании стремятся стать data-driven организациями. Широкая продуктовая линейка и обилие информации обусловливают использование страховщиками технологий Big Data, Machine Learning и Internet of Things в следующих направлениях: персонализация страховых полисов; оценка рисков при формировании страховых тарифов; Далее …

Зачем менеджеру язык программирования R: 7 причин освоить аналитический инструмент Big Data и Machine Learning

Big Data, Большие данные, машинное обучение, Machine Learning, язык программирования R, программирование, бизнес, люди, маркетинг, HR, управление

Мы уже рассказывали, зачем HR-специалисту большие данные, как Big Data и Machine Learning помогают PR-менеджеру в управлении корпоративной репутацией, а маркетологу в формировании персональных рекламных предложений. Сегодня поговорим об одном из средств реализации этих и других бизнес-задач – языке программирования R и рассмотрим 7 причин, почему вам необходимо освоить этот инструмент управленческой аналитики. Что такое R, как работает и где используется этот язык программирования R — мультипарадигмальный интерпретируемый язык программирования для статистической обработки данных и работы с графикой, разработанный в 1993 году в Оклендском университете технологий (Новая Зеландия). Еще так называется свободная программная среда вычислений с открытым исходным кодом, предназначенная для работы с этим языком. R поддерживает широкий спектр статистических и численных методов, постоянно дополняется и расширяется за счет пакетов Далее …

Почему вы не используете большие данные: разоблачаем 4 главных предубеждения о Big Data

Big Data, Большие данные, машинное обучение, Machine Learning, маркетинг, churn rate, клиент, реклама, бизнес

Правда ли, что Большие Данные – это сложно, долго, дорого и нужно далеко не всем: анализируем и опровергаем причины отказа от использования Big Data в бизнесе любого масштаба, от крупного до малого. 1. Большие данные нам не актуальны Даже если вы производите товары вручную или оказываете индивидуальные услуги, для вас актуальны вопросы удержания существующих клиентов и привлечения новых [1]. Поиск поставщиков/подрядчиков и рынков сбыта, справедливое ценообразование, формирование маркетинговых предложений и управление корпоративной репутацией (SERM) – все это необходимо как крупным предприятиям, так и малому бизнесу. Сегодня информация стала самым желанным и перспективным трофеем, монетизируйте ее в свою пользу [2]: проанализируйте интересы и потребности своей целевой аудитории, чтобы найти лучшие точки и каналы сбыта; для сокращения рекламного бюджета таргетируйте рекламу, показывая Далее …

Большие данные (Big Data) в малом бизнесе: миф или реальность

Big Data, Большие данные, машинное обучение, Machine Learning, маркетинг, churn rate, клиент, реклама, бизнес

Зачем малому бизнесу большие данные, где их взять и как использовать, минимизировав затраты на внедрение сложных технологий – разбираемся на практических примерах. Откуда большие данные (Big Data) в малом бизнесе и зачем они нужны Представьте удивление своего клиента, когда он, только переступив порог вашей уютной кофейни или семейной гостиницы, будет приветливо окликнут по имени и радушно встречен новым администратором. Благодаря RFID-метке, встроенной в карту лояльности, информация о покупателе из вашей CRM-системы, включая данные с его страниц в соцсетях, оперативно появляется на телефоне сотрудника. Ваш работник поздравляет клиента с успешной сдачей проекта и в честь этого предлагает добавить к привычному продукту (номеру в отеле или обеденному меню) дополнительную опцию. Потребитель, польщенный таким вниманием, с удовольствием соглашается, обеспечивая вам повышение уровня продаж Далее …