Конвейер Big Data для Machine Learning на Apache Kafka: разбираем систему речевой аналитики

обработка данных, большие данные, Big Data, Kafka, машинное обучение, Machine Learning, искусственный интеллект, NLP, курсы по Kafka, Apache Kafka обучение

В этой статье мы рассмотрим комплексный конвейер (pipeline) обработки больших данных с помощью алгоритмов машинного обучения (Machine Learning) для системы речевого анализа Callinter от китайской компании Fano Labs. Apache Kafka играет ключевую роль в этом аналитическом конвейере, ежедневно обеспечивая бесперебойную стабильность и высокую производительность интеллектуальной обработки нескольких тысяч часов звонков. Читайте далее, как Apache Kafka повысила эффективность NLP-системы для колл-центров Постановка задачи Китайская компания Fano Labs, базирующаяся в Гонконге, разработала собственную интеллектуальную систему анализа речи Callinter для автоматизации работы банковских, страховых, телекоммуникационных и прочих отраслевых колл-центров. Она предназначена для повышения качества сервиса и обнаружение инцидентов с помощью технологий распознавания смысла произносимых слов и эмоций на базе алгоритмов Machine Learning. В частности, анализируя миллионы вызовов ежедневно, система позволяет бизнесу определять потенциальные Далее …

Я знаю, что вы делали прошлым летом и сегодня утром: как государство и бизнес собирают Big Data о каждом из нас

цифровизация, цифровая трансформация, Big Data, Большие данные, предиктивная аналитика, цифровая экономика, искусственный интеллект, security, утечки данных, безопасность

Мы уже писали о преимуществах DaaS-похода, когда облачные провайдеры предоставляют данные как услугу, включая сложную предиктивную аналитику с использованием алгоритмов машинного обучения. Это позволяет быстро и удобно воспользоваться технологиями Big Data без существенных инвестиций в ИТ-инфраструктуру и дорогих специалистов, таких как Data Scientist, инженер и аналитик больших данных. Однако все плюсы достоинства этой бизнес-модели немного меркнут, когда товаром становитесь вы сами. Сегодня мы расскажем, как большой брат проникает в личную жизнь россиян еще больше, а понятие приватности стремительно исчезает, уступая место тотальному контролю со стороны государства и крупных корпораций. Телефон и твой номер тянут меня, как магнит или DaaS-сервисы от мобильных операторов Пока бизнес пытается легализовать для граждан торговлю собственными персональными данными, запуская маркетплейс «Датамания» совместно с отечественным Фондом развития Далее …

Почему вам нужны данные как сервис или что такое DaaS

цифровизация, цифровая трансформация, Big Data, Machine Learning, искусственный интеллект, Большие данные, предиктивная аналитика, обработка данных, облачные технологии

Аналитика больших данных (Big Data) сегодня нужна всем компаниям, но далеко не каждое предприятия готово инвестировать в сложную ИТ-инфраструктуру и дорогих специалистов. Избежать этих затрат, получив все преимущества практического использования технологий Data Science, поможет парадигма «данные как сервис». В продолжение темы по цифровизации, сегодня поговорим про концепцию Data as a Service (DaaS): разберем, что это такое и как связано с Big Data и Machine Learning, чем это выгодно современным предприятиям и каковы риски практического использования этого подхода. Читайте в нашей статье, почему DaaS-решения стали сегодня так популярны и за что клиент платит облачному провайдеру. Что такое DaaS: определение и история развития Данные как услуга или DaaS – это модель дистрибуции данных или стратегия управления ими, когда пользователи не занимаются самостоятельно Далее …

7 этических проблем отечественной цифровизации и пути их решения

цифровизация, цифровая трансформация, цифровая экономика, управление, утечки данных, Security, защита информации, Big Data, Machine Learning, искусственный интеллект, большие данные, безопасность, Большие данные, предиктивная аналитика

Вчера мы говорили о том, какие организационные барьеры мешают реализации запланированных проектов национальной программы «Цифровая экономика РФ». Сегодня рассмотрим основные этические риски, которые сдерживают развитие цифровой трансформации в России и разберем некоторые возможности их обхода. Чем страшна цифровизация: 7 ключевых проблем с точки зрения этики 16 января 2020 года Центр подготовки руководителей цифровой трансформации на базе Высшей школы государственного управления РАНХиГС совместно с ВШЭ представил доклад о главных этических проблемах и рисках внедрения цифровых технологий в России цифровыми технологии. Ключевыми проблемами работы с большими данными, методами искусственного интеллекта (ИИ) и интернетом вещей эксперты назвали следующие [1]: инфляция приватных данных, когда бизнес и государство собирает все больше данных о своих пользователях (гражданах) за тот же объем предоставляемых услуг. К примеру, обязательная регистрация на сайтах Далее …

Всегда Coca-Cola: 5 Big Data кейсов от FMCG-гиганта

Big Data, Большие данные, обработка данных, ритейл, предиктивная аналитика, интернет вещей, Internet of Things, IoT, IIoT, машинное обучение, Machine Learning

По запросу одного из наших клиентов, этой статьей мы открываем серию публикаций про применение технологий Big Data и Machine Learning в торговле быстрооборачиваемых товаров повседневного спроса (FMCG, Fast moving consumer goods). Сегодня рассмотрим, как большие данные, машинное обучение и прочие методы искусственного интеллекта используются в производстве и продаже газированных напитков на примере компании Coca-Cola. Big Data, Machine Learning и Internet of Things: все будет Coca-Cola Ежедневно в мире потребляется около 2-х миллиардов прохладительных напитков, из которых более 500 брендов принадлежат компании Coca-Cola – крупнейшему производителю газированной воды. Предприятие генерирует множество данных: показатели технологических процессов, бизнес-метрики, информация о пользовательских предпочтениях и множество других разнообразных данных. Разумеется, для этого активно используются современные ИТ-инструменты, в т.ч. технологии Big Data и Machine Learning. Примеры Далее …

5 причин, почему робот-полицейский – это фантастика. По крайней мере, пока.

Big Data, Большие данные, предиктивная аналитика, цифровизация, цифровая трансформация, машинное обучение, Machine Learning, искусственный интеллект, люди

Завершая цикл публикаций о применении больших данных и машинного обучения в оперативно-розыскной деятельности и других задачах МВД, сегодня мы рассмотрим перспективы этих технологий: заменят ли они живых полицейских и когда это произойдет. Спойлер: еще не скоро. Читайте в нашей статье про доверие к Big Data и Machine Learning для их корректного использования. Как и почему ошибаются Big Data и Machine Learning При всей пользе больших данных, машинного обучения и прочих методов искусственного интеллекта, стоит помнить, что эти технологии – это всего лишь инструменты. При правильном применении они способны качественно улучшить любой бизнес-процесс, в т.ч. оперативно-розыскную деятельность. В частности, сократить время на наведение справок и поиск контактов с помощью графовой аналитики социальных сетей, предупредить финансовые мошенничества и отмывание денег за счет Далее …

Big Data и Machine Learning спасают жизни: 3 кейса по распознаванию образов

Big Data, Большие данные, цифровизация, цифровая трансформация, предиктивная аналитика, Machine Learning, бизнес, Большие данные, люди, Машинное Обучение, искусственный интеллект

Чтобы зарядить вас оптимизмом и в очередной раз показать практическую пользу от технологий больших данных, машинного обучения и других методов искусственного интеллекта, сегодня мы расскажем, как Big Data и Machine Learning предупреждают аварии, диагностируют смертельные болезни на ранних стадиях и помогают найти без вести пропавших людей. Большие данные и машинное обучение против разговоров за рулем Можно по-разному относиться к видеокамерам на дорогах, однако в большинстве случаев они дисциплинируют водителей. Самый распространенный кейс – это фиксаций превышения разрешенной скорости движения с автоматической фотографией госномера правонарушителя. Однако, это не единственный пример прикладного использования алгоритмов распознавания образов на базе Machine Learning. Сегодня, с повсеместным распространением мобильных телефонов, именно они становятся фактором, провоцирующим ДТП. В частности, только за 2017 году в США погибло более Далее …

Искусственный интеллект против наркотиков: как Big Data и Machine Learning борются с отравой

Big Data, Большие данные, предиктивная аналитика, цифровизация, цифровая трансформация, машинное обучение, Machine Learning, искусственный интеллект против наркотиков

Цифровизация и искусственный интеллект повышают эффективность не только коммерческого бизнеса, промышленных производств и государственных услуг. В этой статье мы расскажем, как технологии больших данных (Big Data) и машинное обучение (Machine Learning) борются с незаконным оборотом наркотиков. Читайте в сегодняшнем материале 3 примера практического использования науки о данных (Data Science) в профилактике и расследовании преступлений. Нейросети ищут сайты по продаже запрещенных веществ Сегодня в интернете можно купить все, что угодно. В том числе и наркотики, информация о которых замаскирована под текстовое описание совершенно легальных товаров. Типичные методы автоматизированной обработки текста на базе алгоритмов Machine Learning не справляются с задачей идентификации запрещенного контента, гарантируя точность не выше 70%. Кроме того, сообщения о продаже наркотиков могут быть размещены на посторонних сайтах в комментариях Далее …

Почему вам нужна расширенная аналитика Big Data и как ее получить

Big Data, Большие данные, Machine Learning, машинное обучение, системный анализ, Data Mining, предиктивная аналитика, цифровизация, цифровая трансформация

Сегодня мы рассмотрим, что такое расширенная аналитика и дополненное управление данными, как они связаны с цифровизацией бизнеса и почему исследовательское бюро Gartner включило эти технологии в ТОП-10 самых перспективных трендов 2020 года. Читайте в нашей статье, как машинное обучение (Machine Learning) помогает аналитикам и руководителям находить во множестве больших данных (Big Data) полезные для бизнеса инсайты. Что такое расширенная аналитика и при чем здесь цифровизация Расширенная аналитика и дополненное управление данными – 2 главных тренда из 10 самых перспективных направлений в области Data&Analytics по версии исследовательского агентства Gartner. Прогнозируется, что эти технологии станут доминировать уже в 2020 году, а спрос на них многократно возрастет в ближайшие 3-5 лет [1]. Такие тенденции актуальны и для России, где цифровизация сегодня стала фактически Далее …

Big Data и Machine Learning против COVID-19: 3 кейса про коронавирус и искусственный интеллект

Big Data, Большие данные, Machine Learning, машинное обучение, искусственный интеллект, предиктивная аналитика

11 марта 2020 года ВОЗ объявила о пандемии нового коронавируса (Covid-19), который в декабре 2019 был впервые обнаружен в китайском мегаполисе Ухань. С тех пор вирус стремительно распространяется по всей планете, вызывая острые респираторные заболевания. Сегодня мы расскажем, почему, несмотря на повсеместные карантины и обвал мировых рынков, все не все так страшно и как технологии больших данных (Big Data) помогают справиться с этой напастью. Еще раз о коронавирусе: кто виноват и что делать Прежде всего, чтобы снизить градус паники, отметим, что даже при высокой заразности, коронавирус относительно легко переносится большей частью людей. Именно этим обусловлена широчайшая площадь его распространения: человек не зная, что болен, продолжает жить обычной жизнью: работает, ходит в магазин, кафе, кино, развлекательные и учебные центры, а также Далее …