Метка: Machine Learning

Как оценить стоимость прогноза Machine Learning и не только: строим confusion matrix

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, Machine Learning, машинное обучение, бизнес, ритейл

Мы уже рассказывали, как машинное обучение применяется для прогнозирования будущих событий в финансовом секторе, нефтегазовой промышленности, логистике, HR-менеджменте, девелопменте, страховании, муниципальном управлении, маркетинге, ритейле и других отраслях экономики. Сегодня рассмотрим еще несколько практических примеров такого приложения Machine Learning и в этом контексте разберем одно из ключевых понятий Data Science по оценке моделей. Читайте в нашей статье, что такое матрица ошибок (confusion matrix) и как она помогает измерить эффективность используемых ML-алгоритмов и других инструментов бизнес-аналитики, оценив потенциальные убытки и выгоды от возможных сценариев будущего в задаче прогнозирования спроса. От ритейла до банка: 5 примеров применения Big Data и Machine Learning в задачах прогнозирования спроса и предложения Вообще сегодня задача прогнозирования спроса стала довольно обыденным приложением методов Machine Learning (ML) в реальном Далее …

Биометрия, GDPR, 152-ФЗ и все-все-все: как и зачем Big Data с Machine Learning сканируют наши лица и отпечатки пальцев

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, защита информации, безопасность, Security, бизнес-процессы, цифровизация, цифровая трансформация, Internet of Things, IIoT, IoT, Machine Learning, машинное обучение

Продолжая тему Cybersecurity, сегодня мы поговорим про биометрические системы: что это такое, как они работают и чем нарушают требования GDPR и № 152-ФЗ. Также в этом материале мы собрали для вас примеры таких наиболее известных проектов на базе технологий Big Data и Machine Learning. Что такое биометрические персональные данные и системы биометрии В России понятие личной биометрической информации определено в федеральном законе 152-ФЗ «О персональных данных». Биометрические персональные данные (БПД) – это сведения о физиологических и биологических особенности человека, на основании которых можно установить его личность. Принято выделять физиологические (отпечатки пальцев, рисунок вен, ДНК, сетчатка глаза, лицо, голос) и поведенческие (походка, речь) биометрические данных. Считается, что эти характеристики уникальны для каждого человека. Поэтому их можно использовать в качестве идентификаторов в Далее …

5 причин, почему машинное обучение не заменит другие методы Cybersecurity и реальные примеры эффективного использования ML для защиты данных

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, Machine Learning, машинное обучение, защита информации, безопасность, Security

Рассказав о том, как машинное обучение работает в разных задачах cybersecurity, сегодня мы собрали для вас 5 примеров реального использования Machine Learning в информационной безопасности. Также в этой статье мы рассмотрим, способны ли эти методы искусственного интеллекта заменить существующие инструменты защиты данных и почему. Где и как машинное обучение используется в Cybersecurity: 5 практических кейсов Считается, что сегодня именно банки, в первую очередь, являются наиболее крупными пользователями и драйверами развития технологий больших данных (Big Data) и машинного обучения в области кибербезопасности [1]. Например, здесь мы писали, как Machine Learning помогает ИТ-специалистам Хоум Кредит Банка вести мониторинг эксплуатации банковских систем и своевременно определять аномальную активность отдельных компонентов или пользователей. Методы Machine Learning (ML) также активно применяются другими высокотехнологичными компаниями при разработке Далее …

Как машинное обучение защищает большие данные: ML в Cybersecurity

Анна Вичугова
Big Data, Большие данные, Machine Learning, машинное обучение, защита информации, безопасность, Security

Сегодня мы расскажем, как машинное обучение (Machine Learning, ML) используется в информационной безопасности для защиты данных от утечек, несанкционированного доступа, неправомерного использования пользовательских привилегий, вирусных атак и прочих угроз cybersecurity. Читайте в нашей статье, как нейросети и другие ML-модели выявляют мошеннические операции и другие аномалии в Big Data системах и корпоративной инфраструктуре. Зачем машинное обучение нужно в Cybersecurity: 5 направлений автоматизации Традиционные методы защиты данных от утечек и вирусных атак уже не справляются с этими задачами в полной мере. Например, в 2019 году практически каждый месяц персональные данные россиян попадали в открытый доступ. В большинстве случаев это происходило из-за некорректной настройки облачных серверов или недобросовестного поведения отдельных сотрудников крупных банков и телефонных операторов. В 2018 году от утечек информации пострадали Далее …

Реальная цифровизация: 7 примеров эффективного внедрения Big Data, PLM и IIoT в промышленности

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, Machine Learning, машинное обучение, цифровизация, цифровая трансформация, Internet Of Things, IoT, IIoT, интернет вещей, нефтегазовая отрасль, нефтянка, нефтегазовая промышленность

Продолжая разговор о том, что такое цифровой двойник и где эта технология Industry 4.0 используется на практике, сегодня мы рассмотрим несколько реальных примеров такой цифровизации в отечественной и зарубежной промышленности. Читайте в нашей статье про практическую синергию технологий Big Data, ML, PLM и IIoT в нефтегазовой, теплоэнергетической и машиностроительной отраслях. Также мы расскажем, как такая цифровизация помогла немецкому заводу Siemens на четверть сократить себестоимость изделий. Тотальная цифровизация: госкомпания по внедрению технологий I4.0 Цифровизация государственных предприятий продолжается: 20 мая 2019 года Министерство коммуникаций и связи отправило в крупные госкорпорации (Газпромнефть, Аэрофлот, РЖД, КамАЗ, Почта России, Ростех, Ростелеком и др.) проект новых методических рекомендаций по разработке стратегий цифровой трансформации [1]. Этот документ разработан в рамках национальной программы «Цифровая экономика» и предусматривает практическое Далее …

Цифровизация производства и цифровые двойники: объединяем PLM, IoT и Big Data

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, Machine Learning, машинное обучение, цифровизация, цифровая трансформация, Internet Of Things, IoT, IIoT, интернет вещей, цифровой двойник

В этой статье мы разберем, что такое цифровой двойник – один из главных трендов развития 4-ой промышленной революции (Industry 4.0) на ближайшие 5 лет. Читайте в сегодняшнем материале, зачем нужен виртуальный макет завода, из чего состоит информационная модель изделия и где используются цифровые двойники. Также рассмотрим, как CALS- и PLM-технологии связаны с Big Data и интернетом вещей, а, самое главное, чем бизнесу выгодна такая цифровизация. Что такое цифровой двойник и зачем он нужен Цифровой двойник (Digital Twin) – это виртуальная интерактивная копия реального физического объекта или процесса, которая помогает эффективно управлять им, оптимизируя бизнес-операции. Например, цифровой двойник завода позволяет моделировать расположение оборудования, перемещение сотрудников, рабочие процессы и внештатные ситуации. Именно интерактивность отличает понятие цифрового двойника от термина «информационная модель изделия» (ИМИ) Далее …

Кредитный скоринг от Яндекса vs GDPR и 152-ФЗ: кто собирает наши персональные данные для банковских моделей Machine Learning – Big Data для Большого Брата

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, Machine Learning, машинное обучение, цифровизация, цифровая трансформация, защита данных, безопасность, security

Сегодня мы расскажем, почему и зачем сейчас почти все сайты собирают cookies, что такое GDPR, как банки собираются оценивать кредитоспособность потенциального заемщика по истории его запросов в браузере и насколько это легально. Читайте в нашей статье про персональные данные, синергетический эффект технологий Big Data и финансовый скоринг на основе пользовательского поведения в сети с помощью машинного обучения (Machine Learning). Зачем собирать cookies, что такое GDPR и при чем тут персональные данные С 2019 года практически на каждом сайте всплывает сообщение о сборе пользовательских данных: IP-адрес, cookie, информации о браузере и геолокации, время доступа и адрес запрашиваемой страницы. Далее следует приписка, что вся эта информация о пользовательском поведении нужна, чтобы улучшить сайт и маркетинговую аналитику. На самом деле подобное уведомление показывается, Далее …

Что ждет Big Data в 2020: итоги ушедшего десятилетия и будущие перспективы

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, Internet Of Things, Machine Learning, интернет вещей, IoT, IIoT, машинное обучение, ИТ-планы и прогнозы 2020, цифровая трансформация

На пороге 3-го десятилетия 21 века пришло время подвести итог прошедшим годам и cделать прогнозы на будущее. В этой статье мы поговорим о ключевых событиях минувших лет, помечтаем о том, что ждет Big Data и чего нам принесет эта ИТ-область. Также поделимся с вами своими планами на 2020 год: расскажем о новых обучающих курсах и образовательных направлениях. Главные ИТ-тренды последних 10 лет в России и за рубежом В первое 10-летие 21 века облачные вычисления (Cloud Computing) и основанные на них SaaS/PaaS/IaaS-решения успешно заняли свое место в ландшафте корпоративной инфраструктуры. NoSQL-СУБД, BI-системы и технологии контейнеризации (виртуализации) перестали быть игрушкой для гиков и активно используются как крупными игроками, так и малым бизнесом. IP-телефония, онлайн ERP- и CRM-продукты с модулями предиктивной аналитики – Далее …

Как Apache Cassandra, Kafka, Storm и Hadoop формируют рекомендации пользователям Spotify

Анна Вичугова
Big Data, Большие данные, архитектура, обработка данных, NoSQL, SQL, Cassandra, HBase, машинное обучение, Machine Learning, Spark, Kafka, предиктивная аналитика, Hadoop

Продолжая разговор про примеры практического использования Apache Cassandra в реальных Big Data проектах, сегодня мы расскажем вам о рекомендательной системе стримингового сервиса Spotify на базе этой нереляционной СУБД в сочетании с другими технологиями больших данных: Kafka, Storm, Crunch и HDFS. Рекомендательная система Spotify: зачем она нужна и что должна делать Начнем с описания самого сервиса: Spotify – это интернет-ресурс потокового аудио (стриминговый), позволяющий легально и бесплатно прослушивать более 50 миллионов музыкальных композиций, аудиокниг и подкастов, в режиме онлайн, т.е. не загружая их на локальное устройство. Этот сервис доступен в США, Европе, Австралии и Новой Зеландии, а также в некоторых странах Азии и Африки. В общем случае доля сервиса составляет более 36 % мирового аудиостриминга, при этом большая часть (70%) прослушиваний Далее …

10 примеров применения Apache Cassandra в 5 направлениях Big Data

Анна Вичугова
Big Data, Большие данные, архитектура, обработка данных, NoSQL, SQL, Cassandra, HBase, Internet of Things, IoT, IIoT, интернет вещей, машинное обучение, Machine Learning, Spark

Благодаря быстроте, надежности и другим достоинствам Apache Cassandra, эта распределенная NoSQL-СУБД широко применяется во многих Big Data проектах по всему миру. В этой статье мы собрали для вас несколько интересных примеров реального использования Кассандры в 5 ключевых направлениях современного ИТ. Где используется Apache Cassandra: 5 главных приложений c примерами Промышленные решения на базе Cassandra развёрнуты в Cisco, IBM, Cloudkick, Reddit, Digg, Rackspace, Twitter и множестве других компаний, работающих с большими данными [1]. Например, Expedia, крупная туристическая компания США, с помощью Кассандры хранит миллиарды постоянно обновляемых цен из 140 000 отелей. Apple имеет более 100 000 узлов Cassandra в production, что подтверждает отличную масштабируемость этой СУБД [2]. Другая data-driven организация, международная компания таксо-перевозок Uber использует Кассандру в нескольких датацентрах, чтобы обеспечить Далее …