Рубрика: News

News about Big data analytics, Machine learning, Data Mining, Deep Learning, Hadoop distributions, NoSQL, Apache Kafka, Spark, Cassandra and everything related to this topic.

Умный антифрод: как Big Data и Machine Learning защищают ваши деньги

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, цифровизация, цифровая трансформация, машинное обучение, Machine Learning, антифрод, antifraud

В продолжение темы про предупреждение и раскрытие преступлений с помощью ИТ, сегодня мы расскажем, что такое антифрод-системы, зачем они нужны и где используются. А также рассмотрим, какова роль технологий Big Data и Machine Learning в таких средствах обнаружения мошенничества. Читайте в нашей статье, почему как большие данные и машинное обучение автоматизируют мониторинг и обнаружение финансово-учетных нарушений, предупреждая хищения денежных средств и другие транзакционные преступления. Что такое антифрод и где это используется Обычно антифрод (от английского anti-fraud) ассоциируется только с банковским сектором, когда финансовые транзакции оцениваются на предмет мошенничества, например, когда платежная карта используется злоумышленником, а не ее владельцем. Однако, антифрод нужен не только кредитным учреждениям и интернет-магазинам. Интересен пример с крупной сетью автозаправок, где была запущена выгодная программа лояльности с Далее …

Найти и обезвредить: как Big Data и Machine Learning сканируют ваши соцсети для предупреждения преступлений

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, цифровизация, цифровая трансформация, машинное обучение, Machine Learning, большие данные и машинное обучение для полиции МВД

В этой статье мы продолжим рассматривать примеры использования технологий Big Data и Machine Learning в задачах профилактики и расследовании преступлений. Сегодня читайте, как машинное обучение и большие данные позволяют предупредить массовые убийства и выявить закладки наркотиков с помощью методов графовой аналитики и автоматической оценки сообщений в соцсетях. Machine Learning против Колумбайна и буллинга в соцсетях В 2018 и 2019 годах по России прокатилась волна массовых убийств в образовательных организациях. Несчастья случились в Керче, Перми и Вольске, где пара школьников напала на своих одноклассников и учителей, нанося им тяжелые ранения, вплоть до смерти. Подростки вдохновлялись опытом своих заокеанских сверстников, которые в 1999 году в американской школе Колумбайн жестоко расстреляли 13 человек, ранили более 20 и застрелились сами. В сентябре 2019 года Далее …

Искусственный интеллект против наркотиков: как Big Data и Machine Learning борются с отравой

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, цифровизация, цифровая трансформация, машинное обучение, Machine Learning, искусственный интеллект против наркотиков

Цифровизация и искусственный интеллект повышают эффективность не только коммерческого бизнеса, промышленных производств и государственных услуг. В этой статье мы расскажем, как технологии больших данных (Big Data) и машинное обучение (Machine Learning) борются с незаконным оборотом наркотиков. Читайте в сегодняшнем материале 3 примера практического использования науки о данных (Data Science) в профилактике и расследовании преступлений. Нейросети ищут сайты по продаже запрещенных веществ Сегодня в интернете можно купить все, что угодно. В том числе и наркотики, информация о которых замаскирована под текстовое описание совершенно легальных товаров. Типичные методы автоматизированной обработки текста на базе алгоритмов Machine Learning не справляются с задачей идентификации запрещенного контента, гарантируя точность не выше 70%. Кроме того, сообщения о продаже наркотиков могут быть размещены на посторонних сайтах в комментариях Далее …

Как сделать город безопасным: Big Data и Machine Learning против преступности

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, цифровизация, цифровая трансформация, машинное обучение, Machine Learning, дрон, беспилотник, интернет вещей, Internet of Things

Сегодня мы расскажем про интерактивные карты преступности в России и за рубежом, а также рассмотрим, как технологии больших данных (Big Data) и машинного обучения (Machine Learning) помогают обнаружить и предупредить городские преступления. Читайте в этой статье, что такое Crime Mapping, где уже запущены биометрические системы идентификации подозреваемых и как дроны используются для криминальных расследований. Что такое Crime Mapping и при чем тут Big Data Современные карты криминогенности (Crime Mapping), которые аккумулируют статистику по преступлениям, уже давно существуют во многих странах, в т.ч. с разбивкой по отдельным городам. Однако, в большинстве случаев эти данные отражают ретроспективную картину без привязки к уникальным особенностям конкретного муниципалитета. Для профилактики преступлений эта информация должна быть интегрирована с геоинформационными сервисами (ГИС) каждого региона [1]. Например, маркировка Далее …

Как не превратить Scrum в драку: анализ требований и project management по Agile

Анна Вичугова
системный анализ, предиктивная аналитика, цифровизация, цифровая трансформация, Agile, управление проектами

В контексте темы бережливого производства в ИТ, сегодня мы расскажем про анализ требований к разработке ПО в условиях Agile-подходов к организации работы и соответствия жестким рамкам отечественных ГОСТов и зарубежных стандартов. Читайте в нашей статье, что говорит BABOK по этому поводу и когда нужно запускать процесс создания программной документации, чтобы потом не было мучительно больно. Лишнее для Lean или в чем ценность поддерживающих процессов? На первый взгляд с позиции бережливого производства (Lean) разработка требований не добавляет ценности конечному продукту, а является поддерживающим процессом для основной деятельности (собственно разработки ПО). Например, в этой статье мы рассматривали выявление требований в качестве иллюстративного примера для функционально-стоимостного анализа, а здесь – для объяснения метода Value Stream Mapping (картирование потоков создания ценностей). Напомним, одна из Далее …

Что общего между Lean в ИТ и ITIL: цифровизация для бережного управления Big Data и наоборот

Анна Вичугова
Lean, бережливое производство, Big Data, Большие данные, системный анализ, предиктивная аналитика, цифровизация, цифровая трансформация, Agile, Machine Learning, машинное обучение, DevOps

Ранее мы рассказывали, что общего между бережливым производством и DevOps. Сегодня рассмотрим, как 7 принципов Lean отражены в разработке программного обеспечения. Также читайте в нашей статье об актуальности методологии ITIL для проектов цифровизации и внедрения технологий больших данных (Big Data). 7 принципов Lean в ИТ Мы уже упоминали, что впервые концепцию Lean к области ИТ адаптировали программисты Мэри и Том Поппендики, опубликовав в 2003 году книгу «Бережливое производство программного обеспечения» («Lean Software Development: An Agile Toolkit»). В этом труде они изложили принципы и практики бережливой разработки ПО [1]: ликвидировать потери, определив главную ценность для конечного потребителя (программное решение) и максимально сократив действия, которые ее не производят (согласование, документирование, тестирование); встраивать качество, используя разработку через тестирования; создавать знание не в виде Далее …

Как расширенная аналитика Big Data поможет ИТ избавиться от 8 потерь Lean

Анна Вичугова
Big Data, Большие данные, системный анализ, предиктивная аналитика, цифровизация, цифровая трансформация, Agile, Machine Learning, машинное обучение, DevOps, Lean, бережливое производство

Продолжая разговор про бережливое производство в ИТ, сегодня мы рассмотрим виды потерь и источники их возникновения, а также поговорим, как принципы Lean помогают бизнесу избавиться от муда, мури и мура средствами больших данных (Big Data). 8 видов потерь в Lean с примерами из ИТ Прежде всего, поясним значение понятий муда, мури и мура, принятых в терминологии Lean. Эти слова произошли от японских выражений, означающих потери и их источники. Напомним, под потерями бережливое производство подразумевает действия, которые потребляют ресурсы, но не создают ценности для конечного потребителя. По-японски они называются муда – потери, затраты, отходы, мусор. Изначально создатели производственной системы компании Toyota, на которой основана концепция Lean, выделяли следующие 7 видов потерь [1]: перепроизводство, когда продукции больше, чем нужно или может быть Далее …

7 принципов Lean в Big Data: бережливое производство больших данных

Анна Вичугова
Big Data, Большие данные, системный анализ, DevOps, предиктивная аналитика, цифровизация, цифровая трансформация, интернет вещей, Internet of Things, Spark, Kafka, Airflow, Lean, бережливое производство

Не претендуя на лавры Мэри и Тома Поппендиков, которые впервые освятили применение Lean в разработке ПО, сегодня мы расскажем, как идеи бережливого производства реализуются в области Big Data. Читайте в нашей статье про принцип вытягивания в Apache Kafka, концепцию «точно вовремя» в Apache Spark, SMED в Kubernetes и облачных кластерах on-demand, карты потоков создания ценностей и конвейеры больших данных в цифровизации бизнес-процессов, систему 5S в резидентных СУБД и канбан-подход в Airflow. Lean-вытягивание сообщений в Apache Kafka В управлении производством Lean-термины вытягивание (pull) и выталкивание (push) противопоставляются друг другу, при этом их не совсем корректно интерпретируют следующим образом: выталкивание – это работа на склад, а вытягивание – на заказ (реальный спрос). Более верным считается следующее определение: вытягивающая система явно ограничивает объем Далее …

Agile и бережливое производство: что общего между Lean и DevOps

Анна Вичугова
системный анализ, DevOps, Agile, предиктивная аналитика, цифровизация, цифровая трансформация, Lean

Чтобы сделать курс Аналитика больших данных для руководителей еще более интересным, мы продолжаем включать в него темы про методы производственной оптимизации. Сегодня рассмотрим, что такое бережливое производство (Lean) и почему Agile вообще и DevOps в частности активно используют принципы этой концепции. Также читайте в нашей статье, чем Lean отличается от системы менеджмента качества (СМК) и методики 6 сигм. Что такое Lean: бережливое производство для чайников Прежде всего, сделаем краткий ликбез по теме бережливого производства (Lean). Эта концепция управления предприятием предполагает непрерывное устранение всех видов потерь с целью максимальной оптимизации бизнеса для наилучшего удовлетворения потребителя. Она основана на производственной системе японской компании Toyota, благодаря которой автоконцерн вышел из послевоенного кризиса и стал успешной организацией в мировом масштабе. Идеи бережливого производства отражены во Далее …

Как найти узкое место рабочего процесса: строим VSM и разбираемся с ценностями

Анна Вичугова
Big Data, Большие данные, системный анализ, DevOps, предиктивная аналитика, цифровизация, цифровая трансформация, интернет вещей, Internet of Things

Вчера мы рассмотрели, что такое функционально-стоимостный анализ (ФСА) и как этот метод позволяет оценить бизнес-процессы в денежном выражении. Однако, результаты ФСА, в первую очередь, ориентированы на оптимизацию с точки зрения финансов, а не организации и технологий. Исправить ситуацию помогут принципы бережливого производства (Lean). Сегодня мы расскажем об одном из них – картировании потоков создания ценностей (VSM), а также поговорим как DevOps воплощает идеи Lean и при чем здесь расширенная аналитика больших данных (Big Data). Цифровизация потоков создания ценности: что такое VSM Цифровизация предполагает не просто внедрение Big Data, Machine Learning и прочих методов искусственного интеллекта для оптимизации деятельности. Прежде всего, цифровая трансформация направлена на изменение бизнес-процессов, чтобы ускорить их, а также снизить затраты и ошибки, повысив результативность. Для построения новых Далее …