Рубрика: News

News about Big data analytics, Machine learning, Data Mining, Deep Learning, Hadoop distributions, NoSQL, Apache Kafka, Spark, Cassandra and everything related to this topic.

Кому и когда нужны курсы по Kafka и другим технологиям Big Data: 5 реальных кейсов

Анна Вичугова
Big Data, Большие данные, Kafka, интернет вещей, Internet of Things, IoT, IIoT, DevOps, Spark, Hadoop, Machine Learning, машинное обучение, цифровизация, цифровая трансформация

Продолжая разговор о том, как выбрать курсы по Kafka и другим технологиям больших данных (Big Data), сегодня рассмотрим, кому и в каких случаях нужно такое повышение квалификации. В этой статье мы собрали для вас 5 прикладных кейсов по Кафка для ИТ-профессионалов разных специальностей, от системного администратора до Data Engineer’а. Что такое Apache Kafka и зачем она нужна в Big Data Напомним, что такое Кафка и какова роль этой технологии в общем ландшафте Big Data решений. Apache Kafka – это реплицированный журнал сообщений в виде распределённой, горизонтально масштабируемой Big Data системы. Она используется для централизованного сбора, передачи и непрерывной потоковой обработки большого количества сообщений из различных источников: распределенные файловые системы (HDFS, Amazon S3), устройства интернета вещей (Internet of Things, IoT), в Далее …

Как выбрать хорошие курсы по Kafka и другим технологиям Big Data: 4 простых совета

Анна Вичугова
Big Data, Большие данные, Kafka

В этой статье мы рассмотрим наиболее значимые факторы по выбору образовательных курсов по Apache Kafka и другим технологиям больших данных (Big Data). А также расскажем, как эти условия реализуются в нашем учебном центре, чтобы сделать повышение квалификации ИТ-специалистов и руководителей максимально эффективным. Что важно при выборе курсов по Кафка Проанализировав потребности наших слушателей (программистов, инженеров и ученых по данным, а также менеджеров и руководителей), мы выявили 4 основных фактора выбора обучающих курсов по технологиям больших данных: цель – результаты обучения и сопутствующие выходы, чтобы удовлетворить ваш изначальный запрос с учетом будущих перспектив; время – насколько быстро вы хотите освоить новую технологию, чтобы сразу после обучения эффективно использовать ее на практике; преподаватели – кто будет делиться с вами своим опытом и Далее …

Что такое CATWOE и как это использовать для цифровизации и других Big Data проектов

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, RFID, IIoT, IoT, Internet of Things, интернет вещей

Сегодня мы поговорим о том, что такое CATWOE и зачем эта техника бизнес-анализа нужна руководителю. Также рассмотрим практическое применение этого метода на примере реального бизнес-кейса по цифровизации крупного предприятия и внедрения Big Data системы промышленного интернета вещей (Industrial Internet of Things, IIoT) в виде RFID-технологий. Как сэкономить время на бизнес-анализ проекта и не пожалеть: готовые техники Каждый ИТ-проект, будь то комплексная цифровизация предприятия или программное решение на базе Big Data, Internet of Things, Machine Learning и других технологий Industry 4.0, начинается с этапа анализа. При этом нужно точно определить цели и ожидаемые результаты проекта, поставить задачи и описать требования к проектируемой системе. Каждая предметная область предлагает свой подход для четкого выполнения этих работ. Например, в менеджменте широко распространен 4-шаговый управленческий Далее …

Защитить всех и каждого: 5 методов cybersecyrity для биометрии в Big Data системах

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, защита информации, Security, безопасность

Вчера мы писали, что cybersecurity биометрии пока не слишком надежна: обмануть можно как дактилоскопический сканер на смартфоне, так и крупную систему больших данных (Big Data). Сегодня поговорим о мерах обеспечения информационной безопасности биометрических данных: многофакторной аутентификации, защите цифровых шаблонов и кратной верификации. А также расскажем, когда государственная цифровизация в России намерена заменить бумажные паспорта пластиковыми карточками с биометрическими чипами. Что такое биометрический шаблон и зачем он нужен в Big Data системе Напомним, что шаблон биометрических персональных данных (БПД), который генерируется при регистрации пользователя в системе биометрии, по сути, является паролем для входа в среду. Он создается при регистрации в системе, а при последующем использовании текущие БПД сравниваются с заранее сохраненным образцом. Поэтому цифровой шаблон должен быть защищен так, чтобы его Далее …

Полный Deep Fake: как обмануть систему биометрии на базе Big Data и Machine Learning

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, защита информации, Security, безопасность, машинное обучение, Machine Learning

Сравнив между собой наиболее популярные методы биометрии, сегодня мы подробнее рассмотрим, насколько они устойчивы к фальсификациям. Читайте в этой статье, как хакеры обманывают сканер отпечатков пальцев, путают Big Data системы уличной видеоаналитики и выдают себя за другое лицо с помощью модной технологии машинного обучения (Machine Learning) под названием Deep Fake. От телефона до видеоаналитики Big Data: 7 реальных примеров взлома биометрических систем Начнем с метода распознавания лиц в Big Data системах уличного видеонаблюдения. Существующие алгоритмы Machine Learning могут успешно распознать человека даже по 70% лица, например, если он частично скрылся под медицинской маской. Очки, головные уборы, борода и усы снижают точность распознавания примерно с 95% до 92%. При этом такие способы маскировки повышают вероятность ложного срабатывания (ошибка 1-го рода по Далее …

Какая биометрия лучше: сравнительный обзор биометрических методов на базе Big Data и Machine Learning

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, защита информации, Security, безопасность, машинное обучение, Machine Learning, биометрия, биометрические методы

Продолжая рассматривать уязвимости биометрических систем, сегодня мы поговорим про отличия разных методов биометрии. Проанализируем быстроту их работы и устойчивость к фальсификации, а также используемые технологии Big Data и Machine Learning. Кроме того, сравним ставшие привычными способы идентификации личности по фотографии лица, снимкам глаз, отпечаткам пальцев и ладоней с более «экзотическими» методами: по запаху, сердцебиению и внутренним вибрациям. Cравнительный анализ 5 самых популярных способов биометрической идентификации Прежде всего, перечислим современные методы биометрии [1]: распознавание физиологических признаков человеческого тела, которые не существенно меняются со временем и остаются с их носителем в течение всей его жизни (отпечатки пальце, лицо, радужная оболочка и сетчатка глаза, ладони, уши, ДНК); исследование поведенческих характеристик, динамика которых постоянна на протяжении долгого времени вследствие постоянного повторения этих процессов (речь, Далее …

Насколько уязвимы биометрические Big Data системы: причины ошибок и метрики их измерения

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, защита информации, Security, безопасность, машинное обучение, Machine Learning

В прошлой статье мы рассказывали о самых крупных утечках данных из биометрических Big Data систем в России и за рубежом. Сегодня рассмотрим характерные уязвимости биометрии: естественные ограничения методов идентификации личности с помощью машинного обучения (Machine Learning, ML) и целенаправленные атаки. 2 главные уязвимости биометрических Big Data систем на базе Machine Learning Прежде всего отметим, что для биометрических систем характерны те же факторы возникновения рисков, как и для любого Big Data проекта. В частности, здесь мы анализировали, почему случаются утечки данных: в основном, виноваты люди (сторонние хакеры или внутренние пользователи), инфраструктурные проблемы, уязвимости программного обеспечения или сторонние сервисы. Однако, помимо этих причин, биометрии свойственны специфические проблемы, непосредственно связанные с самими алгоритмами распознавания личности на базе методов машинного обучения. Поэтому их называют Далее …

Как потерять лицо: утечки биометрических данных – новая угроза Big Data систем

Анна Вичугова
Cybersecurity, Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, банк, защита информации, Security, безопасность

В то время, как нацпрограма «Цифровая экономика» активно продвигает использование биометрических персональных данных россиян в качестве основных идентификаторов для государственных Big Data систем и коммерческих сервисов, информация продолжает утекать. В этой статье мы собрали наиболее крупные инциденты с утечками данных из биометрических систем в России и за рубежом. Как утекают биометрические персональные данные: 7 ярких примеров за последние 5 лет В августе 2019 года в открытом доступе оказалось более 27,8 миллионов записей суммарным объемом 23 Гб, включая биометрическую информацию (отпечатки пальцев и фотографии), незашифрованные логины и пароли пользователей, журналы посетителей, сведения об уровне доступа и персональные данные сотрудников организаций. Эта база данных принадлежит южнокорейской компании Suprema, разработчику системы контроля и управления доступом Biostar 2. Данный продукт используется для контроля доступа Далее …

Как оценить стоимость прогноза Machine Learning и не только: строим confusion matrix

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, Machine Learning, машинное обучение, бизнес, ритейл

Мы уже рассказывали, как машинное обучение применяется для прогнозирования будущих событий в финансовом секторе, нефтегазовой промышленности, логистике, HR-менеджменте, девелопменте, страховании, муниципальном управлении, маркетинге, ритейле и других отраслях экономики. Сегодня рассмотрим еще несколько практических примеров такого приложения Machine Learning и в этом контексте разберем одно из ключевых понятий Data Science по оценке моделей. Читайте в нашей статье, что такое матрица ошибок (confusion matrix) и как она помогает измерить эффективность используемых ML-алгоритмов и других инструментов бизнес-аналитики, оценив потенциальные убытки и выгоды от возможных сценариев будущего в задаче прогнозирования спроса. От ритейла до банка: 5 примеров применения Big Data и Machine Learning в задачах прогнозирования спроса и предложения Вообще сегодня задача прогнозирования спроса стала довольно обыденным приложением методов Machine Learning (ML) в реальном Далее …

Биометрия, GDPR, 152-ФЗ и все-все-все: как и зачем Big Data с Machine Learning сканируют наши лица и отпечатки пальцев

Анна Вичугова
Big Data, Большие данные, предиктивная аналитика, защита информации, безопасность, Security, бизнес-процессы, цифровизация, цифровая трансформация, Internet of Things, IIoT, IoT, Machine Learning, машинное обучение

Продолжая тему Cybersecurity, сегодня мы поговорим про биометрические системы: что это такое, как они работают и чем нарушают требования GDPR и № 152-ФЗ. Также в этом материале мы собрали для вас примеры таких наиболее известных проектов на базе технологий Big Data и Machine Learning. Что такое биометрические персональные данные и системы биометрии В России понятие личной биометрической информации определено в федеральном законе 152-ФЗ «О персональных данных». Биометрические персональные данные (БПД) – это сведения о физиологических и биологических особенности человека, на основании которых можно установить его личность. Принято выделять физиологические (отпечатки пальцев, рисунок вен, ДНК, сетчатка глаза, лицо, голос) и поведенческие (походка, речь) биометрические данных. Считается, что эти характеристики уникальны для каждого человека. Поэтому их можно использовать в качестве идентификаторов в Далее …