Аналитика больших данных в Elasticsearch: возможности Machine Learning в ELK Stack

Big Data, Большие данные, Elasticsearch, Machine Learning, машинное обучение, Data Lake, NoSQL, предиктивная аналитика

В этой статье рассмотрим несколько примеров по аналитике больших данных в Elasticsearch (ES), а также разберем возможности алгоритмов машинного обучения в ELK Stack. Читайте, как использовать NoSQL-СУБД ES в качестве озера данных для проверки различных бизнес-гипотез с помощью Machine Learning, показывая результаты моделирования в интерфейсе Kibana: практическая аналитика Big Data. Как анализировать Big Data в Elasticsearch: 4 реальных кейса Прежде всего, перечислим несколько бизнес-задач, для решения которых могут использоваться компоненты ELK-стека [1]: анализ поведения пользователей в разных интернет – магазинах – мониторинг и поиск взаимосвязей между различными событиями (клики, покупки, просмотры, лайки, сообщения в чатах и пр.); поиск пользователей с похожими потребностями, например, найти всех клиентов в радиусе 3 км, которые продают детские санки, чтобы сообщить об этом тем, кто Далее …

Как сделать Elasticsearch безопасным: защищаем Big Data от утечек

Big Data, Большие данные, Elasticsearch, security, утечки данных, защита информации, безопасность, администрирование, Docker, Kubernetes

Вчера мы рассказывали про самые известные утечки Big Data с открытых серверов Elasticsearch (ES). Сегодня рассмотрим, как предупредить подобные инциденты и надежно защитить свои большие данные. Читайте в нашей статье про основные security-функции ELK-стека: какую безопасность они обеспечивают и в чем здесь подвох. Несколько cybersecurity-решений для ES под разными лицензиями Чуть больше года назад, 20 мая 2019, компания Elastic сообщила, что базовые функции обеспечения информационной безопасности ELK-стека, будут теперь бесплатными для всех пользователей, а не только тех, кто подписан на коммерческой основе. Под этим имелись ввиду следующие возможности [1]: криптографический протокол транспортного уровня TLS для шифрованной связи; инструментарий для создания и управления пользовательскими записями (file и native-realm); управление доступом пользователей к API и кластеру на основе ролей (RBAC, Role Based Далее …

Такой эластичный, что вся Big Data утекает: 9 крупных инцидентов cybersecurity с Elasticsearch за последние 3 года

Big Data, Большие данные, обработка данных, Elasticsearch, security, утечки данных, защита информации, персональные данные, безопасность

Продолжая разговор про Elastic Stack, сегодня мы рассмотрим проблемы cybersecurity в Elasticsearch: разберем самые известные утечки данных за последнюю пару лет и поговорим, кто и как обнаруживает подобные инциденты. Читайте в нашей статье, какие средства используют «белые хакеры» для поиска уязвимостей в Big Data системах и что общего между Росгвардией и Microsoft. Самые известные утечки данных с Elasticsearch за последние 3 года: 9 крупных кейсов Одним из главных недостатков Elasticsearch (ES) является отсутствие встроенных средств обеспечения информационной безопасности, таких как система авторизации и ограничения прав доступа. После установки движок по умолчанию связывается с портом 9200 на все доступные интерфейсы, что открывает доступ к базе данных [1]. Эта уязвимость хороша известна злоумышленникам и активно ими используется. В частности, с марта 2020 Далее …

Как коронавирус стимулирует экономику Big Data: факты и ожидания

Big Data, Большие данные, Machine Learning, машинное обучение, предиктивная аналитика

Жесткий режим карантина и самоизоляции из-за нового коронавируса кардинально изменил мировую экономику, сократив доходы большинства работающего населения. Однако, в некоторых отраслях наблюдается беспрецедентный рост продаж. Сегодня мы расскажем, какие компании продолжают успешно развиваться, несмотря на COVID-19 и вызванные им ограничительные меры. Спойлер: все они связаны с большими данными (Big Data) и цифровизацией. Все онлайн: коронавирус как драйвер Big Data бизнесов Сегодня, когда мы все по-настоящему ушли в онлайн, наибольшим спросом пользуются веб-сервисы следующих категорий: развлекательные ресурсы, от радио и кинотеатров до электронных книг и игр; образовательные платформы, специально ориентированные на интерактивное обучение (Coursera, Stepik, GetCourse и пр.), а также сайты с тематическими статьями, например, блог нашей Школы Больших Данных; интернет-магазины, включая агрегаторы доставки еды из ресторанов и продуктов с оффлайн-складов; Далее …

Когда цифровизация не в радость: 5 громких скандалов вокруг Big Data и Machine Learning

Big Data, Большие данные, цифровизация, цифровая трансформация, бизнес, защита информации, Security, безопасность, Machine Learning, машинное обучение, утечки данных

Цифровизация не всегда приносит только положительные результаты: увеличение прибыли, сокращение расходов и прочие бонусы оптимизации бизнеса. Большие данные – это большая ответственность, с которой справится не каждый. В этой статье мы собрали 5 самых ярких событий ИТ-мира за последнюю пару лет, связанных с большими данными (Big Data) и машинным обучением (Machine Learning), которые вызвали неоднозначную реакцию и даже осуждение общественности. Вред от искусственного интеллекта или когда машинное обучение (не)виновато В декабре 2019 года автомобильная компания Mazda отозвала сообщила о дефекте в интеллектуальной тормозной системе своих 35 390 машин 2019 и 2020 модельного года, отозвав несколько десятков тысяч автомобилей. Из-за программных ошибок авто Mazda3 четвертого поколения может обнаружить несуществующий объект на своем пути и автоматически начать экстренное торможение во время вождения. Такое Далее …

Защитить всех и каждого: 5 методов cybersecyrity для биометрии в Big Data системах

Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, защита информации, Security, безопасность

Вчера мы писали, что cybersecurity биометрии пока не слишком надежна: обмануть можно как дактилоскопический сканер на смартфоне, так и крупную систему больших данных (Big Data). Сегодня поговорим о мерах обеспечения информационной безопасности биометрических данных: многофакторной аутентификации, защите цифровых шаблонов и кратной верификации. А также расскажем, когда государственная цифровизация в России намерена заменить бумажные паспорта пластиковыми карточками с биометрическими чипами. Что такое биометрический шаблон и зачем он нужен в Big Data системе Напомним, что шаблон биометрических персональных данных (БПД), который генерируется при регистрации пользователя в системе биометрии, по сути, является паролем для входа в среду. Он создается при регистрации в системе, а при последующем использовании текущие БПД сравниваются с заранее сохраненным образцом. Поэтому цифровой шаблон должен быть защищен так, чтобы его Далее …

Полный Deep Fake: как обмануть систему биометрии на базе Big Data и Machine Learning

Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, защита информации, Security, безопасность, машинное обучение, Machine Learning

Сравнив между собой наиболее популярные методы биометрии, сегодня мы подробнее рассмотрим, насколько они устойчивы к фальсификациям. Читайте в этой статье, как хакеры обманывают сканер отпечатков пальцев, путают Big Data системы уличной видеоаналитики и выдают себя за другое лицо с помощью модной технологии машинного обучения (Machine Learning) под названием Deep Fake. От телефона до видеоаналитики Big Data: 7 реальных примеров взлома биометрических систем Начнем с метода распознавания лиц в Big Data системах уличного видеонаблюдения. Существующие алгоритмы Machine Learning могут успешно распознать человека даже по 70% лица, например, если он частично скрылся под медицинской маской. Очки, головные уборы, борода и усы снижают точность распознавания примерно с 95% до 92%. При этом такие способы маскировки повышают вероятность ложного срабатывания (ошибка 1-го рода по Далее …

Какая биометрия лучше: сравнительный обзор биометрических методов на базе Big Data и Machine Learning

Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, защита информации, Security, безопасность, машинное обучение, Machine Learning, биометрия, биометрические методы

Продолжая рассматривать уязвимости биометрических систем, сегодня мы поговорим про отличия разных методов биометрии. Проанализируем быстроту их работы и устойчивость к фальсификации, а также используемые технологии Big Data и Machine Learning. Кроме того, сравним ставшие привычными способы идентификации личности по фотографии лица, снимкам глаз, отпечаткам пальцев и ладоней с более «экзотическими» методами: по запаху, сердцебиению и внутренним вибрациям. Cравнительный анализ 5 самых популярных способов биометрической идентификации Прежде всего, перечислим современные методы биометрии [1]: распознавание физиологических признаков человеческого тела, которые не существенно меняются со временем и остаются с их носителем в течение всей его жизни (отпечатки пальце, лицо, радужная оболочка и сетчатка глаза, ладони, уши, ДНК); исследование поведенческих характеристик, динамика которых постоянна на протяжении долгого времени вследствие постоянного повторения этих процессов (речь, Далее …

Насколько уязвимы биометрические Big Data системы: причины ошибок и метрики их измерения

Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, защита информации, Security, безопасность, машинное обучение, Machine Learning

В прошлой статье мы рассказывали о самых крупных утечках данных из биометрических Big Data систем в России и за рубежом. Сегодня рассмотрим характерные уязвимости биометрии: естественные ограничения методов идентификации личности с помощью машинного обучения (Machine Learning, ML) и целенаправленные атаки. 2 главные уязвимости биометрических Big Data систем на базе Machine Learning Прежде всего отметим, что для биометрических систем характерны те же факторы возникновения рисков, как и для любого Big Data проекта. В частности, здесь мы анализировали, почему случаются утечки данных: в основном, виноваты люди (сторонние хакеры или внутренние пользователи), инфраструктурные проблемы, уязвимости программного обеспечения или сторонние сервисы. Однако, помимо этих причин, биометрии свойственны специфические проблемы, непосредственно связанные с самими алгоритмами распознавания личности на базе методов машинного обучения. Поэтому их называют Далее …

Как потерять лицо: утечки биометрических данных – новая угроза Big Data систем

Cybersecurity, Big Data, Большие данные, предиктивная аналитика, бизнес-процессы, цифровизация, цифровая трансформация, бизнес, банк, защита информации, Security, безопасность

В то время, как нацпрограма «Цифровая экономика» активно продвигает использование биометрических персональных данных россиян в качестве основных идентификаторов для государственных Big Data систем и коммерческих сервисов, информация продолжает утекать. В этой статье мы собрали наиболее крупные инциденты с утечками данных из биометрических систем в России и за рубежом. Как утекают биометрические персональные данные: 7 ярких примеров за последние 5 лет В августе 2019 года в открытом доступе оказалось более 27,8 миллионов записей суммарным объемом 23 Гб, включая биометрическую информацию (отпечатки пальцев и фотографии), незашифрованные логины и пароли пользователей, журналы посетителей, сведения об уровне доступа и персональные данные сотрудников организаций. Эта база данных принадлежит южнокорейской компании Suprema, разработчику системы контроля и управления доступом Biostar 2. Данный продукт используется для контроля доступа Далее …