Я в Big Data пойду – пусть меня научат: большие данные — с чего начать

Big Data, Большие данные, профессия, карьера, цифровизация, цифровая трансформация, интернет вещей, IoT, Internet of Things, машинное обучение, Machine Learning

Этой статьей мы продолжаем серию материалов по ИТ-специальностям мира больших данных и начинаем описывать профессиональные компетенции в области Big Data и машинного обучения (Machine Learning). Ищите в сегодняшнем выпуске ответ на главный вопрос новичка Big Data – с чего начать, что нужно знать и уметь, а также где этому учиться – ликбез для чайников и начинающих. Профессиональные направления в мире Big Data Под термином «большие данные» скрывается множество понятий: от непосредственно самих информационных массивов до технологий по их сбору, обработке, анализу и хранению. Поэтому, прежде чем пытаться объять необъятное в стремлении изучить все, что относится к Big Data, выделим в этой области знаний следующие направления: аналитика – формулирование гипотез, визуализация информации, поиск закономерностей в наборе данных (датасете), подготовка информации к Далее …

Алиса посылает Бобу сообщение: криптография в IoT и Big Data системах

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, Security, безопасность, защита информации, персональные данные, утечки данных

Почти каждая статья по системам шифрования и криптографическим методам иллюстрируется примере отношений Алисы с Бобом и прочими метафизическими личностями [1]. В продолжение темы информационной безопасности в интернете вещей и Big Data, сегодня мы поговорим о том, как именно криптография помогает защитить каналы передачи данных и IoT-устройства от перехвата управления и утечек информации. Криптографические методы интернета вещей Прежде всего, напомним, что интернет вещей состоит из нескольких уровней: smart-приборы – конечные IoT-устройства (датчики, сенсоры, контроллеры и пр.), которые собирают малые данные с технологического оборудования или бытовой техники и передают их в сеть; каналы передачи данных – проводные и беспроводные сетевые протоколы (Serial, RS-485, MODBUS, CAN bus, OPC UA, BLE, WiFi, Bluetooth, 6LoRaWAN, Sigfox и пр.) для отправки информации с конечных IoT-устройств на Далее …

Сетевая безопасность IoT-систем: IPv6 и криптография микроконтроллеров

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, Security, безопасность, защита информации, персональные данные, утечки данных

Продолжая разбираться с информационной безопасностью Internet of Things и Big Data систем, сегодня мы поговорим о каналах передачи данных – защищенных протоколах и криптографических средствах в smart-устройствах. От IoT-устройства в облако Big Data: особенности многоуровневой передачи данных по сетям Интернет вещей – это комплексная система трехзвенной архитектуры: информация с «умного» прибора или датчиков/сенсоров и других конечных устройств, установленных на технологическом оборудовании, не сразу попадает в облако IoT-платформы для интеллектуального анализа данных средствами Big Data и Machine Learning. Каждый компонент этой сложной системы является потенциально уязвимым. В то время, как хакеры изобретают все новые способы взлома smart-устройств и облачных кластеров, специалисты по кибербезопасности предпринимают всевозможные меры по улучшению защиты Internet of Things: от сертификации существующих до разработки новых технологий. В частности, Далее …

Как сделать интернет вещей безопасным: 3 вида cybersecurity в Big Data

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, Security, безопасность, защита информации, персональные данные, утечки данных

Мы уже рассказывали про уязвимости систем Internet of Things и причинах их возникновения. Сегодня поговорим о том, как снизить риски нарушения информационной безопасности интернета вещей, и кто отвечает за мероприятия по защите smart-устройств от взломов и IoT-платформ от утечек Big Data. Способы обеспечения информационной безопасности интернета вещей В соответствии с многоуровневой архитектурой IoT-систем, можно выделить следующие 3 участка, на которых необходимо обеспечить информационную безопасность: smart-устройства – «умные» датчики, сенсоры и другими приборы, которые собирают информацию с оборудования и отправляют ее в облако, передавая обратно управляющие сигналы по изменению состояния вещей; сетевые шлюзы и каналы передачи данных (проводные и беспроводные протоколы); программные IoT-платформы – облачные Big Data сервисы хранения и обработки информации. Для всех этих компонентов в частности и в целом Далее …

DDos-атака от видеоняни: информационная безопасность IoT и Big Data

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, Security, безопасность, защита информации, персональные данные, утечки данных

Продолжая тему информационной безопасности в мире Big Data, сегодня мы поговорим об проблемах защиты данных в системах Internet of Things. Читайте в нашем материале, как вредоносные ботнеты взламывают бытовые smart-устройства, с чем сталкивается промышленный интернет вещей при обеспечении безопасности, а также какие компоненты IoT/Big Data систем наиболее уязвимы и почему. Информационная безопасность IoT и Big Data: масштабы проблемы Важнейшими рисками для IoT-технологий являются перехват управления и утечки персональных данных. Например, согласно исследованию компании Avast, 23,7% IoT-устройств в России уязвимы для кибератак, что создает угрозу для безопасности людей и их личных данных. Особенно критична ситуация для веб-камер и видеонянь, а также сетевых принтеров и роутеров [1]. С учетом цифровизации производства и домохозяйств, включая стремительное распространение IoT-систем, проблема информационной безопасности интернета вещей становится все Далее …

Big Data-облака интернета вещей: что такое IoT-платформы и зачем они

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, архитектура

Рассматривая архитектуру и принципы работы IoT-систем, мы уже упоминали, что наиболее интеллектуальная часть работы по анализу данных выполняется в облаке с помощью специальных средств Big Data, объединенных в общую платформу. Сегодня поговорим о функциях IoT-платформ и технологиях, на которых основаны эти облачные решения. Также мы подготовили для вас краткий обзор наиболее популярных платформ для Internet of Things. Что такое IoT-платформа и зачем она нужна IoT-платформа – это программное обеспечение системы интернета вещей для подключения конечных устройств (датчиков, сенсоров, контроллеров и т.д.) к облаку и удаленного доступа к ним. Целью IoT-платформы является обеспечение бесшовной интеграции различных аппаратных средств с помощью специальных интерфейсов, протоколов связи, сетевых топологий, а также средств хранения, обработки и интеллектуального анализа данных [1]. Выделяют следующие 8 обязательных компонентов полноценной Далее …

Как интернет вещей использует Big Data: архитектура IoT-систем

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, архитектура

Мы уже немного рассказывали об архитектуре IoT-систем в статье про промышленный интернет вещей. Сегодня поговорим подробнее про аппаратные и программные компоненты Internet of Things и IIoT, а также разберем, как малые данные со множества датчиков преобразуются в Big Data. Архитектура IoT-системы Типовая архитектура IIoT-систем состоит из следующих 3-х уровней [1]: конечные устройства (вещи, Things) – датчики, сенсоры, контроллеры и прочее периферийное оборудование для измерения необходимых показателей и передачи этих данных в сеть по проводным или беспроводным протоколам (Serial, RS-485, MODBUS, CAN bus, OPC UA, BLE, WiFi, Bluetooth, 6LoRaWAN, Sigfox и пр.). Поскольку каждая «порция» этой информации невелика по объему, такие данные называют малыми (Little Data). сетевые шлюзы и хабы (Network)– роутеры, которые объединяют и подключают конечные устройства к облаку. Облако (Cloud) Далее …

Промышленный интернет вещей: 4 кейса применения Big Data в индустрии

Big Data, Большие данные, интернет вещей, IoT, Internet of Things, машинное обучение, Machine Learning

Мы уже рассказывали, как интернет вещей (Internet of Things, IoT) вместе с технологиями Big Data и машинного обучения (Machine Learning) используются в нефтегазовой, транспортной, сельскохозяйственной и машиностроительных отраслях. Сегодня поговорим подробнее про промышленный IoT (Industrial Internet of Things, IIoT) на примерах его применения в тяжелом машиностроении и рассмотрим, почему индустриальный интернет вещей основан на решениях Big Data. Чем отличается промышленный интернет вещей от IoT? Промышленный интернет вещей используется в индустриальных условиях для автоматизации производства, тогда как IoT ориентирован на решение более простых задач бытового плана. Например, «умный дом» в пределах одного домохозяйства – это сфера применения IoT, а эффективное управление многоэтажным зданием, жилым кварталом или целым городом – уже задача для IIoT-системы. При этом основная ценность от внедрения IIoT – Далее …

Как Big Data с Machine Learning борются с пробками и улучшают дороги

Big Data, Большие данные, машинное обучение, Machine Learning, транспорт, интернет вещей, IoT, Internet of Things, город, дороги, автомобили

Продолжая тему «умного» города (data-driven city), сегодня мы собрали для вас 5 практических примеров, как в крупнейших мегаполисах по всему миру интернет вещей и большие данные с датчиков, проездных билетов и дорожных камер помогают бороться с пробками и улучшать состояние дорог, повышая уровень их безопасности и удобства использования. Internet of Things и Big Data на дорогах Для решения проблемы с дорожными неровностями и сильно вдавленными в асфальт канализационными люками американская компания The New Urban Mechanics разработала мобильное приложение. С ним каждый житель Бостона может сообщить о недостатках дорожного полотна с помощью своего смартфона. Фото- и видеоматериалы автоматически отправляются на сервер коммунальных служб. В частности, в 2010 году городская администрация устранила более 7 000 неровностей. Благодаря оперативному сбору данных о дорожных проблемах, они исправляются на ранних стадиях. Так интернет Далее …

Не бойся падать – большие данные подстелят соломку: умное страхование

Большие данные, Big Data, Machine Learning, Internet of Things, IoT, машинное обучение, интернет вещей, предиктивная аналитика, страхование, цифровизация, цифровая трансформация, маркетинг

Big Data – это основа бизнеса страховых компаний, работа которых полностью основана на информации: статистике, сведениях о клиентах, страховых случаях и вероятностях их наступления, а также финансовой оценке всех этих данных. Читайте в нашей сегодняшней статье, как «большая тройка» современных информационных технологий (большие данные, машинное обучение и интернет вещей) увеличивают прибыль страховщиков, прогнозируя потребности текущих и находя новых клиентов, а также уменьшают их затраты, сокращая выплаты по мошенническим операциям. Зачем страховщикам Big Data, Machine Learning и Internet of Things Цифровизация захватила и сектор страхования: страховые компании стремятся стать data-driven организациями. Широкая продуктовая линейка и обилие информации обусловливают использование страховщиками технологий Big Data, Machine Learning и Internet of Things в следующих направлениях: персонализация страховых полисов; оценка рисков при формировании страховых тарифов; Далее …