Big Data и блокчейн: комбо или противостояние?

Big Data, Большие данные, блокчейн, обработка данных, blockchain, block chain, распределенный реестр

Сегодня большие данные и технологии распределенного реестра до сих пор являются самыми популярными ИТ-темами. Возможности их внедрения в каждую прикладную сферу, от банковской отрасли до медицины, обсуждаются на конференциях всех уровней, корпоративных совещаниях и государственных советах [1]. Принесет ли объединение Big Data и блокчейн дополнительные бонусы, в каких случаях не нужно комбинировать эти технологии и есть ли примеры их совместного использования на практике – анализируем мнения экспертов и прикладные кейсы.

Почему блокчейн не нужен во всех проектах Big Data?

Прежде всего следует подчеркнуть принципиальное различие технологий распределенного реестра и больших данных: Big Data предполагает интеграцию информации из различных источников, тогда как в блокчейне, наоборот, копии информационных цепочек хранятся на множестве разных компьютеров [2]. Децентрализованное хранение и последовательный характер записи данных и обусловливает достаточно низкую скорость их считывания. В частности, пропускная способность популярных криптовалют, основанных на блокчейне, не превышает 10 тысяч транзакций в секунду, несмотря множество проектов, направленных на увеличение этого показателя. При этом скорость сети международной платежной системы Visa, работающей через централизованные сервера, составляет 24 тысячи транзакций в секунду [3]. Концепция Big Data подразумевает быструю обработку огромных массивов информации, которую блокчейн не может обеспечить, по крайней мере, пока.

Данные, которые попали в блокчейн, остаются там навсегда. Поэтому применять эту технологию имеет смысл только в тех задачах, где необходимо постоянное хранение неизменяемой информации, в т.ч. устаревшей и уже неиспользуемой [2]. Но такой потребности нет в отраслях с высокой динамикой изменений и достаточно низкой ценностью каждой отдельной записи, таких как, например, сведения о покупках конкретного покупателя в определенный день. Сегодня именно сфера маркетинга наиболее активно использует большие данные для персонализации рекламных предложений, о чем мы уже рассказывали здесь. И в этом случае блокчейн совершенно не нужен решениям Big Data, чтобы составить детальный портрет потребителя или управлять корпоративной репутацией в интернете.

Big Data, Большие данные, блокчейн, обработка данных, blockchain, block chain, распределенный реестр
Концепция хранения информации в блокчейне и Big Data противоречат друг другу

Когда полезно совместить большие данные с блокчейном?

Из-за своего специфического характера записи данных блокчейн отлично подходит для тех задач, где требуется высочайшая достоверность и неизменность информации [2]. Например, в сфере информационной безопасности. Технология распределенного реестра обеспечивает целостность и достоверность данных, а благодаря отсутствию единой точки отказа, и стабильность работы информационных систем. Блокчейн может решить проблему доверия к данным, а также предоставить возможность универсального обмена ими [4].

Неизменность и достоверность информационных цепочек блокчейна пригодится при организации автоматического архива операций с данными, в частности, для записи сведений о data pipelines. Это поможет избежать часть самых страшных ошибок Data Scientist на каждой из фаз стандарта CRISP-DM, о которых мы писали здесь.

Аналогично blockchain позволит получать подробные аналитические данные о цепях поставок и потребления, чтобы отслеживать и контролировать потери продукции при транспортировке, например, потери веса вследствие усыхания и испарения некоторых видов товаров [4].

Подобным образом сочетание Big Data и блокчейна можно использовать в здравоохранении, чтобы важные данные о здоровье клиентов медучреждений были максимально защищены, неизменны, проверяемы и не подвержены каким-либо манипуляциям. Также с помощью блокчейна медицинские учреждения смогут обмениваться достоверными сведениями со страховыми компаниями, органами правосудия, работодателями, научными учреждениями и другими организациями, нуждающимися в медицинской информации [4]. Подробнее о том, как совместить технологию распределенного реестра с Apache Kafka, читайте в нашей новой статье

Кроме того, децентрализация распределенного реестра позволит устранить посредников и взаимодействовать напрямую с контрагентами, избегая промежуточного буфера, такого как технологический брокер или страховой агент [2].

Big Data, Большие данные, блокчейн, обработка данных, blockchain, block chain, распределенный реестр
Блокчейн полезен как дополнительная опция для некоторых Big Data проектов

5 примеров успешного совмещения блокчейна с большими данными

  1. Облачные сервисы хранения больших данных Storj и FileCoin, которые обеспечивают высокую надежность, абсолютную неизменность и защиту данных от несанкционированного доступа. Эти сервисы обещают сократить стоимость хранения данных на 90% по сравнению с подобными решениями от Amazon Web Services’ Cloud [5].
  2. Omnilytics – система, которая объединяет блокчейн с аналитикой больших данных по маркетинге, финансам, аудиту, прогнозированию тенденций и других приложения в разных отраслях. Пользователи сервиса могут отслеживать свою производительность в сравнении с реальным положением дел у конкурентов и партнеров своей сферы деятельности. Сервис поддерживает smart-контракты, распределенную идентификацию данных, обмен информацией через API и другие протоколы [5].
  3. Datum – децентрализованная сеть хранения информации, управляемая токеном доступа к данным (DAT, Data Access Token) и предназначенная для монетизации индивидуальных данных [5].
  4. Rublix – международная торговая платформа для криптовалютных инвесторов, которая проверяет подлинность и авторитет трейдеров, а также предоставляет доступ к рыночной информации, чтобы уменьшить текущую путаницу. Неизменность цепочек блоков гарантирует надежную и проверенную аналитика инвестиционных данных [5].
  5. Provenance – сервис хранения и предоставления данных о происхождении продукта, предназначенный для потребителей, производителей и продавцов. Клиенты узнают достоверную информацию о том, из чего сделан продукт, откуда он появился и как влияет на окружающую среду. Производители и продавцы отслеживают каждую партию продукции и, по мере накопления данных, получают представление о потребностях и желаниях клиентов, чтобы соответствующим образом адаптировать к ним свои товары и услуги. Блокчейн обеспечивает прозрачность всей цепочки поставок, а средства Big Data – необходимую аналитику [5].

Аналитика больших данных для руководителей

Код курса
BDAM
Ближайшая дата курса
1 апреля, 2024
Продолжительность
24 ак.часов
Стоимость обучения
72 000 руб.

Думаете, как извлечь выгоду от двух самых популярных на сегодня технологий, Big Data и Блокчейн для своего бизнеса?

Приходите к нам на занятия, где мы научим руководителей, аналитиков, инженеров и администраторов эффективной работе с большими данными и распределенным реестром. Только практические инструменты и прикладные кейсы, чтобы по завершении обучения вы запустили и успешно реализовали свои собственные бизнес-проекты. Выбирайте курсы по своей специализации, записывайтесь на занятия и приходите в наш образовательный центр!

Источники

  1. http://kapital-rus.ru/articles/article/blokchein_i_bolshie_dannye_ubut_li_novye_tehnologii_rossiiskie_banki
  2. https://dis-group.ru/company-news/articles/bolshie-dannye-i-blokchejn-nuzhen-li-blokchejn-dlya-hraneniya-i-obrabotki-big-data/
  3. https://coinspot.io/technology/hajpovye-pokazateli-i-realnye-skorosti-osnovnyh-kriptovalyut/
  4. https://forklog.com/big-data-i-blokchejn-proryv-v-oblasti-analiza-dannyh/
  5. https://www.smartdatacollective.com/6-big-data-blockchain-projects-you-should-know-about/
Поиск по сайту