Хайп вокруг Big Data с Machine Learning: прогнозы Gartner и российские реалии

Big Data, Большие данные, предиктивная аналитика, машинное обучение, Machine Learning, искусственный интеллект, Spark, Hadoop, Kafka, SQL

Сегодня мы поговорим, что такое Hype Cycle от самого известного аналитического агентства Gartner и как будут развиваться наиболее популярные сегодня ИТ-тренды в области больших данных (Big Data), управления данными (Data Management), машинного обучения (Machine Learning) и искусственного интеллекта (Artificial Intelligence).

Что такое цикл зрелости технологий – Hype Cycle от Gartner

Прежде всего поясним, что такое компания Gartner и почему ее прогнозы так высоко ценятся. Основанная в США еще 1979 году, она специализируется на консалтинге и аналитических исследованиях в ИТ. В частности, именно Gartner ввела в широкое употребление понятие ERP (enterprise resource planning) как развитие концепции планирования производственных ресурсов MRP II (manufacturing resource planning). Кроме того, каждый год Gartner публикует аналитический отчет о технологиях, наиболее востребованных сегодня и в ближайшем будущем [1].

Как правило, в прогнозах Gartner степень востребованности технологии определяется ее позицией на графике, который получил название «цикл зрелости» (Hype Cycle). Этот инструмент оценки был впервые предложен в 1995 году и до сих пор активно используется для анализа рынков. Согласно концепции Hype Cycle: каждая инновация (технология, методология, инструментальная система и пр.) в течении своей жизни проходит несколько этапов, каждый из которых характеризуется различной степенью интереса со стороны общества и специалистов [1]:

  • старт (запуск) или технологический триггер (technology trigger), когда об инновации только появляются первые публикации в СМИ;
  • ажиотаж или пик чрезмерных ожиданий (Peak of Inflated Expectation), когда от новой технологии ожидают революционных свойств, а ее новизна провоцирует рост популярности и делает ее предметом широкого обсуждения в сообществе;
  • разочарование или избавление от иллюзий (Trough of Disillusionment), когда выявляются главные недостатки технологии, которая теряет новизну и многочисленные восторги общества;
  • работа над ошибками или преодоление недостатков (Slope of Enlightenment), когда найдены способы устранения основных недостатков, общество снова интересуется технологией, которая начинает применяться в коммерческих проектах;
  • эффективное использование или плато продуктивности (Plateau of Productivity), когда общество воспринимает зрелую технологию как данность, объективно оценивая её возможности, достоинства и ограничения.

Разумеется, в реальности далеко не все технологии достигают зрелости, преждевременно завершая свой жизненный цикл без перспектив эффективного использования. Обычно в своих аналитических отчетах для конкретного сегмента рынка Gartner показывает место каждой новой технологии на графике ее развития, а также прогнозируют ее возможность стать зрелой и широко применяемой на практике [1].

цикл ажиотажа, хайп технологий, цикл технологической зрелости, Hype Cycle Gartner
Цикл технологической зрелости — Hype Cycle от Gartner

Главные ИТ-тренды в области Machine Learning и Artificial Intelligence

В сентябре 2019 года Gartner выпустила отдельный отчет по технологиям искусственного интеллекта, начиная от концептуальных понятий типа нейронных сетей до аппаратных реализаций алгоритмов Machine Learning в виде промышленных роботов и беспилотных транспортных средств [2]. Примечательно, в этом отчете что автономные машины (дроны, беспилотные автомобили и прочие транспортные средства) сейчас находятся на дне разочарования, а методы автоматического машинного обучения (AutoML), глубокое обучение (Deep Learning), чат-боты и прочие разговорные пользовательские интерфейсы – на пике завышенных ожиданий. А вообще системы распознавания речи и инструменты ускорения процессов на базе видеокарт (GPU) вышли на плато продуктивности. Обзор отечественного и мирового рынка чат-ботов представлен в нашем следующем материале.

С точки зрения промышленного применения наиболее перспективны технологии создания роботизированного ПО для автоматизации производственных процессов (Robotic process automation software) [3]. Эти тенденции коррелируют с самыми востребованными трендами в сфере интернета вещей (Internet of Things), о которых мы рассказывали в статье про Ганноверскую промышленную ярмарку (Hannover Messe/Fair 2019).

искусственный интеллект, прогнозы Gartner, Machine Learning, машинное обучение
Самые перспективные технологии Machine Learning и другие приложения искусственного интеллекта: аналитический прогноз Gartner 2019

Будущее Big Data: аналитика и управление данными

Интересно также отметить, что аналитики Gartner составили отдельный прогноз по наиболее перспективным технологиям в области управления данными (Data Management), разделяя сферу Big Data от искусственного интеллекта. В частности, согласно этому исследованию, сейчас на пике завышенных ожиданий находятся следующие технологии управления данными [4]:

  • Data Fabric – фабрики данных, о которых мы рассказываем здесь;
  • Data Hub Strategy – стратегические хабы данных;
  • Data Catalog – каталоги данных;
  • Data Classification – классификация данных;
  • File Analysis – файловой анализ;
  • Time Series DBMS – СУБД временных рядов;
  • Augmented Transactions – расширенные транзакции;
  • Event Stream Processing – потоковая обработка событий, например, использованием таких Big Data инструментов, как Apache Kafka, Spark, Storm, Flink и пр.

На этапе старта Gartner располагает концепцию DataOps, специальные СУБД для хранения бухгалтерских данных типа гроссбуха для биткоинов (Ledger DBMS), ML-инструменты поддержки качества данных (Machine Learning-Enabled Data Quality) и частные СУБД в виде облачных платформ (Private Cloud dbPaaS). Спад интереса отмечается к следующим технологиям [4]:

  • Augmented Data Management – расширенное управление данными;
  • Data Preparation – подготовка данных (к машинному обучению и аналитике);
  • SQL Interfaces to Cloud Object Stores – SQL-интерфейсы к облачным хранилищам;
  • Multimodel DBMSs – мультимодельные СУБД;
  • Master Data Management, Information Stewardship Applications и Application Data Management – приложения для управления данными;
  • Metadata Management Solutions – решения для управления метаданными;
  • Graph DBMSs – графовые СУБД;
  • Blockchain – блокчейн;
  • Data Lakes – озеро данных или корпоративное хранилище данных, например, на базе Apache Hadoop;
  • Distributed Ledgers – распределенные кошелки для биткоинов и подобных криптовалют;
  • Apache Spark.

Доверие общества восстанавливается к аналитическим СУБД (In-DBMS Analytics, Analytical In-Memory DBMS), SQL-интерфейсам к Apache Hadoop (например, Cloudera Impala, Apache Phoenix, Drill и Hive), логическим хранилищам данных (Logical Data Warehouse), колоночным и документо-ориентированным СУБД (Wide-Column DBMS и Document Store DBMS), инфраструктурным платформам и инструментам для интеграции данных (iPaaS for Data Integration и Data Integration Tools), а также к резидентным базам данных (Operational In-Memory DBMS), которые размещаются в оперативной памяти. Наконец, на плато продуктивности сегодня находятся различные системы миграции контента (Content Migration), криптографические СУБД (Database Encryption), виртуализация данных (Data Virtualization) и резидентные сетки данных (In-Memory Data Grids) [4].

Data Management, Big Data, прогнозы и перспективы больших данных
Самые перспективные технологии Big Data и другие приложения Data Management: аналитический прогноз Gartner 2019

На практике, по крайней мере, в России технологии управления данными только начинают входить в фазу интереса и востребованности. В частности, эту тенденцию подтверждает растущий спрос на DataOps-инженеров и государственный тренд на цифровизацию. Подробнее об этом мы поговорим в следующих статьях.

Как эффективно использовать эти и другие технологии больших данных, машинного обучения для цифровизации своего бизнеса, вы узнаете на наших образовательных курсах в лицензированном учебном центре обучения и повышения квалификации руководителей и ИТ-специалистов (менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data) в Москве:

Источники

  1. https://ru.wikipedia.org/wiki/Gartner
  2. https://www.gartner.com/smarterwithgartner/top-trends-on-the-gartner-hype-cycle-for-artificial-intelligence-2019
  3. https://habr.com/ru/post/475032/
  4. https://www.gartner.com/en/documents/3955768/hype-cycle-for-data-management-2019