Самые перспективные технологии Big Data, ML и AI: прогнозы Gartner

Сегодня мы поговорим, что такое Hype Cycle от самого известного аналитического агентства Gartner и как будут развиваться наиболее популярные сегодня ИТ-тренды в области больших данных (Big Data), управления данными (Data Management), машинного обучения (Machine Learning) и искусственного интеллекта (Artificial Intelligence).

Что такое цикл зрелости технологий – Hype Cycle от Gartner

Прежде всего поясним, что такое компания Gartner и почему ее прогнозы так высоко ценятся. Основанная в США еще 1979 году, она специализируется на консалтинге и аналитических исследованиях в ИТ. В частности, именно Gartner ввела в широкое употребление понятие ERP (enterprise resource planning) как развитие концепции планирования производственных ресурсов MRP II (manufacturing resource planning). Кроме того, каждый год Gartner публикует аналитический отчет о технологиях, наиболее востребованных сегодня и в ближайшем будущем [1].

Как правило, в прогнозах Gartner степень востребованности технологии определяется ее позицией на графике, который получил название «цикл зрелости» (Hype Cycle). Этот инструмент оценки был впервые предложен в 1995 году и до сих пор активно используется для анализа рынков. Согласно концепции Hype Cycle: каждая инновация (технология, методология, инструментальная система и пр.) в течении своей жизни проходит несколько этапов, каждый из которых характеризуется различной степенью интереса со стороны общества и специалистов [1]:

старт (запуск) или технологический триггер (technology trigger), когда об инновации только появляются первые публикации в СМИ;
ажиотаж или пик чрезмерных ожиданий (Peak of Inflated Expectation), когда от новой технологии ожидают революционных свойств, а ее новизна провоцирует рост популярности и делает ее предметом широкого обсуждения в сообществе;
разочарование или избавление от иллюзий (Trough of Disillusionment), когда выявляются главные недостатки технологии, которая теряет новизну и многочисленные восторги общества;
работа над ошибками или преодоление недостатков (Slope of Enlightenment), когда найдены способы устранения основных недостатков, общество снова интересуется технологией, которая начинает применяться в коммерческих проектах;
эффективное использование или плато продуктивности (Plateau of Productivity), когда общество воспринимает зрелую технологию как данность, объективно оценивая её возможности, достоинства и ограничения.

Разумеется, в реальности далеко не все технологии достигают зрелости, преждевременно завершая свой жизненный цикл без перспектив эффективного использования. Обычно в своих аналитических отчетах для конкретного сегмента рынка Gartner показывает место каждой новой технологии на графике ее развития, а также прогнозируют ее возможность стать зрелой и широко применяемой на практике [1].

цикл ажиотажа, хайп технологий, цикл технологической зрелости, Hype Cycle Gartner — Цикл технологической зрелости — Hype Cycle от Gartner

Главные ИТ-тренды в области Machine Learning и Artificial Intelligence

В сентябре 2019 года Gartner выпустила отдельный отчет по технологиям искусственного интеллекта, начиная от концептуальных понятий типа нейронных сетей до аппаратных реализаций алгоритмов Machine Learning в виде промышленных роботов и беспилотных транспортных средств [2]. Примечательно, в этом отчете что автономные машины (дроны, беспилотные автомобили и прочие транспортные средства) сейчас находятся на дне разочарования, а методы автоматического машинного обучения (AutoML), глубокое обучение (Deep Learning), чат-боты и прочие разговорные пользовательские интерфейсы – на пике завышенных ожиданий. А вообще системы распознавания речи и инструменты ускорения процессов на базе видеокарт (GPU) вышли на плато продуктивности. Обзор отечественного и мирового рынка чат-ботов представлен в нашем следующем материале.

С точки зрения промышленного применения наиболее перспективны технологии создания роботизированного ПО для автоматизации производственных процессов (Robotic process automation software) [3]. Эти тенденции коррелируют с самыми востребованными трендами в сфере интернета вещей (Internet of Things), о которых мы рассказывали в статье про Ганноверскую промышленную ярмарку (Hannover Messe/Fair 2019).

искусственный интеллект, прогнозы Gartner, Machine Learning, машинное обучение — Самые перспективные технологии Machine Learning и другие приложения искусственного интеллекта: аналитический прогноз Gartner 2019

Будущее Big Data: аналитика и управление данными

Интересно также отметить, что аналитики Gartner составили отдельный прогноз по наиболее перспективным технологиям в области управления данными (Data Management), разделяя сферу Big Data от искусственного интеллекта. В частности, согласно этому исследованию, сейчас на пике завышенных ожиданий находятся следующие технологии управления данными [4]:

Data Fabric – фабрики данных, о которых мы рассказываем здесь;
Data Hub Strategy – стратегические хабы данных;
Data Catalog – каталоги данных;
Data Classification – классификация данных;
File Analysis – файловой анализ;
Time Series DBMS – СУБД временных рядов;
Augmented Transactions – расширенные транзакции;
Event Stream Processing – потоковая обработка событий, например, использованием таких Big Data инструментов, как Apache Kafka, Spark, Storm, Flink и пр.

На этапе старта Gartner располагает концепцию DataOps, специальные СУБД для хранения бухгалтерских данных типа гроссбуха для биткоинов (Ledger DBMS), ML-инструменты поддержки качества данных (Machine Learning-Enabled Data Quality) и частные СУБД в виде облачных платформ (Private Cloud dbPaaS). Спад интереса отмечается к следующим технологиям [4]:

Augmented Data Management – расширенное управление данными;
Data Preparation – подготовка данных (к машинному обучению и аналитике);
SQL Interfaces to Cloud Object Stores – SQL-интерфейсы к облачным хранилищам;
Multimodel DBMSs – мультимодельные СУБД;
Master Data Management, Information Stewardship Applications и Application Data Management – приложения для управления данными;
Metadata Management Solutions – решения для управления метаданными;
Graph DBMSs – графовые СУБД;
Blockchain – блокчейн;
Data Lakes – озеро данных или корпоративное хранилище данных, например, на базе Apache Hadoop;
Distributed Ledgers – распределенные кошелки для биткоинов и подобных криптовалют;
Apache Spark.

Доверие общества восстанавливается к аналитическим СУБД (In-DBMS Analytics, Analytical In-Memory DBMS), SQL-интерфейсам к Apache Hadoop (например, Cloudera Impala, Apache Phoenix, Drill и Hive), логическим хранилищам данных (Logical Data Warehouse), колоночным и документо-ориентированным СУБД (Wide-Column DBMS и Document Store DBMS), инфраструктурным платформам и инструментам для интеграции данных (iPaaS for Data Integration и Data Integration Tools), а также к резидентным базам данных (Operational In-Memory DBMS), которые размещаются в оперативной памяти. Наконец, на плато продуктивности сегодня находятся различные системы миграции контента (Content Migration), криптографические СУБД (Database Encryption), виртуализация данных (Data Virtualization) и резидентные сетки данных (In-Memory Data Grids) [4].

Data Management, Big Data, прогнозы и перспективы больших данных — Самые перспективные технологии Big Data и другие приложения Data Management: аналитический прогноз Gartner 2019

На практике, по крайней мере, в России технологии управления данными только начинают входить в фазу интереса и востребованности. В частности, эту тенденцию подтверждает растущий спрос на DataOps-инженеров и государственный тренд на цифровизацию. Разговор о наиболее перспективных с точки зрения Gartner ИТ-тенденциях мы продолжим в следующий раз.

Как эффективно использовать эти и другие технологии больших данных, машинного обучения для цифровизации своего бизнеса, вы узнаете на наших образовательных курсах в лицензированном учебном центре обучения и повышения квалификации руководителей и ИТ-специалистов (менеджеров, архитекторов, инженеров, администраторов, Data Scientist’ов и аналитиков Big Data) в Москве: