Что такое CRISP-DM, где и зачем это используется

CRISP-DM (от английского Cross-Industry Standard Process for Data Mining) — межотраслевой стандартный процесс исследования данных. Это проверенная в промышленности и наиболее распространённая методология, первая версия которой была представлена в Брюсселе в марте 1999 года, а пошаговая инструкция опубликована в 2000 году [1].

CRISP-DM описывает жизненный цикл исследования данных, состоящий из 6 фаз, от постановки задачи с точки зрения бизнеса до внедрения технического решения.

Последовательность между фазами определена не строго, переходы могут повторяться от итерации к итерации [1]. Все фазы CRISP-DM делятся на задачи, по итогам каждой должен быть достигнут конкретный результат [2].

CRISP-DM, обработка данных, Big Data, Большие данные, жизненный цикл, Machine Learning, машинное обучение — Фазы CRISP-DM [1]

Рассмотрим подробнее фазы жизненного цикла исследования данных по CRISP-DM [3]:

Понимание бизнеса (Business Understanding) – определение целей проекта и требований со стороны бизнеса. Затем эти знания конвертируются в постановку задачи интеллектуального анализа данных и предварительный план достижения целей проекта. Задачи фазы Business Understanding:

Определить бизнес-цели
Оценить ситуацию
Определить цели анализа данных
Составить план проекта

Начальное изучение данных (Data Understanding) – сбор данных и знакомство с информацией, выявление проблем с качеством данных (ошибки или пропуски). Необходимо понять, какие сведения имеются, попробовать отыскать интересные наборы данных или сформировать гипотезы о наличии в них скрытых закономерностей. Задачи фазы Data Understanding:

Собрать исходные данные
Описать данные
Исследовать данные
Проверить качество данных

Подготовка данных (Data Preparation) – получение итогового набора данных, которые будут использоваться при моделировании, из исходных разнородных и разноформатных данных. Задачи фазы Data Preparation могут выполняться много раз без какого-то заранее определенного порядка:

Отобрать данные (таблицы, записи и атрибуты)
Очистить данные, в т.ч. выполнить их конвертацию и подготовку к моделированию
Сделать производные данные
Объединить данные
Привести данные в нужный формат

Моделирование (Modeling) – в этой фазе к данным применяются разнообразные методики моделирования, строятся модели и их параметры настраиваются на оптимальные значения. Обычно для решения любой задачи анализа данных существует несколько различных подходов. Некоторые подходы накладывают особые требования на представление данных. Таким образом часто бывает нужен возврат на шаг назад к фазе подготовки данных. Задачи фазы Modeling:

Выбрать методику моделирования
Сделать тесты для модели
Построить модель
Оценить модель

Оценка (Evaluation) – анализ количественных характеристик качества модели, подтверждение или опровержение того, что, благодаря построенной модели все бизнес-цели достигнуты. Основной целью этапа является поиск важных бизнес-задач, которым не было уделено должного внимания. Задачи фазы Evaluation:

Оценить результаты
Сделать ревью процесса
Определить следующие шаги

Внедрение (Deployment) – в зависимости от требований фаза развертывания может быть простой (составление финального отчета) или сложной, например, автоматизация процесса анализа данных для решения бизнес-задач. Обычно развертывание — это внедрение полученных моделей в прикладную сферу. Задачи фазы Deployment:

Запланировать развертывание
Запланировать поддержку и мониторинг развернутого решения
Сделать финальный отчет
Сделать ревью проекта

CRISP-DM является одним из важнейших понятий для технологий больших данных (Big Data), которое на практике используется аналитиками и исследователями данных (data scientist), для любой задачи и в каждой прикладной отрасли [2].

Источники

Related Entries