Большие данные: общее описание и примеры использования

Большие Данные (Big Data) – определение, широко используемое айтишниками, статистиками и другими специалистами, работающими с данными. В последнее время оно стало настолько распространенным, что просочилось из узкоспециализированной сферы в общий лексикон. Многие уже слышали разговоры о Big Data, но сходу не так просто разобраться, что это такое и где оно требуется.

Термин «Большие данные» сейчас не обозначает что-то конкретное. Как правило, так принято определять целое направление инструментов и алгоритмов, предназначенных для работы с большими массивами упорядоченных и разрозненных данных в условиях постоянного роста их объема и изменения структура. Это сложная задача, и достаточно разносторонняя, поэтому не существует какого-то одного универсального инструмента для ее решения.

Практические примеры использования «больших данных»

Чтобы лучше понять, что такое Большие Данные, и где ее методы используются, можно привести несколько источников данных, нуждающихся в постоянной обработке:

логи интернет-пользователей;
сигналы GPS с автомобилей, обрабатываемые компаниями;
весь оцифрованный массив информации в Государственной Библиотеке РФ;
данные о банковских транзакциях и т.п.

Во всех этих случаях для использования имеющихся данных требуется их предварительная обработка, поиск и сортировка. Невозможно стандартными способами справляться с информационными массивами, особенно в ситуациях, когда они постоянно увеличиваются и видоизменяются, как по объему, так и по структуре. Большие данные – это как раз набор инструментов, применяемых для работы с данными в зависимости от их типа и поставленных задач.