Big Data: общее описание и примеры использования

big data

Биг-Дата – определение, широко используемое айтишниками, статистиками и другими специалистами, работающими с данными. В последнее время оно стало настолько распространенным, что просочилось из узкоспециализированной сферы в общий лексикон. Многие уже слышали разговоры о Big Data, но сходу не так просто разобраться, что это такое и где оно требуется.

Термин «Big Data» сейчас не обозначает что-то конкретное. Как правило, так принято определять целое направление инструментов и алгоритмов, предназначенных для работы с большими массивами упорядоченных и разрозненных данных в условиях постоянного роста их объема и изменения структура. Это сложная задача, и достаточно разносторонняя, поэтому не существует какого-то одного универсального инструмента для ее решения.

Практические примеры использования «больших данных»

Чтобы лучше понять, что такое Биг-Дата, и где ее методы используются, можно привести несколько источников данных, нуждающихся в постоянной обработке:

  • логи интернет-пользователей;
  • сигналы GPS с автомобилей, обрабатываемые компаниями;
  • весь оцифрованный массив информации в Государственной Библиотеке РФ;
  • данные о банковских транзакциях и т.п.

Во всех этих случаях для использования имеющихся данных требуется их предварительная обработка, поиск и сортировка. Невозможно стандартными способами справляться с информационными массивами, особенно в ситуациях, когда они постоянно увеличиваются и видоизменяются, как по объему, так и по структуре. Биг-Дата – это как раз набор инструментов, применяемых для работы с данными в зависимости от их типа и поставленных задач.