Что такое Big Data и зачем это нужно?

Понятие Big Data используется в сфере бизнеса уже относительно давно, однако, мало кто чётко понимает значение этого названия. Конечно же, большинство крупных компаний, почуяв за этим словосочетанием что-то инновационное, новое и прибыльное, сразу же помчались создавать свои отделы анализа данных, статистики и машинного анализа. Действительно ли это нужно всем компаниям и, если да, то как правильно выстроить цепочку бизнес-процесса, связанного с Big Data и наиболее результативно внедрить его?

В русской интерпретации термин «Big Data» звучит как «большие данные». Суть больших данных вытекает из названия – это сфера информационных технологий, которая работает со статистическими и вероятностными моделями, анализируя большое количество данных. Но какие они, эти данные? И насколько большое их количество? Кто-то говорит, что о больших данных имеет смысл вести речь, когда их количество переваливает за 100 гигабайт. Определенных границ, конечно же, нет. Стоит лишь понимать, что алгоритмы работы с большими объёмами данных отличаются от стандартных аналитических задач программирования. Объём Big Data таков, что работой в программе Microsoft Excel, скорее всего, уже не отделаешься, да и мощности одного офисного компьютера не хватит для обработки такого массива информации. Более того, этот массив плохо структурирован и данные сложно представить в стандартном виде.

Давайте представим, что мы занимаемся частной охраной и имеем в своём распоряжении около тысячи охраняемых объектов. Такие объекты оборудованы камерами наблюдения, причем на каждом объекте таких камер стоит несколько. Представим также, что мы доверили наблюдение за всеми этими объектами не человеку, который в любой момент может отвлечься, а автоматизированной системе, которая распознаёт образы с изображения камер. Во-первых, создание такой системы возможно в наше время – это не фантастика и не новшество. Во-вторых, автоматика в данном случае надёжнее человека, так как полностью исключает наличие человеческого фактора. Данные со всех камер поступают в специализированный дата-центр, где и работает наша система. Таким образом, перед нами встаёт несколько проблем. Первая из них – это количество данных, которые нужно анализировать. Вторая – непрерывность анализа. Третья проблема – скорость анализа. Для решения всех этих проблем уже придуман ряд технологий, таких как Apache Hadoop. Проще говоря, Apache Hadoop является набором утилит, библиотек и программ для распределения вычислительных процессов по кластеру из нескольких сотен, а иногда и тысяч вычислительных узлов. Равномерно распределив нагрузку на систему из сотен или тысяч процессоров, мы получим то, что хотим: скорость, эффективность и непрерывность работы. Осталось лишь позаботиться об информационных хранилищах, и у нас есть готовая автоматизированная система охраны.

Стоит отметить, что пример с автоматизированной системой охраны – это один из многих примеров использования Big Data. Алгоритмы работы с большими данными можно использовать для маркетинговых исследований на основе информации, взятой из социальных сетей, баз данных компаний, либо из баз данных с историями покупок, возвратов товара и отзывами покупателей. Таким образом, из накопившихся за долгое время данных можно извлечь пользу и пустить её в ход практически моментально.

Давайте же ответим на вопрос, который поднимался в начале статьи: действительно ли Big Data нужна всем компаниям? Она нужна тем компаниям, которые достаточно давно существуют на рынке и имеют за своей спиной толпы клиентов. Также она нужна и маленьким компаниям, которые только-только выходят на рынок, особенно, если они выходят на новый рынок с новым продуктом. На основе опросов, формирования выборок и полученных данных, можно наиболее точно определить свою целевую аудиторию и, следовательно, получить наибольшую прибыль.