Big Data: CIO готовятся к новым ИТ-затратам

За ближайшие 8 лет количество данных в мире достигнет 40 ЗБ, а это значит, что на каждого жителя Земли будет приходиться по 5200 ГБ данных, по оценке IDC. Взглянув на этот вопрос с другой стороны, аналитики сравнили 40 ЗБ с природным показателем и пришли к выводу, что к 2020 г. информационные системы будут иметь дело с количеством данных примерно в 57 раз большим, чем количество песчинок на пляжах на всей поверхности Земли.

Данные прогнозы были сделаны в рамках исследования Digital Universe, которое проводится при поддержке EMC с 2005 г. Причем в последней редакции от декабря 2012 г. прогноз был изменен, и вместо 35 ЗБ, которые ожидали эксперты в июне 2011 г., количество данных в мире в 2020 г. достигнет 40 ЗБ. Также, по данным исследования Microsoft, уже сегодня более 60% компаний хранят у себя более 10 ТБ данных, с которыми, естественно, нужно что-то делать. Более того, половина из них ожидает, что количество накапливаемых данных удвоится в ближайшие 2-3 года. Быть может, в будущем эксперты снова изменят оценку в сторону увеличения. Ясно одно – курс на Big Data неизбежен.

Понятийный аппарат

Людей окружает масса информации, поэтому большие данные существовали всегда. Понятно, что вендоры решений вкладывают в термин Big Data маркетинговую составляющую, пытаясь навязать рынку якобы что-то принципиально новое, панацею решения большинства проблем. Аналитики полагают, что Big Data – это скорость роста данных, которая определяет значительное отставание способностей используемых в компаниях ИТ-систем от реальных или перспективных потребностей. Если говорить о Big Data как о больших массивах информации, то в приложении к ИКТ речь идет о решениях для работы с этими данными. Необходимо обрабатывать постоянно и скачкообразно растущие объемы информации, реализовать поиск, фильтрацию и классификацию данных в условиях роста сложности и числа элементов.

Несмотря на то, что приведенные выше определения отражают различные точки зрения специалистов, они, так или иначе, позволяют четко сформулировать понимание ИТ-рынка Big Data. Ведь если компании испытывают затруднения в обработке поступающих к ним данных, значит, все больше будут востребованы информационные системы, продукты, сервисы, решения или даже методики их обработки. Это подтверждают и официальные данные.

По данным последней версии прогноза IDC, опубликованной в январе 2013 г., мировой рынок технологий Big Data будет расти в среднем на 31,7% в год и достигнет к 2016 г. $23,8 млрд. Кроме этого, аналитики отмечают бурный рост соответствующих технологий и сервисов, а также активное формирование подсегментов этого рынка, в том числе появление новых направлений. Аналитики отмечают, что рост отдельных сегментов мирового рынка Big Data будет варьироваться от 21,1% для сервисов до 53,4% для систем хранения. Высокий темп роста в сегменте систем хранения больших данных связан с особенностями их использования в настоящий момент.

Прогноз роста мирового рынка ИТ-решений Big Data

Источник: IDC, 2012

В компании Gartner считают, что мировые расходы на Big Data уже в 2013 г. составят $34 млрд. При этом большая часть этих средств будет затрачена на адаптацию традиционных решений к работе с большими данными, а не на разработку нового функционала. По словам Марка Байера, вице-президента Gartner, еще в 2011 г. Big Data стали новым драйвером расходов на ИТ практически во всех сегментах, а к 2018–2020 гг. требование о поддержке Big Data станет "рутинным" для всех крупных вендоров ИТ-систем.

Big Data в аналитике

Несмотря на внешнюю схожесть задач бизнес-аналитики (BI) и аналитических решений Big Data, это не одно и то же. Работа с последними сильно отличается от обычного процесса бизнес-аналитики, где простое сравнение известных значений позволяет получить искомое.

В случае с Big Data конечный результат достигается лишь после очистки и последовательного моделирования систем анализа. Для работы с Big Data необходимо создать гипотезу, построить модель данных и уже после этого проверить верность предположения. Этот процесс требует либо интерпретации визуальных значений, либо разработки адаптивных алгоритмов "машинного обучения", которые сегодня становятся все популярнее. При этом потребность в модернизации алгоритма может возникнуть очень скоро.

Мэтт Слокум из O'Reilly Radar предлагает выделить 3 отличия Big Data от обычной аналитики: Big Data подразумевает значительно большие массивы данных, чем бизнес-аналитика; Big Data работает с быстро получаемыми меняющимися сведениями и требует интерактивности; большие данные изначально неструктурированы, они требуют интерпретации и очистки.

Основные тенденции

Интересно, что, по результатам различных опросов, более половины CIO считают, что проекты Big Data увеличат ИТ-бюджеты их организаций, так как будут предъявляться повышенные требования к технологиям, персоналу и профессиональным навыкам. Во многих случаях увеличение бюджетов на ИТ в связи с открытием "больших" проектов ожидается уже в текущем году, а 57% ИТ-директоров уверены в том, что Big Data увеличит их бюджеты в течение следующих 3-х лет.

Данные исследования Microsoft также подтверждают эти соображения. В частности, 89% опрошенных представителей компаний сообщили, что они уже имеют бюджет, выделенный на решения Big Data. При этом 76% респондентов подтвердили, что в ближайший год у них будет реализован тот или иной участок проекта по обработке Big Data.

В любом случае, большая часть компаний смотрит в направлении Big Data с большим оптимизмом. По крайней мере, по данным Gartner на март 2013 г., более 40% ИТ-директоров или уже инвестировали в Big Data, или планируют сделать это в 2013 г. Подробности этого процесса раскрывает исследование, проведенное IBM в конце 2012 г. (1144 респондента из 95 стран и 26 отраслей). По его итогам, почти половина (49%) участников отметили потребность в решениях Big Data для создания более клиентоориентированной практики. При этом 18% посчитали важнейшей задачей решений Big Data оптимизацию операционных процессов, а 15% – управление рисками и финансами.

"Большинство компаний осознают потенциал Big Data для улучшения процессов принятия решений и результатов деятельности во всей компании. Как правило, они испытывают трудности на начальном этапе работы с большими объемами данных, – сказал Майкл Шроек, руководитель отдела Global Information Management IBM Global Business Services. – Проведенный в разных отраслях и регионах, наш опрос выявил прагматичный подход специалистов к Big Data. И пока большая часть компаний находится еще на ранних стадиях адаптации технологий, ведущие организации уже начали получать ценные результаты от своих инициатив в сфере Big Data".

Дефицит специалистов в области Big Data

Источник: IDC, 2012

Впрочем, как только рынок перейдет в более активную фазу, компании неизбежно столкнутся с проблемой поиска квалифицированных кадров, способных работать с Big Data, а также администрировать распределенные базы данных. Таких сотрудников не хватает уже сегодня, причем как в России, так и в США. Именно поэтому многие компании позитивно смотрят на реализацию Big Data-аналитики в виде облачных сервисов.

"Глобальное исследование, которое Microsoft провел в начале этого года среди компаний разного размера бизнеса и из разных индустрий, показало, что 75% опрошенных планируют начать внедрение технологий хранения и обработки больших данных в течение ближайших 12 месяцев. Таким образом, Big Data начинает развиваться все более активно и сегодня приобретает все более реальные очертания. Но разработчикам технологий, а также консалтинговым компаниям, внедряющим решения, еще многое нужно сделать для того, чтобы решение стало более доступным и применимым в реальном бизнесе", – отметил Вячеслав Архаров, менеджер по продвижению платформы приложений Microsoft в России.

Big Data в России

Согласно исследованию Oracle, целью которого было определение готовности ЦОДов к росту объемов данных, российские компании имеют хороший потенциал роста. Из 10 баллов ЦОДы в РФ набрали 4,62, что означает весьма средний показатель. Согласно исследованию, российские организации рассматривают поддержку роста бизнеса в качестве важной причины для инвестиций в ЦОДы. Более 60% компаний видят необходимость таких инвестиций сегодня или в ближайшем будущем, предполагая грядущее ужесточение конкуренции и "подкладывая соломку" заранее.

В России доступны решения, использующие технологию Big Data от ведущих производителей (Cisco, HP, IBM, Microsoft, Oracle и других), но проектов – единицы. Таким образом, отечественный рынок находится в зачаточной стадии развития, что, впрочем, не исключает возможности взрывного роста, который предрекают все аналитики без исключения.

Аналитики Juniper Research убеждены, что одна из ключевых технологий 2013 г. – это именно Big Data. "Big Data станут большим бизнесом в 2013 г.", – утверждают эксперты. В качестве подтверждения своих доводов они приводят целый список тенденций текущего года, в который входят анонсы новых устройств, развитие нательной электроники, появление новых сенсоров, развитие рынка социальных игр и многое другое. Все это, безусловно, станет поставщиком информации для систем Big Data, которые становятся все более и более ценными для бизнеса.

Андрей Шуклин

Короткая ссылка на материал: //cnews.ru/link/a3357