В 2011 году общий мировой объем созданных и реплицированных человечеством данных составил более 1,8 зеттабайт (1,8 трлн Гб). Почувствуйте вкус этой цифры - это в 57 раз больше, чем всех песчинок на пляжах Земли. По прогнозам IDC, количество данных на планете будет как минимум удваиваться каждые два года вплоть до 2020 года.
И проблема "больших данных", или BigData - кроется не в самом их объеме, а в отсутствии адекватного инструмента для работы с ними. Во-первых, выросло количество внешних и внутренних источников, из которых они берутся. Во-вторых, данные стали сложнее и разнообразнее - они структурированные, неструктурированные и квазиструктурированные. В-третьих, они по-разному индексируются. И список факторов этим не ограничивается. Самое главное, далеко не все данные ценны - по оценкам все того же IDC, к 2020 году доля полезной информации составит всего 35% от всей сгенерированной.
Это вовсе не абстракция и не теория. За всем этим стоят вполне реальные ситуации, в которых развитие ИТ-инструментов позволяет решить конкретные и осязаемые проблемы. Случалось ли вам слышать, например, мрачное: "У меня квартальный отчет" от главного бухгалтера? Наверняка, и как минимум четыре раза в год. Как правило, собрать отчетность с филиалов, обработать ее, выявить разночтения и проверить все сводные показатели, прежде чем они попадут к руководству компании - непростой процесс, требующий усилий и терпения многих людей. Как можно улучшить его? Например, с помощью новейших аналитических платформ обрабатывать данные можно прямо в оперативной памяти компьютера, на рабочих местах пользователей. Таким образом, в корпоративное хранилище попадают уже обработанные, структурированные данные, что позволяет и работать с ними быстрее, и не тратить дорогостоящие ресурсы для сбора ненужной или некорректной информации. Доступ к данным можно получить в любой момент, и не обязательно для этого находиться в офисе - веб-приложения доступны везде, где есть Интернет и мобильное устройство. И это те же данные, с которыми работают ваши коллеги, - ведь получаете вы их из единой платформы, из общего хранилища.
Можно вообще не обрабатывать данные на собственных ресурсах, а передать эту задачу в виртуальные (облачные) вычислительные среды. Во-первых, там всегда есть место для любого количества данных - в этом суть облачных решений. Во-вторых, не нужно закупать и поддерживать собственные мощные серверы для анализа информации - вы просто арендуете ресурсы облака на время обработки. Это новая парадигма работы с бизнес-данными, и возникла она именно как ответ на лавину информации, с которой срочно нужно что-то делать.
И не только бизнесу это важно. Для нормального функционирования и "хорошего здоровья" экономики любого государства необходимы инвестиции.
Решить проблему инвестиций в российскую экономику как раз и может внедрение тех инструментов, которые позволят правительству и бюджетообразующим компаниям (в частности, в ТЭК) анализировать "большие данные". В случае крупных компаний и госструктур это обеспечивает не только прозрачность их работы, но и максимальную прозрачность экономики страны - а значит, и ее привлекательность для надежных инвесторов. По аналогичному пути уже идет Бразилия.
Важной темой 2012 года в этой стране стало бурное внедрение технологий обработки и анализа "больших данных". Оно было обусловлено двумя факторами: открытием большого количества трудноизвлекаемых запасов нефти и газа и развитием ИТ-сектора в крупных городах, например - в Рио-де-Жанейро. Первое и второе оказались тесно связаны: современные ИТ-инструменты позволили проанализировать весь объем разведочных данных, выделить из него наиболее полезную информацию, а на ее основе инвесторы смогли принимать обоснованное решение об инвестициях в "сложную" бразильскую нефть.
Итог процесса внедрения новых технологий - массовые иностранные инвестиции в отрасль. Благодаря частичной государственной поддержке и инвестициям зарубежных энергетических предприятий, множество международных ИТ-компаний теперь инвестируют в экономику страны. Несмотря на то что сегодня только 2% работ по разведке нефти в Бразилии выполняют компании-конкуренты бразильской государственной Petrobras, только за прошлый год они вложили здесь в НИОКР около 500 млн долларов США. При этом ожидается, что в следующие пять лет эта цифра возрастет на 25%, а к 2017 году общая сумма инвестиций в НИОКР по разведке и добыче нефти в Бразилии составит 7 млрд долларов.
Это наглядный пример того, что данные сегодня превращаются в важный мировой ресурс, аналогичный нефти. И это особенно справедливо для энергетического сектора, где доступ к аналитике и нужной информации определяет для новых рыночных игроков грань, отделяющую успех от провала.
Такая стратегия и технология необходимы не одному лишь бизнесу. Те же
соображения применимы и к госуправлению - например, к "электронному правительству". На примере Бразилии мы можем сказать, что разработка стратегии управления "большими данными" могла бы быть первым реальным проектом того же "Сколково", инициированным государством и поддержанным бизнесом. Фактически Big Data сегодня стала тем мирным "оружием", обладание которым дает преимущества государствам в глобальной гонке. И нам, как никому, надо сегодня его заполучить.