Яндекс опубликовал новую оупенсорсную технологию чтения больших данных
Яндекс выложил в опенсорс технологию, которая помогает экономить до 20% серверных мощностей. Речь о формате YaFF (Yet Another Flat Format), предназначенном для передачи и чтения данных для высоконагруженных сервисов. Как пояснили "РГ" в компании, технология позволяет работать с данными, не расходуя ресурсы на их распаковку.
По прогнозу JLL, совокупные инвестиции в дата-центры до 2030 года могут достичь $3 трлн, из которых $1–2 трлн пойдут на закупку оборудования — серверов, GPU и сетевой инфраструктуры. По данным аналитиков, совокупные капитальные расходы пяти крупнейших ИТ-компаний — Microsoft, Alphabet, Amazon, Meta (признана в России экстремистской и запрещена) и Oracle — в 2026 году превысят $600 млрд, что на 36% выше показателей 2025 года. Около 75% этих инвестиций ($450 млрд) приходится на ИИ-инфраструктуру — серверы, GPU, датацентры и оборудование.
Одна из малоизвестных, но очень затратных операций в высоконагруженных системах — сериализация и десериализация данных. Как пояснил "РГ" собеседник на рынке ИТ, современные сервисы и приложения получают данные по сети или с диска в компактном виде. Чаще всего крупные ИТ-компании используют для «упаковки» и передачи данных формат Protobuf. Он решает большинство задач, но имеет существенный недостаток: полученные данные нужно каждый раз распаковывать. Это ресурсоёмкая операция, на которую уходит до 10% всех мощностей сервиса. Альтернативный формат — FlatBuffers — позволяет читать данные без распаковки, но для перехода на него нужно практически полностью переписать код.
YaFF (Yet Another Flat Format) можно использовать поверх стандартного формата Protobuf, чтобы считывать данные напрямую — без распаковки. Это позволяет применять YaFF в уже существующих проектах и экономить вычислительные ресурсы, не переписывая код сервиса. Новый формат подойдет банкам и маркетплейсам, телеком-операторам и разработчикам облачных сервисов — всем, для кого критичны скорость обработки данных и эффективность использования «железа».
"Судя по всему, YaFF позволит повсеместно использовать protobuf как единый формат передачи данных без миграции и поддержки в проекте более сложного FlatBuffers. В большинстве Opensource кодовых баз protobuf используется чаще — разработка коллег позволит использовать такие репозитории как есть, сильно упрощая поддержку кодовой базы. Единственное, разница действительно будет заметна только под очень большой нагрузкой в higload-проектах, поясняет Данил Сивцов - инженер-исследователь группы «Вычислительный интеллект» Института AIRI.
В Яндексе рассказали, что технология уже внедрена в РСЯ. На фоне обработки сотен тысяч запросов в секунду это позволило снизить нагрузку на процессоры на 10–20%. Высвобожденные ресурсы компания направляет на обработку большего числа пользовательских запросов без расширения серверного парка.
«Выход формата YaFF от "Яндекса" в open source — отличный пример технологической зрелости российского ИТ-рынка. Это сильная технология для обработки данных в реальном времени (near real-time), критически важная для маркетплейсов, финтеха, телекома и рекламных платформ.
Главная ценность решения — оптимизация уже имеющейся инфраструктуры. Снижение нагрузки на процессоры на 10–20% позволяет компаниям масштабировать сервисы без необходимости докупать дефицитное серверное "железо". Это позволяет вместо экстенсивного наращивания мощностей повышать эффективность за счет оптимизации алгоритмов», - пояснили в пресс-службе Ассоциации больших данных.
Документация и код Yet Another Flat Format опубликованы на платформе GitHub, а подробный технический рассказ — на Хабре.
