Обработка данных для нейросетей может перейти в пользовательские устройства

Глава Perplexity AI рассказал, что вместо дата-центров данные для нейросетей будут обрабатываться прямо на пользовательских устройствах, смартфонах и ноутбуках. Эксперты отмечают, что такой подход может снизить нагрузку на инфраструктуру, но также содержит технические ограничения для вычислений.

По словам главы Perplexity AI Аравинда Шриниваса, в будущем люди будут использовать ИИ-системы, уже встроенные в их устройства. Это может стать альтернативой передачи данных между дата-центрами и компьютерами. Например, сейчас подобный формат использует компания Apple на своих чипах при внедрении своей ИИ-системы в новые устройства. Подобная обработка данных для ИИ уже используется также на ноутбуках Microsoft Copilot+.

Попытки реализовать распределенные гетерогенные вычисления с использованием пользовательских устройств были и ранее. Александр Нозик, директор Центра научного программирования Института искусственного интеллекта МФТИ, рассказал, что подобные отдельные проекты существуют с начала эпохи интернета.

"На первый взгляд это отличное решение: пользователь спит, а его компьютер работает на благо планеты. Но на практике это работает не так хорошо, как хотелось бы. Для реализации такой системы надо учитывать высокую вероятность сбоев. При высокой вероятности отказа и маленьком ресурсе устройств, на которых идет вычисление, поддержание работоспособности вычислительной системы может стоить больше, чем полученные за ее счет дополнительные вычислительные ресурсы", - говорит эксперт.

Он добавляет, что есть и другая проблема - доставка данных на пользовательские устройства. Данные должны быть открытыми и их не должно быть много, иначе система не будет работать. Также существуют сложности самих вычислений. Появляются такие вопросы: "как доставить сложный код с кучей зависимостей на мобильное устройство и заставить его работать там?". По этим причинам, практика не получила широкого распространения.

"С задачами в области машинного обучения все и проще, и сложнее. Там, как правило, решена проблема сложности вычислений, потому что все решается через графы тензорных преобразований. Они стандартизованы и могут быть запущены на любых устройствах. А вот проблем с длительностью вычислений и отказами куда больше. Как правило, имеют место тяжелые вычислительные задачи. Если по каким-то причинам они прерываются, возникают очень большие потери. С данными еще сложнее. Они часто закрыты в контуре, и их просто очень много. Передавать их между всеми маленькими вычислительным системами очень дорого", - объясняет Нозик.

Но есть мнение, что эти компактные версии - малые языковые модели, которые могут работать локально на смартфонах и ноутбуках, могут появиться уже в ближайшие 2-3 года.

По словам Валерия Ковальского, Head of R&D red_mad_robot, сложность заключается в том, что для высокого качества их работы, например подготовки краткого содержания звонка или его транскрибации, устройствам потребуется больше памяти. А модификация устройств и увеличение их мощностей для использования нейронных процессоров (NPU, Neural Processing Unit) займет еще какое-то время.

"На большинстве смартфонов технически возможно запустить сильно упрощенные и сжатые версии языковых моделей - например, квантованные модели примерно на два миллиарда параметров. А для того чтобы локальный искусственный интеллект стал массовым, отрасли потребуется серьезная перестройка: новые архитектуры чипов, больше оперативной памяти и выделенных ресурсов именно под задачи ИИ", - говорит Ковальский.

Он считает что, основная ценность ИИ на устройстве - это удобство, скорость работы и повышенная приватность для конечного пользователя, а не индустриальные или корпоративные задачи. Поэтому в ближайшие годы развитие локальных языковых моделей будет происходить прежде всего в пользовательских устройствах - смартфонах, ноутбуках и персональных гаджетах.