Яндекс выложил в открытый доступ Alice AI Search Pretrain - языковую модель собственной разработки, обученную с нуля. Это суверенная модель создана полностью на отечественной экспертизе, без использования параметров и наработок зарубежных нейросетей. Теперь российские разработчики и исследователи могут изучать ее устройство и использовать в своих проектах.
Возможность выложить такую модель в открытый доступ появилась благодаря сочетанию двух факторов. Во-первых, у компании накоплена глубокая инженерная экспертиза в разработке языковых моделей. Во-вторых, в распоряжении разработчиков имеется один из крупнейших в стране сервисов с ИИ. Только имея опыт работы с такой высоконагруженной системой, как поисковик, возможно создать такую компактную, но быструю модель. Каждый месяц быстрыми ИИ-ответами в Поиске пользуются более 49 миллионов человек. Именно на реальных примерах таких взаимодействий обучалась модель.
Дообученная версия Alice AI Search с июля работает в Яндекс Поиске и генерирует краткие ответы прямо под поисковой строкой. В открытый доступ выложена базовая (pretrain) версия. Она уже прошла первый этап обучения, обладает обширными знаниями и готова к дальнейшей настройке под конкретные задачи.
Модель построена на гибридной архитектуре, которую раньше использовали преимущественно в научных исследованиях. Она объединяет две технологии. Первая - "Энкодер-декодер": одна часть модели изучает и отбирает информацию, другая генерирует ответ, что позволяет давать емкие и точные ответы. Вторая - MoE (Mixture of Experts): вместо того, чтобы задействовать всю нейросеть целиком, система активирует только ту ее часть, которая лучше разбирается в конкретной теме. Это существенно ускоряет работу и экономит вычислительные мощности. Модель содержит 35 миллиардов параметров, но при обработке одного фрагмента текста использует лишь около 600 миллионов - менее 2 процентов.
Такой подход дает модели важное практическое преимущество: она не требует мощного и дорогостоящего оборудования. По качеству ответов на русском языке модель превосходит зарубежные аналоги в своей "весовой категории" и при этом сопоставима по качеству с моделями, требующими в разы больше вычислительных ресурсов. Модель доступна под лицензией Apache 2.0, которая разрешает свободное использование, модификацию и коммерческое применение.