AIRI представил компактную языковую модель для работы с документами
Российский институт искусственного интеллекта AIRI разработал компактную языковую модель Optimal Cognitive Core (OCC), предназначенную для работы с внешними базами данных. О новом проекте 3 июня на Петербургском международном экономическом форуме рассказал генеральный директор AIRI Иван Оселедец.
Первая модель семейства - OCC-RAG - уже выпущена в открытый доступ. Она существует в двух версиях: 0,6 млрд и 1,7 млрд параметров. Обе версии достаточно компактны, чтобы запускаться на обычном ноутбуке или смартфоне. Модель обучена отвечать на вопросы строго на основе предоставленных документов: если нужной информации в источнике нет - система отказывается давать ответ, вместо того чтобы генерировать правдоподобный, но недостоверный текст.
Эта особенность отличает OCC-RAG от большинства существующих больших языковых моделей. Стандартные системы хранят огромный объем знаний внутри собственных параметров и нередко полагаются на него даже тогда, когда пользователь уже предоставил конкретные данные, что приводит к так называемым "галлюцинациям" - уверенным, но ошибочным ответам. Разработчики OCC-RAG целенаправленно избавили модель от этой логики: она анализирует только то, что ей передали.
По данным AIRI, компактный размер модели обеспечивает ощутимый выигрыш в скорости и стоимости: OCC-RAG обрабатывает запросы в 1,5-2 раза быстрее решений на базе крупных моделей и в среднем тратит в 1,5 раза меньше токенов на генерацию ответа. Разрыв в цене за токен при сравнении с моделями от 0,5 млрд до 80 млрд параметров - включая Qwen, Gemma, GigaChat и Pleias-RAG - составил от 1,4 до 4,3 раза в зависимости от размера.
В AIRI рассчитывают, что наибольший спрос на OCC-RAG возникнет в финансовых сервисах, корпоративных базах знаний, юридических и медицинских системах - там, где ответы принципиально важно формировать строго по документам. Следующий шаг развития OCC - превратить модель в полноценное "агентное ядро", способное самостоятельно обращаться к поисковым системам, базам данных и другим ИИ-инструментам для поиска недостающей информации.
