Нейросеть YandexART получила масштабное обновление

Яндекс представил диффузионную нейросеть YandexART 1.3. Она перешла на новую технологию для генерации изображений - латентную диффузию.

Как рассказали "РГ" в пресс-службе отечественного поисковика, датасет, на котором обучалась модель, был увеличен в 2,5 раза. Благодаря этому машинные алгоритмы лучше понимают текстовые запросы и создают ещё более реалистичные изображения в разных форматах. Новая версия уже применяется в "Шедевруме", а позднее появится и в других сервисах.

По заявлению российского IT-гиганта, технология латентной диффузии потребляет меньше вычислительных ресурсов и позволяет создавать более реалистичную графику. Она формирует промежуточное представление картинки в виде латентного кода - компактного описания, содержащего основную информацию об изображении в сжатой форме. Затем нейросеть за один шаг разворачивает код в полноценное изображение высокого разрешения. Такой подход более эффективен, чем многоэтапное уточнение картинки в каскадной диффузии.

Чтобы модель лучше понимала запросы пользователей, в датасет, на котором она обучалась, были добавлены синтетические тексты - сгенерированные нейросетью подробные описания изображений. Сам набор данных был увеличен до более чем 850 миллионов пар картинок с текстом.

Для того чтобы нейронная сеть учитывала больше деталей из промта, в новой модели используются не один, а два текстовых энкодера. С их помощью распознается текстовый запрос пользователя и производится его "перевод" на машинный язык.

В офисе российской технологической компании утверждают, что обновление даст пользователям возможность создавать изображения в разных форматах, таких как 16:9, 4:3 или 3:4. Теперь изображения, созданные в "Шедевруме", можно будет использовать, например, для обложек журналов или фотообоев на телефон.

Также заявлено, что по результатам замеров асессорами Яндекса, нейросеть YandexART 1.3 выигрывает в 57 процентах случаев в сравнении с западной Midjourney V5.2 и в 63 процентах случаев в сравнении с предыдущей версией YandexART 1.2.