Искусственный интеллект восстановит фрески Дионисия
"Фрески собора Рождества Богородицы Ферапонтова монастыря - единственная роспись великого русского мастера Дионисия Мудрого, дошедшая до нашего времени почти в полном составе и подлинном виде с начала XVI века. - рассказывает генеральный директор Кирилло-Белозерского музея-заповедника Михаил Шаромазов. - К сожалению, в росписи есть некоторые утраты, причем часть из них вызвана переделками в самом соборе. В частности, потеряны части фресок, украшающих барабан купола, после того как там пробили окна в XVIII веке".
Речь идет не о самодеятельности - в последнее время ИИ пытаются приручить многие дилетанты, уверенные в том, что эпоха ученых и художников закончилась. В Вологодской области возможности нейронных сетей в реставрации изучают сотрудники Института космических исследований РАН.
"Работу специалистов института космических исследований можно условно назвать реставрацией. Реставрация - это воссоздание до оригинала. В нашем случае она выполнена не реставратором, а нейронной сетью, обученной специалистами ИКИ, - замечает директор Музея фресок Дионисия Ирина Паршукова. - У любого реставратора свое видение результата работы, а нейросеть беспристрастна. Если дать ей максимально возможный объем информации, она более точно воспроизведет оригинал".
Отмечается, что перед тем, как дать нейросети шанс проявить себя в столь сложном деле, специалисты ИКИ РАН, а также еще нескольких научных центров провели мультиспектральную съемку росписей собора. Без большой выборки изображения Искусственный Интеллект к работе не приступает.
"Нейросеть в целом хорошо справляется с "ретушированием" не только малых, но и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, что вполне естественно, но и фрагменты фигур святых, направление взгляда и положение рук", - отметили в Институте космических исследований РАН.
Как уточнили "РГ" в институте, для реставрации поврежденных фресок использовалась нейросеть "Stable Diffusion". Это глубокая модель машинного обучения, которая способна создавать изображения на основе текстовых описаний.
В работе у специалистов находились изображения Спаса Вседержителя, праматери Евы, одного из праотцев человечества Мафусаила, прославившегося своим долголетием, - согласно Библии он прожил 969 лет, третьего сына Адама и Евы - Сифа, его потомков - Иареда, Еноса и Еноха, а также последнего из допотопных ветхозаветных патриархов, происходящих по прямой линии от Адама, - Ноя.
Несмотря на то, что качество восстановления фресок довольно высокое, доверять нейросети реставрацию все-таки пока рано, заверил нас заведующий отделом учета и хранения Музея фресок Дионисия Игорь Хоботов, участвовавший в тестировании работы искусственного интеллекта: "Не все идеально. Есть и "ошибки" - в частности, фреска с изображением праматери Евы, где положение глаза сильно смещено относительно того, которое мы ожидали бы увидеть. Такого рода "ошибки" можно исправить, продолжая "обучать" нейронную сеть на специально подобранных изображениях фресок и частей фресок".
В настоящее время идет процесс обучения нейросети - он заключается в наполнении ее базы данных фотографиями фрагментов фресок.
"Главное - нейросети обучаемы, и от нас зависит, какой будет в дальнейшем результат, - говорит директор Музея фресок Дионисия Ирина Паршукова. - Хочется надеяться, что в недалеком будущем мы сможем представить росписи собора Рождества Богородицы, выполненные Дионисием, так, как видел их сам мастер по окончанию работ. Не исключено, что результат нас удивит. Мы увидим немного другого Дионисия, а не того, которого привыкли видеть сейчас".
О том, как оценивать качество реконструкции фресок, рассказывает ведущий математик отдела телекоммуникационных сетей и высокопроизводительных вычислительных комплексов ИКИ РАН Артем Просветов:
"Качество реконструкции можно попробовать оценить с помощью специализированных метрик, также использующих нейронные сети. Первым шагом формируется выборка близких по содержанию изображений того же автора с минимальными потерями. Эта выборка поможет нейронной сети Inception понять, какие детали и объекты присутствуют на "типичном" рисунке. Для расширения выборки к изображениям применяются различные повороты и фильтры. Аналогичные операции проводятся для реконструированных изображений. Таким образом, получается две выборки: набор изображений с минимальными повреждениями и серия реконструированных рисунков. Теперь появляется возможность получить статистику активированных нейронов на глубоких слоях сети для каждого из наборов. Чем меньше отличаются распределения "хороших" и реконструированных изображений, тем выше качество реконструкции. Получается, что сравнивается общее впечатление нейронной сети от каждого из наборов изображений, поэтому присутствие конкретного объекта на рисунке играет несущественную роль, намного важнее общий набор деталей и совокупное множество типичных объектов".