Поделиться
Американские разработчики научили нейросеть определять Photoshop на портретных снимках. Алгоритм способен распознавать отредактированные фотографии с точностью до 99 процентов и восстанавливать оригинальные снимки.
Разработчики из Калифорнийского университета в Беркли совместно с исследователями Adobe обучили нейросеть распознавать фотографии, обработанные с помощью инструмента Face-Aware Liquify (фильтр "Пластика " - прим. ред) в программе Photoshop. Данный фильтр используют для того, чтобы отредактировать форму лица или изменить эмоции. Как сообщается на сайте Adobe, ранее разработчики уже тестировали алгоритм, который позволял определить фото, аудио и видеофайлы, которые были изменены с помощью более грубых манипуляций - например, путем удаления или клонирования объекта. Эффект, получаемый при использовании Face-Aware Liquify, более деликатный - а значит, программа сможет распознавать не только радикальные, но и менее заметные изменения лица.
Новый алгоритм состоит из двух частей. Первая - это свёрточная нейросеть ResNet-50, которая распознает отредактированные изображения. Как сообщают разработчики в своей научной статье, для её обучения использовался популярный датасете ImageNet, после чего её "натаскивали" другом датасете - созданном авторами исследования. Его составили из почти миллиона исходных и отредактированных изображений, полученного автоматически с помощью скрипта в графическом редакторе. Разработчики также пригласили художника для изменения образов. По информации Adobe, элемент человеческого творчества расширил диапазон изменений и методов, используемых для тестового набора, за пределы синтетически сгенерированных изображений.
Исследователи проверили эффективность нового алгоритма - выяснилось, что он способен находить до 94 процентов изображений, отредактированных с помощью Face-Aware Liquify. В случае выбора между отдельным и измененным снимком эффективность повышалась до 99 процентов. Кроме того, исследователи проверили, насколько новый алгоритм превосходит человеческий глаз.
- Мы начали с показа пар изображений (оригинального и отредактированного) людям, которые знали, что одно из лиц было изменено. Чтобы новый алгоритм был полезен, он должен гораздо лучше, чем человеческий глаз, идентифицировать отредактированные лица, - рассказал один из разработчиков Adobe Оливер Ван. Выяснилось, что человеческие глаза смогли определить лишь 53 процента измененных фотографий - это чуть лучше, чем случайность.
Главная особенность алгоритма кроется в его второй части - свёрточной нейросети DRN-C-26, способной определять, как именно был отредактирован снимок. Её разработчики также натренировали на базе парных фотографий. В результате обучения нейросеть научилась определять изменения без исходного изображения и таким образом указывать на области, подвергнутые деформации.
В ходе эксперимента алгоритм также смог частично восстановить изображение - однако авторы отметили, что полностью повторить оригинал пока не получилось.
- Идея волшебной универсальной кнопки" отменить", чтобы вернуть изображению исходный вид, все еще далека от реальности. Но мы живем в мире, где становится все сложнее доверять цифровой информации, которую мы потребляем, и я с нетерпением жду дальнейшего изучения этой области исследований, - отметил разработчик Adobe Ричард Чжан.
Разработка алгоритма находится пока на ранних стадиях исследования, однако Adobe совместно с Калифорнийским университетом в Беркли планируют продолжить изучение этой темы. По их словам, новая разработка - лишь один из множества проектов, призванных не только определять фейковые файлы, созданные с помощью программ Adobe, но препятствовать их неправомерному использованию.