Но размещенное на платформе arXiv сообщение Стэнфордского университета открыло совершенно неожиданные способности нейросетей.
Речь идет об особой сфере - рецензировании научных статей, которые авторы направляют в престижные журналы. Всегда считалось, что доверить такой вердикт можно только элите научного сообщества, самым авторитетным экспертам в конкретной науке. Что, кстати, делает рецензирование все более проблематичным. Причина? Число публикаций в мире растет лавинообразно, а наука просто не может обеспечить такое количество достойных экспертов. Это одна из главных причин, что на страницы изданий проникает все больше сомнительных публикаций.
Решить эту острейшую проблему берется искусственный интеллект, в частности модель ChatGPT, основанная на архитектуре GPT-4. В эксперименте ему доверили рецензирование около 3000 статей для самого престижного журнал Nature, а также 1700 статей для журнала ICLR. Результаты сравнили с отзывами экспертов.
Совпадение мнений машины и человека удивили самих исследователей. В отзывах для журнала Nature нейросеть более чем в половине случаев сделала те же замечания, что и эксперты. А в случае статей для журнала ICLR совпадение достигло 77%. Более того, ИИ сумел проанализировать статьи в их "сыром" виде, без предварительной обработки.
Особое внимание он уделил оценке четырех основных критериев: новизна работы; выявление элементов, которые оправдывают ее принятие; распознавание причин для ее отклонения; рекомендации по улучшению статьи.