Современные языковые модели, обучаемые на созданных людьми данных, стараются учитывать человеческие предпочтения. Однако на решения, которые принимает человек, часто влияют эмоции и собственные убеждения, что ведет к иррациональному поведению и труднопредсказуемым результатам, выяснили ученые Института AIRI, ИСП РАН и Лаборатории искусственного интеллекта Сбера.
Исследователи изучили, сохраняется ли эмоциональная предвзятость при разработке стратегий LLM, и насколько они могут действовать как рациональные агенты. Они протестировали более 10 моделей в разных игровых сценариях, включая "Дилемму заключенного", "Битву полов", "Диктатор" и "Общественное благо". В результате оказалось, что модели разного размера и уровня выравнивания (alignment) по-разному реагируют на эмоции: модели с открытым исходным кодом и меньшего размера, как правило, хуже распознают и имитируют эмоции, а более мощные модели - тот же GPT-4 - обычно действуют рационально, хотя и могу отклоняться от логики под воздействием гнева.
Что касается кооперативных игр, то здесь негативные эмоции часто снижают готовность моделей к сотрудничеству. Модели, которые "испытывают" грусть, склонны делиться своими переживаниями с другими, однако в состоянии страха они непредсказуемы, так как эту эмоцию они понимают плохо. При этом счастье улучшает качество этических решений для большинства моделей, в то время как негативные эмоции имеют обратный эффект.