Ученые решили сравнить прогнозы за несколько лет, которые давали нейросети и физические модели погоды. Выяснилось, что в обычные дни ИИ был точнее и быстрее, но, как только надвигались погодные экстремумы, старая классическая модель оставляла нейросети далеко позади. Причем чем выше погодный рекорд, тем прогноз нейросети был хуже.
Причина такого провала ИИ понятна. Физические модели опираются на законы природы, поэтому они могут предсказывать беспрецедентные сценарии. А вот нейросеть учится на прошлых данных и теряется, когда сталкивается с очень редкими погодными рекордами, которые в "учебнике" можно пересчитать по пальцам. По сути, ей просто не на чем учиться. И тогда она действует по шаблону, пытаясь "усреднить" экстремум и приближая его к знакомым значениям. Например, во время аномальной жары она систематически занижала температуру, подтягивая ее к средним историческим значениям.
Учитывая, что экстремальные события будут происходить все чаще, авторы предостерегают от использования исключительно искусственного интеллекта для столь ответственной работы. Они предлагают гибридный подход, сочетающий скорость ИИ с фундаментальными законами физики.
Итоги исследования опубликованы в журнале Science Advances.