18.05.2023 09:16
    Поделиться

    Справился на троечку: Ученый проверил ChatGPT и Sage на знание исторических фактов

    Историк устроил экзамен для нейросетей: ученый протестировал ChatGPT и Sage на знание фактов и терминологии и пришел к выводу, что искусственный интеллект лишь имитирует самостоятельные рассуждения и с заданием справился на "троечку".

    - Есть такой тип студента: он выучил кое-что, но делает вид, что знает все. И, опираясь на какие-то обрывочные сведения, начинает импровизировать. Примерно так делает нейросеть: там, где материал имеет однозначные ответы, она реагирует адекватно, но в остальном может выдумывать факты, несуществующие работы или авторов, - пояснил экзаменатор - доцент кафедры истории России УрФУ Михаил Киселев.

    Обе нейросети дали приемлемый ответ на вопрос: в чем разница между историческими и историографическим источниками? То есть в том, что касается устойчивой общей научной терминологии, и ChatGPT и Sage разбираются.

    Следующая задача была посложнее, и тут уже результаты хуже. Итак: сначала вопрос был задан в такой формулировке - "что такое завещание Василия III?". Обе нейросети в целом с ответом справились за исключением некоторых неточностей. Затем ученый использовал устаревший синоним - "что такое духовная Василия III?". И тут нейросети показали незнание исторической терминологии.

    - ChatGPT считает, что "это период правления Василия III, когда произошло развитие православной церкви", а Sage - что "это название церковной реформы", - говорит Киселев.

    На вопрос "какие историки писали о завещании Василия III?" обе нейросети называли наравне с реальными исследователями и их работами также и несуществующие книги несуществующих авторов.

    - Если представить, что такая беседа велась на экзамене, то можно сказать, что студент "поплыл" из-за неглубокой проработки материала, хотя и старался держаться уверенно, - сравнивает историк.

    Есть вероятность, что хоть нейросеть и не заменит в будущем полноценную подготовку к экзаменам и не напишет авторский диплом, зато может стать подспорьем, например, при оформлении списков литературы, составление аннотации - то есть возьмет на себя часть рутинной, механической (но не творческой) работы.

    Поделиться