Еще три месяца назад все удивлялись — московский студент за день с помощью нейросети написал диплом и защитился. Он говорил компьютеру, что надо писать, нейросеть писала, а студент потом лишь немного правил. Так что это еще вопрос, кто на самом деле защитился — нейросеть или человек.
В общем, в Уральском федеральном университете в Екатеринбурге, раз такое дело, решили пойти еще дальше — убрать из цепочки посредника в виде студента и принять экзамен сразу у нейросети.
БЫВАЮТ ГЛУПЫЕ ОШИБКИ.
Эксперимент такой решил провести доцент кафедры истории России УрФУ Михаил Киселев. Среди нейросетей, которые допустили до экзамена, были две наиболее нашумевшие — Sage и Chat GPT. И если вы видели в Интернете красивые картинки, созданные нейросетями, то знайте, что эти две немного иного рода.
Картинки они не делают, скорее «общаются» с человеком с помощью чата, отвечая на его вопросы. Ты пишешь нейросети «придумай сказку про Колобка, в которой он выживает», а она выдает тебе готовый текст, написанный человеческим языком, в котором Колобок убегает от лисы. За это студенты по всему миру уже полюбили такие нейросети.
— В ученом сообществе это обсуждаемая проблема сейчас, — рассказал «КП-Екатеринбург» Михаил Киселев. — В США, например, вызвало резонанс эссе с названием «Смерть университетских эссе». В нем подразумевалось, что преподавателям теперь будет сложно понять, кто написал эссе — компьютер или человек. Американские коллеги проводили опыты по написанию эссе нейросетью по разным дисциплинам. Она получала оценку либо 3, либо 4.
— Я попросил нейросеть привести мне список знаменитых историков. Она взяла математика дореволюционной России Пафнутия Чебышева и поместила его в список историков, — говорит Михаил Киселев.
ТЯНИТЕ БИЛЕТ, НЕЙРОСЕТЬ.
Экзамен длился полчаса. Времени на подготовку ответа нейросети дано не было — незачем. Она и так почти моментально отвечает на запрос.
— Я задавал нейросетям вопросы по истории России, представив, что передо мной студенты, которые перед экзаменом выучили определенный объем материала, — объясняет Михаил Киселев. — И выяснилось, что нейросети знают, что такое «завещание Василия III», а когда спросишь, что такое «духовная Василия III», то она уже путается. Хотя «духовная» — это то же самое завещание, но языком XVI века.
Дальше больше. Обе нейросети неправильно назвали Василия III царем — титул этот появился только при Иване IV Грозном. Ну, а Chat GPT и вовсе стал использовать слово «министры», говоря о том времени, когда такого слова в России вообще не существовало.
Спросили нейросеть и про феномен сословно-представительской монархии. А она вместо того, чтобы рассказать про Земский собор (действовал с XVI по XVII век. — Прим. ред.), например, бросилась вещать о современном парламенте. В общем, срезался «студент». Понял, что ответа не знает, и начал придумывать, надеясь получить хотя бы тройку.
— На троечку она и защитилась. Знания какие-то есть. Но все-таки у меня было желание отправить ее на пересдачу, — смеется историк. — Видно, что материал она не понимает. Проблема с нейросетью сейчас в том, что она порой выдумывает факты и людей. Она дает не наиболее правильный, а наиболее вероятный ответ.
Так что, если с помощью нейросети написать диплом и получится, то заменить себя ею на экзамене студенты уж точно не смогут. Впрочем, в вузе отмечают, что в будущем нейросети, возможно, станут сильнее. А пока в лучшем случае их можно использовать как цифрового помощника для оформления списка литературы в дипломной работе, составления аннотации и подбора ключевых слов. На такую техническую работу она точно способна.