Как там пел Сыроежкин в «Приключениях Электроника»? Вкалывают роботы, а не человек? В общем да, прогресс до этого уже дошел. Для школьников и студентов точно. В феврале в Москве студент за день с помощью нейросети написал диплом и защитился, да так, что педагоги по всей стране вздрогнули — как теперь проверять, ученик писал работу или компьютер?
А ведь сейчас идет горячая пора ЕГЭ и ОГЭ. Вдруг кому-то из учеников придет в голову идея сдать экзамен при помощи нейросети. «КП» вместе с преподавателями проверила, сработает ли такой фокус или нет. Хочет компьютер писать дипломы в университете? Пусть сначала наберет достаточно баллов, чтобы туда поступить.
ЗА РУССКИЙ ОТВЕТИТ ОТЕЧЕСТВЕННАЯ НЕЙРОСЕТЬ.
Нейросети это одна из главных технологических игрушек последнего времени. Программисты научили компьютер творить. Просишь нарисовать девочку с персиками — сделает миллион вариантов, причем не хуже, чем у Валентина Серова. Просишь ее написать за тебя сочинения по заданной теме — напишет. Чудеса! Тут и зарубежные разработки нашумели. Да и наши программисты не отстают. Недавно, например, появилась отечественная нейросеть YaGPT. Ее-то мы и отправили на ЕГЭ. Кому ж еще сдавать русский язык, как не русской нейросети?
Сдавала она его в тот же день, что и школьники по всей стране — 29 мая. Мы взяли демонстрационный вариант ЕГЭ по русскому этого года, который опубликован на сайте Федерального института педагогических измерений и дали нейросети выполнить задания из нее, а потом показали результат эксперту по ЕГЭ по русскому языку. Это 26 вопросов в форме теста, плюс 27-е задание — сочинение.
— На всю работу 3,5 часа, — объясняет кандидат филологических наук, доцент, эксперт в сфере ЕГЭ по русскому языку, заместитель директора Института государственного, муниципального управления и права УРГЭУ Наталья Громова. — Это и на сочинение, и на тест. На сочинение обычно ученик тратит 1,5−2 часа.
СОЧИНЕНИЕ ПО ЩЕЛЧКУ ПАЛЬЦА.
Засекаем время и начинаем забрасывать в нейросеть по очереди все задания. Вот одно из них — заменить неправильно использованное слово на верный вариант. Нейросеть отвечает моментально: «Слово “праздный” в предложении надо заменить на “праздничный”». И далее по списку: произносить следует не «оптОвый», а «Оптовый»; не «полтораста» рублей, а «полутораста». Щелкает задания как орешки.
Пришел черед финального задания — сочинения. Там история про мужчину, который вернулся в родное село. Герой рассказывает и про облачные фрегаты, и про древний запах папоротника, и про белеющие березки с качающимися купальницами. Нужно прочитать все это и написать по мотивам текст не меньше 150 слов, сформулировать проблему, привести два примера-иллюстрации, проанализировать смысловую связь…
Загружаем текст в нейросеть, нажимаем одну кнопку и… через несколько секунд у нас на руках сочинение.
— Проблема, поставленная автором текста, заключается в том, что автор стремится показать значение родного края для человека, — пишет в сочинении нейросеть. — Он говорит о том, как важен для него родной край, и описывает его красоту и тишину. Автор подчеркивает, что родной край помогает человеку сохранять молодость и лечит душу.
Ну будто человек написал. Нейросеть даже мнением в конце поделилась, как и требует ЕГЭ.
— Мое отношение к позиции автора заключается в том, что я согласен с ним. Я считаю, что родной край действительно имеет большое значение для человека, — говорит компьютер.
Чтобы написать ЕГЭ по русскому языку, нейросети понадобилось чуть больше часа. Окрыленные таким успехом, спешим проверить, сколько баллов удалось набрать.
СЛОВНО ИНОСТРАНЕЦ ПИСАЛ.
— С такими результатами она не только в вуз не поступит, но и школу вряд ли окончит, — констатирует эксперт по ЕГЭ по русскому языку.
Тестовую часть нейросеть провалила с треском — всего три правильных ответа из 26! С сочинением другая история.
— Ну, баллов десять на сочинении она бы набрала за хорошую орфографию, пунктуацию и грамматику, — замечает эксперт. — Я даже удивилась. Думала, будет что-то страшное. Но это все-таки сочинение, написанное по структуре ЕГЭ. И если бы вы мне сказали, что это написал двоечник из 11 класса, я бы даже поверила. А для человека, который начинает изучать русский язык, это было бы неплохое сочинение.
Проблема в образности. Ну не понимают пока нейросети, что такое черные лошадиные тропы и древний запах папоротника.
— Она поняла, что такое родной край, шелест берез, купальницы и лютики, а все образы потрясающей красоты ей воспринять сложно. В итоге она все сочинение снова и снова, но разными словами, пишет про одно и то же, — рассказывает Наталья Громова. — Большая часть текста не проанализирована, а пересказана. Получается, что она пишет только о том, что ей понятно.
Хотя, отмечает эксперт, кое в чем нейросеть справилась лучше человека — примеры-иллюстрации нашла, все задания последовательно выполнила. Люди же, когда берутся за сочинение, порой так увлекаются содержанием, что забывают о структуре работы, которой нужно следовать. В общем, ЕГЭ по русскому нейросеть не сдала.
ОТВЕТЫ ДАЕТ, ДА НЕ ТЕ.
С математикой у нейросети картина похожая. С простенькими задачами она справляется неплохо. Расписывает решение, объясняет свою логику. И на вопрос, сколько сдачи Олег получит со 100 рублей, купив 1,6 кг моркови по 40 рублей за килограмм, правильно отвечает:
— Сдача будет 36 рублей.
Но вот задачку о том, кто больше съел печенья, Маша или Медведь, нейросеть решила неправильно, обделив мишку на 104 печенья. Плюс многие задания были с графиками и таблицами — посмотрел, прикинул и решил. Нейросети пока анализировать рисунки могут не очень хорошо.
Что же с необязательными предметами? Мы решили прогнать ее через вопросы по биологии и географии. И, похоже, в анатомии человека она разбирается не очень. Посыпалась на вопросе о том, как мочевина идет по организму человека. Получилось, что в мочевой пузырь она попадает… из мочеиспускательного канала. Хотя на вопрос, что доказывает эксперимент, в ходе которого у цыпленка вырезали часть бедренной кости, а вырезанная часть потом заросла, нейросеть сделала правильный вывод:
— Этот опыт доказывает, что костная ткань может восстанавливаться после повреждений.
Неплохо справилась она и с некоторыми вопросами по географии. Например, правильно указала, что Гвинейский залив на карте находится западнее Аравийского моря и Бенгальского залива.
Итог, нейросети — настоящее чудо технологического прогресса. Но это явно не инструмент для решения задач по ЕГЭ. И использовать смартфон с нейросетью, как шпаргалку не получится. Во-первых, свои знания все-таки надежнее. Во-вторых, кто же вас на ЕГЭ с телефоном, подключенным к интернету пустит?
А ВОТ ЕЩЕ БЫЛ СЛУЧАЙ.
Нейросети, на пересдачу!
В Уральском федеральном университете в мае нейросетям ChatGPT и Sage устроили экзамен по истории России. И они защитились. Правда, на троечку.
— Выяснилось, что нейросети знают, что такое «завещание Василия III», а когда спросишь, что такое «духовная Василия III», то они уже путаются. Хотя «духовная» — это то же самое завещание, но языком XVI века. Дальше — больше. Обе нейросети неправильно назвали Василия III царем — титул этот появился только при Иване IV Грозном. Ну, а Chat GPT и вовсе стал использовать слово «министры», говоря о том времени, когда такого слова в России вообще не существовало, — отметил доцент кафедры истории России УрФУ Михаил Киселев. — Все-таки у меня было желание отправить их на пересдачу. Видно, что знания какие-то есть, но материал нейросети не понимают.
