МОСКВА, 24 декабря. /ТАСС/. Исследователи из России выиграли серебряные медали в международном соревновании Eedi — Mining Misconceptions in Mathematics, которое было посвящено использованию ИИ при разработке тестовых заданий для выявления математических заблуждений у школьников и студентов. Об этом сообщила пресс-служба Института искусственного интеллекта AIRI.
«Решение российской команды было построено на основе данных, состоявших из 4 тыс. примеров задач и ошибок учащихся, полученных от организаторов конкурса, а также 13 тыс. синтетических примеров, сгенерированных командой. Данные были использованы для дообучения открытой языковой модели Qwen, чтобы анализировать пару “вопрос и неправильный ответ” и получать на выходе наиболее вероятное математическое заблуждение», — говорится в сообщении.
Данный подход был разработан командой российских ученых из Института AIRI, «Сколтеха» и специалистами компании VeinCV в рамках международного конкурса Mining Misconceptions in Mathematics. Он был запущен в начале сентября британской образовательной компанией Eedi, американским Университетом Вандербильта и лабораторией Learning Agency Lab и завершился в декабре 2024 года.
Это международное соревнование, в котором приняло участие свыше 1,4 тыс. команд ученых и специалистов в области ИИ из 80 стран, было направлено на привлечение внимания научного сообщества к проблеме разметки данных, необходимых для развития систем ИИ в образовании. Эта проблема особенно остро стоит при разработке алгоритмов, способных выявлять пробелы в математических знаниях у учащихся.
Как правило для этого используют пары из вопросов и нескольких неправильных ответов, один из которых специально подобран таким образом, что его можно посчитать правильным только в случае, если у человека есть определенный пробел в понимании основ математики. Сейчас подобные тестовые задания создаются вручную, так как существующие ИИ плохо справляются с формулировкой ложных ответов и оценкой их кажущейся «логичности» для испытуемых.
Исследователи из Института AIRI, «Сколтеха» и VeinCV, а также несколько зарубежных команд специалистов в области искусственного интеллекта разработали подходы, которые позволяют адаптировать китайскую систему ИИ Qwen и другие уже существующие большие языковые модели для автоматизированной подготовки подобных пар вопросов и ответов. Как надеются ученые, созданные ими подходы уже в ближайшем будущем найдут применение в работе онлайн-платформ для обучения школьников и студентов.
