МОСКВА, 15 ноября. /ТАСС/. Российские исследователи подготовили обширный набор тестов, который позволяет при помощи психометрических подходов максимально точно и всесторонне оценивать эффективность использования и компетентность систем искусственного интеллекта в качестве помощника учителя или ученика. Об этом сообщила пресс-служба НИУ ВШЭ.
«Мы разработали новый подход, который выходит за рамки традиционного тестирования. Наш подход проиллюстрирован специальным новым обширным тестом для языковых моделей, который нацелен на проверку ИИ в педагогике. Он строится по принципам психометрики и ориентирован на ключевые компетенции, важные в преподавательской деятельности», — пояснила доцент Института образования НИУ ВШЭ Елена Карданова, чьи слова приводит пресс-служба вуза.
Как отмечают исследователи, появление большого числа систем ИИ на базе больших языковых моделей, способных решать очень широкий спектр задач, породило большой интерес к разработке инструментов, нацеленных на оценку эффективности их работу и всестороннюю проверку компетенций данного типа нейросетей. Проведение подобных проверок требует глубокого понимания той сферы, в которую ученые пытаются интегрировать ИИ.
Руководствуясь этой идеей, российские ученые заручились поддержкой со стороны ведущих экспертов в области педагогики и образования и совместно с ними разработали и протестировали более 3,9 тыс. уникальных заданий, разделенных на 16 профессиональных областей, включая методы преподавания, психологию образования и управление классом. Основой для создания этих тестов послужили методы психометрики, науки на стыке психологии, математики и педагогики, а также подходы, разработанные известным американским психологом Бенджамином Блумом.
Работу тестов ученые проверили в опытах с участием русскоязычной версии большой языковой модели GPT-4. Результаты показали, что модель испытывает трудности в более сложных заданиях, требующих глубины понимания и способности к адаптивному мышлению. Оказалось, что ИИ хорошо решает задачи на установление фактов, но менее успешен в ситуациях, требующих детального анализа и гибкого мышления, а также справляется далеко не со всеми даже самыми простыми теоретическими задачами.
«Разработанный нами подход позволяет наглядно показать ключевую проблему ИИ сегодня: никогда не знаешь, где ждать ошибки. Модель может ошибаться даже в простейших заданиях, которые могут считаться ядром дисциплины. Наш тест показывает ключевые проблемы и в области знаний, и в области прикладного применения, тем самым намечает путь к преодолению ключевых проблем. Устранять их критически важно, ведь мы рассчитываем на такие модели как на помощников преподавателей и тем более учеников», — подытожил научный руководитель НИУ ВШЭ Ярослав Кузьминов, чьи слова приводит пресс-служба вуза.