В НИУ ВШЭ разработали новую методику оценки искусственного интеллекта для образовательных задач

Исследователи из НИУ ВШЭ предложили новый подход для оценки компетентности ИИ в образовании.
Подход основан на психометрических принципах и проиллюстрирован на примере GPT-4.
Это первый шаг к проверке готовности ИИ к роли ассистента педагога или ученика.
Результаты работы опубликованы в arXiv.
Ученые разработали более 3900 уникальных заданий для GPT-4, разделенных на 16 профессиональных областей.
Эксперимент проходил на русскоязычной версии GPT-4.
Результаты показали, что модель испытывает трудности в сложных заданиях, требующих глубины понимания и адаптивного мышления.
Разработанный подход позволяет наглядно показать ключевые проблемы ИИ в образовании.
Среди возможных сценариев использования ИИ в образовании - помощь преподавателям в создании учебных материалов, автоматизированная оценка ответов студентов, формирование адаптивных учебных планов и подготовка аналитики по учебным достижениям учащихся.