Современные большие языковые модели демонстрируют выдающиеся результаты в решении задач, однако они не способны адекватно оценивать сложность учебных заданий для людей. Исследование более 20 моделей выявило «проклятие знаний»: высокий интеллект ИИ мешает ему понять когнитивные трудности, с которыми сталкиваются студенты. Даже при использовании специальных подсказок нейросети не могут достоверно имитировать низкий уровень знаний или предсказать собственные ошибки. Вместо ориентации на человеческое восприятие, модели формируют обособленный машинный консенсус, систематически недооценивая трудность вопросов. Это ограничение ставит под сомнение эффективность использования текущих ИИ-технологий для автоматизации педагогического тестирования и разработки учебных программ. Для преодоления этого разрыва авторы предлагают обучать модели на реальных данных об ошибках учащихся, а не только на правильных ответах.

Ask this episode

“What did the council decide on item 42?” — answered with the speaker and the moment.

Transcript

Related