Исследователи Дирекции по онлайн-обучению НИУ ВШЭ разработали психометрическую модель, с помощью которой можно понять, кто из студентов проходил тест наугад.
Новый инструмент позволяет узнать, честно ли студент думал над тестом, или ставил галочки наугад. Как это делается? Модель учитывает не только правильность ответа, но и количество попыток, после которых студент добрался до нужного варианта. Кроме того, учитывается активность студента внутри курса: как он просматривал видеолекции, скачивал ли материалы для чтения.
С помощью этого решения можно статистически обоснованно отделить студентов, которые используют попытки «с умом» от тех, кто «натыкивает» верный ответ. Модель проверяли на трех онлайн-курсах Вышки на платформе Coursera. Из 9480 студентов, проходивших курсы, в категорию тех, кто с большой долей вероятности жульничал и отвечал наугад, попали около 450 человек (4,7%).
«Существует мнение, что студенты нередко мухлюют в онлайн-курсах, — комментирует Дмитрий Аббакумов, руководитель Центра психометрических исследований в онлайн-образовании НИУ ВШЭ. — Применяя новую модель, мы выявляем студентов, склонных к нечестным стратегиям. Такие студенты не смотрят видеолекции и активно используют гадание в качестве основной стратегии в получении проходного балла в недельном тесте по курсу».
По словам Дмитрия, инструмент может повысить объективность оценивания студентов онлайн-курсов и, таким образом, повысить доверие к достоверности результатов онлайн-тестирования и к онлайн-курсам как в форме обучения в целом.
«Применяя новую модель, мы выявляем студентов, склонных к нечестным стратегиям. Такие студенты не смотрят видеолекции и активно используют гадание в качестве основной стратегии»
В июле Дмитрий Аббакумов представил модель на конференции международного Психометрического общества. Исследователи говорят, такое внимание к российским разработкам — впервые в истории международной психометрики.
Решение помогает разрабатывать и улучшать учебный контент. «Мы можем выделить задания с высоким процентом гадания со стороны студентов. Очевидно, если большинство студентов гадает, то проблема не в студентах, а в качестве заданий. Такие задания либо дорабатываются, либо удаляются», — рассказывает Дмитрий.
В прошлом году Центра психометрических исследований в онлайн-образовании презентовал сервис для оценки качества заданий в онлайн-курсах. А если вам интересно, что такое психометрика и чем занимается эта наука, посмотрите инфографику, которую подготовили специалисты Центра.
