Нейросеть YandexGPT «научили» проверять тестовую часть олимпиады для школьников по физике, астрономии и химии
Яндекс совместно с МФТИ внедрили нейросеть YandexGPT для проверки ответов на онлайн-этапе олимпиады «Турнир Ломоносова». Впервые алгоритм проверил 35 тысяч работ по физике, химии и астрономии, что позволило сократить время проверки с трёх месяцев до одного. Организаторы подчеркнули, что качество оценки не пострадало, а участники смогли быстрее узнать свои результаты, избавив экспертов от рутинной проверки всех ответов.
Олимпиада, проводимая с 1978 года, объединяет школьников 6−11-х классов, соревнующихся в знании точных наук, истории, лингвистики и других предметов. Ежегодно в турнире участвуют более 35 тысяч человек, а задания для естественно-научных дисциплин составляют специалисты МФТИ. Онлайн-турнир проводится на платформе «Сириус», и новый алгоритм оценивал ответы по заранее заданным критериям, начисляя баллы или выставляя ноль, если требования не были выполнены.
Нейросеть обучили на данных прошлых лет, а для проверки точности оценки эксперты перепроверяли часть работ, подтвердив соответствие результатов уровню прошлых лет на 95%. Участники могли оспорить результаты, но число апелляций не увеличилось, что указывает на высокое качество работы алгоритма. В будущем организаторы планируют использовать YandexGPT и в других олимпиадах, чтобы проверять больше заданий с развёрнутыми ответами и значительно ускорить процесс подведения итогов.
