ГигаЧат сдал экзамен уровня магистратуры: в Сколтехе поставили «хорошо»
Нейросеть Сбера ГигаЧат подтвердила уровень подготовки, сопоставимый с выпускником магистратуры по направлению «Математика и компьютерные науки». Аттестация прошла на базе Сколтеха, где работу модели оценили на 4 по пятибалльной шкале.
Экзамен включал два этапа. На первом ГигаЧат прошёл тестирование в формате MMLU. Оно состояло из 500 уникальных вопросов закрытого типа, разработанных преподавателями Сколтеха. Задания охватывали девять направлений компьютерных наук:
— алгоритмы и структуры данных
— базы данных
— кибербезопасность
— программное обеспечение
— программирование
— сети и оборудование
— специализированное программное обеспечение
— управление
— искусственный интеллект
Средний результат модели составил 76,9 процента правильных ответов.
Второй этап представлял собой очный экзамен с участием комиссии из восьми докторов технических и физико-математических наук. Эксперты выбрали три билета из 45 и оценивали ответы нейросети.
Каждый билет включал:
— теоретическое задание на проверку фундаментальных знаний
— практическую задачу с прикладным характером
Все задания были подготовлены специально для испытания и не публиковались в открытых источниках. Это исключало возможность подбора готовых решений и требовало от модели самостоятельного анализа.
Комиссия не ограничивалась проверкой ответов. Эксперты задавали уточняющие вопросы, просили объяснить ход рассуждений и оценивали, как нейросеть справляется с нестандартными формулировками.
Оценивание проводилось с учётом специализации членов комиссии. Например, при проверке задач по программированию решающий голос оставался за профильным экспертом. Дополнительно применялись весовые коэффициенты, что позволило повысить объективность итоговой оценки.
По результатам очного этапа ГигаЧат набрал 7 из 10 баллов по шкале Сколтеха, что соответствует оценке «хорошо».
Ранее нейросеть уже проходила аналогичные испытания по другим направлениям. В их числе обществознание на уровне ЕГЭ, а также профильные экзамены по медицине, финансам, экономике и музыковедению в ведущих российских вузах.
The post ГигаЧат сдал экзамен уровня магистратуры: в Сколтехе поставили «хорошо» first appeared on Новости Воронежа.