Сколтех: "ГигаЧат" подтвердил знания в области математики и компьютерных наук
Нейросеть Сбера "ГигаЧат" подтвердила уровень знаний, сопоставимый с выпускником магистратуры по направлению "Математика и компьютерные науки". По итогам аттестации, прошедшей на базе Сколтеха, модель получила оценку 4 ("хорошо"). Об этом "Газете.Ru" сообщили в пресс-службе образовательного учреждения.
Экзамен состоял из двух этапов. Сначала нейросеть прошла тестирование в формате MMLU: ей предложили 500 уникальных вопросов закрытого типа, разработанных преподавателями Сколтеха. Задания охватывали девять ключевых областей компьютерных наук — от алгоритмов и баз данных до кибербезопасности и искусственного интеллекта. Средний результат модели составил 76,9% правильных ответов.
На втором этапе "ГигаЧат" прошел очный экзамен перед аттестационной комиссией из восьми докторов технических и физико-математических наук. Эксперты выбрали три экзаменационных билета из 45. Каждый из них включал теоретический вопрос и практическую задачу. Все задания были составлены специально для испытания и не публиковались ранее.
Эксперты задавали уточняющие вопросы и оценивали глубину понимания материала. При этом итоговая оценка формировалась с учетом профильной экспертизы: например, при проверке задач по программированию решающее слово принадлежало специалисту в этой области.
По результатам очного этапа "ГигаЧат" набрал 7 из 10 баллов по шкале Сколтеха, что соответствует оценке "хорошо".
Ранее нейросеть уже демонстрировала высокие результаты на экзаменах по различным дисциплинам — от обществознания до медицины и экономики.