Kaggle Benchmarks. «Kaggle уже не тот...»
В ML/DS сообществе есть шаблонная фраза “Kaggle уже не тот”. Ностальгия по временам ушедшим понятна, но в общем-то очевидно, что драматически меняется вся индустрия и ландшафт соревнований вместе с ним. На смену заголовку, встречавшему кагглеров раньше, “Your Home for Data Science” пришел новый: “The World's AI Proving Ground”.
Бенчмарки на Kaggle
В 2026 Kaggle окончательно перешел под крыло AI фронтьера от Google DeepMind. Сменился и фокус. Один из больших апдейтов - появление раздела "Benchmarks" и инструментария Kaggle Benchmarks SDK. Вкратце, это фреймворк + инфраструктура, которые позволяют создавать наборы тестов на любой вкус, объединять их в комплексные бенчмарки и быстро прогонять на них большие модели в равных условиях. Можно придумать и реализвать почти любой тест, метрику и механику его прогона. Тесты можно объеденить в группу и уже эта сущность и будет называться бенчмарком. На выходе будут логи, json, метрики, сравнения, лидерборд. И данные, и код бенчмарков можно оставить в приватном датасете, не доступном публично, а можно раскрыть.
Читать далее