Новый подход к машинному обучению стал важным шагом вперед. Вместо жестких предположений о данных, он позволяет моделям адаптироваться, что делает их более универсальными и эффективными в реальных условиях.
Область машинного обучения традиционно делится на две основные категории: обучение с учителем и обучение без учителя. Первое требует вручную размеченных данных, где каждому входящему сигналу соответствует конкретный выход, что позволяет алгоритмам четко следовать заданным инструкциям. Обучение без учителя, напротив, использует только необработанные данные, предоставляя алгоритмам свободу находить закономерности самостоятельно.
Однако в последние годы появился новый подход, известный как самообучение (self-supervised learning, SSL), который стирает границы между этими методами. В отличие от классического обучения с учителем, которое зависит от разметки данных человеком, SSL использует алгоритмы для автоматического создания меток из необработанных данных, что значительно расширяет его возможности.
Недавно команда исследователей из Массачусетского технологического института и Технического университета Мюнхена представила новый метод под названием «Контекстное самообучение» (ContextSSL), который преодолевает ограничения существующих подходов. Вместо того чтобы опираться на заранее заданные преобразования данных, ContextSSL адаптирует представления к разным задачам, учитывая контекст — обобщенное представление о задаче или окружающей среде.
