В своём последнем посте я говорил об одной загадке: все большие языковые модели (LLM) ужасно играют в шахматы. Все, за исключением gpt-3.5-turbo-instruct, которая по какой-то причине умеет играть на уровне продвинутого любителя. И это несмотря на то, что этой модели больше года и она намного меньше новых моделей. Что происходит?
Я предложил четыре возможных объяснения:
Теория 1: достаточно большие базовые модели хороши в шахматах, но это свойство не сохраняется после их подстройки под чат-модели.
Теория 2: по какой-то причине gpt-3.5-turbo-instruct обучали на большем объёме шахматных данных.
Теория 3: в некоторых архитектурах LLM есть нечто магическое.
Теория 4: существует «конкуренция» между разными типами данных, поэтому чтобы LLM могла хорошо играть в шахматы, большая доля данных должна быть информацией о шахматных партиях.
В Интернете нашлось ещё множество других теорий. Самые распространённые из них:
Теория 5: OpenAI жульничает.
Теория 6: на самом деле LLM не могут играть в шахматы.
Я провёл новые эксперименты. Хорошие новости — ошибались все!
В этом посте я покажу, что новые чат-модели достаточно хорошо могут играть в шахматы, если вы готовы зайти достаточно далеко, чтобы разобраться в составлении промтов. А затем я изложу свою теорию о происходящем.
Читать далее