Согласно отчёту The Wall Street Journal, компаниям вроде OpenAI или Google требуются огромные массивы данных для обучения и совершенствования их больших языковых моделей (LLM), но проблема в том, что в интернете попросту не хватает качественных данных.
Авторы материала на The Wall Street Journal ссылаются на заявления специалиста в области искусственного интеллекта Пабло Вильялобоса из Исследовательского института Epoch. По его словам, языковая модель GPT-4 обучалась на 12 триллионах токенов данных, а если следовать законам масштабирования Шиншиллы, следующая версия требует порядка 60-100 триллионов токенов. Однако в свободном доступе не хватает по меньшей мере от 10 до 20 триллионов токенов подходящего качества текстовых и графических данных. К слову, ещё пару лет назад Вильялобос заявлял, что к середине 2024-го с вероятностью 50% нейросетям перестанет хватать данных для дальнейшего обучения. Тогда он прогнозировал, что к 2026-му такая вероятность будет составлять уже 90%.
В исследовании говорится, что большинство доступных данных в интернете попросту непригодно для обучения ИИ, поскольку содержит бессвязный текст или не содержит новой для нейросетей информации. Усугубляет проблему и тот факт, что крупные платформы, включая новостные агентства и социальные сети, закрывают доступ к своим данным и не дают разрешения компаниям вроде OpenAI на их использование.
По словам главы OpenAI Сэма Альтмана, они разрабатывают новые способы обучения нейросетей. Есть информация, что компания рассматривает возможность создания системы оценки стоимости данных, чтобы платить за них платформам. Согласно отчёту The Wall Street Journal, аналогичный подход рассматривают и в Google. А пока в OpenAI намерены использовать инструмент распознавания речи Whisper, чтобы "вытягивать" сведения из аудиозаписей и видео, находящихся в свободном доступе в интернете.
Внутри компании OpenAI рассматривают ещё один способ обойти нехватку данных - генерацию высококачественных синтетических данных, которые бы использовались для дальнейшего обучения нейросетей.
