На протяжении более десятка лет компании придерживались одного, как им казалось, простого и надёжного правила: если ИИ-системы постоянно масштабировать, то они будут становиться всё умнее и умнее. Такая гипотеза возникла не на пустом месте. В 2017 году исследователи из Baidu доказали, что, алгоритмы ИИ обучаются быстрее, если задействовать бОльшее количество данных и вычислительной мощности — независимо от того, была ли система разработана для распознавания изображений, текста или синтеза речи. Причём такие улучшения можно спрогнозировать с помощью математической модели.
Такая закономерность побудила ИИ-компании вкладывать сотни миллионов в крупные вычислительные кластеры и массивы данных. Риск себя оправдал, и теперь вместо сырой машинной обработки текстов у нас есть чат-боты, умело отвечающие на запросы пользователей.
Но сегодня эта, казалось бы, прописная истина “чем больше, тем лучше” подвергается сомнению.
В недавних отчётах, опубликованных Reuters и Bloomberg, делалось предположение о сокращении доходов, полученных от масштабирования систем ИИ. Ранее The Information сообщала о том, что в OpenAI усомнились во взятом курсе после того, как невыпущенная модель Orion не оправдала ожиданий во время внутреннего тестирования.
Читать далее