В исследовании принимали участие трое ученых из Чикагской школы бизнеса: Алекс Ким, Максимилиан Мун и Валери Николаев. Они проверили способность GPT-4 анализировать финансовые данные без использования поясняющих ситуацию текстов, которые обычно сопровождают отчеты о доходах, таких как раздел "Анализ и оценка руководством финансовых результатов компании". Ученые хотели выяснить, насколько эффективно ИИ может работать с чистыми цифрами.
Ученые изучили более 150 000 отчетов о деятельности фирм, охватывающих около 15 000 компаний в период с 1968 по 2021 год. Им удалось оценить, как хорошо аналитики справляются с прогнозами. Оказалось, что точность прогнозов на один месяц составляет 53%.
Когда GPT-4 предложили простой запрос без пошаговых инструкций, его точность прогнозирования составила 52%. Однако, когда исследователи использовали другой подход и дали GPT-4 подробные инструкции по работе с данными, точность его прогнозов выросла до 60%. Это показывает, что при наличии дополнительных указаний ИИ может работать лучше, чем аналитики-люди.
Важно отметить, что финансовый анализ и прогнозирование — сложные задачи, которые требуют интуиции и здравого смысла, что может затруднять работу как людей, так и больших языковых моделей. Поэтому ни одна группа не достигает 100% точности.
Ученые также отметили, что GPT-4 лучше справляется с анализом крупных и зрелых компаний, таких как Apple. Это может быть связано с тем, что они менее подвержены уникальным рискам. В то же время для небольших фирм, таких как биотехнологические стартапы, предсказание прибыли может быть сложнее из-за высокой изменчивости факторов, влияющих на их успех.
Алекс Ким https://www.businessinsider.com/gpt-4-predict-company-future..., что пока не стоит ожидать, что ИИ заменит аналитиков. Технология будет развиваться и со временем могут появиться новые инструменты, которые помогут людям точнее оценивать состояние компаний. Вероятно, ИИ вовсе не отправит экономистов на пенсию, а облегчит и ускорит их работу.
