В своем блоге OpenAI сообщает, что возможности GPT-4o будут внедряться постепенно, однако его текстовые и визуальные функции начнут появляться в ChatGPT уже сейчас. Главный исполнительный директор OpenAI Сэм Альтман заявил, что модель GPT-4o является «мультимодальной изначально», что означает, что она может генерировать контент или понимать команды голосом, текстом или изображениями. Разработчики, желающие поэкспериментировать с GPT-4o, получат доступ к API, который вдвое быстрее и вдвое дешевле GPT-4 Turbo, добавил Альтман.
В голосовой режим ChatGPT добавятся новые функции. Чат-бот сможет работать как голосовой помощник, отвечая в режиме реального времени и наблюдая за окружающим миром. Текущий голосовой режим более ограничен: он реагирует только на один запрос за раз и работает только с тем, что слышит. Arstechnica, изучив более десятка видеодемонстраций новой модели OpenAI, https://arstechnica.com/ai/2024/05/is-the-world-ready-for-an..., что она стала более человечной. По мнению издания, грядет «кардинальное изменение того, как мы воспринимаем и взаимодействуем с большими языковыми моделями».
Например, ChatGPT-4o может посмеяться над шуткой пользователя или мило отреагировать на видео с его домашним питомцем. Интонации при этом звучат очень естественно. В одном из видеороликов пользователь знакомит ChatGPT-4o со своим другом Джорданом, напротив которого стоит кусочек торта со свечей. ИИ тут же понимает, что у друга день рождения. Джордан просит модель спеть ему, после чего ChatGPT-4o исполняет Happy Birthday. Еще один https://www.youtube.com/watch?v=fwwcdqyyrpi демонстрирует, как ИИ наблюдает за тем, как два сотрудника OpenAI играют в «Камень, ножницы, бумага» и комментирует состязание, словно спортивный телеведущий. В другом https://www.youtube.com/watch?v=wfaybdagvxs пользователь узнает у ИИ, подходит ли его внешний вид для собеседования в OpenAI. Причем, когда человек спрашивает у бота, слышал ли он про OpenAI, тот будто хитро посмеивается и отвечает «Да, что-то знакомое...». Чат-бот может общаться как женским, так и мужским голосом.
