В этом году OpenAI уделила основное внимание расширению возможностей разработчиков. Так, функция Prompt Caching направлена на снижение затрат и задержек. Система автоматически применяет скидку 50% на входные токены, которые модель уже обрабатывала ранее. Это может сократить расходы для приложений, часто использующих один и тот же контекст. В OpenAI говорят, что затраты снижаются в 1000 раз.
Компания также расширила возможности тонкой настройки, добавив поддержку изображений (то, что она называет «vision fine-tuning»). Теперь разработчики могут настраивать GPT-4o, используя как текст, так и изображения. Это позволяет обучать мультимодальную версию GPT-4o распознавать конкретные визуальные объекты. Новая функция может улучшить визуальный поиск, распознавание объектов в автономных транспортных средствах и анализ медицинских изображений.
OpenAI также представила свой Realtime API, который находится в стадии публичной бета-версии. Это решение позволяет создавать мультимодальные приложения с низкой задержкой, особенно, связанные с речью.
Разработчики могут интегрировать голосовое управление на базе ChatGPT в свои приложения. Realtime API оптимизирует создание голосовых помощников и других разговорных инструментов ИИ, устраняя необходимость объединять несколько моделей для транскрипции, вывода и преобразования текста в речь. От обслуживания клиентов до обучения — теперь разработчики смогут создавать более интуитивно понятные и адаптивные интерфейсы на основе искусственного интеллекта. Стоимость API — 0,06$/мин ввода, 0,24$/мин вывода.
Одним из главных анонсов стала технология Model Distillation. Она позволяет разработчикам использовать выходные данные передовых моделей, таких как o1-preview и GPT-4o, для обучения более компактных и эффективных моделей, например, GPT-4o mini.
Небольшие компании получат доступ к возможностям крупных языковых моделей без необходимости значительных вычислительных ресурсов. Это решение помогает преодолеть разрыв между высокопроизводительными, но ресурсоемкими моделями и более доступными, но менее мощными аналогами, который долгое время существовал в области искусственного интеллекта. Например, с помощью Model Distillation небольшой медицинский стартап может создать компактный ИИ-инструмент для точной диагностики, который будет работать на стандартных ноутбуках или планшетах.
DevDay 2024 от OpenAI сигнализирует о смене приоритетов компании: фокус сместился с громких запусков новых продуктов на развитие экосистемы. Хотя такой подход может быть менее впечатляющим для широкой публики, он показывает зрелое понимание текущих вызовов и возможностей в сфере ИИ. Это сдержанное мероприятие резко контрастирует с DevDay 2023, который вызвал ажиотаж, сравнимый с запуском iPhone, благодаря появлению GPT Store и инструментов для создания персонализированных версий GPT.
Главным изменением DevDay 2024 стало отсутствие выступления генерального директора Сэма Альтмана. Вместо него с основным докладом выступила команда разработчиков OpenAI. На DevDay 2023 Альтман произнес речь в стиле Стива Джобса. Однако через 11 дней совет директоров уволил его, вызвав волну потрясений, которая в итоге привела к его возвращению и смене состава совета. В этом году, учитывая фокус на разработчиках, OpenAI, вероятно, решила, что лучше сделать главной темой мероприятия непосредственно технологии, а не выступление Альтмана.
