Консультация по оптимизации стримингового решения с LLM, TTS и STT
Основные требования:
Опыт работы со стримингом данных (видео, аудио) и оптимизацией производительности;
Понимание взаимодействия серверов и сервисов LLM (OpenAI, grok, etc..);
Учет ограничения доступности AWS и Azure для пользователей из России;
Оптимизация задержек до уровня аналогичных проектов с достижением супер-быстрого отклика.
Задачи:
Провести анализ текущей инфраструктуры стриминга;
Предложить рекомендации по улучшению скорости и минимизации задержек;
Сопровождать процесс внедрения предложенных улучшений до достижения результата.
Если у вас есть опыт в реализации подобных проектов, ждем вашего отклика!