Описание задачи:Цель: Ускорить инференс модели, разработанной для уникализации текстов, в 2 раза.Исходные данные: • Репозиторий модели пришлю в лс
• Модель использует
T5ForConditionalGeneration с нестандартными параметрами
lex_diversity и
order_diversityТребования: 1.
Анализ текущей реализации: Ознакомиться с текущей реализацией модели и понять, где можно оптимизировать процесс инференса.
2.
Оптимизация кода: Предложить и реализовать изменения в коде, направленные на ускорение инференса. Это может включать оптимизацию алгоритмов, использование более эффективных библиотек, улучшение параллелизма и т.д.
3.
Оптимизация параметров: Рассмотреть возможность оптимизации параметров
lex_diversity и
order_diversity для улучшения производительности, не теряя качества генерации текста.
4.
Тестирование и валидация: Провести тестирование до и после оптимизации, чтобы убедиться, что скорость инференса возросла в 2 раза, а качество работы модели осталось на прежнем уровне.
5.
Документация: Подготовить подробную документацию по внесённым изменениям, чтобы команда могла понять и поддерживать новые улучшения.
Инфраструктура: Инфраструктура для тестирования, включая доступ к машине с GPU, будет предоставлена.
Ожидаемые результаты: • Ускорение инференса модели в 2 раза.
• Сохранение качества работы модели на прежнем уровне.
• Подробная документация по внесённым изменениям.
Инфраструктура: Т
