Весовая категория T-lite — 7-8 млрд параметров. Она обогнала зарубежные Chat-GPT 3.5 и Llama-3-8B-Instruct по показателям на индустриальных и внутренних бенчмарках. При этом T-lite создана с использованием всего 3% вычислительных ресурсов, которые обычно требуются для такого типа моделей.
Центр искусственного интеллекта Т-Банка (AI-Центр) открыл доступ к своей большой языковой модели T-lite. Индустриальные и внутренние бенчмарки показали, что T-lite показывает лучшие результаты в решении бизнес-задач на русском языке среди открытых моделей размером 7-8 млрд параметров. Об этом было объявлено на первой конференции Т-Банка по машинному обучению Turbo ML Conf.
Модель T-lite — это инструмент разработки. С ее помощью компании смогут создавать LLM-приложения для собственного использования без передачи данных третьим лицам. Например, ассистентов поддержки, которые могут автоматически обрабатывать запросы клиентов и предоставлять мгновенные ответы, инструменты для анализа и обобщения больших объемов текста, таких как отчеты или исследования, интеллектуальные поисковые системы, которые могут находить нужную информацию с учетом контекста, модели суммаризации текста.
T-lite выпущена в размере 8 миллиардов параметров. Параметры — это числовые значения, которые модель настраивает, чтобы лучше понимать и генерировать текст. Чем больше параметров, тем больше возможностей у модели для выполнения сложных заданий, но с увеличением размера также ухудшается экономическая эффективность модели. T-lite же после дообучения на конкретные бизнес-задачи в области обработки естественного языка (NLP) дает качество, сопоставимое с проприетарными моделями размером от 20 миллиардов параметров. При этом модель в разы дешевле в эксплуатации.
