Движок vLLM, предназначенный для эффективного запуска крупных языковых моделей, официально стал частью экосистемы фреймворка PyTorch. Об этом сообщили разработчики проекта, отметив, что интеграция предоставит новые возможности для оптимизации, управления ресурсами и улучшения совместимости с различными аппаратными решениями. При этом код vLLM останется открытым, и сторонние разработчики смогут продолжить его улучшать и вносить свой вклад. От […]
