NVIDIA выпустила Chat With RTX, демонстрацию локального исполнения приложений ИИ в ранней бета-версии. Это означает, что языковая модель может не только выполняться локально, но и, теоретически, обучаться на собственных данных. По сути, перед нами технологическая демонстрация, поскольку Chat With RTX, естественно, опирается на многие аппаратные и программные технологии, разработанные NVIDIA.
Среди них – RAG (Retrieval Augmented Generation). RAG предназначена для повышения точности и надежности генеративных моделей ИИ, позволяя обращаться к внешним источникам для проведения своего рода проверки фактов. В Chat With RTX также используется TensorRT-LLM в качестве API между аппаратным и программным обеспечением. TensorRT-LLM повышает производительность LLM на графических процессорах с архитектурой Ampere, Ada-Lovelace и Hopper. Конечно, задействуются ядра Tensor вышеупомянутых архитектур GPU.
{nozuna nzimagefromgallery}d9ba49b2-ca81-11ee-88a5-000c29322405 0{/nozuna nzimagefromgallery}Для локальной установки требуется некоторое количество свободного места на диске. Точнее, 69,1 ГБ для ...
