Этот мини-ПК размером со смартфон попал в Книгу рекордов Гиннесса. Tiiny AI Pocket Lab способен локально запустить ИИ на 120 млрд параметров
Компания Tiiny AI представила мини-ПК AI Pocket Lab. Это очень компактное решение размером примерно со смартфон (только толще), которое уже попало в Книгу рекордов Гиннесса в категории The Smallest MiniPC (100B LLM Locally).
То есть это самый маленький компьютер, способный локально запустить большую языковую модель, насчитывающую 100 млрд параметров. А если точнее, то компания говорит о 120 млрд параметров.
Всех подробностей нет, но известно, что в основе новинки лежит 12-ядерный процессор на архитектуре Arm v9.2. Судя по всему, отдельно от процессора имеется также некая гетерогенная однокристальная система и дискретный NPU, которые в совокупности обеспечивают производительность в 190 TOPS.
Весьма внушительно, учитывая габариты, выглядят 80 ГБ памяти LPDDR5X. Также тут есть SSD объёмом 1 ТБ.
Облачный ИИ принес замечательный прогресс, но также создал зависимость, уязвимость и проблемы устойчивости. С помощью Tiiny AI Pocket Lab мы считаем, что …