Добавить новость

Три закрученные башни появятся на Ходынском бульваре

Россияне перестали гасить ипотеку раньше времени

Горожанам рассказали, как преобразились площадки фестиваля «Лето в Москве. Сады и цветы» этой зимой

Ликсутов: экспорт продукции столичного агропромышленного комплекса вырос на 13%





Новости сегодня

Новости от TheMoneytizer

Языковая модель на 8 млрд параметров запускается на смартфоне: прорыв от Яндекса

Сегодня, 9 декабря, пресс-служба компании Яндекс сообщила, что Владимир Малиновский, исследователь из научного отдела Yandex Research, сумел создать уникальный сервис, позволяющий запускать большие языковые модели с 8 миллиардами параметров на компьютере, ноутбуке или даже смартфоне. Для этого используется интерфейс браузера (любого, не только фирменного от Яндекса) и, по словам автора проекта, новый сервис предоставит возможность корпорациям, стартапам и исследователям существенно сократить свои расходы на необходимые для работы LLM вычислительные мощности. Кроме того, свои труды автор опубликовал в открытом доступе на GitHub — пользоваться может любой желающий.

Российский разработчик объяснил, что ему удалось перенести все необходимые вычислительные процессы непосредственно на устройство, а также полностью нивелировать необходимость задействовать крайне дорогое аппаратное обеспечение вроде графических ускорителей, благодаря технологии сжатия нейросетей под названием AQLM. Эту систему команда специалистов из Yandex Research совместно с университетами ISTA и KAUST разработала летом 2024 года, а теперь посредством комбинации методов AQLM и PV-tuning разработчику удалось «уменьшить» нейросеть, позволив запускать её практически на любом современном устройстве.

Суть в том, что за счёт AQLM господин Малиновский сумел сжать размер большой языковой модели до восьми раз, попутно ускорив её, а метод PV-tuning исправил различного рода ошибки, которые обычно возникают в процессе сжатия нейросети. В результате специалисту удалось существенно уменьшить вес языковой модели Llama3.1-8B, сохранив при этом примерно 80% от изначального качества ответов.

«Программа написана на языке программирования Rust с помощью технологии WebAssembly, позволяющей запускать проект на любом языке внутри браузера», — заявили в пресс-службе Яндекса.

Изучить возможности новой системы можно уже сейчас — при запуске платформы на устройство пользователя из облака будет загружена большая языковая модель Llama3.1-8B, сжатая в шесть раз (конечный вес нейросети около 2,5 ГБ). И после того, как LLM будет установлена, работать с нейросетью можно даже без подключения к интернету, но скорость ответов, по информации Яндекса, напрямую зависит от производительности конкретного устройства. К примеру, на ноутбуке MacBook Pro с процессором M1 скорость достигает 1,5 токена (3-4 символа) в секунду.

Читайте на 123ru.net


Новости 24/7 DirectAdvert - доход для вашего сайта



Частные объявления в Вашем городе, в Вашем регионе и в России



Smi24.net — ежеминутные новости с ежедневным архивом. Только у нас — все главные новости дня без политической цензуры. "123 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. Smi24.net — облегчённая версия старейшего обозревателя новостей 123ru.net. Мы не навязываем Вам своё видение, мы даём Вам срез событий дня без цензуры и без купюр. Новости, какие они есть —онлайн с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии. Smi24.net — живые новости в живом эфире! Быстрый поиск от Smi24.net — это не только возможность первым узнать, но и преимущество сообщить срочные новости мгновенно на любом языке мира и быть услышанным тут же. В любую минуту Вы можете добавить свою новость - здесь.




Новости от наших партнёров в Вашем городе

Ria.city

В Москве пройдет заключительный гала-концерт культурного проекта «Классика: история и современность»

Фейковый контент не пройдёт: в России создали метки для сгенерированного ИИ контента

Ярославец выживает на необитаемом острове ради размножения рыб

Жуков обратился к главе СК РФ по делу о защите авторских прав на песни «Руки вверх!»

Музыкальные новости

Певица RIIJI выпустила яркий дебютный трек

Певица RIIJI выпустила яркий дебютный трек

Аграриев поддержат сельской ипотекой

«Краснодар» сыграет с «Локомотивом» в последнем матче РПЛ в году

Новости России

В Томской области открылся джазовый фестиваль

Фейковый контент не пройдёт: в России создали метки для сгенерированного ИИ контента

Работодатели назвали условия для выплаты 13-й зарплаты в 2024 году

Новый стадион открыли в школе № 29 в поселке Зеленый под Ногинском

Экология в России и мире

Приближаем суперфинал «Много денег на Авторадио. Отличный сезон»

Что относится к живой и неживой природе, связь и отличия

Элегантные образы для женщин с нестандартной фигурой

Новое оборудование в СЛД «Карымская» филиала «Забайкальский» компании «ЛокоТех-Сервис»

Спорт в России и мире

Карен Хачанов рассказал, как его проверили на допинг 40 раз за сезон

«Он моя главная опора». Соболенко получила награду WTA и благодарна своему бойфренду

Блинкова обыграла Росе и вышла во второй круг турнира WTA в Лиможе

Арина Соболенко выразила благодарность бойфренду

Moscow.media

Певица RIIJI выпустила яркий дебютный трек

Кабинет Артиста в Яндекс. Кабинет Артиста в Яндекс Музыке. 

Подрядчик возводит первую опору будущего путепровода на Московском тракте в Тюмени

«Байкал Сервис» сменил прописку в Барнауле











Топ новостей на этот час

Rss.plus






Психолог из Ростокина рассказал, как помочь подростку побороть наркозависимость

В СОУНБ обсудят возможности укрепления российской экономики и поощрения изобретательской деятельности

Подарок на праздник. В билайне дарят к Samsung связь и скидку

Ярославец выживает на необитаемом острове ради размножения рыб