Добавить новость

СДВГ у детей: эксперт Бейбуд-заде-Уголини о росте диагнозов и помощи детям

В Петербурге суд отозвал лицензию частного охранника с бредовым расстройством

«Автодор» запускает акцию в поддержку многодетных семей для выгодных поездок по платным трассам

Верующие пришли к Соборной мечети в Москве на проповедь в Курбан-байрам

News in English


Новости сегодня

Новости от TheMoneytizer

Tailoring AI models with ‘black-box forgetting’

Artificial Intelligence (AI) has come along way in the past decade. The vastly improved capabilities of large-scale vision-language models like CLIP and ChatGPT have allowed them to perform reasonably well in a wide range of tasks, but this versatility sometimes comes at a cost.

Not only is training and operating such models extremely energy and time-intensive, but their generalist ‘jack-of-all-trades’ capabilities could potentially be counter-productive within many practical applications, reducing the accuracy of responses. In an attempt to overcome this challenge, researchers from the Tokyo University of Science (TUS) have been working on a new method to enhance the efficiency of AI models, while also improving privacy.

Dubbed ‘black-box forgetting’, the methodology is designed to iteratively optimise the text prompts present to a black-box vision-language classifier model to have it selectively ‘forget’ some of the classes it can recognise.

“In practical applications, the classification of all kinds of object classes is rarely required,” said TUS Associate Professor, Go Irie. “For example, in an autonomous driving system, it would be sufficient to recognise limited classes of objects, such as cars, pedestrians and traffic signs. We would not need to recognise food, furniture or animal species. Retaining the classes that do not need to be recognised may decrease overall classification accuracy, as well as cause operational disadvantages such as the waste of computational resources and the risk of information leakage.”

Although some methods for selective forgetting in pre-trained models do exist, these assume a white-box setting, where the user has access to the internal parameters and architecture of the model. More often than not, users deal with black-boxes; they do not have access to the model itself or most of its information.

The researchers therefore developed a derivative-free optimisation strategy which does not require access to the model. The researchers extended a method known as CMA-ES, using CLIP AI as the target model. The algorithm works by sampling various candidate prompts to feed the model and evaluate the results via predefined objective functions, updating a multivariate distribution based on the calculated values.

The algorithm wasn’t perfect, though, with the performance of the optimisation techniques deteriorating quickly for large-scale problems. To solve this, the researchers developed a new parametrisation technique called ‘latent context sharing’ which involved decomposing latent content derived from prompts into smaller elements which were considered to be ‘unique’ to a prompt token or ‘shared’ between multiple tokens. Using smaller units reduced the dimensionality of the issue at hand, making it more manageable for the algorithm.

Irie and his team validated their approach using several benchmark image classification datasets, trying to get CLIP to ‘forget’ 40% of the classes in a given dataset. According to the team, this marks the first study in which the goal is to have a pre-trained vision-language model fail to recognise specific classes under black-box conditions. Based on ‘reasonable performance baselines’ the results were promising, the researchers claimed.

So, what implications could this have on AI and machine learning? According to the researchers, it could help large-scale models perform better at specialised tasks and therefore increase their applicability. Alternatively, the method could help to prevent image generation models from producing undesirable content, or help tackle privacy issues.

“If a service provider is asked to remove certain information from a model, this can be accomplished by retraining the model from scratch by removing problematic samples from the training data,” said Irie. “However, retraining a large-scale model consumes enormous amounts of energy. Selective forgetting, or so-called machine unlearning, may provide an efficient solution to this problem.”

 

Читайте на 123ru.net


Новости 24/7 DirectAdvert - доход для вашего сайта



Частные объявления в Вашем городе, в Вашем регионе и в России



Smi24.net — ежеминутные новости с ежедневным архивом. Только у нас — все главные новости дня без политической цензуры. "123 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. Smi24.net — облегчённая версия старейшего обозревателя новостей 123ru.net. Мы не навязываем Вам своё видение, мы даём Вам срез событий дня без цензуры и без купюр. Новости, какие они есть —онлайн с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии. Smi24.net — живые новости в живом эфире! Быстрый поиск от Smi24.net — это не только возможность первым узнать, но и преимущество сообщить срочные новости мгновенно на любом языке мира и быть услышанным тут же. В любую минуту Вы можете добавить свою новость - здесь.




Новости от наших партнёров в Вашем городе

Ria.city

В Петербурге суд отозвал лицензию частного охранника с бредовым расстройством

Сергей Собянин: ПВО уничтожило беспилотник на подлете к Москве

Синоптик Леус: на выходных в Москве будут грозы и прохладнее, чем ожидалось

Троицкая родительская суббота и Троица: богослужения в храмах Екатеринбурга

Музыкальные новости

Калуга принимает проект «Классика для всей семьи»: яркий музыкальный вечер с лауреатами конкурсов

Гауфф и Соболенко встретятся в финале "Ролан Гаррос"

Журналист Маттос: "Спартак" не намерен продавать Барко дешевле €18 млн

"Яндекс Карты" предлагает детальную разметку улиц в более 40 городах России

Новости России

Троицкая родительская суббота и Троица: богослужения в храмах Екатеринбурга

Собянин: силы ПВО уничтожили беспилотник, летевший в Москву

Шишкарев обвинил гендиректора «Черноморца» в попытке устроить договорной матч

В ГУРБ рассказали дачникам о способах защиты от грабителей

Экология в России и мире

«Алгоритмы познания» – раскрываем с Relax FM

7 пагубных привычек, которые разрушают наше сердце!

В Подмосковье стартовал эколого-просветительский проект для детей

Концерт академического хора пройдет в районе Ивановское

Спорт в России и мире

Джокович побеждает Зверева и выходит в полуфинал "Ролан Гаррос"

Зверев: Джокович по-прежнему способен удивлять

«Не стоит придавать значение рейтингу». Журналист из США — о победе Буассон над Андреевой

Арина Соболенко впервые в своей карьере вышла в финал «Ролан Гаррос»

Moscow.media

Где снимали фильм "Спортлото 82": как изменились места съемок за много лет

Решение MILA: новый уровень заботы о здоровье за счет цифрового взаимодействия клиник и пациентов

Героическое участие армян в СВО. Часть четырнадцатая

Пеларгония у "Раковой"











Топ новостей на этот час

Rss.plus






Предпринимателя Арега Щепихина, похищенного у Ярославского вокзала, отправили в СИЗО по делу об экстремизме

Власти Москвы: пятый беспилотник ВСУ сбит в столичном регионе

Более 70 школьных музеев представили выставки в Музее Победы в учебном году

«Автодор» запускает акцию в поддержку многодетных семей для выгодных поездок по платным трассам