Добавить новость

В Калугу съедутся лучшие труппы из 10 городов на Всероссийский театральный фестиваль

Антонов сообщил о продолжении Москвы и Вашингтона работы над обменом заключенными

Во Владимирской области стартовал проект «Александрова дорога»

Орловский хирург Мамошин уехал работать в московский Центр им. Вишневского

News in English


Новости сегодня

Новости от TheMoneytizer

Inbred, gibberish or just MAD? Warnings rise about AI models

Inbred, gibberish or just MAD? Warnings rise about AI models

The Habsburgs were one of Europe's most powerful royal houses, but entire sections of their family line collapsed after centuries of inbreeding.

Recent studies have shown how AI programs underpinning products like ChatGPT go through a similar collapse when they are repeatedly fed their own data.

"I think the term Habsburg AI has aged very well," Sadowski told AFP, saying his coinage had "only become more relevant for how we think about AI systems".

The ultimate concern is that AI-generated content could take over the web, which could in turn render chatbots and image generators useless and throw a trillion-dollar industry into a tailspin.

But other experts argue that the problem is overstated, or can be fixed.

And many companies are enthusiastic about using what they call synthetic data to train AI programs. This artificially generated data is used to augment or replace real-world data. It is cheaper than human-created content but more predictable.

"The open question for researchers and companies building AI systems is: how much synthetic data is too much," said Sadowski, lecturer in emerging technologies at Australia's Monash University.

'Mad cow disease'

Training AI programs, known in the industry as large language models (LLMs), involves scraping vast quantities of text or images from the internet.

This information is broken into trillions of tiny machine-readable chunks, known as tokens.

When asked a question, a program like ChatGPT selects and assembles tokens in a way that its training data tells it is the most likely sequence to fit with the query.

But even the best AI tools generate falsehoods and nonsense, and critics have long expressed concern about what would happen if a model was fed on its own outputs.

In late July, a paper in the journal Nature titled "AI models collapse when trained on recursively generated data" proved a lightning rod for discussion.

The authors described how models quickly discarded rarer elements in their original dataset and, as Nature reported, outputs degenerated into "gibberish".

A week later, researchers from Rice and Stanford universities published a paper titled "Self-consuming generative models go MAD" that reached a similar conclusion.

They tested image-generating AI programs and showed that outputs become more generic and strafed with undesirable elements as they added AI-generated data to the underlying model.

They labelled model collapse "Model Autophagy Disorder" (MAD) and compared it to mad cow disease, a fatal illness caused by feeding the remnants of dead cows to other cows.

'Doomsday scenario'

These researchers worry that AI-generated text, images and video are clearing the web of usable human-made data.

"One doomsday scenario is that if left uncontrolled for many generations, MAD could poison the data quality and diversity of the entire internet," one of the Rice University authors, Richard Baraniuk, said in a statement.

However, industry figures are unfazed.

Anthropic and Hugging Face, two leaders in the field who pride themselves on taking an ethical approach to the technology, both told AFP they used AI-generated data to fine-tune or filter their datasets.

Anton Lozhkov, machine learning engineer at Hugging Face, said the Nature paper gave an interesting theoretical perspective but its disaster scenario was not realistic.

"Training on multiple rounds of synthetic data is simply not done in reality," he said.

However, he said researchers were just as frustrated as everyone else with the state of the internet.

"A large part of the internet is trash," he said, adding that Hugging Face already made huge efforts to clean data -- sometimes jettisoning as much as 90 percent.

He hoped that web users would help clear up the internet by simply not engaging with generated content.

"I strongly believe that humans will see the effects and catch generated data way before models will," he said.

Читайте на 123ru.net


Новости 24/7 DirectAdvert - доход для вашего сайта



Частные объявления в Вашем городе, в Вашем регионе и в России



Smi24.net — ежеминутные новости с ежедневным архивом. Только у нас — все главные новости дня без политической цензуры. "123 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. Smi24.net — облегчённая версия старейшего обозревателя новостей 123ru.net. Мы не навязываем Вам своё видение, мы даём Вам срез событий дня без цензуры и без купюр. Новости, какие они есть —онлайн с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии. Smi24.net — живые новости в живом эфире! Быстрый поиск от Smi24.net — это не только возможность первым узнать, но и преимущество сообщить срочные новости мгновенно на любом языке мира и быть услышанным тут же. В любую минуту Вы можете добавить свою новость - здесь.




Новости от наших партнёров в Вашем городе

Ria.city

Сериал "Чудо" про доброго полицейского снимают во Владимире

Во Владимирской области стартовал проект «Александрова дорога»

В Калугу съедутся лучшие труппы из 10 городов на Всероссийский театральный фестиваль

Каждый десятый участник ДТП в Москве тратит на ремонт свыше 100 тысяч рублей

Музыкальные новости

"Игры": каким получился сериал о подготовке Олимпиады-80

Пассажир перебежал из одного самолёта в другой прямо по лётному полю во Внуково

Табун инноходцев. Где в России лучше всего затевать передовые проекты

CNN сообщило о роли Харрис в обмене заключенными с Россией

Новости России

Школу №11 капитально отремонтируют в Серпухове к сентябрю

Соревнования по хоккею за Кубок Овечкина начались в Красногорске

Три дня на пределе сил. Главное было — спасти людей: хронология работ на месте ЧП в Нижнем Тагиле

Суд Москвы оштрафовал Twitch на 5 млн рублей за неудаление контента

Экология в России и мире

Жители Снежинска помогут сделать родной город чище

Выбросить и забыть: какая обувь портит ваш образ

Губернатор Оренбургской области Денис Паслер посетил Оренбургский ЛРЗ Желдорреммаш в рамках празднования Дня железнодорожника

Сотрудник СЛД «Москва-Сортировочная» филиала «Московский» компании «ЛокоТех-Сервис» принял участие во II Слете лидеров молодежных советов компаний.

Спорт в России и мире

Теннисиста Дениса Шаповалова дисквалифицировали с турнира ATP-500 в Вашингтоне

Одна медаль на всю страну: Россия осталась с серебром теннисного турнира Игр в Париже

Алькарас расплакался после поражения в финале Олимпийских игр в Париже

Азаренко вышла в ¼ финала турнира WTA-500 в Вашингтоне

Moscow.media

Филиал № 4 ОСФР по Москве и Московской области информирует: Пенсии работающих пенсионеров начнут индексироваться с 2025 года

Филиал № 4 ОСФР по Москве и Московской области информирует: 2,5 млн жителей Москвы и Московской области получили пособия по временной нетрудоспособности с начала 2024 года

ВОЗ сообщила о быстром распространении в мире устойчивой к антибиотикам бактерии

С августа были повышены страховые пенсии более миллиона работающих пенсионеров Москвы и Московской области











Топ новостей на этот час

Rss.plus






Подмосковная служба помощи при ДТП приняла свыше 2 тысяч звонков за неделю

Глава нижегородского агентства недвижимости претендует на звание «Миссис Россия»

Сериал "Чудо" про доброго полицейского снимают во Владимире

В Калугу съедутся лучшие труппы из 10 городов на Всероссийский театральный фестиваль