Добавить новость

Сикорский ответил на вопрос о необходимости высылки посла России

Североосетинскими полицейскими изъята крупная партия немаркированной алкогольной продукции

Гендиректор Московского зоопарка рассказала, как детеныш малайского медведя адаптируется к новому месту

Досрочное выселение квартирантов в Москве закончилось побоями



News in English


Новости сегодня

Новости от TheMoneytizer

Researchers made an algorithm that can tell when AI is hallucinating

Despite how impressive AI like ChatGPT, Claude, and even Gemini might be, these large language models all have one big problem in common: they hallucinate a lot. This is a big problem in the AI world, and even Apple is worried about how it’ll handle hallucinations in the future with Apple Intelligence. Luckily, a group of researchers have now created an AI hallucination detector, which can tell if an AI has made something up.

These hallucinations have led to a number of embarrassing and intriguing slip-ups—and they continue to be one of the main reasons that AI like ChatGPT isn’t more useful. We’ve seen Google forced to make changes to its AI search overviews after the AI started telling people it was safe to eat rocks and to put glue on pizza. We’ve even seen lawyers who used ChatGPT to help write a court filing fined because the chatbot hallucinated citations for the document.

Perhaps those issues could have been avoided if they’d had the AI hallucination detector described in a new paper published in the journal Nature. According to the paper, a new algorithm developed by researchers can help discern whether AI-generated answers are factual roughly 79 percent of the time. That isn’t a perfect record, of course, but it is 10 percent higher than the other leading methods out there right now.

Chatbots like Gemini and ChatGPT can be useful, but they can also hallucinate answers very easily.

The research was carried out by members of Oxford University’s Department of Computer Science. The method used is relatively simple, the researchers explain in the paper. First, they have the chatbot answer the same prompt several times, usually five to ten. Then, they calculate a number for what we call semantic entropy—which is the measure of how similar or different the meanings of an answer are.

If the model answers differently for each of the prompt entries, then the semantic entropy score is higher, indicating that the AI might be hallucinating the answer. If the answers are all identical or have similar meanings, though, the semantic entropy score will be lower, indicating it is giving a more consistent and likely factual answer. As I said, it isn’t a foolproof AI hallucination detector, but it is an interesting way to handle it.

Other methods rely on what we call naive entropy, which usually checks to see if the wording of an answer, rather than its meaning, is different. As such, it isn’t as likely to pick up on hallucinations as accurately because it isn’t looking at the meaning behind the words in the sentence.

The researchers say that the algorithm could be added to chatbots like ChatGPT via a button, allowing users to receive a "certainty score” for the answers they are given to their prompts. Having an AI hallucination detector built directly into the chatbot is enticing, so I can see the usefulness of adding such a tool to the various chatbots out there.

The post Researchers made an algorithm that can tell when AI is hallucinating appeared first on BGR.

Today's Top Deals

  1. Today’s deals: $150 off GEEKOM mini PC, $21 TOZO earbuds, $90 Ninja Air Fryer Pro, $360 Galaxy A35, more
  2. Today’s deals: $714 Apple Watch Ultra 2, $30 Thermacell mosquito repeller, $130 Instant Pot Duo Plus, more
  3. Best laptop deals for 2024
  4. Amazon gift card deals, offers & coupons 2024: Get $380+ free

Researchers made an algorithm that can tell when AI is hallucinating originally appeared on BGR.com on Sun, 23 Jun 2024 at 15:12:00 EDT. Please see our terms for use of feeds.

Читайте на 123ru.net


Новости 24/7 DirectAdvert - доход для вашего сайта



Частные объявления в Вашем городе, в Вашем регионе и в России



Smi24.net — ежеминутные новости с ежедневным архивом. Только у нас — все главные новости дня без политической цензуры. "123 Новости" — абсолютно все точки зрения, трезвая аналитика, цивилизованные споры и обсуждения без взаимных обвинений и оскорблений. Помните, что не у всех точка зрения совпадает с Вашей. Уважайте мнение других, даже если Вы отстаиваете свой взгляд и свою позицию. Smi24.net — облегчённая версия старейшего обозревателя новостей 123ru.net. Мы не навязываем Вам своё видение, мы даём Вам срез событий дня без цензуры и без купюр. Новости, какие они есть —онлайн с поминутным архивом по всем городам и регионам России, Украины, Белоруссии и Абхазии. Smi24.net — живые новости в живом эфире! Быстрый поиск от Smi24.net — это не только возможность первым узнать, но и преимущество сообщить срочные новости мгновенно на любом языке мира и быть услышанным тут же. В любую минуту Вы можете добавить свою новость - здесь.




Новости от наших партнёров в Вашем городе

Ria.city

Совет депутатов Одинцова утвердил состав председателей постоянных комиссий

Врачи НИКИ детства отметили, что детям с нежной кожей нужна особая терапия

Курская область подтвердила статус «самой соловьиной»

Россия и Казахстан договорились о совместном использовании телефонного кода +7

Музыкальные новости

Выступление Путина на съезде ФНПР в Москве. Главное

«Зенит» разгромил «Самару» в матче Единой лиги ВТБ

Компания «Мария» рассказала о новых решениях для девелопмента на конференции Московского Бизнес-клуба

Республиканец Шварценеггер поддержал демократа Харрис на предстоящих выборах

Новости России

Школьники Москвы проходят этапы отбора в антарктическую экспедицию

Семак ответил на вопрос о кадровой ситуации в «Зените»

Фонтаны подготовили к зимнему сезону в Москве

Как сбой в ГАС «Правосудие» изменил работу владимирских адвокатов и силовиков?

Экология в России и мире

Тайны мёда: врач Кутушов рассказал про целебные свойства и особенности нагревания

Пегас-Туристик сделал важное заявление о турах на зимний сезон

РЕАЛЬНАЯ ПРЕМИЯ MUSICBOX возвращается: 20-летие канала в ритме хитов

Совместный сон с питомцем: токсиколог Кутушов разобрался в преимуществах и недостатках такого соседства

Спорт в России и мире

Теннисистки Соболенко и Рыбакина сыграют в одной группе на Итоговом турнире

Арина Соболенко ударила по голове фотографа. Видео

Познер о включении Шараповой в Зал славы: «Представители тенниса умнее и дальновиднее своих коллег по другим видам спорта»

Теннисист Медведев заявил, что поражение на "Мастерсе" ударило по уверенности

Moscow.media

В Мытищах состоялась отчетно-выборная конференция профсоюза жизнеобеспечения

В Мытищах состоялась отчетно-выборная конференция профсоюза жизнеобеспечения

В честь исполнителя роли Шурика из "Операции "Ы" назвали улицу в Екатеринбурге

Bluetooth-сканер штрих-кодов SAOTRON P04 на базе CMOS-матрицы











Топ новостей на этот час

Rss.plus






Бесплатные парковки для велокурьеров появились в столице

В Петербурге прошли «Восьмые Яблоковские чтения». Всероссийская научно-практическая конференции памяти известного учёного, эколога, политика Алексея Владимировича Яблокова

Блогер Аяз Шабутдинов пробудет в СИЗО до 3 февраля 2025 года

Преимущества мобильного приложения «112 МО» назвали в Подмосковье