Чат-боти на базі ШІ не вміють писати смішні жарти, з’ясували дослідники Google DeepMind під час експерименту.
Експерти попросили 20 професійних коміків використовувати чат-боти на кшталт ChatGPT і Bard для написання стендапа, а потім запропонували оцінити результати і поділитися своїми думками. Експеримент проводили на Единбурзькому фестивалі Fringe у серпні 2023 року та в інтернеті.
Виявилося, що великі мовні моделі (LLM) не можуть складати смішний текст. Стендапери зазначили, що результат вийшов «позбавленим смаку», «дуже поганим» і «нудним». Один із них заявив, що отримав «круїзний комедійний матеріал із 1950-х років, але трохи менш расистський».
Згідно з результатами дослідження, ШІ може створювати схеми і фрагменти тривалих стендап-програм, але йому бракує людяності, яка робила б матеріал кумедним. Люди «додають набагато більше нюансів, емоцій і тонкощів завдяки своєму життєвому досвіду».
ШІ не розуміє, що таке сарказм, чорний гумор чи іронія.
«У багатьох моїх речах є похмурі моменти, а тут він не став мені писати похмурі речі, бо вирішив, що я хочу покінчити життя самогубством. Тож він просто перестав мені щось давати», — зазначив один з учасників експерименту.
Коміки наголосили на важливості культурного контексту та аудиторії.
«Та комедія, яку я міг би знімати в Індії, сильно відрізнятиметься від тієї, яку я міг би знімати у Великій Британії, тому що мій соціальний контекст зміниться», — сказав один із них.
Гумор вимагає зміни рамок, тому його важко освоїти машині, зазначив дослідник Томас Вінтерс.
LLM генерували контент на базі всіх накопичених матеріалів, і намагаючись охопити всі можливі дисципліни, що внесло певну частку упередженості.
«Учасники зазначили, що наявні стратегії модерації, які використовуються у фільтрах безпеки та навчальні LLM, посилюють гегемоністські точки зору, знищуючи групи меншин і їхні погляди, і кваліфікували це як форму цензури», — йдеться в дослідженні.
Популярні LLM обмежені, зазначили експерти Google DeepMind. Вони прагнуть видавати чесні, нешкідливі та корисні результати.
Нагадаємо, вчені ШІ-підрозділу Google розробляють технологію для створення саундтреків до відео.
Раніше фахівці з DeepMind створили віртуального щура зі ШІ в якості мозку.
