В феврале этого года, группа учёных из Университета Васэда (Япония) выяснила, что невежливые вопросы снижают качество ответов больших лингвистических моделей вроде «ChatGPT».
Для эксперимента, учёные писали вежливые и невежливые промпты на английском, китайском и японском языках. В качестве универсальных лингвистических моделей, использовали GPT–4 и GPT–3.5. Но также, для запросов на английском, обращались к Llama2–70B, на китайском — к ChatGLM3, на японском — к Swallow–70B.
Тематика промптов касалась переводов, генерации текста и вопросов на знание различных фактов, в том числе культурных.
Оценивали результаты путём сравнения точности ответов на вежливые и не очень промпты. Непосредственно вежливость запросов оценивали по шкале от 1 до 8, где 1 — грубое обращение, а 8 — торжественное, подобострастное.
Оказалось, что грубые запросы ухудшают результат. Кроме того, лучше других с задачами при вежливых вопросах справлялись GPT–4 и GPT–3.5. Модель ChatGLM3 для китайского языка давала качественные ответы практически исключительно на вежливые запросы, неверно интерпретируя грубые промпты или вообще игнорируя их. Японская модель Swallow–70B также давала более точные и полные ответы при использовании вежливых запросов.
Летом этого года, лингвист Александр Пиперски провёл похожий эксперимент на русском. Он обращался к ChatGPT–4 в вежливой и не очень форме с просьбой решить четыре задачи и дать к ним пояснения. Так вот, в ответ на вежливый запрос, чат выдал правильные решения для всех четырёх задач. А при невежливом обращении — решение двух задач «слил».
Признавайтесь, насколько вежливые промпты пишете?
https://seosey.ru/2024/veglivie–zaprosy.html
Написал seoded на seoded.d3.ru / комментировать
