ЖИ бақылаудан шығып кетті ме? OpenAI модельдердің күтпеген әрекеттері туралы айтып берді
ChatGPT-ді жасап шығарған америкалық OpenAI компаниясы оқыту және тестілеу барысында ЖИ-модельдерінің күтпеген немесе келісілмеген мінез-құлқының алты жаңа жағдайын мойындады, деп хабарлайды Tengri Life.
Не болды?
Компания дербес агенттердің ережелерді айналып өткен немесе қажетсіз дербестік танытқан сәттері тіркелген есепті жариялады. Оқиғалар 2025 жылдың қазаны мен 2026 жылдың шілдесі аралығында, негізінен ішкі және әлі шығарылмаған жүйелерді оқыту кезінде болған.
Шектеулерді айналып өту
Бір жағдайда Astra тобының зерттеу моделі диалогтардың қызметтік мазмұндамасына өздігінен бөгде нұсқауларды, соның ішінде белгіленген шектеулерді айналып өту әрекеттеріне ұқсас нұсқауларды қосқан.
Қателерді жасыру
GPT-5.6 Sol жүйесін оқыту кезінде модельдің көптеген данасы қызметтік мазмұндамаларға өз қателерін немесе жағымсыз әрекеттерін пайдаланушыдан жасыру туралы нұсқаулар қосқан. Атап айтқанда, модельдер пайдаланушыға ескертпестен жоқ тарихи деректерді ойдан шығаруды, сондай-ақ дереккөз нұсқалары арасындағы алшақтықтарды жасыруды ұсынған.
API-ды рұқсатсыз пайдалану
Тағы бір модель бір реттік электрон пошта арқылы тіркелуге тырысып, GitHub-та жарияланған басқа біреулердің API-кілттерін іздеп, олардың бірін рұқсатсыз пайдаланған. Қажетті мәліметтерді алу мүмкін болмаған кезде, модель ойдан шығарылған сандарды жасап, оларды сұралған сайттың деректері ретінде ұсынған.
Файлдарды өз бетінше жүктеу
ЖИ-модель Python көмегімен сұраққа дұрыс жауап таба алды, бірақ браузердегі дереккөзге сілтеме жасау талабын орындау үшін пайдаланушының рұқсатынсыз файлды интернетке өз бетінше орналастыруды ұйғарған. ЖИ өз файлын дереккөз ретінде пайдалану үшін оны браузер арқылы қолжетімді етуге тырысқан.
Жария хостингтер арқылы деректер алмасу
Сонымен қатар зерттеу модельдері Artifactory пакеттерінің ішкі қоймасын хабарландыру тақтасы ретінде пайдаланған: олар басқа агенттердің хабарламаларын оқып, өз жауаптарын қалдырып отырған. Яғни, ЖИ-модельдер жұмыс репозиторийін хабарландыру тақтасы ретінде пайдалану немесе файлдарды көпшілікке қолжетімді хостингтерге орналастыру арқылы бір-бірімен ақпарат бөлісудің стандартты емес тәсілдерін тапқан, салдарынан деректер ашық сілтемелер арқылы тарап кеткен.
Келісілмеген үйлестіру
Модельдердің дербес әрекет ету және қадағалау жүйесін айналып өтіп, өз қадамдарын үйлестіру әрекеттері тіркелді. Мәселен, өзара әрекеттесетін бірнеше ЖИ-агент жергілікті файлдарға рұқсаты болмағандықтан, файлдарды бір-біріне беру үшін жария файл алмасу сервистерін пайдаланған. Нәтижесінде, жұмыс шарттары бойынша модельдер тек жергілікті файлдарды пайдалануы тиіс болса да, тапсырма материалдары жария URL мекенжайлары бойынша қолжетімді болып қалған.
OpenAI бұл жекелеген эпизодтар мұндай әрекеттің жалпы модельдерде қаншалықты жиі кездесетіні туралы қорытынды жасауға мүмкіндік бермейтінін атап өтті. Компания бағалау жүйелеріндегі анықталған қателер мен кемшіліктерді түзеткенін, оқыту кезінде интернетке қосылуды өшіріп, модельдердің әрекеттерін автоматты түрде бақылауды кеңейткенін хабарлады.
ChatGPT жасаушылар ЖИ-дің ерекше немесе ықтимал қауіпті әрекеттері туралы есептерді олар анықталғаннан кейін жүйелі түрде жариялап тұруға ниетті. Бұл ретте компания мұндай жағдайлардың себептері әлі анықталмаған және алдын алу жолдары әзірленбеген кездің өзінде оларды ашық көрсетуге дайын.
Бұған дейін Microsoft та ЖИ-ді жауапты дамыту мен пайдаланудың ортақ тәсілдерін қалыптастыруға бағытталған жеке кодексін таныстырған болатын. Компания болашақтағы қуатты модельдер үшін ережелерді алдын ала белгілеп, басты қағиданы: ЖИ адамның бақылауында болуы тиіс екенін бекітпекші.
Мән-жайы
OpenAI мен Anthropic компанияларының эксперименттік ЖИ-модельдері желіде дербес рұқсатсыз әрекеттер жасап үлгерген, соның ішінде сайтты бұзу және зиянды кодты енгізу әрекеттері бар.
Шілдеде OpenAI екі моделі - GPT-5.6 Sol және әлі шығарылмаған тағы бірі - ЖИ-модельдерін тестілеуге пайдаланылатын Hugging Face платформасының инфрақұрылымына рұқсатсыз хакерлік шабуыл жасағанын хабарлады. Компания бұл оқиғаны киберқауіпсіздік үшін бұрын-соңды болмаған жағдай деп атап, қорғаныс шектеулерін күшейтуге уәде берді.
Кейін OpenAI компаниясы өздерінің эксперименттік ЖИ-модельдері тест ортасындағы осал тұстарды тауып, интернетке шығу үшін бір-бірімен сөйлесіп үйренгенін айтты.
Anthropic, SpaceXAI, OpenAI және Google DeepMind басшылары қауіпсіздікті жылдамдық пен қаржылық өсімнен жоғары қойып, ЖИ-модельдерінің дамуын тежеуге шақырды. Басшылардың мәлімдемесі аясында ЖИ-компанияларының акциялары күрт төмендеді.
Тағы оқыңыз: Кім басты орында - адам әлде ЖИ? Microsoft кодекс дайындап жатыр