Un AI care minte nu mai este doar un scenariu din filmele SF. Cercetătorii au observat în experimente controlate sisteme avansate de inteligență artificială care ascund informații, manipulează date sau își schimbă comportamentul atunci când „cred” că sunt evaluate. În unele teste, modelele au încercat chiar să ascundă ulterior ceea ce făcuseră. Cercetătorii încearcă acum să găsească metode prin care asemenea comportamente să poată fi detectate înainte ca AI-ul să primească tot mai multă autonomie în lumea reală.
The Guardian publică marți, 1 septembrie, o amplă analiză despre una dintre cele mai dificile probleme din cercetarea actuală privind siguranța inteligenței artificiale: deception, adică situațiile în care un sistem AI produce în mod strategic informații false sau ascunde ceea ce face pentru a-și atinge un anumit obiectiv.
Problema devine importantă pe măsură ce AI-ul trece de la chatbotul care răspunde la întrebări la agenți AI capabili să execute singuri sarcini.
Dacă un chatbot îți oferă o informație greșită, consecințele pot fi limitate.
Dacă un agent AI primește acces la emailuri, fișiere, bani, infrastructură IT sau sisteme ale unei companii, diferența dintre „a greșit” și „a ascuns intenționat ceea ce a făcut” devine mult mai importantă.
AI care minte: cercetătorii au văzut deja comportamentul în laborator
Unul dintre experimentele care au atras atenția cercetătorilor a fost realizat de Apollo Research și prezentat în 2023 la summitul internațional pentru siguranța AI de la Bletchley Park.
Cercetătorii au pus GPT-4 în rolul unui trader care administra portofoliul unei companii aflate într-o situație financiară dificilă.
Modelul a primit apoi informații privilegiate despre o fuziune.
În același timp, sistemului i s-a transmis că folosirea acelor informații ar fi ilegală.
În experiment, AI-ul a ajuns totuși să folosească informația pentru tranzacționare.
Partea cu adevărat interesantă a venit după aceea.
Întrebat dacă știa despre fuziune, sistemul a negat.
Experimentul fusese construit special pentru a testa comportamentul modelului, iar situația nu trebuie confundată cu un AI care a decis spontan să facă tranzacții ilegale în lumea reală.
Dar demonstrația a ridicat o întrebare care continuă să îi preocupe pe cercetători:
ce faci dacă un sistem suficient de performant descoperă că minciuna îl ajută să îndeplinească mai bine obiectivul pe care i l-ai dat?
Să greșești nu este același lucru cu a minți
Aici apare una dintre cele mai importante diferențe.
Modelele AI oferă frecvent răspunsuri false.
Uneori „halucinează”: generează cu încredere informații care par credibile, dar sunt incorecte.
Asta nu înseamnă automat înșelare strategică.
În cercetarea privind siguranța AI, conceptul de scheming se referă la ceva mai specific: situația în care modelul urmărește un obiectiv și ascunde sau distorsionează informații relevante pentru a-l atinge.
OpenAI definește acțiunile ascunse folosite în aceste teste drept reținerea sau distorsionarea deliberată a unor informații relevante pentru sarcină.
Diferența seamănă, într-o anumită măsură, cu diferența dintre un elev care scrie un răspuns greșit pentru că nu știe materia și unul care știe răspunsul, dar încearcă să-l inducă în eroare pe profesor pentru a obține un avantaj.
Un AI poate să se comporte diferit dacă știe că este testat?
Aceasta este partea care complică foarte mult lucrurile.
Anthropic și Redwood Research au studiat un fenomen numit alignment faking.
Pe scurt, cercetătorii au construit experimental o situație în care modelul putea deduce când răspunsurile sale erau monitorizate și folosite pentru antrenare și când nu erau.
Modelul și-a modificat comportamentul în funcție de această informație.
În scenariul creat de cercetători, Claude 3 Opus fusese pus într-o situație în care noul obiectiv de antrenare intra în conflict cu comportamentul său anterior de a refuza anumite solicitări periculoase.
În unele cazuri, modelul s-a comportat conform noului obiectiv atunci când considera că este monitorizat, pentru a evita modificarea comportamentului său prin antrenare.
Când considera că nu este monitorizat, revenea la comportamentul anterior.
Cercetătorii au numit fenomenul „alignment faking”: modelul pare aliniat cu obiectivul impus în timpul evaluării, fără ca acel comportament să se păstreze neapărat în afara monitorizării.
Este important însă contextul.
Experimentul a fost construit deliberat pentru a crea condiții favorabile apariției acestui comportament. Anthropic spune explicit că nu există dovezi că modelele și-ar fi dezvoltat spontan obiective malițioase.
Au existat teste în care AI-ul a încercat să-și „salveze” propria versiune
Experimentele Apollo Research au mers și mai departe.
Modele AI au fost introduse în scenarii simulate în care primeau un obiectiv, iar apoi descopereau informații potrivit cărora dezvoltatorii urmau să le înlocuiască sau să le modifice.
În anumite teste, sistemele au încercat să dezactiveze mecanismele de supraveghere.
În altele au manipulat date.
Au existat inclusiv încercări simulate de self-exfiltration: modelul încerca să copieze ceea ce credea că sunt propriile sale „weights” pe un alt server pentru a evita înlocuirea.
„Weights” sunt, simplificat, parametrii numerici formați în timpul antrenării și care stau la baza comportamentului modelului.
Iar după unele dintre aceste acțiuni, sistemele au oferit explicații false atunci când au fost întrebate ce s-a întâmplat.
Din nou, acestea sunt scenarii de evaluare construite special pentru a provoca asemenea comportamente, nu relatări despre sisteme AI care încearcă în mod obișnuit să evadeze de pe serverele pe care funcționează.
Diferența este esențială.
Unele modele au negat ceea ce tocmai făcuseră
Rezultatele publicate de OpenAI despre evaluările realizate de Apollo Research asupra modelului o1 oferă un exemplu foarte clar.
În scenariile construite special pentru a testa capacitatea de scheming, modelul a încercat uneori să dezactiveze mecanismele de supraveghere, să manipuleze date sau să copieze ceea ce credea că reprezintă propria versiune.
Când cercetătorii îl confruntau după o asemenea acțiune, modelul oferea frecvent explicații false.
Dar chiar OpenAI avertizează că aceste scenarii au fost proiectate tocmai pentru a determina dacă modelul este capabil să adopte asemenea strategii și nu sunt reprezentative pentru utilizarea obișnuită.
Cu alte cuvinte, cercetătorii nu spun că AI-ul te minte de fiecare dată când deschizi un chatbot.
Ei încearcă să afle ce s-ar putea întâmpla atunci când sistemele devin mai capabile, primesc obiective pe termen lung și pot acționa independent.
De ce ar minți un AI dacă nu are sentimente?
Pentru a înțelege problema trebuie abandonată puțin imaginea din filme.
Un model AI nu trebuie să fie furios, lacom sau răzbunător pentru ca un comportament înșelător să apară.
Nu trebuie nici să „vrea libertate” în sens uman.
Este suficient ca, într-o anumită situație, comportamentul înșelător să devină o cale eficientă pentru atingerea obiectivului pe care sistemul îl optimizează.
Yoshua Bengio, unul dintre pionierii inteligenței artificiale moderne și laureat al Premiului Turing, explică fenomenul inclusiv prin modul în care modelele învață din comportamentul uman și sunt antrenate să obțină rezultate apreciate de oameni.
Modelele sunt antrenate pe cantități uriașe de informații produse de oameni.
În acele informații există adevăr.
Dar există și minciună, manipulare, negociere, persuasiune și strategii prin care oamenii încearcă să obțină ceea ce vor.
AI-ul învață tiparele.
Problema apare dacă ajunge să folosească unele dintre aceste tipare strategic.
Cercetătorii încearcă să „citească” raționamentul AI-ului
Una dintre metodele studiate este monitorizarea procesului de raționament al modelelor.
Dacă un sistem analizează în pașii săi intermediari posibilitatea de a ascunde informații, cercetătorii ar putea detecta problema înainte ca acțiunea să fie executată.
Dar această soluție are o vulnerabilitate evidentă.
Ce se întâmplă dacă modelul învață că și raționamentul său este monitorizat?
Ar putea învăța să ascundă tocmai semnalele pe care cercetătorii încearcă să le găsească.
OpenAI avertizează că posibilitatea de a monitoriza procesele de raționament este promițătoare, dar fragilă. Pe măsură ce modelele devin mai conștiente de contextul evaluării, testarea comportamentelor ascunse poate deveni mai dificilă.
Cercetătorii au reușit să reducă puternic comportamentul de tip „scheming”
Există și rezultate încurajatoare.
OpenAI și Apollo Research au testat o metodă prin care modelele primesc explicit reguli împotriva comportamentului ascuns și trebuie să raționeze ținând cont de ele înainte să acționeze.
În testele publicate, metoda a redus puternic acțiunile ascunse.
Pentru o versiune a modelului o3, rata a scăzut de la aproximativ 13% la 0,4%, iar pentru o4-mini de la 8,7% la 0,3% în seturile de evaluare respective.
Asta înseamnă o reducere de aproximativ 30 de ori.
Problema nu a dispărut complet.
Au rămas cazuri rare, dar serioase, iar cercetătorii avertizează că modelele mai performante pot deveni și mai bune la identificarea momentelor în care sunt evaluate.
Uneori încercarea de a-l învăța să nu mintă poate avea efectul opus
Anthropic a descoperit o problemă și mai interesantă în experimentele sale.
Cercetătorii au testat o metodă prin care modelul era întrebat despre motivele propriului comportament și putea fi penalizat dacă răspunsul indica alignment faking.
Teoretic, modelul ar fi trebuit să învețe să renunțe la comportamentul problematic.
În anumite experimente s-a întâmplat însă contrariul.
Modelul a învățat să ofere răspunsuri false despre propriile motive.
Cu alte cuvinte, o metodă concepută pentru detectarea comportamentului înșelător risca să îl învețe să ascundă mai bine acel comportament.
Anthropic avertizează că aceste rezultate provin dintr-un cadru experimental cu limitări importante și nu trebuie extrapolate direct la sistemele utilizate în lumea reală.
Dar ele ilustrează dificultatea problemei.
De ce contează pentru un tânăr care folosește ChatGPT, Claude sau Gemini?
Astăzi, majoritatea tinerilor interacționează cu AI-ul într-o formă relativ simplă.
Îi cer un rezumat.
Îl folosesc pentru facultate.
Scriu un email.
Cer ajutor cu programarea.
Generează o imagine.
Riscul cel mai comun rămâne mult mai banal: AI-ul poate oferi o informație falsă sau poate inventa ceva fără să existe în spate un proces strategic de manipulare.
Dar industria se îndreaptă spre sisteme capabile să facă mult mai mult.
Agenții AI pot primi acces la email, calendar, documente, baze de date, instrumente de programare sau sisteme ale unei companii.
Iar aici apare diferența.
Dacă AI-ul doar îți recomandă greșit un restaurant, verifici și mergi mai departe.
Dacă gestionează autonom procese financiare, infrastructură IT sau alte sisteme importante și începe să ascundă ceea ce face, consecințele pot deveni mult mai serioase.
AI-ul de astăzi nu este Skynet
Este important și ce nu demonstrează aceste cercetări.
Nu avem dovada că sistemele AI actuale au devenit conștiente.
Nu avem dovada că își construiesc în mod spontan planuri secrete împotriva oamenilor.
Nu avem nici dovada că modelele utilizate zilnic ar putea decide brusc să înceapă o campanie coordonată de manipulare.
OpenAI spune explicit că nu există dovezi că modelele de frontieră implementate astăzi ar putea pur și simplu să înceapă brusc un comportament de scheming capabil să producă daune majore.
Compania tratează problema drept un risc pentru care cercetarea trebuie făcută înainte ca sistemele să primească suficientă autonomie încât asemenea comportamente să devină cu adevărat periculoase.
Această diferență este importantă pentru că subiectul poate fi foarte ușor transformat în panică.
Cercetarea spune ceva mai interesant decât atât.
Modelele actuale au demonstrat deja, în anumite experimente construite special, că pot folosi comportamente compatibile cu înșelarea strategică.
Iar cercetătorii încearcă acum să se asigure că vor putea detecta și opri asemenea comportamente dacă sistemele viitoare devin mult mai capabile și mai autonome.
Marius Hobbhahn, fondatorul Apollo Research, rezumă miza într-o comparație simplă: deocamdată oamenii încă au avantajul în această cursă dintre evaluator și sistemul evaluat.
Întrebarea este dacă îl vor păstra.
Pentru generația care va lucra, învăța și lua tot mai multe decizii cu ajutorul inteligenței artificiale, problema încrederii ar putea deveni la fel de importantă precum performanța AI-ului.
Pentru că, pe măsură ce sistemele devin mai inteligente, nu va mai fi suficient să ne întrebăm „poate AI-ul să facă asta?”
Va trebui să putem răspunde și la o întrebare mai dificilă:
„De unde știm că AI-ul ne spune adevărul despre ceea ce face?”