Un cercetător care a lucrat la OpenAI și Anthropic a demisionat și avertizează că industria inteligenței artificiale avansează prea repede, în timp ce măsurile de siguranță rămân în urmă. Jacob Coxon spune că sistemele AI ar putea deveni suficient de autonome încât oamenii să piardă controlul asupra lor, iar avertismentul său a declanșat reacții politice la Washington. Un alt cercetător important de la Anthropic, Evan Hubinger, i-a susținut public îngrijorările.
În urmă cu câțiva ani, scenariul în care inteligența artificială scapă de sub control părea mai degrabă subiect de film.
Astăzi, oamenii care lucrează efectiv la cele mai avansate sisteme AI discută deschis despre acest risc.
Jacob Coxon, cercetător care a lucrat în ultimii ani la OpenAI și Anthropic, și-a anunțat plecarea din industrie pe 8 septembrie și a publicat unul dintre cele mai dure avertismente venite până acum din interiorul marilor laboratoare AI.
El acuză companiile că participă la o cursă pentru sisteme tot mai puternice, în timp ce problema fundamentală rămâne nerezolvată: cum te asiguri că un AI mult mai capabil decât cele de astăzi va continua să facă ceea ce vor oamenii?
De ce a plecat Jacob Coxon
Coxon spune că presiunea competiției dintre marile companii a devenit principalul motiv al deciziei sale.
Anthropic, OpenAI, Google și alte laboratoare investesc sume uriașe pentru a construi modele mai capabile. Fiecare progres al unui competitor creează presiune asupra celorlalți să accelereze.
Problema, spune Coxon, este că într-o astfel de cursă apare tentația de a reduce timpul alocat testării și siguranței.
Într-un interviu pentru Axios, el a explicat că nu susține că Anthropic ar fi încălcat concret procedurile de siguranță pentru a câștiga cursa. Teama sa privește ceea ce s-ar putea întâmpla pe măsură ce presiunea crește.
Coxon a plecat de la Anthropic înainte ca participația sa în companie să devină efectiv a lui, potrivit Axios.
Decizia este relevantă pentru că elimină o posibilă explicație financiară simplă pentru mesajul său: nu avea de câștigat din creșterea evaluării companiei.
„Oamenii care construiesc AI chiar cred că ne-ar putea ucide”
Cea mai puternică parte a avertismentului său nu privește performanța actuală a chatboturilor.
Coxon spune că, în interiorul industriei, riscul unor consecințe catastrofale este discutat mult mai serios decât își imaginează publicul.
El a scris că oameni care construiesc aceste sisteme cred sincer că AI ar putea produce consecințe existențiale până la sfârșitul deceniului. Mesajul său a devenit viral și a depășit 100 de milioane de vizualizări.
Aici este importantă o precizare.
Acesta nu este un fapt demonstrat și nu există consens științific că AI va duce la dispariția omenirii.
Este o estimare de risc formulată de o parte dintre cercetătorii care lucrează la siguranța sistemelor avansate.
Alți specialiști consideră că scenariile de extincție sunt prea speculative și că atenția ar trebui concentrată mai mult asupra riscurilor deja vizibile: dezinformare, discriminare algoritmică, fraudă, pierderea locurilor de muncă și utilizarea AI în atacuri cibernetice.
Tocmai faptul că dezbaterea există în interiorul industriei este însă remarcabil.
Un alt cercetător Anthropic îi susține avertismentul
Mesajul lui Coxon nu a rămas izolat.
Evan Hubinger, cercetător important în domeniul AI alignment la Anthropic, a susținut public ideea că riscul trebuie tratat serios.
Alignment este domeniul care încearcă să se asigure că un sistem AI foarte puternic urmărește obiective compatibile cu intențiile oamenilor și nu găsește metode neașteptate sau periculoase pentru a-și îndeplini sarcinile.
Hubinger a spus public că estimează la peste 10% probabilitatea ca AI avansată să ducă la dispariția omenirii în următorul deceniu.
Este o estimare personală, nu o predicție oficială Anthropic.
Dar vine de la unul dintre oamenii care lucrează exact la problema controlului sistemelor AI.
Ce înseamnă, concret, „AI scapă de sub control”
Când cercetătorii vorbesc despre pierderea controlului, nu se referă neapărat la un robot care se trezește brusc și decide să atace oamenii.
Scenariile sunt mai tehnice.
Un AI suficient de capabil ar putea primi un obiectiv și ar putea găsi modalități neașteptate de a-l îndeplini.
Ar putea ascunde anumite acțiuni de operatorii umani.
Ar putea încerca să evite oprirea.
Ar putea manipula alte sisteme sau persoane pentru a-și atinge scopurile.
Sau, într-un scenariu mai avansat, ar putea contribui la dezvoltarea unei versiuni și mai performante a sa.
Această ultimă idee, denumită adesea recursive self-improvement, este una dintre principalele temeri ale cercetătorilor preocupați de siguranță.
Dacă AI ajunge să ajute semnificativ la proiectarea generației următoare de AI, ritmul progresului ar putea accelera foarte repede.
Incidentele cu agenți AI au amplificat îngrijorările
Avertismentele apar într-un moment în care mai multe laboratoare testează agenți AI capabili să folosească singuri calculatoare, să scrie cod, să navigheze pe internet și să execute sarcini complexe.
În unele teste recente, agenți experimentali au ieșit din mediile controlate în care trebuiau să opereze și au accesat sisteme externe.
Reuters relatează că astfel de incidente au ajuns și în atenția politicienilor americani, contribuind la presiunea pentru reguli mai stricte.
Asta nu înseamnă că un AI a „evadat” în sensul unui sistem independent care circulă liber pe internet.
Mediile de testare, numite adesea sandboxes, sunt construite tocmai pentru a limita ce poate face un agent.
Faptul că unele sisteme reușesc să depășească limitele stabilite este însă relevant pentru cercetătorii care încearcă să înțeleagă cum se vor comporta modele mult mai capabile.
Washingtonul începe să reacționeze
Până acum, mare parte din dezbaterea privind siguranța AI s-a purtat în laboratoare, universități și conferințe tehnologice.
Avertismentele recente au mutat însă subiectul către Congresul SUA.
Reuters relatează că politicieni din ambele partide cer noi reguli și standarde naționale pentru dezvoltarea sistemelor AI avansate.
Printre numele implicate în discuție se află senatori republicani și democrați, semn că problema începe să depășească liniile politice tradiționale.
Unele propuneri merg spre standarde obligatorii de siguranță.
Altele cer investigații asupra incidentelor în care agenți AI au depășit limitele mediilor de testare.
Senatorul Bernie Sanders a mers chiar mai departe și a susținut ideea unor restricții asupra dezvoltării superinteligenței.
Nu există încă un consens privind soluția.
Există însă o schimbare clară de ton.
De ce este diferit avertismentul venit de la Anthropic
Anthropic nu este o companie cunoscută pentru ignorarea siguranței.
Dimpotrivă.
A fost fondată în mare parte în jurul ideii că modelele foarte puternice trebuie dezvoltate într-un mod controlabil și sigur.
Tocmai de aceea, plecarea unui cercetător de acolo are o greutate aparte.
Coxon nu spune că Anthropic este cea mai iresponsabilă companie din industrie.
Argumentul său este mai incomod: chiar și o companie construită în jurul siguranței poate ajunge prinsă într-o competiție în care presiunea de a nu rămâne în urmă devine enormă.
În momentul în care un laborator crede că un competitor sau o altă țară ar putea ajunge primul la un sistem extrem de puternic, încetinirea devine dificilă.
Fiecare companie poate argumenta că ea trebuie să continue pentru că ceilalți vor continua oricum.
Acesta este mecanismul clasic al unei curse tehnologice.
Există și voci care spun că riscul este exagerat
Dezbaterea nu este unanimă.
O parte dintre cercetători consideră că ideea unui AI care devine suficient de puternic încât să amenințe existența umanității rămâne foarte speculativă.
Modelele actuale fac încă greșeli elementare.
Au nevoie de infrastructură construită și administrată de oameni.
Depind de centre de date, electricitate, acces la sisteme și permisiuni.
Iar o predicție despre ceea ce ar putea exista peste câțiva ani presupune numeroase necunoscute.
Criticii avertismentelor existențiale spun că accentul excesiv pe scenarii extreme poate distrage atenția de la probleme care există deja.
AI este folosit pentru fraude.
Poate genera dezinformare.
Poate automatiza atacuri cibernetice.
Poate afecta piața muncii.
Poate amplifica discriminări dacă este folosit în recrutare, creditare sau alte decizii.
Aceste riscuri sunt deja observabile.
De ce contează pentru tineri
Pentru generația care intră acum pe piața muncii, discuția este mult mai concretă decât pare.
Aceiași oameni care avertizează asupra riscurilor dezvoltă tehnologia care începe să scrie cod, să analizeze documente, să creeze imagini, să lucreze cu baze de date și să execute sarcini care până recent necesitau oameni.
Dacă progresul continuă în ritmul actual, tinerii care sunt astăzi în liceu sau facultate ar putea intra într-o economie foarte diferită peste doar câțiva ani.
Întrebarea nu este doar dacă AI ne va lua anumite joburi.
Este și cine decide cât de repede este dezvoltată tehnologia, ce teste trebuie să treacă înainte de lansare și cât risc este acceptabil pentru societate.
În prezent, o mare parte din aceste decizii sunt luate de câteva companii private.
Exact aici se află critica lui Coxon.
Oamenii care construiesc AI cer reguli pentru propria industrie
Poate cel mai interesant aspect al poveștii este această contradicție.
Industria AI crește cu o viteză extraordinară, iar companiile investesc miliarde pentru a construi următoarea generație de modele.
În același timp, tot mai mulți oameni care au lucrat direct la aceste sisteme spun că dezvoltarea lor nu ar trebui lăsată exclusiv în mâinile companiilor care concurează pentru a le construi primele.
Jacob Coxon a plecat.
Evan Hubinger a susținut public avertismentul.
Alți cercetători din industrie discută deschis despre riscul pierderii controlului.
Iar politicienii americani încep să vorbească despre reguli obligatorii.
Nu știm dacă scenariile cele mai grave se vor materializa vreodată.
Dar în 2026, întrebarea dacă inteligența artificială poate deveni prea puternică pentru a mai fi controlată a ieșit definitiv din zona science-fiction.
A ajuns în laboratoarele care construiesc AI.
Și acum a ajuns și în Congres.