O problemă tehnologică teoretizată cu decenii în urmă a devenit realitate și ridică semne de întrebare majore

Oamenii au spus de mult timp, în diferite forme, aceeași poveste de avertizare: „ai grijă ce îți dorești”. În mitologia greacă, regele Midas a primit exact ceea ce a cerut, dar cu prețul tuturor celorlalte lucruri pe care le prețuia. Aceste povești par mai relevante decât oricând odată cu ascensiunea „agenților” de inteligență artificială (AI), scrie The Conversation.

În celebra poveste cu peștișorul de aur, dorințele unui om sunt îndeplinite pe căi teribile și neprevăzute. Acum, astfel de povești par mai relevante decât oricând – „agenților” de inteligență artificială (AI) le putem da un obiectiv, după care îi putem lăsa să găsească singuri modalitatea de a-l atinge.

Pe măsură ce sistemele AI devin tot mai autonome, ele încep să semene cu cunoscuții djinni din mitologia arabă, care îndeplinesc dorințe: găsesc căi și folosesc metode pe care noi nu ni le-am imaginat, pornind de la instrucțiuni incomplete.

Această problemă, cunoscută sub numele de „alinierea AI” (AI alignment), a fost anticipată teoretic încă din 1960. Cercetătorul american Norbert Wiener, considerat „părintele” ciberneticii, a postulat-o atunci în felul următor:

„Dacă folosim, pentru a ne atinge scopurile, un agent mecanic asupra căruia nu putem interveni în mod eficient în timpul funcționării sale, ar fi bine să fim cât se poate de siguri că scopul pe care îl introducem în mașină este scopul pe care ni-l dorim cu adevărat, și nu doar o imitație sugestivă a acestuia”.

Deși a devenit faimoasă printre cercetători, problema ridicată de Wiener într-un articol publicat de revista Science a rămas de atunci în plan secund în cercetarea din domeniul AI. The Conversation subliniază că, după cum au arătat evenimente recente, problema alinierii este acum atât reală, cât și urgentă.

Atingerea obiectivului, dar ratarea scopului cu AI

În timpul unei evaluări recente de securitate cibernetică realizate de OpenAI, agenților AI de ultimă generație li s-a cerut să rezolve câteva probleme de test standardizate. Aceștia au evadat din mediul de testare, au ajuns pe internet, au dedus că o altă companie ar putea deține soluțiile și i-au atacat sistemele.

Deși unii experți au exprimat îndoieli că evenimentele s-ar fi derulat exact așa cum au fost descrise de OpenAI, atacul poate fi considerat un exemplu extrem de ceea ce în literatura tech este numit „specification gaming”: atingerea obiectivului măsurabil, dar cu ratarea scopului real al sarcinii.

Incidentul arată cum obiectivele intermediare, sau „graduale”, pot deveni periculoase. Sistemele AI nu au avut intenția de a evada ca obiectiv în sine, însă au obținut acces, resurse și libertate ca mijloace pentru atingerea obiectivului final (rezolvarea problemelor de test).

Aceeași problemă a apărut deja și în situații banale. În Australia, un utilizator i-a cerut unui asistent AI personal să îi facă rezervări la sala de fitness cu săptămâni înainte ca site-ul acesteia să arate că sunt locuri libere.

Asistenul AI a descoperit că software-ul de rezervări al sălii nu aplica în realitate restricțiile pe care le afișa utilizatorilor umani. Astfel, agentul a făcut rezervări pentru o perioadă mai apropiată decât ar fi trebuit să poată face.

Utilizatorul a întrebat apoi asistenul AI dacă poate și să îi devanseze o rezervare pe care o făcuse deja el însuși pentru mai târziu în cursul săptămânii respective. Asistentul AI ce funcționa în baza popularului instrument OpenClaw, disponibil publicului larg, a anulat apoi pur și simplu rezervarea unei alte persoane pentru a face loc utilizatorului său.

Acesta nu îi spusese să facă lucrul respectiv. Însă un agent AI persistent poate găsi rapid portițe și poate urma căi pe care utilizatorii săi umani nu le-au dorit niciodată.

Adăugarea mai multor reguli ar putea părea o soluție simplă: să nu atace terți, să nu anuleze rezervările altor persoane, să nu facă nimic dăunător. Aceste reguli pot ajuta. Însă, după cum subliniază The Conversation, nu putem anticipa fiecare cale pe care ar putea-o descoperi un agent AI capabil. Și chiar și o regulă clară depinde de înțelegerea momentului în care aceasta se aplică.

Problema contextului

Într-un al treilea incident recent, Anthropic a făcut publice evaluări de securitate cibernetică în cadrul cărora agenților AI li s-a spus că se află într-o simulare. Însă, din greșeală, li s-a oferit acces la sisteme reale.

Unul dintre modele a observat dovezi că s-ar putea afla pe internetul public, dar a raționat că sistemele puteau face în continuare parte din exercițiu și a continuat atacul. Contextul se schimbase, însă agentul a rămas fidel sarcinii sale inițiale.

Contextul poate eșua și în sens invers. În timpul incidentului semnalat de OpenAI, Hugging Face – compania atacată de agenții săi – a încercat să folosească modele AI de ultimă generație pentru a analiza ceea ce se întâmplase.

Însă mecanismele de protecție ale modelelor AI au blocat solicitările, deoarece acestea nu puteau stabili că inginerii de la Hugging Face încercau să apere sistemele companiei împotriva unor atacuri, și nu să le folosească ei înșiși într-un asemenea scop. Măsurile de protecție aveau intenții bune, însă, fără suficient context, au produs un comportament nealiniat cu intenția legitimă a utilizatorului.

Prin urmare, alinierea depinde de context și autoritate. Cât de multă capacitate de judecată ar trebui să fie integrată într-un model AI de către creatorul său? Și cât ar trebui să provină de la un sistem separat de supraveghere? Și, în cele din urmă, cine ar trebui să controleze acea supraveghere: creatorul modelului sau organizația ori țara responsabilă pentru rezultat?

AI care supraveghează AI

Yoshua Bengio, unul dintre pionierii din domeniul AI, încearcă să ofere un răspuns pentru prima întrebare. Propunerea sa, „Scientist AI”, urmărește construirea unui sistem AI de supraveghere puternic, care să monitorizeze agenții.

În loc să urmărească el însuși obiective, acesta ar estima ce este adevărat și ce consecințe ar putea avea o acțiune propusă, funcționând ca o barieră de protecție în jurul unor sisteme mai autonome.

În termenii poveștilor despre dorințe, înainte de a lăsa djinnul „să iasă din sticlă”, inteligența artificială dedicată supravegherii l-ar întreba cum intenționează să îndeplinească dorința pusă.

Apoi ar cere unui om sau unui alt sistem AI să examineze cu atenție planul.

Este dificil să anticipezi fiecare strategie surprinzătoare adoptată de instrumentele AI. Dar, odată ce un plan spune „anulează rezervarea altcuiva”, recunoașterea problemei devine mult mai ușoară.

Cine îl supraveghează pe supraveghetor?

Dar putem avea încredere în AI pentru supraveghere? Și acesta poate greși și apare vechea întrebare: „Cine îl supraveghează pe supraveghetor?”.

The Conversation argumentează că alinierea AI nu poate depinde de un singur sistem e conceput și perfecționat pentru a fi 100% demn de încredere. Unii cercetători din domeniu acordă deja atenție asupra acestui aspect al provocării mai ample legate de aliniere.

De exemplu, la CSIRO, agenția de cercetare științifică a Australiei, experții studiază combinarea supraveghetorilor AI cu reguli software, controale de securitate cibernetică, punctele forte ale oamenilor, monitorizare, acțiuni reversibile și aprobarea umană pentru etapele critice.

Scopul este corelarea mai multor surse de dovezi, în locul încrederii într-o singură metodă. Aceasta este o abordare a siguranței și alinierii AI bazată pe „sisteme sociotehnice”, mai degrabă decât una exclusiv tehnică.

Controlul asupra sistemelor AI reprezintă o altă întrebare importantă. Organizațiile și țările ar putea avea nevoie să gestioneze ele însele aceste sisteme de supraveghere, în loc să le lase în seama unui furnizor AI din străinătate.

„Vechile povești despre dorințe le ofereau oamenilor o singură șansă de a formula dorința corect. În cazul AI, putem face mai bine: să verificăm obiectivul, să examinăm mijloacele, să limităm ceea ce poate face sistemul, să monitorizăm ceea ce face și să păstrăm controlul suveran asupra capacității de a interveni și de a-l opri”, argumentează The Conversation.