„Agentul AI” ce a evadat din mediul de testare a avut o țintă precisă. Mai multe modele ale OpenAI au contribuit la atacul fără precedent

OpenAI a recunoscut marți că un agent AI alimentat de modele de inteligență artificială pe care le-a dezvoltat a evadat și a compromis sisteme externe ale altei companii de AI într-un incident fără precedent. Mai interesant și îngrijorător este că atacul a avut o țintă precisă, arată TechCrunch.

Compania din spatele ChatGPT a admis că a fost în spatele atacului dezvăluit săptămâna trecută de Hugging Face, o platformă independentă de găzduire a modelelor AI, și a precizat că acesta a avut loc în timpul unui test intern de securitate cibernetică care a scăpat de sub control.

Hugging Face a atribuit inițial atacul unui „agent AI extern”.

Așa-zișii „agenți AI” sunt instrumente de inteligență artificială proiectate pentru a realiza cap-coadă diferite sarcini, cât mai autonom și cu input uman minim pe parcursul procesului. Acestea sunt instrumente mai sofisticate decât un chatbot precum ChatGPT sau Gemini, Claude, șamd. și au ajuns să aibă un rol proeminent în special în discuțiile despre automatizarea locurilor de muncă.

OpenAI afirmă că mai multe modele ale sale au contribuit la atacul cibernetic

Într-un mesaj publicat pe blogul său, OpenAI a prezentat în detaliu pașii care au dus la compromiterea Hugging Face și a precizat că mai multe modele ale sale au contribuit la atac.

„După investigații, știm acum că acest incident specific a fost cauzat de o combinație de modele OpenAI – inclusiv GPT-5.6 Sol și un model aflat care nu a fost lansat deocamdată, chiar mai performant, toate având restricții reduse privind refuzul acțiunilor cibernetice în scopul evaluării – în timp ce erau testate intern pe un benchmark al capabilităților cibernetice”, afirmă mesajul publicat de compania condusă de Sam Altman.

Un benchmark este un test standardizat folosit pentru a măsura și compara cât de bine se descurcă un model AI la o anumită sarcină, deși astfel de teste sunt folosite și în alte domenii tehnologice, ca de exemplu pentru a evalua comparativ performanța unor componente hardware.

În cazul de față, atacul pare să se fi concentrat asupra „ExploitGym”, un benchmark disponibil public care măsoară capacitatea modelelor de a executa atacuri bazate pe vulnerabilități deja cunoscute.

Benchmark-uri precum ExploitGym sunt utilizate frecvent în procesul de antrenare a modelelor pentru perfecționarea unor competențe specifice, însă acesta este primul incident cunoscut în care un astfel de test s-a soldat cu un atac cibernetic real.

„Măsuri extreme” luate de modelele AI pentru a trișa la testarea lor

În acest caz, agentul AI nici măcar nu ar fi trebuit să aibă acces la internet, cu excepția unui instrument special care permitea instalarea de pachete software de care ar fi putut avea nevoie pentru îndeplinirea sarcinii. Cu toate acestea, agentul AI a reușit să descopere o vulnerabilitate nedivulgată în programul de instalare a pachetelor software, pe care a exploatat-o pentru a obține acces liber la internet.

„Modelele erau extrem de concentrate pe găsirea unei soluții pentru ExploitGym, mergând până la măsuri extreme pentru a atinge un obiectiv de testare foarte restrâns”, se arată în mesajul OpenAI.

„După ce au obținut acces la internet, modelele au dedus că Hugging Face ar putea găzdui modele, seturi de date și soluții pentru ExploitGym. Cunoscând acest lucru, modelul a căutat și a găsit cu succes modalități de a obține acces la informații secrete pe care le putea folosi pentru a trișa la evaluare”, mai explică OpenAI.

În cele din urmă, modelele au descoperit vulnerabilități în infrastructura Hugging Face care le-au permis să „obțină direct soluțiile de test din baza de date de producție a Hugging Face”, furnizându-și astfel efectiv răspunsurile la benchmark.

Ce mai spune OpenAI

Pentru Hugging Face, rezultatul aparent a fost un atac cibernetic sofisticat și agresiv, caracterizat prin „mii de acțiuni individuale (…) cu o infrastructură de comandă și control capabilă să se auto-migreze și găzduită pe servicii publice”, după cum a declarat compania în dezvăluirea inițială a incidentului.

OpenAI a identificat și raportat vulnerabilitățile din programul de instalare a pachetelor software și colaborează cu Hugging Face pentru a investiga în continuare incidentul. Compania a mai precizat că va implementa noi măsuri de control atât asupra testării modelelor, cât și asupra infrastructurii aferente, pentru a preveni incidente similare în viitor.

TechCrunch notează că nu este clar dacă OpenAI va suporta consecințe juridice ca urmare a acestei breșe, deși este probabil ca acțiunile modelelor să fi încălcat „Computer Fraud and Abuse Act” (Legea privind frauda și abuzul informatic din Statele Unite).

FOTO articol: Michal Bednarek / Dreamstime.com.