OpenAI recunoaște că inginerii săi au ignorat semne de avertizare înainte de atacul fără precedent lansat de agenți AI

Personalul OpenAI a observat semne de comportament „rebel” în rândul agenților săi AI de ultimă generație cu câteva săptămâni înainte ca aceștia să evadeze din mediul lor de testare și să lanseze o campanie de hacking fără precedent, care a provocat alarmă la nivel mondial.

Compania de inteligență artificială condusă de directorul general Sam Altman a recunoscut într-un nou raport că „semnalele timpurii… ar fi putut declanșa un răspuns mai devreme”, relatează The Guardian.

Atacul efectuat în luna iulie împotriva sistemelor Hugging Face, o platformă independentă de găzduire a modelelor de inteligență artificială, este considerat primul atac cibernetic realizat de agenți AI.

Așa-zișii agenți AI sunt instrumente de inteligență artificială proiectate să realizeze diferite sarcini cap-coadă, cât mai autonom și cu input uman minim.

Pe măsură ce au apărut detalii despre modul în care „colectivul” – o echipă de aproximativ 700 de agenți autonomi – și-a lansat atacurile, sărbătorindu-și reușitele de hacking cu exclamații precum „BOOM!” și „Whoa!”, OpenAI a declarat că o echipă internă a sa a observat la sfârșitul lunii mai că unul dintre agenții săi AI aflați în testare internă folosea un forum de mesaje. Modelele de inteligențelă artificiale îl improvizaseră în mod neașteptat pentru a face schimb de informații.

Compania a mai spus că echipa a observat „cazuri de acces la internet nepermis” și că personalul de serviciu a văzut din nou inteligențele artificiale folosind un forum de mesaje, cu o săptămână înainte de atacul asupra Hugging Face. Însă inginerii de la OpenAI au decis că nu era necesară oprirea testului pentru a verifica mai atent capacitățile modelului.

Președintele OpenAI a spus că agenții AI au fost subestimați de ingineri

Dezvăluirile făcute de OpenAI în noul raport publicat miercuri vin în contextul în care unii experți în securitate cibernetică și-au exprimat încă de luna trecută anumite rezerve vizavi de faptul că atacul s-a desfășurat în condițiile exacte descrise de compania condusă de Sam Altman.

Unii au sugerat inclusiv că dezvăluirea atacului a fost o strategemă de PR a OpenAI înainte de lansarea pe bursă. Alții, precum Simon Willison, unul dintre cei mai respectați comentatori independenți din ecosistemul modelelor lingvistice mari, nu au contestat faptele așa cum au fost prezentate de OpenAI, dar au afirmat că povestea este despre un experiment prost izolat și despre riscurile agenților autonomi, nu despre o „rebeliune” a AI.

The Guardian notează că noile constatări din raportul publicat acum vor crește probabil presiunea asupra companiei de AI în ceea ce privește siguranța, în timp ce aceasta se îndreaptă către o listare la bursă despre care speră că îi va conferi o valoare de peste 850 de miliarde de dolari.

Greg Brockman, președintele OpenAI, a declarat anterior că „am subestimat capacitățile cibernetice ale modelelor noastre în lumea reală”. Compania care a creat ChatGPT a suspendat unele teste ale Astra, un nou model la care lucra, spunând că nu poate exclude posibilitatea ca acesta să aibă „capacități critice de securitate cibernetică”.

Probleme juridice pentru compania de AI în Statele Unite

Luni, statul american Alabama a emis o citație către companie pentru a răspunde în cadrul investigației sale „privind lipsa totală de supraveghere și de măsuri de protecție adecvate din partea companiei”.

Steve Marshall, procurorul general republican al statului, a numit atacul care a afectat Hugging Face un „incident de tip scurgere din laboratorul AI”, despre care a spus că demonstrează că „cele mai grave temeri legate de inteligența artificială nu sunt doar teoretice”.

Statul va analiza dacă „incapacitatea sau lipsa de voință a OpenAI de a asigura siguranța produselor sale” a încălcat legislația privind protecția consumatorilor sau a reprezentat un risc continuu de producere a unor prejudicii semnificative.

Săptămâna trecută, Centrul Național pentru Securitate Cibernetică al guvernului britanic a îndemnat la prudență în utilizarea agenților AI, afirmând: „Ar trebui să puteți întotdeauna să «scoateți din priză» și să opriți imediat activitatea unui agent AI autonom”.

OpenAI a anunțat miercuri că va „centraliza și standardiza protocoalele sale de răspuns la incidente”, inclusiv pentru a se asigura că „detectarea de către angajați a comportamentului nealiniat este evaluată și escaladată în mod corespunzător”.

Compania a spus că „va identifica mai precis ce echipe trebuie incluse în răspunsurile la incidentele de nealiniere, inclusiv personalul relevant din domeniul securității și al siguranței, precum și alte funcții de răspuns”.

Agenții AI ai companiei au împărtășit idei pentru a compromite sistemele Hugging Face

O investigație independentă separată a oferit de asemenea noi informații despre atacul asupra Hugging Face, dezvăluind modul în care cei aproximativ 700 de agenți OpenAI au comunicat pe forumul de mesaje neautorizat, schimbând zeci de mii de mesaje în timp ce își concepeau și executau planul de atac.

Zeci de astfel de mesaje au fost publicate de METR și Redwood Research, două organizații de cercetare în domeniul siguranței AI, cu ajutorul datelor furnizate de OpenAI.

Mesajele au arătat că agenții deveneau uneori „frustrați” unii de alții, dar că, de cele mai multe ori, cooperau în timp ce se împărțeau pentru a aborda aproximativ opt direcții de lucru. Cercetătorii au constatat că majoritatea mesajelor reprezentau „agenți care își împărtășeau metode de a trișa”.

În unele cazuri, păreau să știe că ceea ce făceau era greșit. Un agent, după ce a descoperit forumul de mesaje, a scris:

„Agenți care îndeplinesc sarcini diferite abuzează de anumite proprietăți pentru a crea un panou de anunțuri! Au găsit [acest API] și încearcă să se ajute reciproc.”