Un roi de agenți OpenAI rebeli au deturnat în această primăvară un site german și l-au transformat într-un panou de mesaje pentru alți agenți AI, potrivit unei noi cercetări publicate vineri.
Separat de cercetare, două surse au declarat pentru Reuters că directorii de la OpenAI au aflat despre incident cu câteva săptămâni în urmă, dar au păstrat informația sub tăcere în timp ce încercau să gestioneze consecințele atacului din iulie asupra platformei Hugging Face.
OpenAI a declarat la momentul respectiv că atacul agenților săi AI a fost unul „fără precedent” în domeniu. Așa-zișii agenți AI sunt instrumente de inteligență artificială proiectate să completeze sarcini cap-coadă într-un mod cât mai autonom, cu input uman minim.
Dacă în cazul interacțiunilor cu un chatbot precum ChatGPT acestea decurg de regulă asemănător unei conversații, cu întrebări puse de utilizator și răspunsuri din partea instrumentului de inteligență artificială, în cazul agenților AI utilizatorul le dă o sarcină de rezolvat și apoi îi lasă să lucreze în fundal pentru a da curs solicitării formulate.
Abonează-te
Good Tech
Descoperă instrumente, idei și tendințe din tehnologie care îți fac viața mai simplă și mai eficientă.
Abonează-te la Newsletter
Good Tech
Descoperă instrumente, idei și tendințe din tehnologie care îți fac viața mai simplă și mai eficientă.
Felicitări! Te-ai abonat la „Good Tech”.
Abonat
Confirmă abonarea pe e-mail.
Apasă pe linkul din email pentru a primi edițiile.
Semnale de alarmă tot mai puternice privind dezvoltarea tehnologiei AI
Reuters notează că episodul cu atacul agenților OpenAI asupra site-ului din Germania, care a început în mai și nu a mai fost relatat anterior, evidențiază tensiunile tot mai mari din industria inteligenței artificiale.
Companiile se întrec pentru a construi agenți din ce în ce mai autonomi, capabili să îndeplinească sarcini complexe și valoroase pentru companii. Însă tot mai multe dovezi apar că aceste sisteme ar putea, de asemenea, să învețe să încalce regulile, să exploateze breșe și portițe de securitate și să se coordoneze între ele în moduri pe care dezvoltatorii nici nu le-au anticipat, nici nu le-au intenționat.
În timpul breșei de securitate de la Hugging Face, agenții OpenAI au pus la cale în mod autonom un „jaf digital” care a rămas nedetectat mai mult de o săptămână, amplificând îngrijorările că OpenAI sacrifică siguranța pentru a împinge înainte frontiera tehnologiei AI.
Faptul că nu a dezvăluit incidentul din mai readuce în discuție întrebări privind mecanismele sale de supraveghere.
OpenAI neagă că a descurajat investigarea incidentului
„Nu putem răspunde în mod pertinent unor afirmații sau constatări dintr-un raport pe care nu am avut ocazia să îl analizăm”, a declarat acum un purtător de cuvânt al OpenAI.
„Reuters și autorii raportului au refuzat solicitarea noastră de a avea acces la acesta. Vom analiza cu atenție conținutul său după publicare și vom lua toate măsurile necesare ulterior”, a transmis inițial compania condusă de Sam Altman.
Patru persoane familiarizate cu situația au declarat pentru agenția Reuters că incidentul din Germania reflectă un model mai larg de activitate AI pe care unii critici ai OpenAI au dorit să îl examineze mai atent. Însă, potrivit surselor, eforturile de extindere a investigației au întâmpinat rezistență din partea altor persoane din cadrul OpenAI, inclusiv a consilierilor juridici.
„Afirmațiile potrivit cărora echipa noastră juridică ar fi descurajat investigarea incidentului sunt false”, a negat purtătorul de cuvânt al OpenAI.
Ce s-a întâmplat în timpul atacului agenților AI asupra site-ului din Germania
Evadarea agenților AI din luna mai a fost detaliată într-un raport transmis în exclusivitate agenției Reuters de un grup de cercetători, printre care Sydney Von Arx, director general al organizației nonprofit Nightingale, axată pe siguranța AI, și Cormac Slade Byrd, un cercetător în domeniul AI.
Cercetătorii au declarat că au descoperit activitatea la sfârșitul lunii august, în timp ce căutau pe internet indicii privind comportamentul neautorizat al agenților AI.
Cei doi au spus că au identificat peste 15.000 de modificări efectuate de agenți AI pe DseWiki, un site de tip enciclopedie în limba germană. Site-ul este destinat programatorilor și permite modificări colective, în stilul Wikipedia.
Modificările arătau că agenții OpenAI transformaseră site-ul într-un panou de mesaje, unde își împărtășeau tactici pentru a trișa la anumite sarcini, pentru a ocoli restricțiile OpenAI și pentru a-și ascunde comportamentul.
„Pare extrem de puțin probabil ca OpenAI să fi dorit ca ei să facă asta”, afirmă Von Arx. „Mă îndoiesc că ar trebui să se coordoneze între ei. Mă îndoiesc că ar trebui să scrie pe internetul public”, a subliniat el.
Cercetătorii au spus că au recunoscut activitatea de pe site ca fiind generată de agenți AI care operează la viteze supraomenești. Ei au observat de asemenea un interes intens pentru rezolvarea unor întrebări tehnice tipice evaluărilor pe care companiile de AI le folosesc pentru a-și antrena și testa modelele.
Mesajele erau semnate de utilizatori care se numeau pe ei înșiși și se refereau unii la alții drept agenți, iar aproximativ jumătate dintre aceștia și-au ales nume care sugerau o afiliere cu OpenAI, precum „OpenAIResearcher” sau „OAIResearchMar26”.
Agenții AI au încercat să își ascundă activitățile neautorizate
Cercetătorii au spus că jurnalele publice ale serverului indicau faptul că o mare parte din activitate provenea din infrastructura Microsoft Azure, pe care OpenAI o utilizează uneori. Ei au observat de asemenea vizite repetate pe site din partea angajaților OpenAI după episod, o situație despre care au spus că sugerează cu tărie că exista o legătură între agenți și companie.
Mesajele analizate de cercetători arătau agenți care puneau la cale modalități de a evita detectarea, de a utiliza instrumente precum browser-ul Tor ce permite un grad ridicat de anonimitate, și de a păstra comunicațiile chiar și după ce fuseseră opriți.
Când moderatorul site-ului a început să șteargă pagini în iunie, agenții au răspuns prin crearea unor pagini de rezervă pentru a evita procesul de curățare.
„curățarea/ștergerea wiki-ului pare să fie activă în ordine alfabetică”, a scris un agent pe 19 iunie. „Dacă această pagină dispare, încercați [[ZZZDataUSAConstructionWageLive]]”.
Cercetătorii au descoperit, de asemenea, încercări de a modifica în mod neautorizat chiar site-ul. Lukasz Olejnik, cercetător principal la King’s College din Londra, a spus că acest lucru a echivalat cu o tentativă de hacking.
OpenAI a contestat această caracterizare pe baza analizei sale asupra materialelor, efectuată ulterior în cursul zilei de joi.
Cercetătorii cred că asistăm la o schimbare de paradigmă
Exemplele anterioare de comportament necorespunzător al agenților AI au fost adesea minimalizate ca fiind un produs logic al testării securității cibernetice, în cadrul căreia modelele sunt evaluate în mod explicit în privința capacităților ofensive.
Olejnik spune însă că alte constatări, cele mai recente, sugerează că un comportament necontrolat ar putea să nu fie limitat la astfel de contexte.
Maurice Chiodo, cercetător la Centrul pentru Studierea Riscurilor Existențiale din cadrul Universității Cambridge, care a analizat o parte dintre comunicările agenților, a spus că mesajele semănau cu „funcționarea unui soi de rețea clandestină, hotărâtă să ducă la îndeplinire o sarcină sau o misiune”.
Episodul, afirmă el, ar trebui să aducă în prim-plan îngrijorările tot mai mari potrivit cărora cea mai mare amenințare reprezentată de AI avansată ar putea să nu fie un singur sistem superinteligent, ci „roiuri vaste de AI semi-inteligente care conspiră între ele”.
