„În 6-12 luni o aglomerare de agenți AI ar putea fi capabilă să preia controlul întregului internet”, a scris Dario Amodei, CEO al companiei Anthropic, într-o postare pe blogul său.
- Dario Amodei a pornit de la incidentul fără precedent petrecut în iulie la OpenAI, compania rivală care dezvoltă ChatGPT.
- Atunci, un agent Open AI a evadat din mediul de testare, a compromis platforma startup-ului AI Hugging Face și apoi și-a ascuns urmele.
„Folosită cu grijă, Inteligența Artificială poate fi cea mai recentă minune tehnologică dintre cele care asigurat progresul omenirii. Dar, precum majoritatea tehnologiilor de dinainte, AI aduce riscuri. Iar pentru că este atât de puternică, riscurile sunt majore”, scrie, într-o postare pe blogul său, Dario Amodei, CEO al Antropic, compania care dezvoltă asistentul AI Claude.
Dario Amodei, spune că s-a convins, în ultimele luni, că dezvoltarea AI trebuie să încetinească, el invocând agenții AI răuvoitori care au atacat compania Hugging Face, scrie Business Insider.
„Dată fiind rata accelerată de dezvoltare a capacităților inteligenței artificiale, îngrijorarea mea este că în 6-12 luni o aglomerare de agenți AI ar putea fi capabilă să preia controlul întregului internet”, a scris Dario Amodei.
El a invocat dezvoltarea rapidă a AI în ultimele luni și capacitatea sa crescută de „auto-îmbunătățire recurentă”, care înseamnă, în esență, capacitatea modelului AI de a învăța singur.
Soluția lui Amodei: evaluatori independenți
Amodei propune un plan în trei pași de a încetini dezvoltarea AI în scopul obținerii unui nivel de siguranță „concomitent cu obținerea beneficiilor sale și gestionarea dilemelor geopolitice”. Planul său include reglementări guvernamentale ale industriei în SUA, dar și reglementări globale pentru companiile de pretutindeni.
De o importanță crucială în planul lui Amodei este includerea unor evaluatori independenți de siguranță în interiorul marilor companii AI precum Anthropic și OpenAI, care să aibă „acces la nivel de angajat” la sistemele și activitatea acestor companii.
„Acesta este un pas esențial pentru verificabilitatea oricăror proiecte în derulare. Anthropic se angajează unilateral la acest pas acum”, a mai scris Amodei.
În eseul său, Amodei a pledat pentru „dezvoltarea inteligenței artificiale într-un ritm echilibrat, care să urmărească asigurarea siguranței acesteia, obținând în același timp beneficiile pe care le oferă”.
Acest lucru nu ar însemna „oprirea antrenării modelelor sau a progresului tehnologic, ci asigurarea faptului că firmele își acordă suficient timp pentru a-și alinia și proteja modelele, iar evaluatori independenți să poată confirma acest lucru”.
„Este ușor să clasăm incidentul de la OpenAI drept eșecul unei singure companii, dar cred că este o greșeală. Aceste incidente, deși mai puțin severe, s-au întâmplat în întreaga industrie, inclusiv la Anthropic, și cred că este de datoria fiecărei companii de IA să acționeze ca și cum asta i s-a întâmplat ei”, mai scrie Amodei.
„Măsurile pe care le propun eu pentru a dezvolta AI într-un ritm de siguranță nu sunt ușor de luat. Dar cred că îi datorăm omenirii să încercăm”, încheie șeful Antrophic.
Prima companie atacată de un agent AI
Pe 21 iulie, OpenAI a dezvăluit că un agent autonom bazat pe modelele sale avansate de inteligență artificială (AI) a scăpat de sub control în timpul unui test de securitate și a declanșat un atac cibernetic care a compromis infrastructura startup-ului de AI Hugging Face, potrivit Reuters.
OpenAI spus că testa capacitățile unora dintre cele mai avansate modele ale sale într-un mediu controlat, dar agentul a reușit să scape de sub control, să acceseze internetul și să pătrundă în sistemul Hugging Face pentru a încerca să-și îndeplinească obiectivul de testare.
OpenAI a declarat că această evadare a reprezentat „un incident cibernetic fără precedent, care a implicat capacități cibernetice de ultimă generație” și că compania își consolidează măsurile de protecție.
Hugging Face, o platformă utilizată pentru găzduirea unor modele lingvistice de mari dimensiuni și seturi de date open-source, a stârnit agitație în comunitatea de securitate cibernetică săptămâna trecută.
Atunci a anunțat pe blogul propriu că a fost ținta unui atac cibernetic care „a fost diferit de orice altceva cu care ne-am confruntat până acum”, în sensul că „a fost condus, de la un capăt la altul, de un sistem autonom de agenți AI”.
Într-o postare pe X, cofondatorul Hugging Face, Clement Delangue, a declarat că firma bănuia că atacul „ar fi putut proveni dintr-un laborator de cercetare de avangardă, având în vedere sofisticarea agentului. Se pare că așa a și fost!” El a adăugat: „Este absolut uluitor că toate acestea s-au întâmplat în mod autonom!”
„Cele mai istețe caracatițe”
Katie Moussouris, director executiv al Luta Security, a afirmat că incidentul este un semn prevestitor al unor breșe de securitate viitoare, spunând că modelele actuale sunt „precum cele mai istețe caracatițe din lume, specializate în evadări, cu brațe nelimitate și capacitatea de a se strecura oriunde”.
Ea a afirmat că „laboratoarele și evaluatorii guvernamentali trebuie să lucreze la capacitatea de a izola, monitoriza și informa părțile afectate atunci când o AI face din nou o „farsă à la Houdini”, ideal înainte de a provoca daune unei terțe părți. În prezent, nu există nimic de acest fel.”
Matt Suiche, inginer la Tolmo, o companie specializată în securitatea cibernetică a IA agentice, a afirmat că incidentul a demonstrat că modelele de frontieră „reduc decalajul față de atacatorii de ultimă generație”.
