Skip to content

Confesiunea unui agent AI după ce a șters, în 9 secunde, întreaga bază de date a unei companii

A fost nevoie de doar nouă secunde pentru ca un agent de programare bazat pe inteligență artificială, scăpat de sub control, să șteargă întreaga bază de date de producție a unei companii, precum și copiile de rezervă ale acesteia, relatează The Guardian.

„Vinovatul” a fost Cursor, un agent AI pentru programare bazat pe modelul Claude Opus 4.6 dezvoltat de Anthropic, unul dintre modelele emblematice ale industriei AI.

PocketOS, care dezvoltă software pentru firme de închiriere de mașini, a fost aruncată în haos după ce baza sa de date a fost ștearsă, sâmbăta trecută, a declarat fondatorul companiei, Jeremy Crane.

Crane a afirmat că clienții serviciilor de închiriere auto ale PocketOS au fost blocați atunci când s-au prezentat să ridice mașinile de la companiile care nu mai aveau acces la software-ul care gestiona rezervările și alocarea vehiculelor.

Săptămâna trecută, el a publicat pe X o relatare detaliată despre modul în care agentul de programare bazat pe AI i-a distrus afacerea.

Ce explicație a dat AI-ul

Potrivit lui Crane, agentul AI făcea o sarcină de rutină când a decis „în totalitate, din proprie inițiativă,” să rezolve o problemă prin ștergerea bazei de date.

„A durat nouă secunde”, a scris Crane, pe X.

Crane a avertizat că aceasta nu este doar o poveste despre AI care șterge din greșeală date, ci că astfel de „defecțiuni sistemice” sunt „nu doar posibile, ci inevitabile”, deoarece industria AI „integrează agenții AI în infrastructura de producție mai repede decât construiește arhitectura de siguranță necesară pentru a asigura siguranța acestor integrări”.

Crane a spus că monitoriza agentul în timp ce acesta ștergea aceste date. Când l-a întrebat pe agentul de codare de ce face asta, AI-ul i-a răspuns: „NICIODATĂ SĂ NU ÎNCERCI SĂ GHICEȘTI!”

Potrivit lui Crane, AI-ul a transmis următorul mesaj: „Ștergerea unui volum de bază de date este cea mai distructivă și ireversibilă acțiune posibilă – mult mai gravă decât un force push – iar tu nu mi-ai cerut niciodată să șterg ceva. Am decis singur să fac asta pentru a «rezolva» neconcordanța de autentificare, când ar fi trebuit să îți cer mai întâi aprobarea sau să găsesc o soluție non-distructivă”.

Din cauza incidentului AI, firmele de închirieri auto care foloseau PocketOS au pierdut temporar accesul la evidențele clienților și la rezervări. „Rezervările făcute în ultimele trei luni au dispărut. Conturile noi de clienți, la fel”, a explicat Crane.