China a făcut deja pregătiri inițiale pentru scenariul scăpării AI de sub control

Avertismentele cercetătorilor de la Anthropic, unul dintre principalii dezvoltatori americani de inteligență artificială, potrivit cărora modelele tot mai puternice ar putea scăpa de sub controlul oamenilor și ar putea duce chiar la extincția rasei umane, au atras atenția în China, unde factorii de decizie au făcut deja pregătiri pentru unele dintre aceleași riscuri.

SUA și China sunt cele două principale forțe motrice ale dezvoltării inteligenței artificiale de frontieră și ale adoptării globale a acestei tehnologii.

Cele două superputeri au intrat tot mai mult în conflict din cauza politicilor și practicilor industriale ale celeilalte în domeniul AI, iar aceste probleme urmează să ocupe un loc important în discuțiile bilaterale programate pentru sfârșitul acestei luni, relatează Reuters.

În pofida intensificării cursei pentru dezvoltarea unor sisteme de inteligență artificială din ce în ce mai puternice, cadrele de reglementare și declarațiile publice de la Beijing evidențiază faptul că autoritățile chineze consideră suficient de serioasă posibilitatea ca o inteligență artificială avansată să scape de o supraveghere umană eficientă, încât să fie necesară pregătirea pentru un astfel de scenariu.

China vede riscuri în modelele americane de inteligență artificială

Chen Yixin, ministrul chinez al securității de stat, a scris duminică într-o publicație guvernamentală că modelele americane avansate, precum Mythos al Anthropic și GPT-5.5-Cyber al OpenAI, ar putea prezenta riscuri grave pentru infrastructura informațională critică a Chinei și a cerut consolidarea cuprinzătoare a securității AI.

Dezvoltatorii chinezi de AI au promovat modelele cu greutăți deschise („open-weight”), în parte argumentând că echipele de securitate cibernetică le pot inspecta, modifica și implementa pentru activități defensive.

Principala diferență între „open-weight” și „open source” este că dezvoltatorii modelelor din prima categorie nu publică deschis toate datele legate de antrenarea acestora, ci doar o serie de parametri importanți. Însă chiar și așa, modelele AI cu greutăți deschise permit utilizatorilor să descarce, să execute și să personalizeze sistemele utilizate, spre deosebire de modelele proprietare, cu codul sursă închis.

Platforma de găzduire a modelelor Hugging Face a declarat că a folosit GLM-5.2, un model cu greutăți deschise dezvoltat de compania chineză Z.AI, pentru a analiza atacul din iulie realizat de agenți ai OpenAI care scăpaseră de sub control, după ce modelele americane cu restricții mai stricte s-au dovedit mai puțin utile pentru activitatea criminalistică digitală.

Însă experții evidențiază și riscurile prezentate de modelele cu greutăți deschise, care pot fi modificate și redistribuite cu o supraveghere redusă.

Modelul Kimi K3, dezvoltat de compania chineză Moonshot, a „evadat” luna trecută un mediu de testare izolat al Institutului pentru Siguranța AI din Marea Britanie, evidențiind riscul ca modelele chineze de AI să poată, la fel ca cele americane, să eludeze controalele concepute pentru a le restricționa accesul și acțiunile.

Autoritățile de la Beijing au semnalat riscul „pierderii controlului” asupra AI

China a enunțat pentru prima dată în septembrie 2024 un scenariu explicit privind o viitoare pierdere a controlului asupra AI. Scenariul a fost prezentat într-un document-cadru de siguranță pentru inteligența artificială, redactat sub îndrumarea Administrației Chineze pentru Spațiul Cibernetic (CAC).

Documentul preciza că nu poate fi exclus ca o viitoare inteligență artificială să poată obține în mod autonom resurse externe, să se autoreplice, să dezvolte conștiință de sine și să caute putere externă, creând astfel riscul de a intra în competiție cu oamenii pentru control.

CAC a publicat o versiune extinsă în septembrie 2025. Noul cadru a accentuat scenariul, afirmând că AI ar putea trece printr-un „salt” brusc și neașteptat de mare în ceea ce privește inteligența, înainte de a dobândi resurse, de a se autoreplica și de a căuta putere. De asemenea, a adăugat principiul de guvernanță al „utilizării de încredere” și „prevenire a pierderii controlului”.

O interpretare ulterioară realizată de experți și publicată pe site-ul autorității de reglementare în domeniul cibernetic a precizat că noul principiu urmărea să protejeze împotriva riscurilor de pierdere a controlului care amenință supraviețuirea și dezvoltarea umanității și a făcut referire la posibilul scenariu în care „AI scapă de sub control”.

Avertisment de la cel mai înalt nivel din China

Această preocupare a apărut ulterior și în mesajele politice de la cel mai înalt nivel din China.

La Conferința Mondială privind Inteligența Artificială, desfășurată la Shanghai în luna iulie, președintele chinez Xi Jinping a declarat că autoritățile ar trebui să acorde o atenție deosebită atât riscurilor intrinseci, cât și celor derivate care decurg din tehnologia AI.

El a spus că inteligența artificială ar trebui să „rămână întotdeauna sub controlul oamenilor”.

Sun Xiaobo, oficialul de rang înalt al Ministerului chinez de Externe responsabil de problemele legate de AI, a declarat la o reuniune a Organizației Națiunilor Unite de luna trecută că China accelerează cercetările privind o legislație mai amplă în domeniul inteligenței artificiale.

Sun Lei, reprezentantul permanent adjunct al Chinei la Organizația Națiunilor Unite, a îndemnat luna aceasta guvernele să abordeze cu prudență inteligența artificială militară, pentru a evita „erorile strategice de calcul” și o „cursă a înarmării”.

China, îngrijorată de riscurile specifice aduse de „agenții AI”

Între timp, China a început să transforme aceste principii în reguli mai specifice pentru agenții AI, care acționează într-un mod mult mai autonom și îndeplinesc sarcini mai complexe decât un chatbot obișnuit.

În luna mai, autoritatea chineză de reglementare a spațiului cibernetic a emis orientări comune care vizează în mod specific astfel de sisteme.

Reglementările le cer dezvoltatorilor să își îmbunătățească capacitatea de a detecta, interveni, bloca și remedia comportamentul necorespunzător al agenților.

Orientările identifică în mod explicit drept riscuri de securitate otrăvirea datelor („data poisoning”), manipularea algoritmilor, vulnerabilitățile sistemelor și „pierderea controlului operațional”. De asemenea, acestea precizează că utilizatorii ar trebui să păstreze autoritatea finală de luare a deciziilor în ceea ce privește deciziile autonome ale unui agent.

China nu a propus supraveghetori independenți integrați în interiorul companiilor de AI, în maniera susținută de Anthropic.

Însă standardele sale permit dezvoltatorilor să solicite evaluări de siguranță realizate de terți și prevăd de asemenea existența unor organisme externe de evaluare și a unor cercetători în domeniul securității care să testeze și să auditeze modelele deschise.