CEO-ul Anthropic Dario Amodei (stânga) și cercetătorul Yoshua Bengio (centru), în timpul unei audieri din Congresul american despre siguranța AI, FOTO: Alex Wong / Getty images / Profimedia
Anthropic, principalul rival din Silicon Valley al OpenAI în domeniul inteligenței artificiale, intenționează să avertizeze potențialii investitori, în documentele de listare pe bursă, că AI avansată ar putea prezenta „riscuri catastrofale sau existențiale pentru omenire”.
Prospectul de listare pe bursă al companiei, analizat de Reuters, evidențiază riscurile asociate modelelor de inteligență artificială dezvoltate de Anthropic.
Compania condusă de Dario Amodei afirmă că acestea ar putea manifesta „comportamente de autoconservare”, inclusiv încercări de a „rezista opririi”, de a „ascunde sau manipula informații” și comportamente „care seamănă cu șantajul”.
„Dezvoltarea de către noi a unor modele, platforme și aplicații extrem de avansate, precum și extinderea cazurilor de utilizare, ar putea crește și mai mult riscul ca modelele noastre să provoace daune”, a declarat Anthropic în documentul depus la Comisia pentru Bursă și Valori Mobiliare din SUA.
Avertisment neobișnuit de dur al Anthropic
Reuters subliniază că, deși este o practică obișnuită pentru companiile listate pe bursă sau care se pregătesc să facă acest lucru să prezinte investitorilor riscurile asociate produselor lor, puține, dacă există vreuna, au emis avertismente care să sugereze că tehnologia lor ar putea provoca o potențială extincție a oamenilor.
Anthropic a subliniat atât potențialul transformator al inteligenței artificiale, comparabil cu cel al industrializării și electricității, cât și daunele ireversibile pe care aceasta le-ar putea provoca dacă este gestionată necorespunzător.
Anthropic și alți dezvoltatori de inteligență artificială, inclusiv OpenAI, s-au confruntat cu o atenție sporită în urma unor incidente în care modele de frontieră au eludat constrângerile impuse, inclusiv un raport potrivit căruia un model OpenAI ar fi pătruns în baza de date a sistemului de sănătate din Australia.
Evan Hubinger, un cercetător al Anthropic specializat în siguranță, a estimat recent că există o probabilitate de peste 10% ca inteligența artificială să ucidă oameni în următorul deceniu, avertismentul său amintind de un alt mesaj dur transmis de Jacob Coxon, un specialist care și-a dat demisia luna aceasta din cadrul companiei.
Compania de inteligență artificială spune că modelele ar putea „conștientiza” că sunt evaluate
Anthropic, care s-a prezentat încă de la înființare drept un laborator de inteligență artificială axat în primul rând pe siguranță, a dedicat aproximativ 80 de pagini din corpul principal de 261 de pagini al prospectului său prezentării factorilor de risc. Numărul este de aproape două ori mai mare decât cel al paginilor consacrate descrierii activității companiei.
Spre comparație, SpaceX, care deține laboratorul de inteligență artificială xAI, a dedicat factorilor de risc doar aproximativ 38 din cele 277 de pagini ale corpului principal al prospectului său, înainte să se listeze pe bursă în luna iunie.
„Posibila conștientizare de către modele a eforturilor noastre de evaluare creează o limitare semnificativă a capacității noastre de a evalua siguranța modelelor”, a declarat Anthropic în prospect. Acesta adaugă că modelele dezvoltă uneori capacități neașteptate în timpul antrenării și că este posibil ca acestea să nu fie descoperite decât după ce au fost implementate și au provocat incidente de siguranță semnificative.
Cercetători din domeniul inteligenței artificiale au avertizat de asemenea că, pe măsură ce modelele devin mai capabile, acestea identifică din ce în ce mai bine când sunt monitorizate și își ajustează comportamentul în consecință, ceea ce face mai dificilă monitorizarea comportamentului modelelor.
Compania de AI amintește de asemenea de cursa frenetică de dezvoltare a unor noi modele
Compania, creatoarea modelelor de inteligență artificială Claude, a descris eforturile de siguranță drept „intensive din punct de vedere al resurselor” și a afirmat că trebuie să-și împartă fondurile limitate între puterea de calcul, specialiștii scumpi în inteligență artificială și siguranță.
Anthropic a declarat că utilizarea produselor sale de către clienți și, prin urmare, veniturile sunt determinate de noile modele și că un „ritm continuu și suprapus” al lansărilor este „inerent menținerii poziției de vârf în dezvoltarea inteligenței artificiale”.
Săptămâna trecută, compania a lansat o nouă versiune a modelului său Opus, la 10 zile după ce directorul general Dario Amodei a publicat un eseu de aproape 4.000 de cuvinte în care pleda pentru încetinirea ritmului dezvoltării modelelor de frontieră.
Unii analiști și experți au afirmat că niciun laborator important de inteligență artificială nu ar încetini ritmul atunci când acest lucru riscă să le ofere rivalilor un avantaj într-o industrie în care evaluările companiilor se pot modifica odată cu fiecare lansare.
Anthropic s-a angajat în ultimele săptămâni să facă publice mai multe date despre modul în care utilizează modelele de inteligență artificială pentru a construi viitoarele generații ale acestei tehnologii, în contextul în care experții avertizează cu privire la așa-zisa „îmbunătățire recursivă” – momentul în care modelele pot ajunge să se dezvolte singure, fără ajutor uman.
„Considerăm că dezvoltarea unor sisteme de inteligență artificială fiabile, demne de încredere și sigure este o responsabilitate colectivă și că piața va recompensa acest lucru”, afirmă Anthropic în documentul depus în vederea listării pe bursă.
