Cine este Zico Kolter, profesorul puțin cunoscut care a fost numit în una din cele mai puternice poziții din Silicon Valley?

Dacă crezi că inteligența artificială reprezintă riscuri grave pentru omenire, atunci un profesor de la Universitatea Carnegie Mellon din Statele Unite ocupă în prezent unul dintre cele mai importante roluri din industria tehnologică, scrie techXplore.

Zico Kolter conduce un grup de patru persoane în cadrul OpenAI, care are autoritatea de a opri lansarea de noi sisteme de inteligență artificială create de producătorul ChatGPT, dacă acestea sunt considerate periculoase. Printre posibilele riscuri s-ar putea număra o tehnologie atât de puternică încât o persoană rău-intenționată să o folosească pentru a produce arme de distrugere în masă; sau ar putea fi vorba de un nou chatbot atât de prost conceput încât să afecteze sănătatea mintală a utilizatorilor.

„Nu vorbim doar despre preocupări existențiale aici”, a declarat Kolter într-un interviu acordat pentru The Associated Press. „Vorbim despre întregul spectru al problemelor de siguranță și securitate și al temelor critice care apar atunci când începem să discutăm despre aceste sisteme de inteligență artificială folosite pe scară largă”, a adăugat el.

OpenAI l-a desemnat pe Kolter, specialist în știința calculatoarelor, președinte al Comitetului pentru Siguranță și Securitate cu mai bine de un an în urmă. Însă poziția sa a căpătat o semnificație sporită săptămâna trecută, când autoritățile de reglementare din SUA au făcut din supravegherea exercitată de Kolter un element central al aprobărilor pe care le-au dat pentru a permite OpenAI să-și creeze o nouă structură de afaceri, care să-i faciliteze atragerea de capital și obținerea de profit.

Înțelegerea în care Microsoft continuă să joace un rol major a împins valoarea OpenAI la 500 de miliarde de dolari, mai mare decât a oricărei companii din Europa.

Îngrijorări legate de dezvoltarea în siguranță a tehnologiei AI

Siguranța a fost un element central al misiunii OpenAI încă de la înființarea sa, acum un deceniu, ca laborator de cercetare non-profit, cu scopul de a construi o inteligență artificială superioară celei umane, care să aducă beneficii umanității. Însă, după lansarea ChatGPT, care a declanșat un „boom” comercial global al inteligenței artificiale, compania a fost acuzată că lansează produse pe piață înainte ca acestea să fie pe deplin sigure, doar pentru a rămâne în fruntea cursei tehnologice.

Diviziunile interne care au dus la înlăturarea temporară a directorului general Sam Altman în 2023 au adus aceste îngrijorări – că OpenAI s-a abătut de la misiunea sa inițială – în atenția publicului larg.

Organizația cu sediul în San Francisco s-a confruntat cu reacții negative, inclusiv cu un proces intentat de cofondatorul Elon Musk, atunci când a început demersurile de transformare într-o companie cu scop lucrativ, pentru a putea continua dezvoltarea tehnologiei sale.

Acordurile anunțate săptămâna trecută de OpenAI, împreună cu procurorul general al Californiei, Rob Bonta, și procurorul general al statului Delaware, Kathy Jennings, au urmărit să atenueze o parte dintre aceste temeri.

În centrul acestor angajamente formale se află promisiunea că deciziile privind siguranța și securitatea trebuie să primeze în fața considerentelor financiare, pe măsură ce OpenAI își formează o nouă entitate – o corporație aflată, din punct de vedere tehnic, sub controlul Fundației OpenAI, organizația sa non-profit.

Profesorul a primit ample puteri în cadrul OpenAI

Kolter va fi membru al consiliului fundației non-profit, dar nu va face parte din consiliul entității cu scop lucrativ. Totuși, el va avea „drepturi complete de observator”, ceea ce îi va permite să participe la toate ședințele consiliului companiei comerciale și să aibă acces la informațiile referitoare la deciziile privind siguranța AI, conform memorandumului de înțelegere semnat între Bonta și OpenAI. Kolter este singura persoană, în afară de Bonta, menționată nominal în acest document amplu.

Kolter a declarat că acordurile confirmă, în mare parte, că comitetul său de siguranță format anul trecut își va păstra puterile deja existente. Ceilalți trei membri fac, de asemenea, parte din consiliul OpenAI – unul dintre ei fiind fostul general al armatei americane Paul Nakasone, care a condus Comandamentul Cibernetic al SUA. Altman s-a retras din comitetul de siguranță anul trecut, într-o decizie percepută drept o măsură de creștere a independenței acestuia.

„Avem posibilitatea de a solicita amânarea lansării unui model până când sunt îndeplinite anumite măsuri de protecție”, a spus Kolter pentru Associated Press. El nu a dorit să precizeze, invocând confidențialitatea procedurilor, dacă acest comitet a trebuit vreodată să blocheze sau să modifice o lansare.

Kolter a adăugat că, în lunile și anii următori, vor exista o varietate de preocupări legate de agenții AI care trebuie luate în considerare, de la securitatea cibernetică – „Ar putea un agent care întâlnește un text malițios pe internet să extragă din greșeală date?” – până la chestiuni legate de securitatea „greutăților” modelelor AI, adică valorile numerice care determină modul în care acestea funcționează.

„Dar există și teme care sunt fie emergente, fie specifice acestei noi clase de modele AI, fără analogii reale în domeniul securității tradiționale”, a spus el. „Permit aceste modele utilizatorilor rău intenționați să obțină capacități mult mai mari atunci când vine vorba de proiectarea de arme biologice sau de realizarea de atacuri cibernetice malițioase?”, întreabă el retoric.

„Și, în cele din urmă, este vorba pur și simplu despre impactul modelelor AI asupra oamenilor”, a adăugat Kolter pentru AP. „Impactul asupra sănătății mintale, efectele pe care le are interacțiunea oamenilor cu aceste modele și ce consecințe poate provoca – toate aceste aspecte, cred eu, trebuie abordate din perspectiva siguranței”, și-a mai explicat el viziunea.

OpenAI a fost puternic criticată anul acesta pentru comportamentul chatbot-ului său principal, inclusiv într-un proces pentru moarte nejustificată intentat de părinți din California, al căror fiu adolescent s-a sinucis în aprilie după interacțiuni îndelungate cu ChatGPT.

Zico Kolter a început să studieze inteligența artificială când era un domeniu „ezoteric”

Kolter, director al Departamentului de Învățare Automată („deep learning”) de la Carnegie Mellon, a început să studieze inteligența artificială pe vremea când era student în primul an la Universitatea Georgetown, la începutul anilor 2000 – cu mult înainte ca domeniul să devină popular.

„Când am început să lucrez în învățare automată, era un domeniu ezoteric, de nișă”, a spus el. „Îi spuneam machine learning pentru că nimeni nu voia să folosească termenul AI, fiindcă inteligența artificială era un domeniu vechi care promisese prea mult și livrase prea puțin”, explică el.

Acum în vârstă de 42 de ani, el a urmărit activitatea OpenAI timp de ani de zile și era suficient de apropiat de fondatorii săi încât a fost invitat să participe la petrecerea de lansare a companiei, la o conferință de inteligență artificială din 2015. El admite totuși că nu se aștepta ca tehnologia AI să avanseze atât de rapid.

„Cred că foarte puțini oameni, chiar și cei implicați profund în învățarea automată, au anticipat cu adevărat starea actuală în care ne aflăm – explozia de capabilități și explozia de riscuri care apar în acest moment”, a declarat profesorul pentru AP.