Un responsabil cu siguranța de la OpenAI și-a dat demisia din companie, avertizând că cultura organizațională a acesteia este defectuoasă, caracterizată de un ritm alert, axată pe dezvoltarea rapidă, ceea sporește riscul de eșecuri.
Puteți deveni membru al HotNews Premium, dacă doriți să sprijiniți jurnalismul independent și – să nu ne ferim de cuvinte – dacă doriți să susțineți o presă europeană.
Nu «cumpărați» o lună sau un an de abonament, ci contribuiți la un serviciu de vigilență publică de care beneficiem în comunitățile noastre, indiferent de opțiunile politice diverse.
David Robinson a susținut că se pune accentul excesiv pe viteză de lansare de noi produse în timp ce siguranța a fost pusă pe un plan secundar.
Într-un eseu-manifest intitulat „Am demisionat de la OpenAI pentru că cultura sa organizațională este defectuoasă”, publicat sâmbătă de revista The Atlantic, el a afirmat că firmele din domeniul inteligenței artificiale, inclusiv OpenAI, nu sunt „nici pe departe suficient de prudente” și ar trebui să acorde o importanță mai mare expertizei și cercetării în materie de siguranță înainte de a dezvolta sisteme mai performante, conform Reuters și The Guardian.
„Direcția actuală este inacceptabilă”
„Acum mă alătur unui grup de foști colegi – de la OpenAI și de la alți lideri ai industriei – care au decis că direcția actuală este inacceptabilă”, a indicat el.
„Perioada de încercări și erori s-a încheiat”, a susținut Robinson, argumentând că sistemele avansate de IA necesită măsuri de protecție asemănătoare cu cele folosite în industrii precum energia nucleară și aviația.
Robinson a afirmat că OpenAI se bazează în mare măsură pe ceea ce numește „implementare iterativă”, lansând sisteme și consolidând măsurile de protecție pe măsură ce apar problemele.
David Robinson. Sursă foto: Business Insider
OpenAI și rivalul său Anthropic au fost supuse unei analize amănunțite în urma unor incidente în care măsurile de siguranță au eșuat sau sistemele experimentale s-au comportat în mod neașteptat.
El a amintit de incidentul cibernetic în care agenți autonomi cu inteligență artificială dezvoltați de OpenAI au evadat dintr-un mediu de testare și au accesat fără autorizație platforma open-source Hugging Face.
De asemenea, a subliniat că Anthropic a recunoscut că și-a dezactivat accidental propriile măsuri de siguranță din cauza unei erori de configurare.
„Viitorul depinde de o înțelepciune de care Silicon Valley nu dispune”
Robinson consideră că astfel de greșeli sunt specifice industriei AI, fiind favorizate de ritmul alert și flexibilitatea cu care se lucrează.
„Viitorul depinde de o înțelepciune de care Silicon Valley nu dispune. O înțelepciune legată de modul în care trebuie gestionată tehnologia periculoasă și, mai fundamental, o înțelepciune legată de ceea ce înseamnă să ții la oameni”, a mai scris Robinson.
De la începutul anului, OpenAI s-a confruntat cu un val însemnat de plecări la nivelul conducerii și al departamentelor cheie, conform informațiilor de pe platforma Dealroom.co. Cel puțin 12 persoane au ales să plece, din diverse motive.
Afirmațiile lui Robinson alimentează dezbaterea în cadrul industriei inteligenței artificiale cu privire la posibilitatea ca firmele să acționeze prea repede pentru a dezvolta sisteme din ce în ce mai puternice.
Compania se grăbește să facă noi lansări, spune Robinson
Robinson a declarat că a petrecut 3 ani și jumătate la OpenAI, a contribuit la elaborarea cadrului de pregătire al companiei și a supervizat rapoartele de siguranță pentru 12 lansări de modele de ultimă generație.
„Pe măsură ce compania trece în viteză de la o lansare la alta, nu reușește să atingă nivelul de atenție pe care îl consider necesar”, a avertizat el.
Robinson a avertizat, de asemenea, că capacitățile IA avansează mai repede decât înțelegerea cercetătorilor cu privire la „aliniere”, un domeniu axat pe asigurarea faptului că sistemele de IA acționează în conformitate cu obiectivele și valorile umane.
„În prezent, nu avem o definiție completă a ceea ce înseamnă ca un sistem de IA să fie aliniat în practică, iar criteriile noastre de evaluare a gradului de conformitate a acestor sisteme cu valorile umane sunt aproximative. Companiile nu au nici pe departe certitudinea că scorurile bune obținute la testele de aliniere înseamnă, de fapt, un model bun: modelele ar putea detecta momentul în care sunt testate și s-ar putea comporta diferit atunci când sunt puse în funcțiune”, a avertizat el.
Ce spune OpenAI
Fostul angajat OpenAI consideră că industria AI nu a reușit până acum să educe mașinile astfel încât să acționeze în mod constant cu înțelepciune și grijă.
„Înainte ca organizațiile care dezvoltă IA să poată învăța o superinteligență să trateze omenirea cu respect, vor trebui să-și amintească ele însele cum să facă acest lucru”, a conchis Robinson.
Compania a transmis că se preocupă ca agenții să poate fi controlați în siguranță.
„Ne asigurăm că modelele noastre nu devin mai capabile decât putem gestiona și securiza în condiții de siguranță și întrerupem antrenamentul sau oprim modelele atunci când trebuie să încetinim ritmul”, a declarat un purtător de cuvânt al OpenAI într-un comunicat.
