Start-up-ul DeepMind al Google construieste o masina neurala Turing – un computer cu capacitatea de a se programa singur

Start-up-ul DeepMind detinut de Google a construit o retea neurala care poate accesa o memorie externa precum o masina Turing obisnuita, rezultand un prototip de computer care incearca sa imite memoria pe termen scurt, o capacitate a creierului uman, scrie Tehnology Review.

Una dintre marile provocari ale neurostiintelor este intelegerea memoriei pe termen scurt a creierului uman. In acelasi timp, cercetatorii in domeniul IT ar vrea sa poata reproduce acest tip de memorie la computere.

Deep Mind, cumparata de Google la inceputul acestui an pentru suma de 400 milioane de dolari, a prezentat miercuri un prototip de computer care incearca sa imite cateva dintre proprietatile memoriei functionale pe termen scurt. Noul computer este un tip de retea neurala care a fost adaptata sa lucreze cu o memorie externa. Rezultatul este un computer care invata in timp ce stocheaza „amintiri” si poate sa recupereze ulterior aceasta informatie pentru a efectua sarcini logistice care depasesc limitele sarcinilor pe care a fost instruit sa le faca.

Reusita DeepMind vine pe fondul unei lungi activitati de cercetarea a memoriei pe termen scurt. In anii 1950, psihologul cognitiv american George Miller a realizat unul dintre cele mai faimoase experimente din istoria neurostiintelor. Miller era interesat de capacitatea de memorare a creierului uman asa ca a incercat sa o masoare cu ajutorul unui grup mare de studenti care au fost instruiti sa parcurga cateva sarcini simple de memorare.

Concluzia lui Miller a fost ca aceasta capacitate de memorare pe termen scurt nu paote fi definita de cantitatea de informatii pe care o contine. In schimb, memoria de scurta durata (cunoscuta si ca memorie de lucru) „salveaza” informatia sub forma de „chunks” (bucati) si poate retine in jur de 7 astfel de fragmente de informatii.

In experimentul lui Miller, un fragment de informatie poate fi o cifra, o litera, un cuvant sau un mic grup de cuvinte care au impreuna un inteles anume. Astfel ca aceste „chunks” pot reprezenta orice de la o informatie simpla pana la o idee foarte complexa care echivaleaza cu o cantitate mare de informatii.

In stiintele cognitive, abilitatea de a intelege componentele unei propozitii si de a le stoca in memoria de lucru poarta numele de conexiune variabila si consta din – in termeni simplisti – capacitatea de a lua o informatie, indiferent de marime, si de a o trimite intr-o anumita zona a memoriei.

In timpul anilor 1990 si 2000, cercetatorii din domeniul IT au incercat in mod repetat sa creeze algoritmi, circuite si retele neurale care sa poata imita aceasta procedura. Un astfel de computer ar putea sa analizeze o propozitie simpla precum „X a vorbit cu Y” fragmentand-o in partile componente – autor, actiune si receptorul actiunii.

Munca depusa de proiectul DeepMind vizeaza tocmai aceasta sarcina. „Arhitectura noastra se bazeaza si dezvolta aceasta munca”, explica Alex Graves, Greg Wayne si Ivo Danihelka de la DeepMind, companie cu sediul in Londra.

Au inceput cu redefinirea naturii unei retele neurale. Pana acum, retelele neurale au fost vazute ca tipare de „neuroni” interconectati, capabile sa schimbe puterea conexiunilor ca raspuns la un input extern. Aceasta este o forma de invatare care permite gasirea similitudinilor dintre diferite inputuri.

Insa procesul fundamental de calcul contine un alt element important. Este vorba despre memoria externa care poate fi scrisa si citita pe parcursul unei activitati de calcul. In faimoasa descriere a unui computer facuta de Alan Turing, memoria este ca o banda care trece inainte si inapoi prin masina si care stocheaza diferite tipuri de simboluri pentru a le procesa ulterior.

Acest tip de memorie lipseste in retelele neurale conventionale. Asa ca cercetatorii de la DeepMind au adaugat-o, permitand astfel retelei sa stocheze in memoria sa variabile si apoi sa revina asupra lor pentru a le folosi ulterior in calcule.

In termeni simpli, e ca si cum un computer obisnuit ar inregistra cifrele 3 si 4, pentru ca ulterior sa revina asupra lor si sa le adune obtinand 7. Diferenta este ca in cazul retelelor neurale, pot fi stocate tipare mult mai complexe de variabile.

Cercetatorii DeepMind au numit aceasta retea Neural Turing Machine (masina neurala Turing), prima astfel de „masina” construita vreodata.

Masina neurala Turing invata asemenea unei retele neurale obisnuite, folosind inputul de care beneficiaza din exterior, insa invata si cum sa stocheze aceasta informatie si cum sa o recupereze.

Activitatea DeepMind a presupus mai intai construirea dispozitivului iar apoi „antrenarea sa”. Experimentele au constat dintr-o serie de teste pentru a vedea daca, dupa ce masina neurala Turing „invata” sa faca o anumita sarcina, computerul ar putea sa extinda aceste abilitati pentru sarcini mai complexe.

„De exemplu, am fost curiosi sa vedem daca o retea care a fost instruita sa copieze secvente cu lungime de pana la 20, ar putea copia o secventa de lungime 100, fara nicio formare suplimentara”, spun cercetatorii.

„Experimentele noastre demonstreaza ca (masina neurala Turing – n.red.) este capabila sa invete algoritmi simpli din informatii date ca exemplu si sa foloseasca acesti algoritmi pentru a generaliza mult in afara regimului sau de instruire”, sustin specialistii DeepMind.

Acesta este un important pas inainte care are potentialul de a face calculatoarele mult mai asemanatoare cu creierul uman. Mai ramane insa mult de munca.

Creierul uman foloseste un truc inteligent pentru a intelege argument complexe. Plecand de la propria sa cercetare initiala, Miller si-a pus intrebarea: Daca memoria de lucru este capabila sa se ocupe, in acelasi timp, doar de circa sapte fragmente de informatii, cum intelegem informatiile complexe prezentate, spre exemplu, in carti?

Raspunsul lui Miller este urmatorul: creierul uman foloseste un truc cunoscut ca „recodificare”.

Spre exemplu, se dau propozitiile: „Cartea aceasta este o lectura interesanta cu un subiect complex si personaje captivante. Cu siguranta ea isi merita pretul”. Dupa ce o persoana a citit si a inteles prima propozitie, sub forma de 7 bucati de informatie, le recodifica ca o singura bucata de informatie in cea de a doua propozitie, astfel incat creierul nostru va sti automat ca pronumele „ea” insemna „cartea aceasta este o lectura interesanta cu un subiect complex si personaje captivante”. Iar tehnica este reutilizata pentru urmatoarele propozitii.

Aceasta abilitatea a creierului este, pentru Miller, una dintre cheile inteligentei artificiale. Miller credea ca un computer nu va putea niciodata reproduce performantele creierului uman daca nu poate reproduce tocmai aceasta abilitate a sa.

DeepMind sustine ca obiectivul sau declarat este „rezolvarea inteligentei”. Daca aceasta solutie este vag asemanatoare cu inteligenta umana, un test bun ar fi sa vedem daca masinile neurale Turing sunt capabile sa reproduca trucul identificat de Miller.