Cum a ratat Google începutul revoluției AI. Povestea „transformerelor”, tehnologia care a pus T-ul în ChatGPT
În urmă cu opt ani, câțiva ingineri de la Google au reușit, după luni de teste, un salt uriaș în istoria inteligenței artificiale. Au creat algoritmul „Transformer”, o descoperire care avea să stea la baza întregii revoluții AI. Spre uimirea lor, conducerea Google nu s-a grăbit să o integreze în produse proprii, iar compania care a profitat a fost rivala mult mai mică OpenAI. O nouă carte publicată de ZYX Books spune povestea acestei tehnologii care putea schimba lumea mult mai repede.
Tehnologia Transformers, o nouă arhitectură AI dezvoltată de cercetătorii Google în 2017, a stat la baza întregii revoluții din inteligența artificială, o revoluție care a dus la crearea unor aplicații precum ChatGPT, Gemini, Claude AI sau Perplexity AI.
În cartea „Supremație – Inteligența artificială, ChatGPT și cursa care va schimba lumea”, jurnalista Parmy Olson explică pe larg cursa de dezvoltare a AI în ultimul deceniu și întrecerea dintre OpenAI și Google DeepMind, dar mai ales între doi șefi vizionari de la cele două companii: Sam Altman și Demis Hassabis.
„T-ul din ChatGPT vine de la „transformer”, iar acesta.este esențial pentru noul val de inteligență artificială generativă, cel care poate produce texte, imagini și videoclipuri realiste, dar și secvențe de ADN și multe alte tipuri de date”, scrie jurnalista Parmy Olson.
Invenția „transformerului” în 2017 a avut în domeniul AI un impact comparabil cu lansarea smartphone-urilor pentru publicul larg, se spune în volumul de 334 de pagini.
Când discuțiile cu chatboții erau enervante și rudimentare
„Transformerele au extins semnificativ sfera posibilităților pentru inginerii AI. Ele pot să gestioneze volume mult mai mari de date și să proceseze mult mai rapid limbajul uman. Înainte de apariția transformerelor, interacțiunea cu un chatbot era rudimentară, fiindcă sistemele vechi se bazau pe seturi de reguli și arbori de decizie. Dacă îi puneai unui bot o întrebare care nu era prevăzută de programarea sa (ceea ce se întâmpla des), acesta se bloca sau comitea o eroare majoră. Așa au fost concepuți inițial asistenții digitali Siri, de la Apple, Alexa, de la Amazon, și Assistant, de la Google. Ei tratau fiecare întrebare ca pe o cerere izolată și, din acest motiv, gestionau foarte prost contextul. Nu puteau să-și amintească întrebările anterioare dintr-o conversație, așa cum face un om”, explică Parmy Olson, jurnalistă care a scris pe domeniul tech la Wall Street Journal, Bloomberg și Forbes
Practic, se explică în volumul de la ZYX Books, noua arhitectură AI a eliberat chatboții de aceste limitări. Au început să înțeleagă nuanțele și argoul, să facă referire la lucruri menționate cu câteva propoziții mai devreme, să răspundă la aproape orice întrebare aleatorie și să ofere răspunsuri personalizate.
Acest salt tehnologic a declanșat și o dezbatere aprinsă: computerele au început să „înțeleagă” limbajul la fel precum oamenii sau îl procesează în continuare doar prin predicții matematice?
„E nevoie doar de atenție”
Creatorii acestei tehnologii „Transformer” de la Google au lucrat în 2017 câteva luni pentru a o rafina, au trecut la experimente și au testat diverse arhitecturi. Opt cercetători au ajuns să lucreze la proiect, iar doi dintre ei sunt menționați în carte pentru contribuțiile lor: Noam Shazeer și Jakob Uszkoreit.
Oamenii de la Google, se explică în cartea citată, au analizat conceptul de „atenție” în AI, prin care un computer poate identifica cele mai relevante informații dintr-un set de date, iar ideea lor a fost de a aplica această tehnică pentru a traduce cuvintele mai rapid și mai precis.
Cercetătorii au rămas impresionați de modul în care Transformerele reușeau să deducă intuitiv informații dintr-un text nestructurat, iar la șase luni după primele discuții din cantină, cercetătorii și-au documentat descoperirile și au scris o lucrare care a devenit publică în spațiul academic.
„Titlul <Attention Is All You Need> („E nevoie doar de atenție”) a ajuns pe prima pagină a lucrărilor științifice, rezumând perfect descoperirile făcute de ei. Folosind un algoritm „transformer”, sistemul AI poate să acorde simultan atenție unor cantități uriașe de date și să le utilizeze mult mai eficient” se scrie în volumul semnat de Parmy Olson.
Deși acestă arhitectură s-a născut în „curtea” Google, Open AI a fost compania care a valorificat descoperirea și, mai mult decât atât, a transformat-o într-o armă care a lansat, pentru prima dată după mulți ani, o amenințare reală la adresa uriașei corporații, se spune în cartea despre evoluția AI.
OpenAI a publicat în 2018 modelul GPT‑1 care se bazează pe arhitectura „Transformer”. Din moment ce arhitectura fusese făcută publică în literatura academică, OpenAI putea să o folosească, să o extindă și să dezvolte modele noi bazate pe ea.
De ce este uimitor că arhitectura Transformers a văzut lumina zilei la Google
Deși Google dispunea de resurse și talente extraordinare, extinderea organizațională și teama de a-și perturba afacerile din publicitate au împiedicat angajații să promoveze inovațiile, explică Parmy Olson.
Conform mărturiei unor foști angajați, divizia Google Brain, la care lucrau cei mai buni cercetători în învățare profundă din companie, a întâmpinat dificultăți din cauza obiectivelor și a strategiilor neclare trasate de management.
Cultura delăsării a fost influențată parțial de prezența unui număr mare de oameni de știință talentați, printre care și Geoffrey Hinton. Ștacheta era ridicată foarte sus, iar Google folosea deja tehnici AI de ultimă generație, cum ar fi rețelele neuronale recurente, care procesau zilnic miliarde de cuvinte, se explică în volumul citat.
Dar tehnologia dezvoltată în 2017 era mult peste ce se folosea în mod obișnuit în companie. O parte dintre cercetători au încercat – fără sorți de izbândă – să convingă compania Google de potențialul imens al „transformerelor”.
Un chatbot revoluționar ce nu a fost lansat pentru publicul larg
În 2019, câțiva oameni de la Google au creat un chatbot numit Meena, antrenat pe miliarde de conversații de pe rețelele sociale. Era atât de avansat, încât putea inventa glume sau discuta filozofie. Entuziasmați, cercetătorii au vrut să-l prezinte conducerii, dar Google a blocat proiectul, de teamă că ar putea produce mesaje nepotrivite.
Parmy Olson notează că oamenii care au dezvoltat Meena erau super-încântați de chatbot și au vrut să facă o demonstrație, sperând că șefii companiei vor fi și ei mulțumiți și vor folosi tehnologia în modernizarea faimosului Google Asistent. A fost publicată și o lucrare științifică ce avea titlul „Towards a Human-like Open-Domain Chatbot”.
Directorii Google nu au fost încântați, ci au blocat demersurile lor, de teamă că noul chatbot ar putea să facă remarci neadecvate, care să afecteze reputația companiei sau, și mai grav, afacerile sale publicitare, evaluate la 100 de miliarde de dolari. Conform unui articol publicat de The Wall Street Journal, Google a împiedicat toate tentativele de a lansa public chatbotul Meena sau de a-l integra în produsele companiei, mai scrie autoarea.
Lentoarea cu care Google adoptă tehnologii noi poate fi interpretată în mai multe feluri, mai scrie Parmy Olson, care explică faptul că Transformerul permite computerelor să genereze nu doar text, ci și răspunsuri la diverse întrebări. Dacă începeau să folosească mai des această tehnologie, utilizatorii aveau să apeleze mai rar la motorul de căutare Google.
*ZYX Books face parte din același grup de media din care face parte și Hotnews.