Incursiune în lumea Inteligenței Artificiale și a companiilor care o folosesc. Când AI decide dacă banca îți dă un credit sau te refuză

​Două companii românești, una de securitate cibernetică și cealaltă care se ocupă cu analiza datelor strânse de firme cu activitate în online, au explicat în cadrul dezbaterii „Cât de inteligentă este Inteligența Artificială?” cum anume folosesc AI în activitatea lor. „Una dintre calitățile inteligenței artificiale este aceea că, pe lângă faptul că este arogantă la maxim, este în același timp foarte pură”, susține Alexandru Bălan, director de cercetare în cadrul Bitdefender.

Nu știm exact cum va arăta viitorul, dar știm sigur că inteligența artificială este deja printre noi: mari companii de tehnologie ale căror servicii sunt folosite de miliarde de oameni, precum Facebook sau Google, folosesc în prezent inteligența artificială. Și nu doar companiile mari internaționale, ci și companii românești.

În cadrul dezbaterii „Cât de inteligentă este inteligența artificială?” am stat de vorbă cu reprezentanții a două firme din România care folosesc Inteligența Artificială, Alexandru Bălan director de cercetare la Bitdefender, și Vlad Marincaș, unul din fondatorii startup-lui InsightOut Analytics, precum și cu deputatul Varujan Pambuccian.

Inteligența Artificială și capacitatea acesteia de învățare

Despre ce vorbim când vorbim despre Inteligența Artificială?

Varujan Pambuccian: Toată povestea asta a început în 1956 la Dartmouth College, unde John McCarthy a avut ideea genială să numească programul de acolo „Inteligență Artificială”.

După părerea mea, vorbim de un concept de marketing foarte bun. Un concept care a prins și a reușit să aducă o finanțare în valuri.

Vorbim, de fapt, despre o colecție de algoritmi care pot să facă matching-uri de tipare foarte repede și să caute în volume foarte mari de date. Dacă lucrul acesta are vreo legătură cu inteligența e greu de spus. Pentru că noi nu am reușit să definim încă inteligența.

Programele care se derulează acum și în Statele Unite și în Uniunea Europeană legate de cartografierea creierului sunt într-un stadiu cam cum eram cu genomul uman în 2003. Încă nici nu am reușit să încheiem partea asta de cartografiere a creierului. De aici și până la a înțelege inteligența umană mai e un drum foarte lung.

A vorbi despre Inteligența Artificială în legătură cu inteligența umană sau umană este mult, mult prematur. Conceptul de Inteligență Artificială a suferit un boost în timp o dată cu aducerea unei idei foarte vechi, din anii 40, a rețelelor neuronale adaptată la sistemele informatice de astăzi.

Plecând de la acest concept s-a ajuns astăzi la ceea ce se numește „deep learning” și care este o perfecționare a acestui timp de algoritmi. Dar nu vorbim în niciun caz despre inteligență.

Și vă aduc în atenție proiectul de la Universitatea din Tokyo care vorbea despre un sistem capabil să ia examenul de admitere la universitate și să se plaseze în primii 1%. A reușit asta cu testele naționale, dar ce făcea sistemul respectiv? Exact ce am spus: căuta în Internet bazându-se pe o serie de cuvinte cheie pe care le detecta după care făcea un matching de patternuri (tipare).

Asta ne-a dovedit două lucruri: că inteligența artificială nu este inteligență și că sistemul de învățământ este foarte prost dacă ceva care nu știe ce face poate să se plaseze în primii 1% din cei care iau concursurile de admitere.

Oricum, Inteligența Artificială este un lucru extrem de util și noi trebuie să ne concentrăm mai puțin pe denumire și mai mult pe utilitate.

Deci Inteligența Artificială nu poate lua o decizie bazată pe altceva decât pe informațiile pe care le are la dispoziție…

Poate lua decizii pe reguli pe care i le dă cineva. Din această cauză inteligența artificială va înlocui foarte multe meserii care sunt bazate pe reguli. Dumneavoastră vorbeați de procese repetitive. Da, deja acolo roboții înlocuiesc forța de muncă umană. Dar există și meserii bazate pe reguli unde inteligența artificială va avea un cuvânt de spus din ce în ce mai important.

Domnule Alexandru Bălan, dumneavoastră cum folosiți Inteligența Artificială în compania Bitdefender?

Alexandru Bălan: Aș avea câteva completări la definiția adusă de domnul Pambuccian. Sunt de acord că este o denumire de marketing, dar este una binevenită. Totul trebuie să aibă un brand pentru a se stabiliza mai bine în mințile oamenilor.

Cineva a spus la un moment dat că „AI is just a bunch of ifs”. Adică dacă vezi un eveniment și definești tipul evenimentului reacționezi. Și la început cam asta a fost AI. Dacă vedeai că se întâmplă evenimentul A, atunci tu făceai evenimentul B.

Apoi s-a dorit ca evenimentul A să fie mai complex și să mai existe un factor de decizie care să selecteze dintr-o bază mai mare.

Cel mai simplu exemplu sunt roboții de chat. În care tu spui „bună ziua”, iar algoritmul răspunde cu „bună ziua”. Dacă vezi „bună seara”, răspunzi „bună seara” și așa mai departe.

Aceasta a fost cea mai rudimentară formă de Inteligență Artificială. Ce s-a adăugat însă apoi și este importantă această componentă, este capacitatea de învățare.

Într-adevăr Inteligența Artificială este folosită pentru a investiga baze mari de date dar componenta care este foarte utilă în momentul acesta este partea de învățare. Acesta este elementul cel mai important și pe care-l folosim și noi în Bitdefender.

Un exemplu din viața de zi cu zi sunt sistemele care învață să joace șah. Studiază meciuri jucate de mari maeștri de șah și apoi învață strategiile lor și le aplică. Un mit pe care oamenii îl cred și cu care eu nu sunt de acord este că AI este statică: „am învățat deschiderea siciliană, sau deschiderea lui Kasparov și o folosesc doar pe asta”.

Eu ca și programator al motorului de AI pot să-i mai dau o libertate: „încearcă să combini strategiile și încearcă s-o faci după o logică pe care ți-o creezi tu.

De fapt, întrebarea ar fi: este capabilă Inteligența Artificială care joacă șah să facă o altă mutare decât una dintre cele pe care le-a văzut?

Alexandru Bălan: Da, eu pot să-i dau o libertate de 10-15% în care să iasă din tiparul pe care l-a învățat, să nu-l aplice, pentru că cel cu care joacă poate face o altă mutare decât cea din meciul pe care l-a învățat.

Trebuie să-i dau algoritmului o libertate de decizie ca să se adapteze la jucătorul cu care joacă, folosind cunoștințele pe care le-a învățat din mai multe meciuri. Deci există această libertate de decizie pe care i-o poți da AI-ului și-i poți spune „aici încearcă mai multe variante”. Deci Inteligența Artificială nu replică orbește ceea ce a învățat.

Cum folosește o companie de securitate cibernetică Inteligența Artificială

Ce înseamnă Inteligența Artificială pentru o companie de securitate cibernetică cum este compania d-voastră?

Alexandru Bălan: Una dintre cel mai des folosite implementări de IA în securitatea cibernetică se numește „anomaly detection”, detecția de anomalii. Îi spunem motorului să învețe cum se comportă un sistem în mod normal, cum interacționează cu diversele fișiere, cu diversele aplicații, ce fac alte aplicații, cu ce alte aplicații sau site-uri de pe internet vorbesc și așa mai departe și creăm ceea ce înseamnă un „baseline”.

Înseamnă că acesta este comportamentul normal al sistemului, al aplicațiilor, al utilizatorului. Utilizatorul în mod normal deschide site-urile astea… în momentul în care reușim să stabilim aceste baseline-uri putem să extrapolăm și să spunem că un comportament neobișnuit poate fi identificat ca fiind suspect.

Dacă din calculatorul nostru se inițiază o conexiune pe un protocol pe care nu l-am mai folosit până acum, să dăm un exemplu la întâmplare spre Rusia, blochez temporar acest comportament și-l întreb pe utilizator „Sigur, tu ai făcut acest lucru?” Este ultima linie de apărare, ca să spun așa.

În momentul în care se manifestă și face comportamentul malițios, acel comportament va fi identificat ca un comportament pe care sistemul nu-l face în mod normal. Aceasta este ultimă linie de apărare care se bazează în întregime pe Inteligența Artificială și pe capacitatea motoarelor noastre de a învăța cum se comportă sistemele noastre în mod normal.

Cum folosește Inteligența Artificială obiceiurile noastre de consum pentru a ne sugera produse pe care să le cumpărăm

Cum folosește compania InsightOut Analytics Inteligența Artificială?

Vlad Marincaș: Ar trebui să spun mai întâi ce înseamnă pentru noi conceptul de Inteligență Artificială. Noi vedem prin AI o colecție de algoritmi care, bazat pe datele pe care le primește, este capabil să citească tipare și să facă predicții pe ele.

Noi, la InsightOut, ne folosim de datele de care dispun firmele ca să le ajutăm să-și îmbunătățească KPI-ul (Key Performance Indicator). Se strâng foarte multe date și nu toate sunt folosite în procesele de sales, marketing și așa mai departe.

La ce fel de date vă referiți?Date ale consumatorilor unui site de comerț electronic?

Da, dacă vorbim de exemplu despre un shop online avem milioane de utilizatori care intră și caută anumite lucruri: fac scroll, fac click și atunci vorbim de un model de Inteligență Artificială care e capabil să extragă preferințele utilizatorilor, să le citească din tiparele pe care le are când își fac cumpărăturile și în sensul acesta să facă niște predicții, niște recomandări țintite.

Adică algoritmul știe că persoana respectivă este în range-ul respectiv de preț, că are o anumită preferință în zona respectivă și atunci să-i poată propune un produs care e mai potrivit pentru el.

Ca să vorbim mai concret. Intru pe un site de comerț electronic și caut un televizor: după preț, după marcă și așa mai departe. Ceea ce faceți dumneavoastră este să mă ajutați să găsesc televizorul care mi se potrivește și să-mi sugerați și lucruri conexe, un cablu HDMI…

Exact, asta facem. Aici este important de menționat și că modelul respectiv se bazează atât pe parcursul și preferințele utilizatorilor dar și pe ce fac și ceilalți utilizatori pe site. Asta înseamnă că e capabil să învețe din tendințele din piață.

De exemplu, este un televizor care are un raport preț-calitate foarte bun și pe care multă lume îl cumpără. Modelul este capabil să învețe treaba respectivă și să împingă mai în față produsul respectiv.

Algoritmul ar putea să-mi sugereze și în funcție de capacitățile mele financiare?Să zicem că m-au văzut că am fost interesat de niște produse într-un segment de preț și să poată să-mi sugereze: „uite acesta este televizorul pe care tu ți-l poți permite”. Se poate face?

Se poate face în mai multe feluri. Dacă există niște sugestii pe care le filtrăm, pe baza prețului respectiv. Dacă avem datele respective despre cumpărături antecedente din care se poate observa range-ul, atunci modelul poate să facă recomandările în sensul ăsta.

Inteligența Artificială și deciziile pe care le ia Facebook

Să vorbim despre ceva concret, legat de Facebook. Există utilizatori care se plâng că algoritmii Facebook greșesc atunci când iau decizii importante, restrictive, sancționatorii. De exemplu, atunci când au blocat un conținut în mod abuziv, doar bazându-se pe un cuvânt cheie, fără să înțeleagă și contextul.

De exemplu, site-ul Hotnews a fost restricționat pe Facebook pentru folosirea cuvântului „Hitler” într-o postare, deși contextul era unul istoric: debarcarea din Normandia. O concluzie pe care o tragem de aici este aceea că Inteligența Artificială de la Facebook nu a înțeles contextul. De ce nu au înțeles algoritmii contextul?

Varujan Pambuccian: De înțeles, acești algoritmi nu înțeleg nimic, dacă vorbim de înțelegere la nivelul omului sau chiar al animalelor. Fac ceea ce li se spune să facă, până la urmă. Dacă acestea sunt regulile, algoritmii vor acționa într-o direcție sau alta.

E un exemplu foarte simplu și anume sistemele de traducere. Limbajul este foarte structurat și este bazat pe reguli. Unul din marile succese pe care le-a avut Inteligența Artificială este exact acesta al traducerii automate.

Un sistem care face traducere automată nu înțelege nimic din ceea ce traduce, dar traduce din ce în ce mai bine frazele cu care-l alimentăm. La fel se întâmplă și cu aceste analize pe care le face Facebook. Dacă i-ai dat un set de reguli, deciziile vor fi luate pe baza acestui set de reguli. Asta este tot.

Există un lucru pe care sistemele neuronale îl implementează, dar parțial. Este vorba despre așa-numita „plasticitate a neuronului”. Noi, oamenii, nu luăm cea mai bună decizie posibilă, așa cum fac sistemele de Inteligență Artificială. Acestea au un sistem de scoring și fac predicțiile în funcțiile de scoringul făcut de deciziile în viitor pe care le poate lua sistemul respectiv.

Noi funcționăm altfel (nici aici lucrurile nu sunt încă pe deplin cunoscute). Noi luăm decizia care a fost cea mai convenabilă statistic în trecut. Sistemul de Inteligență Artificială funcționează pe o predicție în viitor folosind acest sistem de scoring.

Când Inteligența Artificială decide cine primește un credit sau nu

O altă aplicație a Inteligenței Artificiale este în banking: Scorul de credit al unui client poate fi calculat de AI pe baza unor algoritmi. De asemenea, posibilitatea ca acel client să fraudeze banca este calculată tot de AI. Întrebarea ar fi cu ce argumente îi convingeți pe cei care spun că, din cele mai vechi timpuri, oamenii s-au bazat pe încrederea reciprocă unii în alții. Deodată, roboții sunt cei care ne evaluează și decid dacă fac sau nu afaceri cu noi. De ce să avem încredere în algoritmi?

Vlad Marincaș: În cazul algoritmilor ei pot să profite de o bază de date mai mare și să învețe din anumite greșeli pe care unii ofițeri de credite le-au făcut în trecut. Faptul că avem ceva centralizat și că un algoritm poate să se uite la anumiți factori, asta e un plus și poate ajuta foarte mult.

La fel de bine există și minusuri, partea de încredere. În ceea ce privește feelingul, acesta nu poate fi cuantificat în momentul de față, deci nu putem să-l trimitem mai departe modelului, deci modelul nu va ține cont de treaba respectivă.

În măsura în care tot mai multe lucruri din viața de zi cu zi le putem traduce în cifre și strângem date despre ele, care ulterior pot fi transmise modelelor, putem să ajungem la concluzia că o AI poate lua o decizie mai bună la partea de scoring decât factorul uman.

Din ce ați văzut până acum, cum vi se par deciziile luate de AI?

Din ce am văzut și există și literatură academică în sensul acesta, ultimele modele care au apărut fac o treabă destul de bună. Aici putem avea o comparație foarte bună pe cifre. Putem vedea un eșantion despre ce ar fi spus modelul respectiv, dacă ar fi dat sau nu creditul, apoi factorul uman și putem să le comparăm. Se avansează foarte mult pe partea asta de fintech și de micro credit și cred că acolo de îndreptăm, încet, încet.

Cum poate face față Inteligența Artificială unor situații de discriminare sau a unor provocări legate de etică. A fost un exemplu despre un program de recunoaștere facială care recunoașterea doar persoane albe. Cum s-ar putea armoniza Inteligența Artificială?

Alexandru Bălan: O chestie foarte interesantă pe care ar trebui să o specificăm este că noi, când încercăm să înțelegem Inteligența Artificială, ne raportăm la felul de gândire al omului, ceea ce este greșit. Este altceva.

Nu trebuie să privind AI prin prisma deciziilor pe care le luăm noi, subiectiv, emoțional și poate pragmatic. Una dintre calitățile inteligenței artificiale este aceea că, pe lângă faptul că este arogantă la maxim, luând decizii care nouă ni s-ar putea părea abuzive și discriminatorii, este în același timp foarte pură.

AI știe că este imperfectă. Are niște alerte implementate pentru fiecare moment în care crede că a luat o decizie greșită sau o alertă pentru fiecare moment în care crede că nu știe ceva.

Un exemplu concret: vorbim, de pildă, cu un asistent (Google etc) și-i cerem un lucru pe care nu-l știe. În fiecare moment de genul acesta un om va vedea de ce a eșuat algoritmul. Iar misiunea noastră de consumatori de Inteligență Artificială este să raportăm posibilele erori.

Cu alte cuvinte, dacă modulul de NPL (programare neuro-lingvistică) de la Facebook ar fi trebuit să înțeleagă contextul între cuvântul „Hitler” și „debarcarea din Normandia” (din exemplul pe care l-ați dat), iar acesta a eșuat, datoria noastră este să raportăm la Facebook: „vedeți că motorul a eșuat în acest caz”. Iar compania va îmbunătăți motorul pentru a recunoaște contextul pe viitor.

Este datoria noastră de consumatori de tehnologie AI să raportăm atunci când ceva nu funcționează. În plus, este important să înțelegem că tehnologia se va îmbunătăți constant și că va ajunge la niște niveluri pe care noi nu le putem concepe în acest moment.

Va câștiga Inteligența Artificială alegerile în viitor?

Domnule Pambuccian credeți că vom ajunge ca AI să decidă cine va câștiga alegerile?

Varujan Pambuccian: Eu îmi doresc să nu. Asta depinde foarte mult de cine utilizează acești algoritmi și în ce scop.

Politicienii aflați în campanii electorale îi utilizează și acum și-i vor utiliza și de acum înainte.

Problema este următoarea: societatea umană, așa cum s-a organizat ea de la revoluția agrară încoace, are legi care au fost făcute și acceptate de oameni ca atare.

Acum vorbim despre reguli făcute de un grup de oameni și pe care trebuie să le accepți dacă vrei să folosești softul respectiv sau nu. Asta e marea diferență.

Din punctul acesta de vedere, totul depinde de decizia pe care o ia o majoritate a oamenilor de a utiliza un anumit soft. Eu nu cred în conspirații, dar cred în acțiuni malefice pe care unele grupuri umane le pot face la nivelul unei societăți sau la nivel global.

Lucrul acesta e posibil, dar depinde de noi, să le limităm. Exact cum o companie de antivirus este într-o continuă competiție cu producătorii de malware, la fel societatea umană trebuie să se simtă într-o competiție cu producătorii de asemenea tip de malware social și să-l preîntâmpine când nu poate fi eliminat

Această dezbatere face parte din proiectul „România în Europa”, o inițiativă HotNews.ro, susținută de Fundația Konrad Adenauer. Opiniile prezentate în materialele proiectului nu reprezintă în mod necesar poziția partenerului nostru.