De ce să NU îți faci rezervare online la cazare când ai telefonul aproape descărcat? Cum ne exploatează algoritmii – interviu cu profesorul Răzvan Rughiniș

Algoritmii sunt parte din viața noastră într-o măsură copleșitoare. Algoritmii ne recomandă produsele de cumpărat, algoritmii moderează mesajele pe rețelele sociale, algoritmii ne construiesc profilul social, financiar, profesional sau psihologic. Avem fiecare dintre noi, în marile baze de date, profiluri bazate pe corelațiile pe care le fac algoritmii diferitelor aplicații. Profilurile de utilizator vor rămâne la nesfârșit în baze de date deținute de mari companii și vor fi din ce în ce mai acurate. Lucrurile sunt abia la început.

Algoritmii aceștia au multe neajunsuri pentru noi, clienții, utilizatorii, cetățenii care le folosim. Pe baza lor putem fi manipulați, exploatați, prin ele se întăresc stereotipuri de gen și rasă, se creează polarizare politică și ne pot baga în situații foarte neplăcute. Suntem noi sau cel puțin putem deveni acum cetățeni cu drepturi depline în lumea digitală?

Am discutat cu profesorul Răzvan Rughiniș, care de curând și-a lansat cartea „Societatea digitală. Stăpâni, cetățeni sau sclavi?”, apărută la editura Humanitas, despre câteva dintre problemele pe care le pune societatea digitală și despre modul în care ne exploatează algoritmii.

RĂZVAN RUGHINIȘ este profesor la Facultatea de Automatică și Calculatoare a Universității Politehnice din București, doctor în știința calculatoarelor din 2005 și, din 2021, absolventul programului de master„Etică aplicată în societate, afaceri și organizații“ la Facultatea de Filozofie a Universității din București.

Interviul integral:

Aș vrea să începem să discutăm problematica din această carte, recent apărută la Editura Humanitas, dintr-o perspectivă mai personală. De pildă, care-s experiențele dumneavoastră, de ce neajunsuri ați avut dvs. parte cu reclamele țintite, cu felul în care se comportă algoritmii pe rețelele sociale, pe site-uri, pe youtube, pe Google?

Eu mă consider un cetățean foarte norocos să trăiesc în aceste vremuri, în care tehnologia vine să sprijine intenții încă ne-născute în mintea noastră. Și adesea ne bucurăm de toate aceste binecuvântări aduse de tehnologie doar la un singur click distanță. Și din cauza aceasta șocul când tehnologia derapează este și mai mare.

„A fost un moment de duș rece”

Decât să fac niște analize foarte structurale, as povesti niște întâmplări, cu un rol mai degrabă anecdotic. N-aș face acuma judecăți pentru întreaga industrie, povestesc doar lucruri personale, autentice. Una dintre întâmplările care mi-a dat un fior pe șira spinării a fost într-o vacanță. Tocmai când ești cu garda mai jos. Eram în vacanță, în luna august, în Budapesta.

La un moment dat, stând alături de soția mea, primesc un mesaj de la niște prieteni care spuneau: și noi ne îndreptăm spre Budapesta. Rezervă-ne te rog ceva în zona în care te afli și tu, ca să putem petrece seara împreună. Moment în care, automat, bucuros de binecuvântarea tehnologiei, deschid Booking de pe telefonul mobil și caut în zona în care ne aflam opțiuni de cazare. Șoc! Îmi dau seama că mă uit la niște prețuri mult mai mari decât mă așteptam. O întreb pe soția mea, atât de mult plătim? Acestea-s prețuri de Paris. Atâta plătim noi cazare Budapesta? Ea foarte surprinsă, nu, nu este un preț OK, cum de tu ai astfel de oferte? Zic uită-te, telefonul mi se descarcă. Hai, te rog, să intrăm la un Starbucks, astfel încât să putem continua căutarea. Intr-un Starbucks, bag telefonul la încărcat. Un telefon care era adevărat sub 20 % sau 15 %. Când îl pun la încărcat, toate prețurile scad la jumatate. Toate prețurile instant, vizibil, în momentul când eu am am alimentat telefonul, s-au înjumătățit. Au scăzut în continuare, erau încă peste ceea ce plătise soția mea, cea care făcuse rezervările, dar înjumătățite față de cu cinci minute înainte, când telefonul meu era în prag de a-și da duhul. Investighez, și aflu că modul prin care Booking stabilește aceste prețuri personalizate, față de care mulți avem emoții pozitive, este pe baza unui număr extraordinar de mare de parametri. În primul rând urgența pentru utilizator, o aplicație de mobil mi-a știut nivelul bateriei.

Cazarea noastră fusese făcută de soția mea și din punctul de vedere al Booking eram pentru prima oară în Budapesta. Așa că m-a considerat un turist neexperimentat, fără niște repere pentru aceste cazări și a exploatat acest fapt la maxim, ajungând la mai mult de trei ori prețul pe care soția mea l-a obținut făcând aceeași operație din confortul unui laptop a cărui baterie nu era în nivel critic. Deci, plaja aceasta de informații pe care aceste aplicații le colectează și modul cum ele sunt folosite împotriva utilizatorilor adesea nu sunt înțelese, cunoscute. Aceasta a fost un moment de duș rece în care mi-am dat seama că este o relație asimetrică în care noi proiectăm intenționalități pozitive ale acestor aplicații, fără să avem vreo modalitate să verificăm dacă ele sunt sau nu oneste, dacă ne exploatează sau nu.

Mergem cu Uber adesea și ne așteptăm ca Uber să aibă interesele noastre, ale clienților ca obiectiv principal. Dar Uber își schimbă algoritmul chiar pe parcursul unei singure zi. Au fost numeroase articole în presa britanică. Revista Wired a investigat momente în care algoritmul de la Uber era menit tocmai să exploateze turiști, utilizatori vulnerabili, care nu cunosc starea orașului. La un moment dat, verificând istoricul soției mele de călătorii Uber, mi-am dat seama că face niște trasee adesea mult mult mai lungi. Diferența dintre Uber și un șofer de taxi este că, chiar dacă te duce prin locuri ocolite pentru a-ți face o cursă mai lungă, odată coborât dintr-un taxi, rămâi cu paguba unei singure curse. Uberul va reuși să te profileze.

Acum există o investigație. Iar acesta investigație este un proces lung, în care rolul central l-au jucat mai multe ONG-uri preocupate de abuzurile pe care aceste companii de tehnologie le-au făcut asupra utilizatorilor. Ele au încercat să obțină un răspuns față de aceste situații extraordinare. Și într-un fel sau altul, cred că acesta este punctul de inflexiune în care ne aflăm, acela în care ne dăm seama că tehnologia este parte din viața noastră și ne așteptăm ca societatea, într-un parteneriat cu aceste companii, să explice situații de genul ăsta, să poată să fie acountable, să fie responsabile față de deciziile pe care le iau astăzi.

Nu înseamnă că lucrurile sunt neapărat rele cu cockies sau cu algoritmii care te profilează. De pildă, eu am ales un serviciu de streaming de muzică exact pentru motivul că prezice foarte bine ceea ce ceea ce îmi place și îmi dă noutățile muzicale dorite. Există și un factor pozitiv în urmărirea preferințelor.

Fără îndoială. Sunt cu adevărat bucuros că trăiesc aceste vremuri în care deciziile și preferințele mele sunt augmentate de tehnologie. Și, fără îndoială, cartea nu își dorește în vreun fel să infirme beneficiile majore de procesare a unui volum mult mai mare de informații.

Acest sistem de recomandări te ajută să explorezi un spațiu muzical, literal mult, mult mai mare și să obții recomandări care să-ți scurteze căutarea. Recomandări de produse mai ieftine când cumperi online, muzică, cărți și așa mai departe. Și astea sunt lucruri reale și cred că nu trebuie să ne îndepărtăm de aceste beneficii.

Problema este când vorbim de anumite sectoare ale societății în care regulile sunt foarte diferite. Nu este o problemă când Amazonul îmi recomandă un produs de care eu n-am nevoie, îl voi ignora. Însă lucrurile devin foarte problematice în momentul în care un sistem algoritmic folosit în justiția americană, menit să evalueze gradul riscului de recidivă al unui cetățean, îi refuză pe baza algoritmilor eliberarea condiționată. Există astfel de investigații, făcute de exemplu de ProPublica, un ONG de mare anvergură din Statele Unite. Ei au demonstrat că există o discriminare în primul rând rasială, de proporții masive.

Pentru că, în mare parte, aceste decizii algoritmice se bazează pe o etapă de antrenament, pe date din trecut. Ne place foarte mult să ne considerăm persoane morale și integre și să nu ne uităm cum gândeam noi acum 10 ani. Din multe puncte de vedere, societatea progresează. Acești algoritmi progresează mult mai încet, pentru că ei sunt de multe ori antrenați pe comportamente sexiste, rasiste și așa mai departe, pe care noi astăzi nu le mai acceptăm cu înțelepciunea comună, dar care le vom vedea replicate în momentul când algoritmii vor fi antrenați pe seturi masive de date, de multe ori ce vin practic dintr-o altă societate, una trecută.

De de multe ori aberațiile nu sunt intenționate e vorba de produse imperfecte. De pildă, o jurnalistă și-a făcut un profil pe Lensa. Ea era de origine asiatică. Un sfert din avatarele ce i-au fost create de Lensa erau aproape porno, spune ea. Și a analizat lucrul ăsta. Internetul are o mulțime de astfel de stereotipuri, iar programul respectiv de algoritmi a preluat informația existentă de pe internet. Adică algoritmii întăresc stereotipurile.

„Algoritmii aceștia pedepsesc oameni nevinovați”

Când vorbim de zona aceasta de pasiuni și preferințe, cred că costurile sunt foarte mici. Totuși, eu aș încerca să discutăm despre oportunitatea folosirii acestor decizii, de multe ori conservatoare, algoritmice, care pot să eșueze. Norma justiției occidentale este ca mai degrabă să scape 10 oameni vinovați nepedepsiți decât să pedepsești un om nevinovat. Algoritmii aceștia pedepsesc oameni nevinovați. Avem săptămâna trecută un incident în care o persoană de culoare a fost oprită și arestată pentru 48 de ore de către poliția americană, doar pe baza unei identificări faciale. Deși avea cu 25 de kilograme mai mult și nu fusese niciodată în statul în care se comisese infracțiunea. Deci, avem această automatizare a deciziilor de investigație și de acuzație. Persoana respectivă a avut norocul să poată să demonstreze că nu fusese vreodată în statul în care s-a comis infracțiunea.Dar a existat o disrupere masivă a vieții acestei persoane, pentru că a fost scos de la muncă și altele. Statele Unite funcționează foarte diferit, deci aceste sisteme de recomandări când sunt aplicate în justiție, ajung să aibă costuri mult mai mari.

Revenim totuși la la Lensa. E adevărat că aplicațiile acestea sunt conservatoare. Dar ce este normalitatea? Pentru că, într-adevăr, aceste modele de inteligență artificiale reușesc să să identifice corelațiile în pattern-uri. Dar realitatea este un pic diferită de ceea ce ne-am dori noi să facem. Da, realitatea este că majoritatea cetățenilor mănâncă la McDonald’s, de pildă. Aceste comportamente sunt reale, dominante creează normalitatea obiectivă. Dar realitatea este că de multe ori în societate noi avem o altă aspirație. Chiar dacă mulți dintre noi mâncăm la McDonald’s, nu vrem să spunem că este normal să mănânci la McDonald’s. Și acest decuplare dintre ce se întâmplă zi de zi și normalitate, chiar dacă acea normalitate nu este exersată, nu este încă reală, este ceea ce cred, duce societatea înainte. Din păcate, acești algoritmi sunt o oglindă a realității și s-ar putea ca această oglindă să întârzie un progres către comportamente etice ce ar fi în interesul nostru, ca indivizi sau ca societăți,

Și nu e vorba numai de stereotipuri, ci spuneți, de pildă, că algoritmii Youtube și Facebook joacă un rol important în radicalizarea și polarizarea politică a publicului, precum și în circulația extinsă a știrilor false. Adică însăși sistemul algoritmic determină aceste lucruri ca efect secundar sau pervers.

„Tehnologia ne face structural mai stupizi, mai proști”

Articolul cel mai important din anul 2022 pentru mine a fost articolul din The Atlantic al lui Jonathan Haidt, cu un titlu foarte incisiv, „Yes, social media really is undermining democracy”.

Tehnologia ne face structural mai stupizi, mai proști, ceea ce fără îndoială pare un clickbait. Haidt este un psiholog cu foarte multă experiență clinică. El ce argumentează că această spargere în bule sociale prin tehnologie, din păcate, are un efect nestudiat până acuma, și anume faptul că nu mai ajungem să avem o conversație între cele două părți ale eșicherului politic. Între o stângă și o dreapta. Discutăm în bulele rețelelor sociale și de multe ori în cadrul bulei există tendința de înlăturare a celor de la mijloc, a celor care sunt în zona ta de ideologie, dar care fac apel către un centru. Adesea cei care fac apel la un soi de conviețuire, o conviețuire la mijloc, sunt eliminați. Argumentele nu mai sunt în niciun fel puse la încercare. Argumentele sunt pur și simplu afirmate, iar bulele se construiesc pe afinități, nu pe procese de gândire. Știm foarte bine că rolul științei și valoarea științei nu stă în concluziile pe care aceasta le oferă, ci în procesul, în metodologia prin care ipoteze ajung să fie validate de o metodologie și apoi replicabile.

„Discutăm mai puțin, mai ales după doi ani de pandemie, de inechitatea de raționalitate”

Mi-a plăcut foarte mult o carte a lui Steven Pinker în care trage un semnal de alarmă. Vorbim în ziua de astăzi foarte mult despre inechitate economică. Suntem în buza unei crize economice. Discutăm mai puțin, mai ales după doi ani de pandemie, de inechitatea de raționalitate. Pentru că pandemia, dincolo de toate crizele pe care le-a dus, a venit cu un soi de narațiuni conspiraționiste pe o scală globală. Noi le-am tratat mai degrabă ca pe o sursă de amuzament, în loc să le tratăm ca pe o sursă de îngrijorare. Suntem într-o țară în care doar 40 % din concetățeni s-au vaccinat și avem niște narațiuni de un absurd fără precedent. Steven Pinker argumentează că avem instituții din ce în ce mai eficiente în generarea de știință și avem zone mai largi al societății incapabile să poată procesa rezultatele acestor centre de știință. Iar știința trebuie creată pentru societate, nu trebuie creată doar pentru notorietate, faimă și articole pe care să le poți publica. Există o decuplare ce a fost incredibil de dureroasă, mai ales în pandemie, în care am văzut incendiate antene de 5G, am văzut demonizarea lui Bill Gates.

Nu este, din păcate, deloc amuzant. Am discutat cu oameni convinși că există această monitorizare continuă prin vaccin. Va spun un incident real, în care vorbeam cu niște lucrători din zona de construcții, iar ei mă întreabă, ai făcut testul cu moneda? Ce test? Păi, nu ți-ai pus moneda pe locul în care te-ai vaccinat și să vezi că este magnetic? Era vară, suflec mâneca. Te rog, îi spun, pune moneda. El pune moneda, moneda cade. Respectivul era înconjurat de încă trei prieteni. Era un grup de constructori. Dar, uită-te, la mine sta moneda, moment în care îmi pare rău să o spun, replica mea a fost, tu când ai făcut ultima oară duș? I-am cerut respectivului constructor telefonul mobil și i-am spus: știu că ai fost în Iași acum două zile. Cum? Știu că ai fost în Iași acum două zile pentru că google maps-ul are o modalitate de monitorizare continuă a fiecăruia dintre noi, mult mai eficientă decât ar putea să o facă o nanotehnologie capabilă să fie injectată subcutanat și care ne-ar monitoriza pentru niște interese oculte.

Dar o parte importantă a populației din România a preferat acest narativ absurd, fără să înțeleagă nivelul real de monitorizare al tehnologiei pe care ei o folosesc. Marea majoritate a cetățeanilor din România au un smartphone adesea conectat la Google, la Apple. Este o formă de monitorizare mult mai precisă decât toate scenariile imputate lui Bill Gates. În mod absurd, bineînțeles. Dar totuși, aceste lumi nu s-au putut întâlni, nu s-au putut concilia. Noi nu am putut, pentru prima oară în istoria umanității, să convergem către o opinie social acceptată. Avem cetățeni mulți, zeci de procente ale populației, care nu pot înțelege ce înseamnă vaccin de gripă și vom accepta acest lucru ca de netrecut.

Ești, să zic așa, un apărător al GDPR-ului și al nevoii de legislație în domeniul datelor personale. La o primă vedere eu aș spune că poate GDPR-ul e un fel de protecționism al firmelor europene de IT, de date față de firmele chinezești sau americane. Tu crezi însă că este vorba de un protecționist de alt tip, că în felul ăsta sunt protejate start-up-urile, firmele mai mici, competiția. De ce ar crește GDPR-ul competiția în în acest domeniu?

„Sămânța de la care a plecat GDPR”

Din fericire, mi-am luat mai mult timp să mă uit la ipotezele care au condus la acest cadru legislativ. Cred că este nevoie de o reechilibrare a intereselor cetățenilor în discuția cu mari companii, adesea cu o putere enormă în piață, piețe oligopoliste, chiar monopoliste.

Nevoia cetățeanului de a fi uitat, acesta este, de fapt, sămânța de la care a plecat GDPR. Persoane care au comis un derapaj și care, datorită naturii persistente a informației digitale, ajung să plătească un cost pe întreaga viață, deși ei, din punctul de vedere al societății, și-au ispășit pedeapsa cu încarcerare, cu amendă și așa mai departe. Dar există acest bagaj de vinovăție pe care să îl cari pentru întreaga ta viață. Sunt mulți care susțin că umanitatea constă și în puterea noastră de a uita. Fără a reuși să uităm, inclusiv greșelile noastre personale și ale celor din jurul nostru, nu mai suntem oameni, iar tehnologia, din păcate, așa cum a fost construită înainte de GDPR făcea uitarea imposibilă. Citeste intregul interviul pe Contributors.ro