Despre legea Goodhart și efectele ei perverse

Există o deosebire esențială între a măsura proprietăți fizice în laborator și a măsura activități umane în societate.

Când geologii măsoară în laborator duritatea mineralelor, acestea nu conspiră între ele să apară mai dure decât sunt în realitate și să avanseze neobservate pe scara Mohs.

Cu oamenii, lucrurile sunt mai complicate când se folosesc măsuri cantitative. Dacă, de exemplu, promovarea are loc pe baza creșterii indicelui de productivitate personală, angajații nu vor sta impasibili. Vor încerca din toate puterile să demonstreze că sunt harnici și produc plusvaloare. Dar măsurarea acestui tip de comportament uman prezintă riscuri. Următoarele exemple vor ilustra, sper, mai bine această situație.

La începutul sec. al XX-lea, Vietnamul era o colonie din Indochina franceză, împreună cu Cambogia și Laos. În 1897, Paul Doumer fusese numit guvernator general al coloniilor (mai târziu, el va deveni președintele Franței și va muri asasinat în 1932 de un emigrant rus). Doumer a inițiat un plan ambițios de modernizare în stil european al orașului Hanoi, plan care cuprindea, printre altele, și instalarea de toalete funcționabile în locuințele particulare. Vastul sistem de canalizare, care se extindea sub cartierul francez al orașului, împreună cu altul mai modest, care servea zonele suprapopulate în care trăiau vietnamezii, era un simbol al curățeniei și progresului.

Până când, din canalele subterane cu o lungime de peste 15 km, au început să apară șobolanii, terorizând populația orașului și răspândind diverse boli, precum ciuma bubonică. Ceva trebuia făcut.

Autoritățile coloniale au angajat echipe de deratizare, formate din vietnamezi, care trebuiau să coboare în canale, să fugărească și să prindă șobolanii.[1] Activitatea vietnamezilor-vânători de șobolani era recompensată pentru fiecare coadă de animal predată oficialităților. Mulți dintre locuitorii Hanoiului au fost mulțumiți de această activitate sanitară și, în curând, cozile de șobolan au început să umple oficiile de colectare.

Dar nu peste multă vreme, locuitorii din Hanoi au început să observi șobolani fără cozi furișându-se prin canalizare. Se pare că echipele de deratizare au preferat să nu-și omoare prada. Mai bine era să le taie doar o bucată de coadă și să lase animalele să se înmulțească în continuare, având astfel garantată o sursă de cozi pentru viitor. Alți locuitori, cu un spirit de afaceri mai dezvoltat, au importat șobolani din alte orașe, iar alții au început să crească șobolani pentru a le colecta cozile.[2]

Programul de recompensare a eșuat pentru că oamenii au făcut ceea ce fac întotdeauna când apare perspectiva unei recompense. Ei au început să păcălească sistemul.

Următoarele trei exemple sunt apocrife, dar se non è vero, è ben trovato…

1. Pe vremea când britanicii conduceau India, birocrații din Delhi au început să fie îngrijorați de proliferarea cobrelor în oraș. Pentru a ține problema sub control, autoritățile au oferit o recompensă pentru fiecare piele de cobră. Acest stimulent economic a funcționat bine – prea bine, după cum s-a dovedit mai târziu.

În curând, cobrele au fost ucise la voia întâmplării, iar guvernul a fost mulțumit de programul său de recompense. Însă câțiva indieni întreprinzători au simțit că este rost de o afacere mai rentabilă prin omorârea șerpilor. Acești oportuniști au început să crească cobre pentru a le jupui apoi de piei, iar alții au ajuns până la importul de cobre din alte țări.

Astfel, nu a trecut mult timp până când britanicii au ajuns să fie sufocați de prea multe piei de cobră. Când oficialii au descoperit escrocheria, au retras recompensa, dar concluzia a rămas: oamenii au știut cum să păcălească sistemul, iar efectul Cobra a ajuns să desemneze efectele perverse ale unor intenții bune.[3]

2. Când planificatorii sovietici au ordonat fabricilor de cuie să crească numărul de cuie pe care le produceau, se spune că managerii au reacționat forțând muncitorii să producând milioane de cuie, mici și inutile. Dar când planificatorii și-au dat seama de situația creată, au trecut la un criteriu de greutate pentru evaluarea muncitorilor. Consecința? Fabricile au început să producă cuie uriașe, mai puține, dar mai grele și la fel de inutile (Fig. 1). Păcălirea sistemului a fost evidentă, ca și efectul pervers al unei planificări aiuristice.

Fig. 1. O ilustrare a legii Goodhart: Atunci când o măsură devine o țintă, aceasta încetează să mai fie o măsură bună. (Sursa)

3. În a doua parte a anilor 1980, circula o glumă atribuită trupei Divertis din Iași.

A începute campania de recoltare națională și fiecare prim-secretar județean trebuia să raporteze Comitetului Central al PCR starea îndeplinirii planului de recoltare.

Prim-secretarul județului A: Raportăm că județul nostru a terminat recoltarea de pe X hectare.

Prim-secretarul județului B: Raportăm că județul nostru a terminat recoltarea de pe Y hectare.

Prim-secretarul județului C: Raportăm că județul nostru a terminat recoltarea de pe Z hectare.

…

După doar câteva raportări adiționale, Comitetul Central al PCR ordonă:

Opriți recoltarea, s-au depășit granițele țării!…

Se poate spune că și prim-secretarii județeni au încercat (reușit) să păcălească sistemul, iar perversitatea unor astfel de raportări fictive au creat mari neajunsuri alimentare unei populații înfometate.

Exemplele de mai sus (și multe altele asemănătoare) sunt canonizate în așa-numita lege Goodhart, după numele lui Charles Goodhart, consilier economic principal la Bank of England.[4] Într-o conferință susținută în 1975 în Sydney, Australia, el a spus că

Orice regularitate statistică observată va tinde să se prăbușească odată ce se pune presiune asupra ei în scopuri de control.

Într-o lucrare publicată în 1997, antropologa Marilyn Strathern a generalizat legea lui Goodhart dincolo de statistici și control, obținând o evaluare mai largă și mai ușor de reținut:

Atunci când o măsură devine o țintă, aceasta încetează să mai fie o măsură bună.

Un român descurcăreț ar da o definiția și mai succintă:

Arătați-mi stimulentul și vă voi arăta rezultatul.

Ceea ce este interesant în legătură cu legea Goodhart este că, odată ce o cunoști, îi observi prezența și efectele peste tot – în jurnalism, medicină, finanțe, educație, angajarea forței de muncă, inteligență artificială, schimbarea climei etc. Și nu este doar o observație oarecare, gen legea lui Murphy, fără consecințe semnificative. Este o problemă a cărei nerezolvare poate avea efecte grave asupra sănătății noastre, a mijloacelor noastre de trai, a economiei și educației noastre.

Recent (26 mai 2021), Peter Coy, editor economist la Bloomberg Businessweek, a publicat un articol cu un titlu sugestiv: Goodhart’s Law Rules the Modern World. Here Are Nine Examples (Legea Goodhart guvernează lumea modernă. Iată nouă exemple). Cititorul interesat poate găsi informații pertinente despre situațiile în care, atunci când o măsură devine o țintă ce trebuie atinsă, aceasta încetează să mai fie o măsură bună, făcând loc unor abuzuri , manipulări, ori distorsiuni ale realității.

Exemplul următor se referă doar la SUA – despre situații similare din România nu mă pot pronunța din lipsă de date, dar cititorii din țară cunosc desigur situația „la firul ierbii” și pot să o prezinte prin comentariile lor.

În învățământul superior din SUA, unele colegii și-au manipulat datele pentru a obține un loc mai bun în influentul clasament U.S. News & World Report, pe care părinții și elevii de liceu, viitori studenți, îl consultă febril înainte de a hotărî la care facultate vor da examen de admitere. Clasamentul menționat ia în considerare numeroase aspecte despre un colegiu, inclusiv ratele de admitere și scorurile SAT (Scholastic Aptitude Test) /ACT (American College Test), foarte importante și pentru o eventuală obținere a unei burse. Odată ce clasificarea colegiilor începe să influențeze admiterea, birourile care se ocupă de admitere încep să folosească diverse scheme pentru a-și promova propriile interese.

Ca să-și micșoreze ratele de admitere și astfel să pară mult mai selective, unele colegii și universități fac recrutări agresive de candidați, inclusiv din rândurile elevilor care au puține șanse de a fi admiși.

Ca să-și crească scorurile SAT pentru admitere, unele colegii și universități folosesc diverse strategii: renunță să mai ceară aceste scoruri din partea studenților internaționali, care de regulă au scoruri mai mici decât elevii americani, admit elevi mai slabi în semestrul de primăvară, când scorurile nu se iau în considerare, sau chiar plătesc studenții deja admiși să dea din nou examenul SAT, cu bonusuri pentru creșteri substanțiale ale scorului SAT.

Aceste eforturi de a păcăli sistemul reduc valoarea clasificărilor colegiilor și universităților americane. Astfel, clasificările la care se uită toată lumea (părinți, elevi, competitori) ajung să fie influențate de dorința birourilor de admitere de a obține rate de admitere și scoruri SAT nerealiste.

Legea Goodhart, factorul de impact și h-indexul

Un domeniu clasic de manifestare a efectelor nocive produse de legea Goodhart sunt publicațiile științifice. Utilizarea numărului de citări ca măsură a calității/importanței unei reviste – așa-numitul factor de impact– a condus editorii la încercări de păcălire a sistemului. Unii forțează autorii să includă citări ale unor articole apărute în aceeași revistă. Alții publică majoritatea articolelor în ianuarie, pentru a avea tot restul anului la dispoziție pentru citări. Alții publică sinteze anuale care citează multe din articolele apărute în acel an. Sunt și editori care își orientează atenția către discipline sau tipuri de articole ce tind să atragă mai multe citări.[5]

Un exemplu de fraudă editorială menită să crească artificial factorul de impact a fost prezentat în 2013 în revista Nature.[6]

Patru editori ai unor reviste medicale braziliene au conceput și pus în practică un procedeu de păcălire a sistemului de citări pe care jurnalistul de la Nature l-a numit Citation Stacking (Fig. 2). În românește, l-aș numi „cumetria citărilor”, plecând de la modul de funcționare: eu îți „botez” copiii tăi (i.e., citez articolele din revista ta), iar tu îmi „botezi” copiii mei (citezi articolele mele în revista ta). „Cumetria citărilor”, desfășurată în perioada 2010-2011, a condus la creșterea factorului de impact cu 28% – 76%!! O creștere artificială, care pervertește cel mai important sistem de evaluare a importanței și impactului unei publicații științifice.

Fig. 2. Modul ingenios de păcălire a unei măsuri cantitative (numărul de citări) în vederea creșterii artificiale a factorului de impact a patru reviste publicate în Brazilia. O nouă demonstrație a efectului nociv, pervers, al legii Goodhart: Atunci când o măsură devine o țintă, aceasta încetează să mai fie o măsură bună.

Din păcate, editorii brazilieni frauduloși nu sunt singurii care aplică legea Goodhart în propriul interes. În același articol din Nature, sunt prezentate și alte cazuri, deocamdată neclare.

Unul involvă trei reviste de medicină italiene (International Journal of Immunopathology and Pharmacology, Journal of Biological Regulators and Homeostatic Agents și European Journal of Inflammation), toate având același editor-șef, Pio Conti, un imunolog de la Universitatea din Chieti-Pescara.

Într-un alt caz, articolele de recenzie cu sute de referințe publicate de Science China Life Sciences nu au avut aparent drept scop creșterea factorului de impact, ci clarificarea confuziilor după o schimbare de nume și „promovarea revistei nou reformate în fața unor potențiali noi cititori”, conform declarației redactorul-șef al acesteia, Dacheng Wang, care lucrează la Institutul de Biofizică al Academiei Chineze de Științe din Beijing.

Și pentru că Brazilia-și are manipulatorii săi, Italia-și are manipulatorii săi, până şi chiar China-şi are manipulatorii săi, în fine, oricare națiune, oricare popor, oricare țară își are manipulatorii săi… Numai noi să n-avem manipulatorii noștri?!… O situație à la Caragiale profund intolerabilă… care s-a remediat, totuși.

În 2016, un memoriu semnat de 77 matematicieni români și adresat Ministerului Educației a demonstrat că și noi știm să profităm de efectele perverse ale legii Goodhart prin manipularea factorului de impact. De exemplu,

Revista Balkan Journal of Geometry and its Applications. Această revistă, editată la Universitatea Politehnică București, este un exemplu de fraudă științifică dată în vileag. Până în 2010, revista impunea explicit pe pagina sa de internet autorilor să acorde cel puțin câte două citări revistei.[s.m.] La Congresul Internațional al Matematicienilor din 2010 acest lucru a devenit public, iar ISI Thomson a fost nevoită să suspende cotarea revistei respective.

Derapajele etice generate de manipularea perversă a factorului de impact produc situații halucinante. În același memoriu al matematicienilor se dau mai multe exemple. Reproduc unul dintre ele:

Revista online Fixed Point Theory and Applications (FPTA) editată în prezent la Springer. Până în 2011, revista era editată de editura egipteană Hindawi. Revista FPTA este clasată în 2015 pe un stupefiant loc 6 între revistele de matematică din lume (sub-domeniul “Mathematics” al listei Thomson Reuters 2015) si are Factorul de Impact (IF) =2,5. Spre comparație, o revistă prestigioasă precum Crelle (Journal fur die Reine und Angewandte Mathematik), cea mai veche revistă de matematică din lume, se găsește pe poziția 23 cu IF=1,432, iar Acta Mathematica se găsește pe poziția 7, cu IF=2,469. Renumitele reviste franceze Journal de Mathematiques Pures et Appliquees și Annales de l’Ecole Normale Superieure se regasesc pe pozitiile 15, respectiv 19, adica mult sub FPTA! Articolele publicate in FPTA au ca autori aproape exclusiv oameni de știință din țări precum China, Arabia Saudita, Iran, Turcia, care activează în universități fărî o puternică tradiție matematică.

Numărul citărilor reprezintă o măsură și pentru autorii care publică în revistele științifice. Este bine cunoscut faptul că parametrul cantitativ numit h-index constituie, în teorie, o evaluare obiectivă a calității și importanței cercetărilor publicate de cineva. În prezent, h-indexul a devenit un criteriu major de angajare și/sau promovare în învățământul superior sau institute de cercetare, în evaluarea cererilor de granturi și acordarea de premii și fonduri de cercetare.Citeste intreg articolul si comenteaza pe Contributors.ro