Patologiile evaluării politicilor și programelor publice din România

V-ați gândit vreodată cum știm dacă o inițiativă publică sau un program finanțat de stat chiar își atinge obiectivele pe care și le propune? De unde știm că o politică publică sau un program social chiar face ceea ce își propune să facă? Teoretic, facem asta prin două moduri: analiza de politică publică și evaluarea de programe. Aceste două moduri sunt foarte similare și complementare. Una evaluează politici publice la un nivel mai abstract, iar alta la un nivel mai operațional. Una are un cadru mai larg, societal, cealaltă are un cadru mai îngust, operațional și concret legat de un program anume.

România însă nu are o lungă tradiție în niciuna dintre cele două metode de evaluare a politicilor și programelor publice. Asta este unul dintre aspectele fundamentale care diferențiază calitatea guvernării din România comparat cu suratele ei mai dezvoltate din occident. Occidentul se bazează din ce în ce mai mult pe „data-driven policy making”, pe când la noi încă facem politici publice și chiar programe bazate mai degrabă pe intuiție, idiosincrazie și oportunism electoral.

Cu toate acestea, în România se află în continuă creștere o industrie de evaluare a programelor și de analiză de politică publică. Aceasta a apărut și se dezvoltă în principal datorită condițiilor de evaluare cerute de Comisia Europeană și alți donatori internaționali pentru fondurile structurale și de coeziune. Cu toate acestea, există dubii serioase cu privire la calitatea, utilitatea și relevanța marii majorități a acestor evaluări, care deseori nu sunt altceva decât analize strict descriptive despre ce se întâmplă, ce s-a făcut și ce nu s-a făcut. Rareori poți vedea o metodologie de evaluare a unui program sau politică publică care să măsoare coerent și plauzibil relații cauzale. Să poată identifica și distinge relații și mecanisme cauzale care să ne permită să spunem cu un grad variabil de certitudine că programul sau proiectul în cauză este responsabil, este cauza rezultatelor pe care le putem observa.

De ce? Pentru că domeniul politicilor și programelor publice din România suferă de o serie de patologii structurale care elimină stimulentele și uneori fac imposibilă analiza și evaluarea coerentă, structurată și utilă. Aceste patologii sunt atât produsul intenționat al deciziilor decidenților care formulează politicile publice cât și efecte secundare nefaste ale unor inițiative care urmăreau îmbunătățirea sistemului.

Patologiile politice ale evaluării politicilor publice din România

O primă categorie de patologii este produsul decidenților politici români, care fac imposibilă orice analiză sau evaluare coerentă și sistematică a legislației și politicilor publice pe care decid să le adopte. Fie că vorbim de legislativ sau de executiv, marea majoritate a legislației și politicilor publice sunt gândite și motivate în așa fel încât să nu poată fi evaluate în mod obiectiv. Asta îi scutește pe inițiatori de justificarea concretă și sistematică a inițiativelor pe care le adoptă și îi ajută să evite orice tragere la răspundere. Dacă gândim și motivăm legislație sau politici publice în așa fel încât să nu poată fi evaluate obiectiv, atunci nu poți fi criticat sau tras la răspundere pentru neîndeplinirea celor asumate.

Obiectivele de politică publică: Nemăsurabile, neverificabile

În lumea ideală, statul român ar trebui să producă legislație și politici publice care să aibă specificate, încă de la început, obiective măsurabile și termene estimate până la care ar trebui să ne așteptăm să fie realizate. De exemplu, de ce vrem subvenționarea navetei elevilor? Ce vrem să obținem, ca rezultat social sau educațional prin subvenționarea navetei elevilor? Și în ce perioadă de timp am vrea să ajungem la aceste rezultate? Care sunt obiectivele măsurabile pe care le avem? Un astfel de obiectiv ar putea fi legat de abandonul școlar. Subvenționăm complet naveta elevilor pentru că suspectăm, pe baza datelor obținute dintr-un chestionar distribuit elevilor, că lipsa banilor pentru navetă duce la abandon școlar. Astfel, subvenționăm complet naveta școlară a elevilor pentru că am vrea ca în 5 ani să reducem abandonul școlar cu 15%. Acesta este un obiectiv măsurabil atât în ceea ce privește rezultatul cât și perioada de timp în care am vrea să îl atingem (15% în 5 ani).

Analiza și evaluarea unor politici sau programe publice devine posibilă doar din momentul în care avem pre-specificate aceste obiective măsurabile. Acestea sunt posibile doar din momentul în care ne este clar ce vrem, de ce adoptăm o anumită măsură sau introducem un anumit program. Când ne este clar ce vrem să atingem printr-o anumită măsură, putem să măsurăm relativ obiectiv dacă ne-am atins țintele pentru care am introdus programul sau am adoptat politica publică.

Asta este cazul ideal, de care statul român este foarte, foarte departe. Majoritatea legislației dezbătute în Parlament și marea majoritate a politicilor publice ce sunt produse în ministere nu au specificate obiective măsurabile. Nu spunem de ce vrem să adoptăm o anumită măsură, iar asta nu ne permite să vedem dacă măsura are vreun efect, dacă ajută sau nu pe cineva și cum. Dacă costul depășește beneficiile și dacă merită să mai fie menținută. În absența impunerii unei obligații privind specificarea unor obiective măsurabile prin legislația de tehnică legislativă, statul român va continua să adopte măsuri despre care nu știm pentru cine sunt, ce vor, de ce au fost adoptate și cum să le măsurăm eficiența și eficacitatea.

Analiza de impact: nedorită și producătoare de frică

Un alt element important care lipsește în procesul de formulare a legislației și a politicilor publice este legat de analiza de impact. Cu excepția unor proiecte cu finanțare europeană și a unor mari investiții în infrastructură, decidenții români evită să evalueze impactul potențial al inițiativelor pe care le propun.

În perioada în care încă lucram în legislativ, una dintre principalele mele inițiative a fost legată de construirea unui cadru de analiză și evaluare a inițiativelor legislative depuse de parlamentari. În cadrul legislativului ar fi urmat să fie creată o unitate administrativă care ar fi avut drept scop doar evaluarea și analiza inițiativelor legislative, a impactului lor potențial conform obiectivelor asumate. Dacă ar fi fost implementată, toate inițiativele ar fi primit pe lângă avizul de la Consiliul Legislativ și un aviz legat de impactul economic și social potențial, plecând de la starea economiei și de la obiectivele asumate de inițiator. Cât o să ne coste inițiativa în următorul deceniu? Care sunt beneficiile economice sau sociale potențiale? Face sens să adoptăm inițiativa din perspectiva cost-beneficiu?

În absența unei evaluări ex-ante obiectivă și nepartizană din partea unei instituții specializate, dezbaterea politică pe marginea oricărei inițiative va fi lipsită de substanță, bazată pe speculații și retorică electorală. Fără date și analize, dezbaterea parlamentară pe marginea oricărei inițiative sau proiect de lege devine cel mult un dialog al surzilor, fără să putem evalua dacă una sau cealaltă dintre părți are dreptate.

Patologiile administrative ale evaluării programelor din România

O a doua categorie de patologii este atât unor măsuri care se doreau bine intenționate cât și a unei lipse de competențe de pe piața evaluării de programe din România. Pe de o parte, dorința de a avea indicatori obiectivi a dus la situația absolut absurdă în care contractele de evaluare a programelor și proiectelor se face în mare măsură în funcție de cât de multe metode/instrumente de evaluare sunt utilizate/folosite. Fără a ține cont de orice raționament și logică de evaluare pentru a stabili orice relații de cauzalitate, standardele de acordare a contractelor de evaluare a programelor efectiv stimulează inflația cantitativă a metodelor utilizate fără a ține cont de calitatea evaluării.

O ofertă cu 10 metode/instrumente de măsurare are șanse semnificativ mai ridicate de succes decât una cu 5 metode/instrumente, chiar dacă cea din urmă este mult mai adecvată pentru măsurarea proiectului sau programului în discuție. Limitarea la evaluarea cât mai obiectivă a ofertelor duce la situații ridicole în care folosim o infinitate de instrumente de măsurare și evaluare care nu ne ajută, nu ne spun nimic despre ce a reușit să realizeze un proiect sau program. Ele există doar pentru că criteriile de evaluare a ofertelor stimulează o inflație irațională și toxică de instrumente descriptive de evaluare.

Așadar, nu este de mirare că majoritatea evaluărilor care ajung să vadă lumina zilei sunt incoerente din punct de vedere epistemologic și metodologic. Nu ne spun mare lucru despre relațiile cauzale care ne-ar interesa și deseori sunt efectiv maldăre de maculatură descriptivă. Fără un design al cercetării care să aibă sens științific și evaluativ, nu facem decât să producem evaluări care ne spun prea puțin despre ce ne interesează și să cheltuim ineficient banii europeni și naționali.Citeste intreg articolul si comenteaza pe contributors.ro