Propunerile AdAstra pentru rezolvarea gravelor probleme semnalate, privind evaluarile facute de UEFISCDI

In ultimele saptamani, au aparut multe sesizari privind nereguli si disfunctionalitati grave in derularea competițiilor naționale organizate de către UEFISCDI. Printre acestea se numara: „evaluările denotă o lipsă de familiaritate elementară cu domeniul propunerii de proiect”, exista suspiciuni de conflict de interese in cazul evaluatorilor, evaluarea ex-post a proeictelor este deseori „obscura”, lipsita de transparenta. ​Asociatia AdAstra, asociatie importanta a cercetatorilor romani, vine cu o serie de propuneri care ar rezolva aceste probleme.

Comunicat „Ad Astra” referitor la evaluarea proiectelor naționale de cercetare

În urma ultimelor competiții naționale majore organizate de către UEFISCDI (PCE 2015, TE 2016, PD 2016, PCCDI 2017), în spațiul public au fost formulate o serie de neajunsuri grave în procesul de evaluare a proiectelor de cercetare.

(I.) În primul rând, a fost semnalat în multiple cazuri faptul că evaluările denotă o lipsă de familiaritate elementară cu domeniul propunerii de proiect, de unde deducem că au existat situații în care evaluatori au evaluat proiecte din afara ariei lor de competență, deși în pachetul de informații este indicat explicit că publicațiile evaluatorului trebuie să fie „în domeniul propunerii de proiect“. Prin urmare, considerăm că declarația pe proprie răspundere a evaluatorilor nu constituie o garanție suficientă nici pentru candidat, nici pentru comunitatea științifică în întregul ei, cu privire la corectitudinea procesului de evaluare. În consecință, considerăm că se impun măsuri suplimentare pentru a garanta corespondența dintre domeniul de expertiză al evaluatorului și domeniul propunerii de proiect.

PROPUNERI:

(I-A) Pentru a preveni astfel de situații, propunem ca UEFISCDI (alături de ceilalți doi coordonatori de programe din cadrul PNCDI 3, ROSA și IFA) să includă în aplicație un câmp în care candidatul să introducă numele domeniului (domeniilor) și al subdomeniului (subdomeniilor) în care se înscrie propunerea de proiect. Totodată, evaluatorul trebuie, la rândul său, să indice domeniul (domeniile) și subdomeniul (subdomeniile) în care este expert, fapt dovedit prin publicații apărute în fluxul internațional principal. Baza de date cu evaluatori trebuie să fie comună tuturor coordonatorilor de programe din subordinea MCI, iar validarea acestora pe domenii și subdomenii trebuie să ia în calcul publicațiile listate în fluxul internațional principal (așa cum este el definit în actualele pachete de informații pentru competițiile PCE, PD și TE). Corespondența dintre domeniul evaluatorului și domeniul proiectului ar trebui să fie reglementată tehnic prin platforma UEFISCDI și validată de personalul administrativ al coordonatorului de program. Cu alte cuvinte, ar trebui să fie tehnic imposibil ca un proiect dintr-un anumit domeniu să fie atribuit spre evaluare unei persoane din afara acelui domeniu. În cazul în care evaluatorii constată că propunerea de proiect care le-a fost alocată nu se încadrează în domeniul/domeniile declarat(e) de aplicant, proiectul va fi trimis panelurilor tematice pentru redistribuire. Vezi mai jos detalii despre panelurile tematice (alcătuite după modelul granturilor ERC). Utilizarea cuvintelor cheie este redundantă în raport cu încadrarea pe domenii și subdomenii și ar trebui să servească doar pentru rafinarea procesului de alocare al evaluatorilor, în cazul în care numărul disponibil per domeniu este mare. Domeniile și subdomeniile (atât cele alese de aplicant, cât și cele alese de evaluatori) vor fi făcute publice odată cu afișarea rezultatelor preliminare.

(I-B) Propunem, de asemenea, refacerea Anexei 3 (domenii științifice), care este imprecisă și lasă loc unor situații ambigue. Bunăoară, la categoria SH / subcategoria SH5, sunt puse laolaltă o multitudine de domenii net distincte tematic și metodologic, fără a permite diferențieri absolut necesare pe subdomenii. Cu atât mai mult cu cât alte domenii sunt, în contrast, bine diferențiate pe subdomenii. Această aglomerare de domenii net distincte se reflectă și în constituirea panelului „Științe umaniste”, care ar trebui diferențiat în paneluri mai atent delimitate, spre exemplu: (i) Filologie, Lingvistică, Studii literare, Studii culturale; (ii) Istorie și Arheologie; (iii) Filozofie, Teologie, Studii Religioase; (iv) Arhitectură, Urbanism, Arte.

(II) În al doilea rând, a fost semnalat faptul că, în condițiile în care comunitatea științifică autohtonă este destul de redusă în fiecare domeniu, suspiciunile de conflict de interese nu pot fi în nici un fel risipite. Nici în această privință declarația pe proprie răspundere pe care o semnează evaluatorii nu reprezintă o garanție suficientă, cu atât mai mult cu cât pentru unele competiții (vezi PCCDI) criteriile sunt foarte laxe în privința conflictului de interes. În orice comunitate mică, avem nu doar o concurență inevitabilă între centrele universitare, dar și multiple complicități difuze sau adversități mocnite. O astfel de situație nu garantează o evaluare neutră și profesionistă.

PROPUNERI:

(II-A) Propunem ca evaluarea să fie făcută exclusiv cu experți internaționali, aceasta ducând implicit la folosirea limbii engleze la redactarea propunerilor de proiecte. Raționamentul conform căruia cheltuim mai mulți bani folosind evaluatori internaționali nu este valid, remunerația fiind aceeași atât pentru evaluatorii naționali cât și pentru cei internaționali. Invocarea motivului că limba română simplifică procesul de aplicare arată doar o atitudine cinică și insultătoare la adresa cercetătorilor români.

Așa cum subliniam în comunicatul din 01.05.2017, introducerea în mod explicit și deliberat a unei preferințe naționale în privința evaluatorilor, precum și criterii ierarhice de selecție, este în contradicție cu Strategia Națională de Cercetare-Dezvoltare-Inovare 2014-2020. Aceste prevederi noi (art. 4(3) al Actului adițional nr. 10/2017, încheiat între MCI și UEFISCDI) sunt perfect anti-științifice și, după știința noastră, nu își găsesc echivalent niciunde în țările dezvoltate științific.

(II-B) Propunem ca evaluarea secțiunii care conține efectiv proiectul de cercetare să se facă conform sistemului „blind review“, cu alte cuvinte evaluatorii să nu cunoască identitatea candidatului. În consecință, lista proiectelor depuse trebuie să fie făcută publică doar după afișarea rezultatelor preliminare.

(II-C) Propunem ca evaluarea secțiunii care conține informații despre profilul candidatului și despre rezultatele cercetărilor sale anterioare să se facă separat, în paneluri tematice (după modelul procedurii de evaluare a granturilor ERC), comparând profilurile științifice ale candidaților, în funcție de criteriile de performanță specifice domeniilor. Președintele fiecărui panel tematic trebuie desemnat și cunoscut public înainte de depunerea aplicațiilor, iar componența întregului panel trebuie să devină publică după evaluare. În situația actuală, candidați cu rezultate foarte diferite pot primi punctaje egale; sau, mai grav, candidați cu rezultate mai bune pot să primească, la această secțiune, punctaj mai mic decât candidați cu rezultate mai slabe. Lipsa unei metodologii clare și obiective de ierarhizare lasă inevitabil loc subiectivismului fiecărui evaluator.

(II-D) Propunem ca panelurile tematice (distincte pentru fiecare domeniu major în parte) să fie compuse din 5-7 personalități cu rezultate internaționale recunoscute în acel domeniu (probate prin satisfacerea de două ori a criteriilor de performanță științifică cerute evaluatorilor). Membrii panelurilor tematice nu trebuie să aibă dreptul de a modifica punctajul acordat de către cei trei evaluatori independenți secțiunii care conține efectiv proiectul de cercetare. Motivația acestei prevederi rezidă în faptul că cei 5-7 membri ai panelurilor nu vor avea o expertiză atât de vastă încât să acopere toate aspectele științifice de nișă din proiectele evaluate.

(II-E) Propunem actualizarea de urgență a modelului cadru de contract pentru evaluatori, care trebuie să fie făcut public și în care să fie detaliate cazurile de conflict de interes. Este inadmisibil ca unui evaluator să i se permită să participe la competiția în care evaluează, chiar dacă într-un alt domeniu. Regulamentul cadru ar urma să guverneze toate competițiile finanțate din bani publici, fără posibilitatea de fi modificat de la o competiție la alta (a se vedea contrastul dintre modul de definire a conflictului de interes la competiția PCCDI versus PD/TE, sau cele trei la un loc versus Programul Nucleu). Modelul utilizat în competițiile PD și TE poate sta la baza noului document.

(III) În al treilea rând, este cunoscut faptul că anumiți evaluatori au evaluat un număr foarte mare de proiecte. Acest lucru nu garantează calitatea evaluării, ci dimpotrivă invită la o evaluare superficială și pur formală.

PROPUNERE:

(III-A) Propunem ca un evaluator să poată evalua un număr de maxim 5 proiecte per competiție.

(IV) Așa cum arătam în comunicatul din 27.01.2018, comisia de soluționare a contestațiilor pe domeniul Chimie din cadrul competiției TE 2016 și-a încălcat atribuțiile, modificând notele finale acordate în panelurile tematice, chiar în lipsa unei contestații venite de la respectivii directori de proiect. Am solicitat în acest sens explicații de la MCI/UEFISCDI pe care încă le așteptăm.

PROPUNERE:

(IV-A) Comisiile de soluționare a contestațiilor sunt numite de membrii panelurilor tematice, atribuțiile acestora fiind făcute publice odată cu numirea lor, iar componența nominală după soluționarea contestațiilor. Membrii comisiilor de soluționare a contestațiilor trebuie să îndeplinească cel puțin criteriile de performanță impuse evaluatorilor. Printre atribuțiile acestei comisii trebuie să se numere, în primul rând, asigurarea corectitudinii desemnării referenților, adică corespondența domeniilor de expertiză ale acestora (dovedite prin publicații) cu cele ale aplicantului. În cazul în care această cerință nu a fost îndeplinită, comisia retrimite proiectul panelului tematic, care va dispune reevaluarea acestuia.

(V) Evaluarea ex-post a proiectelor declarate câștigătoare în cadrul competițiilor naționale este în prezent o formalitate, care de multe ori este îndeplinită de funcționari din aparatul administrativ al coordonatorilor de program, acestora lipsindu-le expertiza științifică necesară. În cazul în care evaluarea este făcută totuși de experți în domeniu, întreg procesul este unul obscur, rezultatele precum și lista experților nefiind făcute publice.

PROPUNERE:

(V-A) Evaluarea ex-post se realizează de către unul din cei trei evaluatori care au evaluat propunerea inițială. În cazul în care niciunul din cei trei nu este disponibil, membrii panelurilor utilizate în respectiva competiție vor desemna un al patrulea expert, care va avea acces la propunerea inițială.

(VI) Cazurile deja semnalate de plagiat în cadrul competițiilor naționale de proiecte subliniază necesitatea ca toate documentele cu conținut științific pe care le implică competiția (de la propuneri de proiecte, la referate de evaluare sau rapoarte de cercetare) să fie verificate de coordonatorul de program cu un soft antiplagiat.

Membrii Asociației Ad Astra

26 februarie 2018