Cu CNFIS despre calitate (sau ce mai rămâne din ea)

„…să facem un schimb.

Te las să urci printre grafitti cu geanta mea

Neagră cu roșu doldora

De documente să mergi pe Schitu Măgureanu 1

Să te întâlnești cu câinele bătrân al lui

Aracis Cenefis și Cenecesis.”

(Andrei Bodiu, poet și decan,

n. 1965 – m. 2014, în timpul unei vizite ARACIS)

Primăvara a sosit, anul e impar, prin urmare toate universitățile publice de pe cuprinsul patriei, mici și mari, se pregătesc cu bucurie pentru ceea ce fac de un deceniu încoace la fiecare doi ani: raportarea „indicatorilor de calitate” din „clasa IC2”, pe baza cărora se calculează și se acordă apoi „finanțarea suplimentară”, fără de care universitățile noastre nu ar putea să plătească salariile angajaților, să-și primenească infrastructura și, mai ales, să atace cu tot mai mult succes rankingurile internaționale.

Să ne înțelegem: nu mă număr printre aceia care consideră că, de fapt, calitatea ar fi inefabilă, iar scientometria un cumplit meșteșug de tâmpenie; dimpotrivă, cred că, mai ales într-o cultură academică precum a noastră, în care până și plagiatul e un continuu obiect de negociere, iar (sub)rutinele de evaluare a performanței sunt încă vagi și firave, singura garanție a calității reale a cercetării (atâta câtă e) rămân deocamdată tot indicatorii „obiectivi” sau, dacă vreți, cantitativi.

Atâta doar că modul în care, cel puțin în cadrul ultimelor două runde (2021 și 2023), CNFIS (= Consiliul Național pentru Finanțarea Învățământului Superior, i.e. organismul care organizează raportările și propune criteriile calitative de acordare a finanțării) a coordonat procesele de raportare și evaluare a cercetării universitare – îndeosebi în zona umanistă – mi se pare că aduce tot mai puțin cu ideea de calitate.

Raportarea din 2021: un mister deschis

Să începem cu începutul: pe data de 12 aprilie 2023, Ministerul Educației a transmis universităților de stat o adresă prin care le informa să se pregătească de raportarea activității de cercetare realizate în intervalul 2019-2022. Aceste date urmează a fi folosite „pentru calculul indicatorilor de calitate din Clasa IC2. Cercetare științifică/creație artistică și performanță sportivă,ce vor fi utilizați în anii financiari 2024 și 2025, pentru repartizarea alocațiilor bugetare destinate finanțării suplimentare”.

Până aici, nimic nou, pentru că, așa cum spuneam, lucrurile s-au desfășurat, în principiu, la fel în ultimul deceniu: în fiecare an impar (2015, 2017, 2019 și 2021), CNFIS a cerut ca universitățile să-și raporteze activitatea de cercetare desfășurată în cei 4 ani anteriori, iar datele obținute din această raportare – făcute publice la sfârșitul anului de raportare sau la începutul anului următor – au fost folosite ca bază de calcul pentru acordarea finanțării în următorii 2 ani calendaristici.

O ruptură importantă în acest proces s-a produs, însă, la raportarea din 2021, ale cărei rezultate nu au fost făcute publice nici măcar în momentul de față. Nu este clar de ce și nici nu-mi permit să speculez asupra cauzelor. Cert este că, în vara anului 2022, CNFIS a inițiat un proces care permitea fiecărei universități să vizualizeze datele raportate de celelalte instituții și să semnaleze eventualele erori. Ceea ce s-a și întâmplat – și nu de puține ori. În orice caz, această verificare încrucișată ne-ar garanta, în principiu, că am avea de-a face cu cea mai exactă raportare a indicatorilor de cercetare din istoria CNFIS-ului.

Ei bine, tocmai aici apare o primă bizarerie, care constă în faptul că, deși această raportare a fost, măcar în teorie, cea mai veridică din istoria CNFIS, ea nu a fost (și nici nu va fi) folosită vreodată ca bază de acordare a finanțării suplimentare pentru universitățile românești de stat. Pentru anii 2020-2023, conform site-ului CNFIS (http://www.cnfis.ro/finantare/finantarea-suplimentara/), a fost folosită ca bază de calcul a indicatorilor de calitate tot raportarea din 2019, iar pentru 2024 și 2025 va fi luată în calcul, conform adresei ministeriale amintite, noua raportare, cea din 2023.

De aici, o serie de întrebări, care de care mai neplăcute: mai întâi, ce rost a mai avut raportarea din 2021 (cu toată verificarea încrucișată aferentă), dacă ea oricum nu va fi folosită la calculul finanțării? Nu ar fi normal ca și rezultatele ei să folosească drept bază de calcul a indicatorilor (și, implicit, a finanțării suplimentare) măcar pentru doi ani, cum, de altfel, și prevede legea? Mai departe: ce garanție are CNFIS că, dacă rezultatele raportării din 2021 nu au putut fi validate nici după aproape 24 de luni de la transmiterea lor de către universități, instituția va reuși să le valideze pe cele de la raportarea din 2023 suficient de repede astfel încât ele să folosească drept bază de calcul pentru finanțarea din 2024? Sau se va renunța de această dată la verificarea încrucișată și se va merge pe tradiționalul repede-nainte? Ce își dorește, de fapt, CNFIS: să acorde finanțarea suplimentară în baza unor date clare și bine verificate sau să valideze la repezeală datele primite doar de dragul respectării termenelor? Oricum, mă tem că misterul care încă planează asupra rezultatelor raportării din 2021 și elanul cu care Ministerul Educației se grăbește să le lase în urmă nu vor face decât să alimenteze percepția populară cum că datele se mai aranjează și „din pix” până când iese „ce trebuie”…

Raportarea din 2023 (I): anomalia ERIH

Să trecem acum la noua raportare, lansată de curând. O constatare ușor de făcut este că datele solicitate în acest an de către CNFIS acutizează, pe de o parte, o serie de probleme mai vechi și ridică, pe de alta, câteva probleme noi. Din ultima categorie nu am în vedere neapărat extinderea obligativității de a raporta indicii Hirsch din Web of Science și din Scopus la toate domeniile de studiu (inclusiv la cele umaniste): ambele sunt baze de date reputate, care ar trebui să le fie familiare și umaniștilor, din moment ce în ultimii 10-15 ani standardele naționale CNATDCU le-au inclus într-o formă sau alta. Dimpotrivă, dacă e ceva de reproșat aici, e disparitatea nejustificată dintre cele două baze de date, care sunt în momentul de față singurele care încă mai cuplează un filtru calitativ relativ riguros în selectarea publicațiilor indexate cu o ierarhizare pe cuartile a publicațiilor și, mai ales, cu un calcul relevant al indicelui Hirsch. De altfel, nu e un secret faptul că în multe sisteme străine de evaluare a cercetării articolele indexate în Scopus au aceeași relevanță ca articolele indexate în WoS, dacă nu cumva sunt considerate superioare acestora. Plus că Scopus-ul e folosit ca sursă scientometrică în câteva rankinguri internaționale de top, precum QS și THE.

Or, dacă așa stau lucrurile – adică, dacă CNFIS însuși recunoaște relevanța scientometrică a indicelui Hirsch calculat în Scopus –, atunci de ce organismul responsabil de finanțarea învățământului superior românesc nu e consecvent și nu solicită și raportarea articolelor indexate în Scopus, cărora le neagă astfel importanța calitativă? Căci, în ceea ce privește articolele, CNFIS solicită ca în raportarea 2023 să fie luate în calcul doar publicațiile WoS (adică ex-„ISI”: SCIE, SSCI, AHCI, ESCI și CPCI), IEEE și ERIH+. Și totuși, să nu valoreze, să zicem, un articol dintr-o revistă indexată în Q1 a Scopus nici măcar cât o publicație ESCI („grupa mică” a ISI) sau CPCI (care cuprinde doar lucrări prezentate la conferințe)? Mă cam îndoiesc – iar un bun argument în acest sens este deschiderea la minte de care a dat dovadă CNCS, care a echivalat în pachetele de informații ale recentelor competiții PNRR (I.8) și UEFISCDI (TE și PCE) cuartilele ISI cu cuartilele Scopus (cel puțin pe zona umanistă).

Însă discrepanțele dintre criteriile de evaluare ale consiliilor consultative ale Ministerului Cercetării, respectiv ale Ministerului Cercetării, Inovării și Digitalizării (CNFIS, CNCS, CNATDCU etc.) formează o poveste mai lungă, asupra căreia voi reveni. Deocamdată, în afară de minimalizarea nejustificată a Scopus, voiam să evidențiez supralicitarea – la fel de nejustificată – a unei pseudo-baze de date numite ERIH Plus. Dacă asupra IEEE nu-mi dă mâna să mă pronunț, nefiind de specialitate, mărturisesc că, deși umanist, n-am înțeles niciodată ce caută ERIH Plus printre indicatorii CNFIS de calitate a cercetării. Pornită ca o inițiativă a European Science Foundation, ERIH (= European Reference Index for Humanities) a fost lansat la mijlocul anilor 2000 ca tentativă de a oferi o alternativă la ISI (atât o alternativă europeană, cât și una umanistă). Numai că, după două încercări de ierarhizare pe categorii a publicațiilor din zona umanistă, ERIH a fost abandonat în 2014 de ESF și preluat de o agenție din Norvegia, care, sub pretextul reformării lui, l-a transformat practic într-un maglavais.

Mai exact, în anul 2017, ERIH a devenit ERIH Plus („Plus” pentru că a început să includă și reviste din zona științelor sociale, nu doar a celor umaniste), însă această transformare a presupus renunțarea la orice criteriu de calitate. Și nici nu avea cum să fie altfel, pentru că, înainte de toate, ERIH Plus (https://kanalregister.hkdir.no/publiseringskanaler/erihplus/) NU este o „bază de date”. Datele pe care ERIH Plus le indexează cuprind doar câteva informații generale despre profilul revistelor, nu și informații „de conținut” despre autori, articole ș.a.m.d. În al doilea rând, în ciuda pretențiilor sale inițiale, ERIH Plus pare să fi abandonat orice tentativă de ierarhizare a revistelor. De altfel, o asemenea ierarhizare ar fi fost și greu de făcut atâta timp cât ERIH Plus nu avea posibilitatea să verifice direct datele raportate de reviste (de exemplu, periodicitatea lor), așa cum o fac, prin însuși procesul indexării, baze de date reputate precum WoS și Scopus. În sfârșit, în ERIH Plus (care se definește acum, în variantă „incluzivă”, ca European Reference Index for Humanities and Social Sciences) au ajuns să fie indexate reviste din toate domeniile, nu doar din zona HSS.

Se prea poate ca, în urmă cu câțiva ani, atunci când a introdus ERIH Plus printre „bazele de date” relevante pentru calitatea cercetării românești, CNFIS să se fi gândit să dea o șansă mai bună reflectării activității de cercetare din zona umanistă; și, de asemenea, să nu fi limitat raportarea acestor articole la științele umane gândindu-se că există oricum o limită inerentă, din moment ce vorbim despre un „European Reference Index for Humanities”. Însă, speculând lipsa de profesionalism și permisivitatea ERIH Plus, unele universități românești mai intrepide s-au apucat să indexeze pe acolo ce reviste au avut prin ogradă, indiferent de domeniu – astfel încât în momentul de față avem indexate în ERIH reviste autohtone din domenii precum matematică (Studia Universitatis Babes-Bolyai Mathematica), inginerie (Journal of Engineering Studies and Research), metalurgie neferoasă (Scientific Bulletin Series D: Mining, Mineral Processing, Non-Ferrous Metallurgy, Geology and Environmental Engineering – Baia Mare), construcții (Analele Universitatii Ovidius din Constanta – Seria Constructii), informatică (International Journal of User-System Interaction) și sport (câteva zeci).

N-ar fi bai, că, în definitiv, „umaniști” (adică oameni) suntem cu toții – și matematicieni, și ingineri, și IT-iști, și sportivi. Dar tare mi-e că o asemenea abrambureală tinde să genereze două efecte colaterale pe care tot noi, umaniștii, le vom deconta: pe de o parte, nefiind restricționate prin definiție la raportarea CNFIS în zona umanistă, luarea în considerare a articolelor ERIH Plus în domenii cu totul străine de SSH (matematică, inginerie, informatică etc.) riscă să influențeze negativ (pentru că incorect) ierarhizarea universităților din domeniile respective; pe de altă parte, iarăși ne vom trezi tot noi, filologii și istoricii, filosofii și teologii, oile negre ale cunoașterii naționale, cu renumele că, după ce că nu suntem în stare să ne ierarhizăm riguros propriile realizări, îi mai zăpăcim și pe alții. Căci, până la urmă, despre asta e vorba: nu despre domenii, ci despre absența calității – despre faptul că, până în momentul de față, eu unul cel puțin nu am auzit nici de vreo revistă care să fi fost refuzată de ERIH Plus, nici de vreuna care să fi fost exclusă de acolo.

Raportarea din 2023 (II): cărți și probleme

Absența publicațiilor Scopus și prezența articolelor ERIH Plus nu sunt singurele probleme pe care le ridică raportarea CNFIS 2023. Problematică, din mai multe motive, e și includerea, începând cu acest an, a cărților, capitolelor, edițiilor critice și traducerilor ca indicatori de calitate pentru zona umanistă. De exemplu, în privința cărților publicate la edituri naționale, nu e clar de ce se iau în calcul doar volumele apărute la edituri din categoria CNCS A (și nu și B și C, cu un punctaj mai mic) și rămâne discutabil faptul că această încadrare se aplică în parte retroactiv (cel puțin pentru anii 2019 și 2020, în condițiile în care noua clasificare CNCS a editurilor și revistelor din zona umanistă a fost dată publicității doar în decembrie 2020: http://www.cncs-nrc.ro/publicatii-stiintifice/). Dar să nu fim cârcotași și să admitem că procesul trebuia început de undeva.

Cu adevărat grav mi se pare, însă, un alt aspect – acela că indicațiile de raportare asociază în mod arbitrar un anume tip de carte cu o anumită categorie de editură: „Cărțile de autor, volumele colective editate și capitolele în volume colective raportate trebuie să fie publicate la editurile de prestigiu internațional recunoscute de CNCȘ.// Edițiile critice sau traducerile unor texte literare, texte științifice, manuscrise sau volume de documente, trebuie să fie publicate la o editură clasificată A de către CNCȘ pentru domeniul respectiv” (http://www.cnfis.ro/wp-content/uploads/2023/04/AC2023_Cerinte-recomandari-raportare-IC2-ian2023.pdf). Cu alte cuvinte, cineva care a tradus & îngrijit o operă a unui scriitor român în străinătate nu poate să și-o raporteze, întrucât nu e nici carte de autor, nici capitol, nici volum colectiv; în schimb, cine a tradus la o editură precum Polirom un roman polițist sau un romance siropos poate să și-l raporteze ca pe o realizare științifică de excepție, pe când cine a făcut imprudența să publice, la aceeași editură, o monografie de câteva sute de pagini nu îndeplinește criteriile de calitate ale CNFIS. Asta ca să nu mai amintesc de modul grijuliu, de un umor involuntar (în contextul raportării), cu care sunt definite edițiile critice: „Prin ediție critică se înțeleg aici edițiile care au implicat cel puțin două dintre următoarele activități: (1) (re)stabilirea textului original; (2) editarea textului prin folosirea cunoștințelor de specialitate și a unor cunoștințe paleografice/epigrafice/lingvistice speciale; (3) elaborarea unui studiu introductiv contextualizator (sau a unei prefețe/postfețe) şi a unor note explicative ample.” Cine va verifica, în definitiv, îndeplinirea acestor condiții? Îmi și imaginez funcționarii CNFIS examinând cu lupa dacă cutare îngrijitor de ediție a folosit „cunoștințe epigrafice speciale” (sau doar din cele ordinare) ori dacă notele explicative la cutare volum sunt destul de „ample”…

Din păcate, lucrurile nu se opresc aici. Și mai problematică e raportarea cărților și a capitolelor publicate la „editurile de prestigiu internațional recunoscute de CNCȘ”. Lista de referință (http://old.cncs-nrc.ro/wp-content/uploads/2012/01/Edituri-prestigiu-international-stiinte-umaniste.pdf) datează aici din 2012. Poate că analogia nu e cea mai potrivită, dar cum ar fi ca la raportarea de anul acesta cercetătorilor din științele exacte să li se ceară să folosească pentru încadrările articolelor Journal Citation Reports din 2012? Adevărul e că în ultimii 10 ani s-au schimbat multe și pe piața editorială. Unele edituri au fuzionat între ele, altele și-au modificat denumirile. Ce se va întâmpla în asemenea situații? Asta lăsând la o parte că lista CNCS a fost încă din momentul publicării ei discutabilă: ea include, de pildă, 5 edituri din Rusia, dar niciuna din spațiul scandinav; păstrează celebra Lambert Academic Publishing („cea mai infamă editură academică din lume”, cum o numea cineva), dar nu include nicio editură din China sau Japonia.

Dincolo de aceasta, lista de referință a CNCS la care trimite documentul de „Cerințe și recomandări” al CNFIS cuprinde și ceea ce se cheamă „rute alternative”: una prin care o editură universitară devine automat „de prestigiu internațional” dacă îi aparține unei universități din Top 500 ARWU; alta prin care un volum publicat la o altă editură se echivalează cu produsele editurilor „de prestigiu internațional” dacă e prezent în minim 15 biblioteci din catalogul KVK. Cele două „rute” sunt parte integrantă din „Lista editurilor cu prestigiu internațional” validată de CNCS în 2012. Se vor aplica aceste echivalări și la raportarea CNFIS 2023? Documentul de „Cerințe și recomandări” nu ne spune nimic în această privință, lăsând astfel deschisă posibilitatea ca volume apărute la făcătura numită Lambert să fie considerate „de prestigiu internațional”, pe când cărți publicate la, să zicem, Pearson Longman, Purdue University Press, McGraw Hill sau Stockholm University Press să nu beneficieze de același statut.

Soluții erau, nu-i vorbă. Dacă CNFIS avea reticențe să adopte pur și simplu vreuna din listele internaționale mai recente, precum Book Citation Index (http://wokinfo.com/mbl/publishers/) sau CERES (https://ceresresearchschool.nl/valuation-system/publishers/), putea cel puțin să se consulte cu un alt organism al ministerelor de resort (CNATDCU sau chiar CNCS – presupun că nu era interzis) pentru a vedea cum evaluează acestea cărțile publicate la edituri internaționale. De fapt, o asemenea operație mi s-ar fi părut obligatorie, în condițiile în care din cei 23 de membri actuali ai CNFIS doar unul reprezintă științele umaniste. Chiar și în absența unui asemenea dialog, nu e greu să observăm, urmărind competițiile UEFISCDI organizate în ultimii ani, că până și CNCS a renunțat între timp la „Lista editurilor cu prestigiu internațional” pe care Consiliul însuși o propusese, preferând să cuantifice prestigiul unui volum în funcție de numărul bibliotecilor din străinătate care au achiziționat lucrarea respectivă.

Citeste intregul articol si comenteaza pe Contributors.ro