Despre expertiză și experți în sondarea opiniei publice

Acest text a fost prilejuit de un interviu al domnului profesor Dumitru Sandu („Drumul eșecului în sondajele politice”) care a fost publicat de Contributors pe data de 24 iulie a.c. El nureprezintă o replică polemică, ci exprimă interesul unui fost practician pentru domeniul în care a lucrat. De asemenea, reflectă acordul cu nevoia de consolidare a unor standarde de calitate recunoscute și riguroase precum și a unor mecanisme nepărtinitoare, obiective de certificare.

Îndemnul la „curățarea câmpului de buruieni” reprezintă mesajul central al interviului. Este un demers salutar și necesar, ce trebuie sprijinit și dezvoltat. Cu mențiunea că eu cred că suprafața de lucru e mult mai mare și se referă la mai multe „culturi”, înrudite și interdependente, și la recoltele culese în urma semințelor sădite precum și a supravegherii și îngrijirii fiecăreia.

Premisa principală este că institutele de cercetare performante sunt interesate de promovarea unor evoluții pozitive în cele două arii menționate (standarde de calitate, mecanisme de certificare), deoarece au mai mult de pierdut decât de câștigat dacă starea actuală de nediferențiere se impune ca normală.

Succesul într-un domeniu concurențial depinde într-o măsură importantă de diferențierea pozitivă, de poziția ocupată în ierarhia, construită obiectiv, a furnizorilor. Dacă o asemenea ierarhie nu există sau nu este funcțională, alocarea proiectelor se va face la întâmplare sau va fi guvernată de mecanisme clientelare. Fără nici un fel de beneficiu public!

Platforma care poate susține acest demers comun de clarificare se bazează pe buna credință și competența părților implicate (clienți, furnizori, experți auditori). Din faptul că niciuna din ele nu are și nu poate pretinde legitim un statut privilegiat rezultă că progrese sunt necesare în toate trei. Interviul se referă, convingător și aplicat, la reguli și criterii relevante pentru furnizori și clienți.

Nu contest meritele unei discuții de principiu, adică fără nominalizări ale reușitelor și eșecurilor. Dar cred că, dacă se va rămâne la acest stadiu, se vor multiplica efectele nefavorabile asociate neîncrederii, suspiciunii și etichetărilor negative generalizate.

Cred că soluțiile pentru validarea obiectivă a sondajelor de opinie publică, inclusiv setul de recompense (recunoaștere publică, poziție fruntașă în ierarhia furnizorilor, etc.) și sancțiuni (neincluderea în categoria furnizorilor confirmați), trebuie să vină în principal din interior. Experții aparțin, desigur, acestui grup. Iar relansarea, dar și schimbarea în bine a obiectivelor, activității și eficienței, Societății Române de Marketing și Cercetarea Opiniei Publice (SORMA) precum și promovarea standardelor și regulilor ESOMAR (European Society for Opinion and Marketing Research) ar fi pași necesari în direcția corectă.

Soluțiile vor fi, însă, nesatisfăcătoare dacă vor continua să existe „institute” care nu aderă la mecanismele agreate de certificare a calității. Acordul/ dezacordul cu instrumentele de verificare și validare oferă, cred, un prim criteriu de diferențiere și un reper în selecția furnizorilor de date de cercetare.

Până când se va ajunge un acord competent majoritar referitor la standarde, instrumente există și pot fi folosite independent de oricare beneficiar al unor servicii de cercetare cu tematică socială sau politică. Ceea ce nu înseamnă acceptarea de către furnizori a improvizației, bunului plac sau dictatului.

Un exemplu, sper lămuritor, în această privință. O instituție publică majoră a lansat o licitație pentru o cercetare socială de amploare. Unul din criteriile de calificare era acordul cu transmiterea listei nominale a operatorilor de interviu. A fost o situație tipică de formă fără fond deoarece obiective respectabile (transparență, verificabilitate) au fost golite de conținut și, ajunse doar niște biete vorbe, au fost puse în slujba unei abordări incorecte. Cei care au contestat și respins, fără succes, din păcate, criteriul menționat au avut opțiunea corectă din punct de vedere profesional. Dar concluzia stupefiantă a beneficiarului – întemeiată pe decizia juriului licitației, care a menținut clauza respectivă – a fost că au ceva de ascuns! Iar institutele respective au fost eliminate din licitație.

Dar acesta nu a fost singurul efect. Mult mai costisitoare este transformarea unei solicitări abuzive într-un „exemplu de bună practică”, într-un precedent care, în ciuda falsei sale onorabilități, ar putea fi invocat în viitor.

Domnul profesor Sandu menționează accesul la microdate ca o soluție pentru certificarea calității datelor. Acceptarea transmiterii bazei de date anonimizate reprezintă un al doilea criteriu de diferențiere și un reper în selecția furnizorilor de date de cercetare.

Și în această privință este necesară respingerea improvizației, bunului plac și a dictatului.

Deși este un progres, accesul la microdate, inclusiv al unei terțe părți agreate contractualde furnizor și beneficiar („expertul în sondaje” menționat de domnul Sandu), nu epuizează problema. Nu am în vedere aici varianta logic posibilă (aceasta înseamnă că se poate întâmpla și nu că s-a întâmplat sau că eu cunosc și confirm asemenea practici) a manipulării chiar a setului de microdate, astfel încât să nu se poată constata distorsiuni în ceea ce privește, de exemplu, structura eșantionului sau durata interviurilor.

Referințele utilizate și criteriile ce întemeiază decizia de acceptare/ respingere reprezintă aspecte esențiale. Nu mă refer la validarea și, dacă e cazul, ponderarea eșantioanelor pe baza statisticilor socio-demografice oficiale, care sunt, în marea majoritate a cazurilor, neproblematice. Fără a intra în detalii, menționez faptul că construirea, pe baza altor cercetări, a unor etaloane (referințe pivot) este tehnic întrutotul posibilă, dar generează serioase probleme atunci când li se atribuie un rol excesiv. De exemplu, chiar dacă ar fi fost exacte, diversele „sondaje ale sondajelor” (CNN) se bazează pe presupoziții metodologice ce cred că nu pot fi validate (1).

Cele mai frecvente și grave erori se referă la culegerea și înregistrarea datelor. În acest context, propun un al treilea criteriu de diferențiere și alegere a furnizorului de sondaje de opinie publică. Mă refer la acceptarea de către furnizor a verificării activității de teren în prezența (reprezentanților) clientului. Aceasta ar urma să se desfășoare după ce furnizorul a finalizat procedurile interne de control al culegerii datelor. Afirmarea de către furnizor a desfășurării unor controale nu ar trebui să fie suficientă, deoarece asemenea confirmări declarative, adevărate în multe cazuri, dar false în altele, reprezintă o cauză importantă de nediferențiere și confuzie.

Directiva GDPR a produs multiple dificultăți, probabil neanticipate, în ceea ce privește activitatea de teren în cercetarea de piață și cea cu tematică politică. Vor exista furnizori care vor utiliza prevederile directivei pentru a bloca, fără a genera suspiciuni, accesul clientului la verificarea calității datelor. Consider că o asemenea conduită ar trebui să fie un semnal puternic de alarmă și să întărească, nu să slăbească, solicitările clientului de implicare în validarea calității culegerii datelor.

Aceasta nu înseamnă că aș fi de acord, în această privință, cu improvizațiile, incompetența, bunul plac sau dictatul.

Un exemplu referitor la validarea culegerii datelor. Un politician, care nu rata nici o ocazie să amintească că este și profesor de sociologie la o universitate din nord-estul țării – prin urmare, cu pretenții de expert, pretenții foarte probabil acceptate de un număr mai mic sau mai mare de persoane, multe de bună credință, dar și străine domeniului în discuție -, a formulat următoarele cerințe pentru „a avea încredere în sondaj”: 1. operatorii de interviu să fie însoțiți de reprezentanții săi și să realizeze interviurile în prezența acestora; 2. institutul de cercetare să-i transmită baza de date care să includă și datele de identificare ale persoanelor intervievate. Furnizorul de date a respins categoric solicitările abuzive și lipsite de profesionalism ale acestui posibil client. Din păcate, putem fi convinși, dar fără resemnare sau supunere, că posibilul client a crezut (și poate încă mai crede) că a dezvăluit și dovedit că neîncrederea sa era justificată!

Închei acest paragraf amintind faptul că există reguli de verificare exigente și recunoscute care fac ca tentativele de ascundere a erorilor să nu aibă șanse de reușită.

Cine sunt, ce fac și cum fac institutele de sondare a opiniei publice reprezintă întrebări legitime. La fel de îndreptățite sunt aceleași întrebări referitoare la experții în sondaje. Interviul mi-a creat impresia că li se acordă un statut preeminent și privilegiat, pentru că nu discută, chiar și numai succint, eventuale dificultăți și probleme.

Cred că există multe similitudini între cele două domenii (sondarea opiniei publice și experții în sondaje), atât în bine (acesta există), cât și în rău.

Cele spuse despre furnizorii de date se aplică și experților. Pentru a avea credibilitate, este nevoie de evaluări și confirmări exigente, nu de auto-desemnări. Altfel, există riscul alimentării unei piețe a experților artificiale și ineficiente pentru că e distorsionată și distorsionantă. Iar rolul constructiv dorit ar fi, astfel, ratat. Există, și în ceea ce îi privește pe experți, „lipsă de onestitate sau de profesionalism, sau și de una și de alta”. Esta și aceasta una din similitudinile semnalate anterior. Falșii experți, la fel ca sondajele de opinie eșuate, pot genera ravagii!

Dar asemănările nu se sfârșesc aici. Lipsa de onestitate este dificil de identificat și, încă și mai mult, de dovedit. Iar strălucirea meritului tehnic, uneori doar o aparență, poate orbi și ascunde precaritatea morală. Cu efecte negative profunde, diverse și de durată!

Relația beneficiar – furnizor – expert nu este simplă sau lipsită de asperități. Dar aceste obstacole pot fi depășite. Aceasta înseamnă, printre altele, și respingerea argumentată a dictatului, oricare ar fi actorii configurației tripartite menționate care ar încerca să-l promoveze. În egală măsură costisitoare ar fi și coalizarea a două părți împotriva celei de-a treia, devenită firesc, dar nemeritat, subordonată.

Citeste intreg articolul si comenteaza pecontributors.ro