Sondajele: ce ne spun de fapt, cum ne pot manipula și la ce trebuie să fim atenți atunci când suntem bombardați cu cifre

Dani Sandu

Colaborator

Una dintre problemele faptului că lucrez cu sondaje de opinie de mai bine de 15 ani, atât în mediul academic cât și în mediul privat, este că în perioada alegerilor mai toată lumea vrea să mă întrebe despre asta. 

De ce sunt rezultatele atât de diferite dacă e metodă științifică? 

De ce sondajele zic ceva și la alegeri iese altceva? 

Sondajele de opinie au devenit atât de răspândite încât oriunde te-ai întoarce se vorbește despre ele ca o sursă științifică de încredere. Lumea le crede aproape reflexiv, cu excepția alegerilor, când intervin fel și fel de factori care fac rezultatele sondajelor ”dubioase”, ”neștiințifice”, ”nerealiste”, ”manipulări”, etc. 

Și, pe bună dreptate, cel mai probabil așa e. Mai ales în România. 

Tocmai pentru că e o conversație utilă și relevantă, mai ales în contextul actual, m-am gândit să adun într-un loc câteva observații despre sondaje, pentru a putea înțelege mai bine la ce și când sunt utile. 

1. Diferențele mici între candidați nu sunt întotdeauna credibile

Toate cercetările au o marjă de eroare și un interval de încredere. Pe scurt, chiar și un sondaj făcut după cele mai bune standarde pe o populație de 1.000 de persoane are o marjă de eroare de +/- 3% la un interval de încredere de 95%. 

În spate e un calcul matematic complex, validat și absolut sigur. Mai precis, ar însemna că un scor de 51% pentru Ion Ionescu într-un sondaj convențional de o mie de respondenți nu înseamnă că orice alt scor în afară de 51% este dovadă că sondajul e greșit.

Ce spune de fapt această cifră, dacă e să traducem în academicheză, este că scorul lui Ion Ionescu este între 48% și 54% în 95% dintre măsurători. Deci, că suntem relativ convinși că ăla ar fi scorul real. Asta putem spune cu certitudine dacă toate elementele tehnice ale sondajului sunt îndeplinite corespunzător. Când ținem cont de toate astea, acoperim cam 90% din toate erorile de măsurare din cercetări sociologice, probabil. 

Exclusiv. Securiștii din spatele mișcării suveraniste încearcă să facă bani cu titluri de stat vechi de 100 de ani și aplicații de dating. Reacția Dianei Șoșoacă: „Sunt în rugăciune la Sfântul Andrei”

PressOne vă arată legăturile dintre mișcarea suveranistă din România și niște securiști escroci care astăzi îl susțin pe Călin Georgescu.

Exclusiv. Legăturile secrete ale lui Călin Georgescu cu extrema dreaptă din Germania

Călin Georgescu menționează în CV-ul lui o personalitate extremistă din Germania, Michael Friedrich Vogt. Legăturile dintre Vogt și dreapta neonazistă au fost documentate pe larg de presa germană.

Acum, la umbra acestei limitări științifice se întâmplă și 90% din măsluirile de date din lume, implicit și în România. Știind ce înseamnă această marjă de eroare, dacă vreau ca totuși candidatul meu să pară mai puternic decât este, factorii de decizie (sociologi, directorași, politicieni, strategi, etc) decid să transmită rezultatele oficiale modificate în interiorul marjei de eroare. 

Logica e simplă în naivitatea sa penibilă: ”dacă tot știm că științific că rezultatul este între 48% și 54%, iar 53% este și el în acest interval, de ce să nu zicem că e 53%?”. Astfel, în cazul lui Ion Ionescu de mai sus, chiar dacă cercetarea îl dă la 51%, partidul dă scorul lui Ionescu la 53%, care e și el în intervalul discutat mai sus, dar sună mai bine pentru partid.

De ce ar face asta? Păi, pentru că partidul vrea să-și mobilizeze propriul electorat, pentru că vrea să demobilizeze alt electorat, pentru că vor să forțeze niște negocieri politice, să convingă niște oameni să voteze util, etc. Asta devine și mai interesant atunci când muți candidatul propriu cu 2-3% mai sus și principalul contracandidat cu 2-3% mai jos. O diferență inițială de 1-2% poate ușor deveni o diferență de 6-8%. 

Deci, o primă regulă este că diferențele mici între candidați nu sunt din cale afară de credibile, mai ales dacă unul dintre candidați pare a avea mai multe resurse – și deci mai multe pârghii pentru a ”convinge” institutul de cercetare să se joace cu scorurile în marja de eroare.

Candidatul USR la funcția de președinte, Elena Lasconi, votează în primul tur al alegerilor prezidențiale, în București, 24 noiembrie 2024. Inquam Photos / Octav Ganea

2. Rezultatele sondajelor depind, de multe ori, de unele decizii tehnice luate de institute

Asumpția de random sampling nu prea mai ține. Cel mai important principiu statistic pe care se sprijină științificitatea sondajelor de opinie este că dacă alegi persoane în mod absolut aleatoriu dintr-o populație, poți calcula niște lucruri și face niște evaluări despre întreaga populație cu un sample mic – pentru mai multe explicații vedeți aici sau aici. 

Asta explică matematic și de ce numărul de respondenți mai mic de 1.000 nu este neapărat un semn că sondajul e prost, doar că va avea marje de eroare mai mari. Problema aici ține de acel în mod absolut aleatoriu, care nu se mai verifică. 

Odată cu scăderea încrederii sociale, rate de participare diferite pentru grupuri sociale diferite, etc, am ajuns să facem sondaje și cu rate de răspuns de 10-12%, ceea ce înseamnă că selecția sigur nu mai e chiar aleatorie. Experții în genul acesta de cercetare tot caută soluții, precum weighting sofisticat, dar în general asta aduce un plus de complexitate și de cost în colectarea de date, deci pașii necesari sunt făcuți de institutele care-și permit și arareori de institutele care funcționează după logica de „costul cel mai mic”, precum cele din România.

Principala chestie pe care o avem de învățat de aici este că rezultatele sondajelor depind foarte mult de niște decizii tehnice luate de institute. Când aceste decizii tehnice nu sunt discutate, încrederea noastră în sondajele respective trebuie să scadă. Inutil de spus, în România abia dacă se raportează numărul de respondenți la fiecare cercetare, pe când eroarea standard este deseori uitată.

O altă regulă de extras de aici este să fim atenți la sondajele care sunt conduse online. Prin însăși definiția lor, respondenții completează online un chestionar, ceea ce înseamnă că sunt aleși din populația celor care au adresă de email sau sunt online, ceea ce este o populație radical diferită de populația votantă din România. 

3. Nu toată lumea care spune că va vota, chiar va vota

Toată lumea spune că va veni la vot. O altă problemă mai degrabă tehnică este că, pentru a calcula scorurile așteptabile la alegeri avem nevoie întâi să ne dăm seama cine vine la vot. Or, pentru că mai toată lumea e de acord în teorie că votul este important și reflectă bine asupra noastră să zicem că votăm, mai toată lumea spune că va merge la vot. 

Nu e o problemă limitată la România, peste tot pe unde te uiți o vezi: cam 70-80% din populație spune că se va prezenta la vot când punem doar întrebarea seacă dacă vor merge sau nu. Problema este că, evident, nu toți vor merge la vot. De acolo apare una din cele mai complicate decizii pe care le ia un cercetător – cum să triezi dintre cei care zic că vor merge la vot pe cei care chiar vor merge la vot. 

Deciziile acestea mai niciodată nu sunt raportate în sondajele pe care le vedem în presă. E decizia fiecărui institut. Și, mai rău, dacă știi un minim de teorie socială, îți poți ușor alege filtrele într-un mod ce avantajează un anumit partid.

De exemplu, un institut din România filtrează și după răspunsul la întrebarea ”Ce faci de obicei în weekend?”, în ideea că cei care de obicei călătoresc duminica vor călători și în ziua votului și deci pot fi excluși de la socoteală. Asta avantajează oamenii mai în vârstă și mediul rural. Unii filtrează după interes politic. Sunt multe moduri de a face asta și nu e clar dacă există vreun mod ideal. 

Regula de reținut aici este că o cercetare ce anunță doar scorurile candidaților/partidelor și nu anunță și prezența la vot nu merită luată în serios.

Ideal, un institut serios va face mai multe estimări de prezență și va oferi rezultate separat, pentru fiecare din aceste estimări. În România am văzut ceva de genul acesta doar la INSCOP. Ar trebui să devină generalizat. 

4. Respondenții nu sunt mereu sinceri cu cine votează

Derivat din punctul de deasupra, social desirability bias apare nu doar în raportarea intenției de a te prezenta la vot, dar și în opțiunea de vot. E o problemă destul de veche, care în mod tradițional era formulată ca ”respondenții nu vor să admită că votează cu extremiști”, dar în timp s-a arătat că e mai complicată de atât.

O variantă a acestui tip de bias este efectul Bradley, conform căruia respondenții vor deseori să pară mai chic și open-minded prin opțiunea de vot raportată, și vor spune că votează cu un candidat de culoare, minoritate sexuală, etc, chiar dacă ulterior vor vota cu altcineva. Sunt cercetări care spun că social desirability bias afectează partidele mai de nișă, mai controversate, mai mici, etc. Trump pare că ar fi fost afectat masiv de asta, mai ales în trecut. 

AUR a beneficiat destul de consistent de acest social desirability bias la alegerile din 2020, când unora dintre respondenți nu le-a venit ușor să admită că votează pentru ei. Alegerile recente arată că cel puțin AUR nu mai suferă de această problemă.

5. Intențiile de vot ale oamenilor se schimbă pe măsură ce se apropie alegerile

Sondajele care apar cu mai mult de câteva luni înainte de alegeri și pun întrebări despre intenții de vot sunt inutile pentru a înțelege cine va câștiga alegerile. Cei mai mulți respondenți nu se gândesc la alegerile de peste 6 luni în viața de zi cu zi, deci nu au opțiuni clar definite și profunde. 

Dimpotrivă, cel mai probabil răspund la întrebarea de vot gândindu-se la oamenii despre care au auzit că vor candida, ceea ce aproape invariabil avantajează candidații caricaturali, gen Diana Șoșoacă sau alții asemenea. Sondajele făcute atât de devreme sunt mai degrabă folosite pentru a convinge sponsori sau a conduce negocieri politice. 

Opiniile politice se formează și sunt întărite abia în momentul în care alegătorii simt că se apropie alegerile și încep să consume mai mult conținut media pentru a înțelege cine candidează și cu cine ar putea să voteze. Cam acesta este și momentul în care partidele încep să își facă simțită prezența mai puternic și motivul pentru care e greu să candidezi fără a fi sprijinit de un partid. 

Un exemplu bun chiar pentru alegerile prezidențiale este cel al lui Mircea Geoană, ce părea a fi favoritul absolut la alegeri cu câteva luni înainte de alegeri, când abia își anunțase candidatura.

6. Valurile subite în favoarea unui candidat se pierd deseori

Cazul cel mai des menționat în discuțiile despre sondaje zilele astea este cazul Georgescu, care ilustrează foarte bine următoarea problemă. Sondajele pot fi problematice în cazul în care un candidat crește foarte mult într-o perioadă scurtă, mai ales pe final de campanie, cum explică și Andrei Roman, de la AtlasIntel.

Uneori, când opțiunile de vot sunt fluide, adică alegătorii au mai multe preferințe între care sunt relativ indiferenți („votez Șoșoacă, iar dacă nu ea, atunci Simion, iar dacă nu el, atunci Georgescu”), transferul de la un candidat la altul se poate întâmpla peste noapte aproape. De ce? Păi, poate candidatul pe care îl aveam în vedere acum m-a supărat cu o chestie, iar acum votez cu următorul pe listă. Cum s-a întâmplat și la George Simion în favoarea lui Călin Georgescu. E și mai grav dacă acest transfer se întâmplă într-un val masiv. 

Candidatul independent Călin Georgescu a câștigat turul I al prezidențialelor, un șoc istoric pentru România. Foto: Inquam Photos / Ovidiu Matiu

Sondajele s-ar putea să prindă doar parte dintr-o astfel de dinamică și să nu fie clar dacă valul e la început sau la sfârșit sau, cel mai grav, dacă cumva rezultatul nou și straniu pe care îl găsește sondajul este de fapt de la intervalul de încredere de 95%, care ne spune foarte pe scurt că, în 1 sondaj din 20, marjele de eroare pot fi date peste cap cu mult mai mult decât de obicei.

Cam asta pare să se fi întâmplat și în cazul lui Călin Georgescu, unde câteva institute de cercetare l-au văzut undeva între 6% și 14%, dar n-au știut că e doar un început de val, iar alte câteva institute de cercetare probabil l-au prins, dar au decis să-l reducă ”din oficiu”, pentru a nu risca să dea niște rezultate atipice atât de aproape de alegeri. 

În lumea sondajelor, e ok dacă greșește toată lumea, cum s-a întâmplat acum (cu mini-excepțiile Verifield și AtlasIntel), dar ce e cu adevărat grav este să dai un rezultat diferit de restul institutelor și să se arate la alegeri ca greșit. De-aia, mai ales în sondajele de înainte de alegeri, toate rezultatele tind să fie mult mai conservatoare, mai ales sondajele publice făcute de către ”institutele de renume”.

Nimeni nu a vrut să dea un rezultat ”pripit”, deși în datele lor interne, sondajul din preziua votului îl arăta deja pe Georgescu la 15-18%, cum au recunoscut mai mulți apoi. În plus față de acest 15-18% și până la 21% au mai funcționat:

Mai multe lucruri despre povestea Georgescu am scris aici.

7. Nu toate sondajele sunt la fel

Nu e nimic revoluționar de spus aici. Sunt institute de cercetare ce prezintă probleme sau riscuri foarte serioase de moralitate. Uneori, aceste riscuri vin din structura de ownership, cum se întâmplă cu un institut foarte mare de cercetare ce este deținut de un jurnalist/consultant politic căsătorit cu o doamnă deputat PSD. 

Alteori, avem de-a face cu institute de cercetare care au apărut peste noapte, au scos niște cifre absolut halucinante și apoi au dispărut. 

În general e o idee bună să nu luăm în serios sondaje de la institute de cercetare apărute peste noapte și să fim reticenți în legătură cu sondajele propuse de instituții ce lucrează predilect cu un anumit candidat sau partid, mai ales dacă rezultatele lor sunt total diferite de celelalte. Într-o piață în care reputația este importantă ne putem aștepta ca manipularea să scadă semnificativ cu câteva zile înaintea alegerilor.

8. Media sondajelor ajută, în unele feluri

Una dintre practicile recente cu sondaje de opinie este să nu ne mai ghidăm după rezultatele câte unui sondaj, ci să încercăm să facem o medie a sondajelor, „ca să fie bine pentru toată lumea”. Sigur, practica asta ajută tocmai pentru că ne permite să „echilibrăm” interesele tuturor părților și să sperăm că astfel ne apropiem un pic mai mult de situația reală, ce face o medie între opțiunile de sampling sau de selecție a votenților. Nu este neapărat o strategie foarte precisă dacă unele institute fac ajustări în marja de eroare iar altele nu, dar este un pas înainte. Singurul lucru important de făcut aici este că trebuie să fim atenți la cine să fie inclus în această medie a sondajelor. 

Hotnews face o treabă bună aici, mi se pare, chiar dacă nu calculează o medie propriu-zisă. O altă discuție posibilă aici este dacă am putea să facem media rezultatelor și să calculăm eroarea standard raportată la suma cumulată de respondenți. Nu recomand în România. 

9. Neîncrederea în sondaje contribuie la inexactitatea lor

E o formă foarte antipatică de cerc vicios. Cum am spus mai sus, avem nevoie de random sampling/alegere aleatorie de participanți pentru a avea sondaje în care putem avea încredere. Dacă o bună parte a populației nu are încredere în sondaje, aceștia vor refuza să participe sau vor da răspunsuri la nimereală. Cu o rată de răspuns mai mică (sau cu răspunsuri la plesneală), rezultatele sondajelor vor fi și mai puțin precise, ceea ce va încuraja și mai multă neîncredere în sondaje. Și așa mai departe. 

10. Sondajele sunt făcute de partide, iar partidele decontează costurile de sondaje din finanțarea publică

Problema cea mai mare din România, în trecut, prezent și cel puțin și în viitorul apropiat este tocmai faptul că piața de cercetare socială este destul de mică și nu foarte concurențială. Sondajele sunt făcute de partide, iar partidele decontează costurile de sondaje din finanțarea publică a campaniilor electorale. În general, institutele existente lucrează constant cu cam aceleași partide/candidați, iar clienții par a avea ex oficio un fel de drept de editare a rezultatelor în marja de eroare sau de decizie dacă rezultatele vor ajunge în spațiul public sau nu. 

Liberalii probabil știau destul de bine că nu aveau candidatul pe locul 2 la alegerile locale pentru Primăria București, la fel cum știu destul de bine că actualul candidat nu este pe locul 2, însă nu au o problemă să argumenteze opusul și să pună presiune pe ceilalți candidați să se retragă. Nu există o pedeapsă reală pentru acest gen de minciună. 

Într-o astfel de piață, reputația (publică) nu este foarte importantă, pentru că partidele nu vor decide să nu mai lucreze cu un institut doar pentru că rezultatele publice nu au fost corecte sau metodologia nu a fost clară. De cele mai multe ori, partidele știu rezultatele reale, au rezultatele brute ale cercetărilor și au și capacitatea de a le analiza independent, deci ele nu pierd nimic din rezultatele manipulate. Noi pierdem, cei care le consumăm. 

Din ce știu, niciun institut de cercetare nu își face publice datele și chiar și dacă ar face-o, capacitatea non-angajată la partid de a le studia este foarte scăzută. Practic, nu publicul este clientul sondajelor, astfel că publicul (și interesele publicului) nu au mare valoare în evoluția și supraviețuirea institutelor de cercetare socială.

***

Sondajele de opinie sunt un instrument științific testat și de încredere. Sunt folosite peste tot în lume, în mediul academic, mediul politic sau cel privat. Chiar și așa, ele se bazează pe niște asumpții, iar când aceste asumpții nu sunt îndeplinite, rezultatele pot da greș. Eșecul sondajelor se poate datora unor factori științifici sau unor factori umani, politici.

Pentru eșecurile ce vin din probleme științifice încercăm să găsim remedii. Pentru cele ce vin de la factori umani sau decizii politice nu ne putem apăra decât cu un pic mai multă precauție. Este important să distingem între tipurile de erori, mai ales în România, unde majoritatea institutelor de cercetarea opiniei publice care operează la alegeri funcționează ca subsidiare ale partidelor politice. 

Pentru mai multe informații, recomand blogul lui Mircea Comșa, care discută mai aplicat câteva din problemele des întâlnite la sondajele din România.

Avem nevoie de ajutorul tău!

Mulți ne citesc, puțini ne susțin. Asta e realitatea. Dar jurnalismul independent și de serviciu public nu se face cu aer, nici cu încurajări, și mai ales nici cu bani de la partide, politicieni sau industriile care creează dependență. Se face, în primul rând, cu bani de la cititori, adică de cei care sunt informați corect, cu mari eforturi, de puținii jurnaliști corecți care au mai rămas în România.

De aceea, este vital pentru noi să fim susținuți de cititorii noștri.

Dacă ne susții cu o sumă mică pe lună, noi vom putea să-ți oferim în continuare jurnalism independent, onest, care merge în profunzime, să ne continuăm lupta contra corupției, plagiatelor, dezinformării, poluării, să facem reportaje imersive despre România reală și să scriem despre oamenii care o transformă în bine. Să dăm zgomotul la o parte și să-ți arătăm ce merită cu adevărat știut din ce se întâmplă în jur.

Ne poți ajuta chiar acum. Orice sumă contează, dar faptul că devii și rămâi abonat PressOne face toată diferența. Poți folosi direct caseta de mai jos sau accesa pagina Susține pentru alte modalități în care ne poți sprijini.

Vrei să ne ajuți? Orice sumă contează.

3€5€10€