Når mediene preges av oppslag om partimålinger i valgkampinnspurten, er det flere ting de ikke alltid er så flinke til å fortelle deg:

1: En «sjokkmåling» for et parti kan i virkeligheten være null endring

Meningsmålinger kan være misvisende – det er tross alt bare en stikkprøve av hele velgermassen. Jo færre respondenter, jo mer usikkert er resultatet (gitt at utvalget er trukket på samme måte).

I nasjonale målinger er det vanligvis rundt 1000 av de 3,65 millioner stemmeberettigede som blir spurt om hva de tror de vil stemme.

Ved hjelp av sannsynlighetsteori regnes det derfor ut en feilmargin. Den oppgis i prosentpoeng og sier hvor pålitelig resultatet er for hvert enkelt parti. Jo større oppslutning et parti har, jo større blir feilmarginen.

Når for eksempel det siste partibarometeret til NRK har en feilmargin mellom 0,7 og 2,5 prosent betyr det at oppslutningen for det største partiet, Ap på 25,8 prosent, antas å ligge et sted i intervallet 23,3 til 28,3 prosent (med en viss sannsynlighetsgrad, vanligvis 95 prosent). Hvis man gjentok undersøkelsen hundre ganger ville man i 95 av dem fått resultater mellom 28,3 og 23,3.

En endring som ligger innenfor dette intervallet regnes ikke som statistisk signifikant: Det kan isolert sett ikke brukes til å trekke noen konklusjoner om hvor mye oppslutningen til et parti har gått opp eller ned. Og når man snakker om endring fra en meningsmåling til en annen, må man ta i betraktning feilmarginen på begge målingene for å finne ut om endringen er signifikant.

Ett eksempel er VGs måling 1. september, der Arbeiderpartiet økte oppslutningen med 1,3 prosentpoeng fra forrige VG-måling. Med en feilmargin på 1,7 hadde avisa dermed egentlig ingen dekning for forsidetittelen om «Opptur» for Ap. 

Men: Hvis flere målinger viser en bevegelse i samme retning, kan det være en indikator på hvilken vei det går for det aktuelle partiet – selv om ingen avmålingene enkeltvis har endringer som ligger utenfor feilmarginen.

2: Enkeltmålinger blåses opp når vi burde hørt om gjennomsnitt

Det koster veldig mye penger å få de seriøse norske byråene til å gjennomføre meningsmålinger mange ganger gjennom valgkampen. Det er mediene villige til å betale fordi det gir dem tall som er eksklusive nyheter selv når det ikke har skjedd så mye i de politiske sakene.

Men det fører til at de enkelte nettavisene og tv-kanalene vier størst plass til «sine» målinger, selv om det er ingen som vet om akkurat disse tallene gir et godt bilde av oppslutningen akkurat nå.

Utslag på slike enkeltmålinger kan være et resultat av tilfeldigheter. Et mye sikrere bilde får man ved å se på gjennomsnittet av flere målinger, på tvers av meningsmålingsbyråer og mediehus. Da blir resultatene mer presise.

Det er denne øvelsen Høyre-politiker Lars Øy og jussprofessor Johan Giertsen (også medlem i Høyre) bedriver på sitt nettsted Pollofpolls. Også TV 2s partibarometer har snittberegning, i tillegg til muligheten til å bla deg gjennom grafene til de andre medienes målinger.

I Norge har gjennomsnittet av målingene historisk sett truffet godt, ifølge Bernt Aardal, professor i statsvitenskap ved Universitetet i Oslo og en av landets fremste eksperter på politiske meningsmålinger.

Aardal bruker et eksempel fra 2013: Før valget ble FrP målt til alt mellom 21,9 og 14,1 prosent. Men gjennomsnittet av målingene var 16,8 prosent, ganske nært det endelige valgresultatet på 16,3 prosent.

3. De som ennå ikke har bestemt seg er ikke «med» i resultatet – og ikke alle av dem blir hjemme

Prosenttallene i meningsmålingene summerer seg pent opp til hundre prosent. De som ikke vil svare, svarer at de fortsatt ikke har bestemt seg, eller sier de ikke skal stemme, er altså utenfor tallene du ser på hvilke partier som har gått litt opp eller ned.

Ifølge partibarometeret til NRK tatt opp i uke 34, dreide det seg da om 640 000 velgere som fortsatt ikke vet hvem de vil stemme på. Tidligere i valgkampen var det snakk om rundt én million.

Selv om mange av dem ender som hjemmesittere – 360 000 av de usikre stemte ikke ved forrige stortingsvalg – er det mer enn mange nok til at det kan vippe flertallet i enten borgerlig eller rødgrønn retning når de to blokkene er så jevnbyrdige som i år.

Det er riktignok ingenting som tilsier at de som bestemmer seg sent har avvikende partipreferanser fra de som bestemmer seg tidlig, men det er jo historikk, og ikke årets valgkamp.

4. Svarer du Sp teller du kanskje mer enn noen som svarer Høyre (men det er ingen konspirasjon!)

Årsaken er vekting.

For å få et utvalg som likner befolkningen som helhet, bruker meningsmålerne datamaskiner til å trekke ut tilfeldige telefonnummere. Viser det seg – for eksempel – å være for mange av ett kjønn eller for mange respondenter fra én landsdel eller inntektsgruppe, justerer de for dette ved at de som har svart fra den underrepresenterte gruppen teller mer enn andre.

Men det finnes ikke noe fasitsvar på hvilke variabler man skal vekte for, og hvor mye.

Særlig interessant ved partimålinger er at byråene vekter utvalgene sine mot tidligere valg. Det betyr at de sjekker hva folk sier de har stemt tidligere for å finne ut hvor «feil» utvalget er sammenlignet med det reelle valgresultatet den gang.

For eksempel vekter InFact, som står bak VGs målinger, mot forrige fylkesting- og kommunestyrevalg, slik at utvalget inneholder omtrent like stor andel som stemte på Arbeiderpartiet i 2015. Men de andre byråene vekter mot stortingsvalget i 2013, i den oppfatning at dette er mer relevant fordi det er stortingsvalg i år. Ap gjør det best på Infacts målinger, og fasiten får vi ikke før på mandag. (Det er derfor du må se på gjennomsnittet, se over).

5. Mange (om)bestemmer seg i aller siste liten

Selv om stadig flere forhåndsstemmer – det kan bli så mange som en million ved dette valget – er det fortsatt et flertall som venter helt til valgdagen med å legge en liste i en urne. Da har de også muligheten til å stemme noe annet enn det de har oppgitt til meningsmålerne.

Valgkampen varer for øvrig helt til siste slutt; den siste partilederdebatten går av stabelen i kveld – og ingen vet hva som preger avisoverskriftene på lørdag.

Målingene kan altså ha vært gode på det tidspunktet de ble tatt opp – og likevel bomme på det endelige valgresultatet.

---

Takk til doktorgradskandidat Simen Sørbøe Solbakken ved institutt for statsvitenskap ved Universitetet i Oslo og professor Toril Aalberg ved Institutt for sosiologi og statsvitenskap på NTNU for hjelp til denne artikkelen.