Vanliga frågor om våra undersökningar


F. Massor av människor har inte tillgång till internet. Hur kan ni då säga att era resultat speglar hela befolkningens åsikter?

S. När internet var nytt kunde man inte genomföra tillförlitliga undersökningar, eftersom antalet användare var för litet. I dag har internet nått alla demografiska grupper, och 2014 hade 95 procent av den svenska befolkningen över 16 år tillgång till internet hemifrån enligt SCB. Nätbaserade undersökningar når nu tillräckligt många män och kvinnor, äldre och yngre, och människor i olika inkomstgrupper. Nationella undersökningar kan därför genomföras så att hela allmänhetens uppfattningar återspeglas.

F. Men det måste ändå vara lättare för företag som arbetar med telefonbaserade undersökningar att få fram ett representativt urval, med tanke på att nästan alla har telefon nuförtiden?

S. Inte nödvändigtvis. Det finns en rad skäl till att telefonundersökningsföretagen har svårt att få fram ett verkligt representativt urval. De når i regel mest människor som tillbringar mycket tid hemma och som är benägna att prata med främmande personer som ringer upp. De är mindre bra på att nå människor som är ute mycket, som använder telefonsvarare för att filtrera samtal, som ogärna pratar med främmande personer eller som föredrar att använda mobiltelefon.

F. Kan det vara så att de som svarar på era frågor på nätet på vissa väsentliga sätt skiljer sig från dem som inte är uppkopplade, även om de har samma demografiska profil som hela befolkningen?

S. Alla undersökningsföretag måste använda sig av materialet som de faktiskt får in och försöka skatta åsikterna hos de människor som man inte når fram till. Så hur kan man, även om demografin är den rätta, veta att de som svarar är precis som övriga befolkningen? Det är just för att möta den utmaningen som YouGov strävar efter att ta fram resultat som inte är bara demografiskt representativa. Vi viktar våra rådata för att se till att de stämmer överens med befolkningen som helhet vad gäller ålder, kön och region – men ibland också utifrån partisympatier och andra parametrar.

F. Viktning är ett begrepp som ofta dyker upp i medierna. Vad betyder det egentligen?

S. I nästan alla undersökningar ingår viktning, oavsett om de genomförs på nätet, ansikte mot ansikte eller via telefon. Viktningen görs för att säkerställa att det publicerade resultatet på ett korrekt sätt återspeglar opinionen i den population som man vill mäta. Anta till exempel att väljarkåren består av 50 procent män och 50 procent kvinnor. I en väl genomförd undersökning bör fördelningen hamna ganska nära detta, men den är troligen ändå inte exakt korrekt. Anta att rådata kommer in från 52% män och 48% kvinnor. YouGovs dator skulle då något undervikta svaren från männen (så att de räknades som om de utgjorde 50 och inte 52 procent) och något övervikta svaren från kvinnorna (så att de räknandes som om de utgjorde 50 och inte 48 procent).

I praktiken är processen lite mer komplicerad än så, eftersom också faktorer som ålder, region, partisympatier och kön måste vägas in samtidigt. Arbetet görs av YouGovs dator, som justerar rådata utifrån dessa parametrar.

F. Väljer inte era respondenter själva om de vill delta i en undersökning och blir därför inte personer med starka åsikter i en fråga överrepresenterade?

S. Nej. När vi vill veta vad allmänheten tycker i en fråga väljer vi själva ut respondenterna. Det är bara de utvalda personerna som kan besvara frågeformuläret. När vi kontaktar dem via e-post anger vi inte vilken fråga det gäller. Dessutom är vårt belöningssystem utformat så att det är lika attraktivt för deltagarna att svara oavsett om de är engagerade i den aktuella frågan eller inte. Därför blir bortfallet litet när vi inom ramen för en undersökning byter från ett ämne till ett annat.

F. Hur stora är era urval och hur skiljer de sig från de urval som används av företag som tillämpar konventionella metoder?

S. De flesta av våra allmänna opinionsundersökningar har minst 1 000 respondenter. Andra företag som genomför samma typ av undersökningar använder sig av urval som är i den storleksordningen.

F. Varför är urvalsstorleken viktig?

S. Risken för urvalsrelaterade fel ökar ju mindre urvalet är. Om vi har ett urval på 550 personer kan vi vara säkra på att vårt resultat 19 gånger av 20 inte avviker mer än 4 procent från det resultat vi skulle ha fått om hela befolkningen kunnat besvara frågorna. Om urvalet i stället består av 1 000 deltagare är felmarginalen 3 procent, och för 1 500 respektive 2 000 respondenter sjunker den till 2,5 respektive 2 procent. Ju större urval, desto mer rättvisande blir resultatet vad gäller olika undergrupper som ”kvinnor” eller ”miljöpartister”.

F. Finns det inte en risk för paneleffekt, dvs. att respondenter genom att delta regelbundet i era undersökningar blir så påverkade av processen att de inte längre är representativa för samtliga väljare?

S. Det är ovanligt att YouGov-respondenter ofta får besvara samma eller liknande frågor (t.ex. om vilket parti de tänker rösta på). Därför är risken för en sådan paneleffekt försumbar. Trots detta jämför vi – för säkerhets skull – resultaten från ”nya” och ”gamla” deltagare. Hittills har vi inte hittat någon variation som tyder på en paneleffekt.

Om man skulle kunna få en person att ändra uppfattning genom att ställa samma fråga flera gånger vore den metoden sannolikt mycket populär bland politiker. Nu vet vi att det inte fungerar så.

F. Hur kan ni vara säkra på att deltagarna inte snabbt och slarvigt klickar sig igenom frågorna snarare än uttrycker sina verkliga åsikter?

S. I likhet med alla andra undersökningsföretag kan vi inte garantera att vi inte har deltagare som ljuger eller är oseriösa. Det finns dock inget som tyder på att detta är ett problem. Då och då kontrollerar vi konsekvensen genom att ställa samma frågor som tidigare till en del respondenter, och vi hittar få eller inga belägg för att deltagarna är oseriösa. Det finns däremot belägg för att människor är mer ärliga när de svarar på frågor på webben jämfört med när de blir intervjuade av någon de inte känner. Dessutom finns det ju ingen tidspress i webbaserade undersökningar; det faktum att människor kan ta den tid de behöver är en orsak till att internetundersökningar fungerar bättre än intervjuer när man vill ställa mer komplicerade frågor som kräver viss eftertanke.

F. Hur kan ni förhindra att människor – exempelvis med extrema politiska åsikter av ett eller annat slag – går med i YouGovs panel för att påverka era resultat?

S. När vi genomför politiska opinionsundersökningar är de allra flesta deltagarna sådana som vi rekryterar via andra noga utvalda källor. Vi granskar dessutom noga den minoritet som spontant registrerar sig på YouGovs webbplats, och om vi skulle upptäcka några plötsliga avvikelser i deras beteendemönster har vi möjlighet att utesluta dem ur våra undersökningar.

Man bör betänka att en organisation som vill ”flytta” våra resultat väsentligt åt något håll skulle behöva infiltrera mer än 1 000 respondenter. Ett sådant försök skulle vi avslöja direkt.

F. Resultaten från era undersökningar skiljer sig ibland från resultaten från företag som använder konventionella metoder. Innebär det att era metoder inte är tillförlitliga?

S. Nej. Det visar bara att olika metoder kan ge olika resultat. Det säger inget om vilket av dessa resultat (om något) som är giltigt. Sådana skillnader uppträder faktiskt ganska sällan. Normalt när YouGov och andra företag ställer liknande frågor vid samma tillfälle är de resultat som vi publicerar likartade.

Det finns dock områden där vi kan se betydande skillnader. Speciellt när det gäller undersökningar som innehåller socialt eller politiskt känsliga frågor.

F. Hur kan ni visa att YouGovs undersökningar är rättvisande?

S. Det enda sättet att visa att resultaten från ett undersökningsföretag är rättvisande är att jämföra dem med faktiska händelser.

F. Hur kan jag lita på att YouGovs undersökningar genomförs på ett korrekt sätt?

S. YouGov är medlem i branschorganisationerna SMIF och ESOMAR och följer dess regelverk.