Is het onderzoek representatief?

Representatief?
In onderzoeksland is dit een van de meest gestelde vragen. Is het onderzoek representatief?

Representativiteit betekent dat er betrouwbare uitspraken kunnen worden gedaan over de populatie. De populatie betreft de gehele (onderzoeks)groep. Uit de populatie wordt een steekproef getrokken.

De steekproef dient een verkleinde afspiegeling te zijn van werkelijkheid (populatie). Alleen dan is er sprake van representativiteit.

Hoe representativiteit meten?
Er zijn diverse tools om de representativiteit van een onderzoek te meten. Denk hierbij o.a. aan het meten van de gewenste grootte van de steekproef.

Aan te raden is om eerst na te denken over hoe de representativiteit gemeten moet worden. Op welke criteria moet het onderzoek minimaal representatief zijn?

Voorbeeld:
Er is een onderzoek uitgevoerd waarbij de response gigantisch is. De onderzoekers juichen, want maar liefst 8 miljoen Nederlanders hebben aan het onderzoek meegedaan. De populatie is 16,8 miljoen.
Is dit onderzoek representatief?

Als de formules worden ingevuld, dan is het antwoord volmondig JA. Toch hoeft dit niet het geval te zijn..

Alleen mannen
Wat als er louter 8 miljoen mannen hebben gereageerd? Kun je daarmee representatieve uitspraken van de totale groep doen?

Denk dus van tevoren na op welk criteria minimaal het onderzoek representatief moet zijn. Het geslacht is de meest eenvoudige. Voorgesteld kan worden dat er diverse criteria zijn, waarop geselecteerd kan worden. Voorbeeld zijn o.a.: leeftijd, woonplaats, opleiding, gezinssamenstelling, politieke voorkeur en inkomen.

Populatie versus steekproef
Het CBS heeft voor voorgenoemde criteria allemaal de populatie-gegevens. Vergelijk deze met de steekproef-gegevens en bij een representatief onderzoek dienen de plaatjes (grafieken) over elkaar te kunnen worden gelegd. De steekproef is conform de populatie.

Is dit niet het geval, ga dan na wat de oorzaak hier van is.

Kan de non-response hier invloed op hebben gehad? Zijn de ‘verkeerde’ mensen gevraagd? Of heeft een bepaalde groep de enquête niet ontvangen? Analyseer en verklaar het verschil.

Nadat je het verschil hebt verklaard, kun je de onderzoeksresultaten  (her)wegen. Ook kun je overwegen om een extra steekproef te trekken onder de deelnemers, die nog niet voltallig met het onderzoek meegedaan hebben. Van de non-response maak je (meer) response.

Aantallen zegt niets over representativiteit
Een gemiddeld huishouden bestaat in Nederland uit 2,2 personen (2011, CBS), maar je zult dit aantal nooit in een huishouden zien.

‘Grootte zegt’ niets..
Zonder in verkeerde contexten te komen.

Dit is een harde stelling. Natuurlijk worden de onderzoeksresultaten betrouwbaarder als je een grotere groep mensen hebt, maar deze groep moet wel overeenkomen met de populatie. Denk aan het onderzoek over de 8 miljoen respondenten van hier boven.

Verkiezingen niet representatief
Denk ook aan een eerdere blog, waarbij vermeld werd dat de Nederlandse verkiezingen niet representatief zijn. Referenda’s zouden, theoretisch gezien, een betere methoden van steekproeftrekken zijn. Toch zijn daar ook de nodige kanttekeningen bij te plaatsen.

Betrouwbaarheid
Hoe goed je het ook probeert, geen enkel meetinstrument is 100% betrouwbaar. Een meting is betrouwbaar als deze scores (uitkomsten) toekent aan kenmerken waarvan de afwijking in de meting zo min mogelijk aan het meetinstrument zelf te wijten is.

Statistiek = mensheid
In die zin is statistiek rechtstreeks terug te brengen op de mensen. Wij selecteren selectief mensen uit een kleine steekproef en gaan, aan de hand van betrouwbaarheid (wel / niet liegen van de andere persoon), een langdurig onderzoekstraject in…

Dit onderzoekstraject wordt dan meestal gedaan met een kleine n (n = 1).