oa Kiezen en verantwoorden: een reactie op Van Hulst en Van Zuydam

Kwalitatieve onderzoekers hebben moeite met het bepalen van de populatie en met het vaststellen van de steekproef van hun onderzoek. Bovendien wordt in de literatuur op totaal verschillende wijzen geschreven over de steekproef in kwalitatief onderzoek, wat het voor onderzoekers niet gemakkelijker maakt om verantwoordbare keuzes te maken (Baker & Edwards, 2012). Vaak volstaan we in kwalitatief onderzoek met een gemakssteekproef (convenience sample), waarbij we eenheden kiezen die gemakkelijk zijn te bereiken zonder ons druk te maken over de vraag welke populatie door deze steekproef vertegenwoordigd wordt en wat het geldigheidsbereik kan zijn van uitspraken die we op basis van de steekproef kunnen doen. Een bijdrage in KWALON over de steekproef (zie het artikel van Van Hulst en Van Zuydam hiervoor) is dan ook van harte welkom.Deze bijdrage konden we goed volgen tot het schema. Daar raakten we het spoor bijster. In onze ogen hebben de auteurs twee onderzoeksstappen door elkaar gehaald, namelijk de onderwerpkeuze en de steekproefselectie. Dit wordt niet verbeterd door het ontbreken van naamgeving aan de ‘stappen’, waardoor onduidelijk blijft hoe het schema door andere onderzoekers ingezet zou kunnen worden. Hieronder lichten we dit toe.In het bovenste deel van het schema kiezen de auteurs hun onderwerp van onderzoek en dat is heel wat anders dan de selectie van de steekproef. Immers, als onderzoeker ben je niet geïnteresseerd in ‘crises’ in de meest brede zin van het woord (stap 1 in het schema), maar in de rol van bestuurders in het verloop van politieke crises in het Nederland van nu. Dat komt overeen met de uitspraak bij stap 8 in het schema. Daarmee staat het eigenlijke onderwerp van onderzoek dus niet bovenaan in het schema, maar ergens in het midden. Dit onderwerp heb je bijvoorbeeld geformuleerd omdat je in de literatuur hebt ontdekt dat er een hiaat is in de kennis die we daarover hebben (kennisprobleem), of omdat je in de praktijk van bestuurlijk Nederland problemen hebt gesignaleerd over lokale, politieke crises (praktijkprobleem).We kunnen ons voorstellen dat de stappen 1 tot en met 8 expliciet doorlopen worden in een onderwijssituatie, waarbij de deelnemers van tevoren nog geen ideeën hebben over een onderwerp, behalve ‘crises’, en dat begeleider en deelnemers door erover te praten tot een onderwerpkeuze komen. Dit verloopt dan ongeveer zoals het bovenste deel van het schema, maar is als het gaat om wetenschappelijke rechtvaardiging en generalisatie niet uiterst relevant: de keuzes lijken immers puur voort te komen uit wat de onderzoeker als een interessante verdere afbakening van het algemene onderwerp ziet, en heeft met het trekken van een steekproef weinig te maken.In het onderste deel van het schema gaat het om de vraag waar je het onderwerp van onderzoek het beste kunt onderzoeken. Dan hebben we het in onderzoekstermen over de selectie van de onderzoekseenheden (de steekproef). In hun inleiding geven de auteurs al aan dat er vele soorten steekproeven zijn. Creswell (2005) bijvoorbeeld geeft een rijtje met de steekproef gebaseerd op diversiteit, de homogene steekproef, de aselecte steekproef en de steekproef gebaseerd op ontwikkelende theorie. De keuze van de steekproef zal vaak mede worden bepaald door praktische zaken, zoals het netwerk van de onderzoeker, middelen en voorkeuren, en niet zozeer door generaliseerbaarheid van de onderzoeksresultaten. Maar de mogelijkheden tot generalisering worden uiteindelijk wel bepaald door de steekproef. In het voorbeeld van Van Hulst en Van Zuydam: wanneer je de lokale bestuurscrisis in Rotterdam in een afgebakende korte tijdsperiode kiest als geval of casus, wat kun je dan zeggen over je eigenlijke populatie, zijnde alle gevallen van lokale, politieke crises in modern Nederland?Ter geruststelling, want daarmee begint het hele artikel, over de onderwerpkeuze hoef je je als onderzoeker niet te verantwoorden. Althans, niet in termen van ‘de keuze van het empirisch geval’, zoals Van Hulst en Van Zuydam aangeven. Wel in termen van de doelstelling van het onderzoek en de relevantie: wat weet je of wat kun je als je onderzoek is uitgevoerd? De selectie van één of meer gevallen als steekproef, moet je wel verantwoorden. Maar wanneer je onderwerp duidelijk is, kun je heel nadrukkelijk beargumenteren welke gevallen je hebt gekozen en wat je daarvan denkt te leren. Hierbij gaat het niet zozeer om een verdere afbakening van de onderzoekspopulatie, waar de afbakening in bijna elke stap van het schema op aan lijkt te komen, maar juist om het rechtvaardigen van het niet-aselect selecteren van één of meerdere casussen uit de onderzoekspopulatie (politieke crises in het Nederlands lokaal bestuur in de moderne tijd).Als het trekken van een aselecte steekproef niet mogelijk en/of wenselijk is, dan is het zaak om expliciet in te gaan op de argumenten waarom de gekozen gevallen representatief of informatief zouden moeten zijn voor de hele onderzoekspopulatie. Smaling (2009) geeft enkele fraaie voorbeelden van steekproeven vanuit verschillende vormen van ontworpen (door de onderzoekers) generaliseerbaarheid. Als de stap van de gevallen naar de populatie niet goed te zetten valt, rest de onderzoekers nog de mogelijkheid om de onderzoekspopulatie verder te verkleinen en af te bakenen. Daardoor zullen zij weliswaar over een kleinere populatie uitspraken kunnen doen, maar dan valt wel makkelijker hard te maken dat de getrokken conclusies daadwerkelijk valide zijn voor die populatie. Hoe zwakker de argumenten waarom de casus representatief zou zijn voor de populatie, hoe voorzichtiger de conclusies van het onderzoek over de populatie zullen moeten zijn, waarmee duidelijk wordt dat er verder onderzoek nodig is om tot breder geldende conclusies te komen. Bij afwezigheid van deze argumenten valt de externe validiteit van de conclusies niet te beoordelen, dus de vraag naar de rechtvaardiging van de gekozen casus is zelf altijd gerechtvaardigd.We komen tot de conclusie dat de auteurs geen duidelijkheid verschaffen over de stappen die gezet worden om van een onderwerp tot een passend empirisch geval te komen. Daarnaast is het schema een voorbeeld; het zijn geen stappen die andere onderzoekers ook kunnen doorlopen. Wel heeft het artikel het onderwerp van de steekproefselectie weer onder de aandacht gebracht en het belang gedemonstreerd van explicitering van de stappen die worden gezet in de afbakening van het beoogde geldigheidsdomein (de populatie) en de selectie van de steekproef daaruit. Dat kan bijdragen aan de versterking van dit zwakke punt in veel kwalitatief onderzoek.