KWALON - Volume 11, Issue 3, 2006

Precisie is een van de kenmerken die wetenschappelijk onderzoek onderscheiden van alledaagse common sense waarnemingen en beweringen. Nu is precisie relatief, zoals alles, dus waar de grens ligt van voldoende precisie, hangt af van het doel van het betreffende onderzoek. In de rapportage over kwalitatieve surveys wordt vaak gewerkt met zogenoemde vague quantifiers om relatieve aantallen weer te geven. Vague quantifiers zijn aanduidingen zoals 'minder dan de helft', 'enkele', 'een kleine minderheid' en 'de meerderheid' (van de respondenten). De onderzoeker wil met die vage aanduiding vermijden dat lezers de aantallen zullen opvatten als nauwkeurige schattingen van frequenties in de populatie. Anderzijds wil hij toch laten weten dat hij wel degelijk betekenis hecht aan de kwantitatieve verdeling in de steekproef. Dat maakt de onderzoeker zelf tot een vage, want dubbelzinnige, kwantificeerder.

Op het moment dat ik dit schrijf, staat het nieuwe collegejaar voor de deur. Over enkele dagen zullen de nieuwe eerstejaars plaatsnemen in de collegebanken om zich te laven aan de wetenschap. De studenten van de opleiding communicatiewetenschap die ik voor mijn neus krijg, zullen al meteen worden geconfronteerd met de beginselen van het wetenschapsbedrijf. Zo krijgen ze in de eerste week al meteen te horen dat het bij wetenschap draait om het vergaren van kennis die controleerbaar is. En dat wetenschappers zich dienen te houden aan bepaalde regels, zoals logica en methodologie. Wat later in de cursus leren de studenten dat nauwkeurige verslaglegging belangrijk is in de wetenschap, omdat wetenschappers zodoende elkaars onderzoeksresultaten kunnen controleren en op elkaars werk kunnen voortbouwen, de zogenoemde cumulatie van kennis. Bovendien worden ze geïnformeerd over de werking van het wetenschappelijk forum, waarbij collega-wetenschappers elkaars onderzoekspublicaties controleren alvorens ze worden gepubliceerd in wetenschappelijke tijdschriften.

Over onderzoek doen wordt heel wat geschreven. Het is opvallend dat er in de sociale wetenschappen veel meer aandacht is voor wat de onderzoeker heeft gedaan dan in de natuurwetenschappen of letteren. Daar is men, overigens vanuit een geheel verschillend gezichtspunt, vooral geïnteresseerd in het resultaat. Bij letteren is de persoon van de onderzoeker een belangrijk instrument, maar het gaat om wat er uitkomt. Bij natuurwetenschappen is de onderzoeker alleen een irritante bijlage van het verslag. Men is dan ook meestal erg summier over wat men heeft gedaan en men beschrijft vooral hoe mooi de wereld in elkaar zit. Bij natuurwetenschappen speelt daarbij de vraag of dat mooie met de theorie klopt. Zo niet, dan moet de theorie worden aangepast (een planeet is rond vanwege haar eigen gewicht, draait om de zon en heeft het puin in haar omgeving van het zonnestelsel opgeruimd, zo ongeveer luidt de aangepaste planetentheorie tegenwoordig).

Natuurlijk moet iedere onderzoeker in een wetenschappelijke publicatie netjes opschrijven wat hij heeft gedaan, want dat geeft de lezer het idee dat hij kan nagaan of de resultaten en de daaruit getrokken conclusies logisch volgen uit de dataverzameling en de analyse. Zonder dat valt er moeilijk over de kwaliteit van het onderzoek te discussiëren.

Het is al weer een aantal jaren geleden dat ik als onderzoeker binnenstapte bij de nieuwsredactie van het NOS-journaal in Hilversum. Ik kwam in een voor mij volledig onbekende professionele wereld terecht. Zelf ben ik geen journalist, van de beroepspraktijk die ik ging onderzoeken wist ik niets uit eigen ervaring. Uiteraard had ik mij ter oriëntatie wel van tevoren ingelezen en voerde ik een aantal gesprekken met professionals uit het veld.

Participatie is (ook) in ontwikkelingssamenwerking een belangrijk thema. Enerzijds gaat het daarbij om het openhouden van een dialoog over de doelstellingen, strategieën en voorwaarden om tot ontwikkeling te komen. Dit is participatie die machtsstructuren analyseert en verandert. Anderzijds wordt in de praktijk ook vaak gewerkt met participatie die moet leiden tot een grotere betrokkenheid bij het gevoerde beleid. Participatie is dan een instrument om de effectiviteit en efficiëntie van projecten te verhogen.

Dit artikel begint met een korte schets van de principes van commercieel kwalitatief onderzoek in relatie tot academisch kwalitatief onderzoek. Daarna volgt een beschrijving van de consequenties van deze uitgangspunten voor de steekproeftrekking en de selectie van respondenten en met name de wijze waarop hieraan in de professionele praktijk invulling wordt gegeven.

Het kwalitatieve onderzoeksveld wordt gekenmerkt door een breed en uiteenlopend spectrum van methoden en technieken. De Essential guide to qualitative methods in organizational research van Catherine Cassell en Gillian Symon maakt de lezer wegwijs in het veld. Op basis van bijdragen van auteurs met achtergronden in de organisatiekunde, sociologie en management- en beleidsstudies hebben de organisatiepsychologen Cassell en Symon in dertig hoofdstukken een bruikbare en leesbare schets van het landschap van kwalitatieve methoden en technieken samengesteld.

Robert K. Yin is op aandringen van de uitgever overstag gegaan en begonnen aan The case study anthology. In het boek staan negentien Amerikaanse voorbeelden van de brede toepassing van de casestudymethode. Yin geeft van ieder voorbeeld een korte beschrijving en laat in de introductie zien wat we hieruit kunnen leren. In Nederland zijn hele generaties studenten met de casestudyboeken van Yin opgegroeid. De casestudy is eigenlijk geen eigenstandige methode, alhoewel deze wel vaak zo wordt gepresenteerd. In een casestudy kunnen namelijk diverse methoden (zowel kwantitatief als kwalitatief) worden toegepast. De casestudy is wel weer een alternatief voor kwantitatief onderzoek. De casestudy is namelijk nuttig bij vragen naar het hoe en waarom van hedendaagse fenomenen. Nuttig bij het zoeken naar een verklaring van sociale verschijnselen en evaluatieonderzoek. De casestudy past in de traditie van life histories en de Chicago School.

In KWALON 31 zijn twee recensies van hetzelfde boek gepubliceerd, Qualitative research practice, een dik boek met 38 hoofdstukken en een vierkoppige redactie. Die twee recensies zijn nogal uiteenlopend van strekking en stijl. De eerste ergerde mij, de tweede niet. Door mijn ergernis onder ogen te zien kan ik mogelijk bijdragen aan een discussie over 'de kunst van het recenseren'. Dat ik zelf een hoofdstuk aan het boek heb bijgedragen, speelt natuurlijk mee in mijn reacties op de twee recensies, maar dat staat niet centraal.

Paul ten Have merkt in KWALON 31 (p. 34) terecht op dat 'etnomethodologie' voor veel kwalitatieve onderzoekers (inmiddels) wel een bekende term is, maar dat slechts weinigen ook begrijpen wat daaronder wordt verstaan. Het is daarom goed dat Paul in KWALON een poging heeft gedaan om hier iets aan te doen. Diegenen die door die korte inleiding nieuwsgierig zijn geworden naar een meer uitgebreide introductie, kunnen ook zijn meest recente boek Understanding qualitative research and ethnomethodology raadplegen. Het mooie van dit boek (voor kwalitatieve onderzoekers) is dat de principes en resultaten van de etnomethodologische benadering worden gepresenteerd en verduidelijkt aan de hand van een bespreking van klassieke kwalitatieve studies zoals Whytes Street corner society (1955) en Voyseys A constant burden (1975). Ten Have laat niet alleen zien hoe deze werken kritisch kunnen worden gelezen vanuit een etnomethodologisch perspectief (op bijvoorbeeld participerend observeren en interviewen) maar ook hoe de etnomethodologie alternatieve vormen van interpretatie heeft geproduceerd (zoals in Sudnows Passing on (1967) en Lockers Symptoms and illness (1981)). Op deze wijze slaagt Ten Have erin om de etnomethodologie neer te zetten als een waardevolle aanvulling op het repertoire van benaderingen in de kwalitatieve methodologie. Deze aanvulling betreft niet alleen een aantal methodische procedures (met bijbehorende eigen onderzoeksdoelen) maar ook een scala van inhoudelijke bijdragen aan de diverse vakgebieden waarin deze methoden zijn ingezet (zoals Sudnows en Lockers unieke bijdragen aan de medische sociologie).

De redactie van KWALON vroeg mij een 'repliek' te schrijven op de recensie die Tony Hak heeft geschreven van mijn boek Understanding qualitative research and ethnomethodology en An invitation to ethnomethodology van Francis en Hester. Dat lijkt een helder verzoek. Een complicatie is echter dat die recensie ook een reactie is op mijn eerdere kritiek op een recensie die Tony eerder schreef van een ander boek, Qualitative research practice, waar ik me nogal aan gestoord had. Mijn reactie is daarom zowel een repliek op de laatste recensie, in sequentiële termen een bijdrage in derde positie, als een dupliek, in vijfde positie.

Voor de tweede keer werd in Cambridge door de Homerton School of Health Studies een conferentie georganiseerd over Mixed Methods. Er waren honderdvijftig deelnemers uit elf landen. Het was vlekkeloos georganiseerd en het was er leuk en inspirerend. Het deprimerende karakter van de Engelse campus werd goedgemaakt door de schitterend aangelegde tuinen van Fitzwilliam College. De bekende namen uit de Mixed Methods waren aanwezig, zoals Creswell, Mertens, Onwuegbuzie en Tashakkori. De laatste was een keynote spreker op de conferentie en is naast Teddlie bekend als redacteur van het Handbook of mixed methods in social & behavioral research (zie voor een recensie hiervan De Boer in KWALON 26).

De KNAW en NWO hebben samen een nieuw instituut opgericht waar onderzoekers na afloop van hun project alle data en andere documentatie over hun project kunnen deponeren, zodat andere onderzoekers daar weer hun voordeel mee kunnen doen. Daarmee wordt gevolg gegeven aan de Verklaring van Berlijn waarin in 2003 het principe van Open Access werd uitgeroepen: wetenschappelijk materiaal moet vrijelijk aan iedereen beschikbaar worden gesteld via internet; wetenschap is voor iedereen.

In haar rapport Judging research on its merits (2005) neemt de KNAW een voor de sociale wetenschappen belangrijk standpunt in, namelijk dat de toetscriteria voor de natuurwetenschappen niet voldoen voor de sociale wetenschappen en geesteswetenschappen. Daar moeten dan ook deels andere criteria worden gehanteerd voor de meting van output. Publicaties in boekvorm of in het Nederlands zouden bijvoorbeeld ook moeten worden meegeteld in de bibliometrische analyse, evenals de (andere) doelgroepen waar dit onderzoek zich op richt, vaak maatschappelijke gremia naast de wetenschappelijke arena. Om de prestatie-indicatoren beter te kunnen specificeren zou elke onderzoeksinstelling vanuit een zelfevaluatie moeten komen tot uitwerking van missie, doelgroepen en communicatiekanalen. Het Standard Evaluation Protocol van de VSNU, NWO en KNAW (2003) kan de basis vormen voor het opstellen van de terms of reference, op te stellen door de onderzoeksleiding van een instelling. Deze terms of reference vormen vervolgens het uitgangspunt voor de evaluatie van de onderzoeksactiviteiten door visitaties en dergelijke. Het is dus in het belang van elke instelling om haar missie en werkwijze te verhelderen voor zover die afwijkt van de standaard wetenschappelijke, om op die wijze een meer afgewogen beoordeling te krijgen. Het rapport is gratis op te vragen of elektronisch op te halen bij de KNAW: www.knaw.nl/publicaties/pdf/20051029.pdf.