KWALON - Volume 18, Issue 2, 2013

Editorial

This editorial offers an introduction to the current issue.

How to break the identification of ‘scientific’ with quantitative? Introduction

Teachers in qualitative methods feel that their courses do not break students’ quantitative idea of scientific research and scientific knowledge. Why is that? And what can be done to break this misidentification? Three prominent lecturers in qualitative methods give their opinion. With a comment by Fijgje de Boer.

De observatie dat het denken van studenten doordesemd is van het empirisch-analytisch/postpositivistisch gedachtegoed en dat kwalitatieve onderzoeksmethoden onvoldoende beklijven, herken ik ook uit mijn eigen onderwijspraktijk. Ik zal in het navolgende proberen na te gaan wat daarop naar mijn idee van invloed is.Allereerst is kwalitatief onderzoek complexer dan menigeen denkt. Dit heeft veel te maken met het gegeven dat de kwalitatieve onderzoeker zijn eigen onderzoeksinstrument is. Daardoor is kwalitatief onderzoek doen niet alleen een technisch trucje, zoals sommigen ons willen doen geloven, maar daarnaast, en misschien zelfs bovenal, een attitudekwestie. Voor goed kwalitatief onderzoek moet je jezelf (in de zin van vooronderstellingen, vooroordelen en oordelen) overstijgen, en dat is een kwestie van veel oefenen, reflecteren en lange adem. Dat leer je niet in een korte cursus, maar kost jaren van oefenen, vallen, weer opstaan, reflecteren en doorgaan. Dit brengt me vanzelf bij de tweede overweging.In het methodeonderwijs aan universiteiten en hogescholen wordt over het algemeen veel meer tijd besteed aan kwantificerend onderzoek dan aan kwalitatief onderzoek. Dat varieert een beetje met de richting waarin men studeert, maar de trend is duidelijk: het onderwijs in kwantificerende methoden is dominant. Je zou kunnen zeggen dat deze trend de vorige overweging rond de onderzoeker als instrument alleen maar versterkt. Waar je juist meer tijd nodig zou hebben om je kennis en kunde door oefening te vergroten, krijg je per saldo veel minder tijd, dus dat helpt zeker niet om het geleerde te laten beklijven.Daarnaast speelt ook wat ik de ‘versimpeling van het onderwijs’ zou willen noemen. Het onderwijs wordt steeds meer ingericht in de vorm van hapklare brokken die passen in voorgestructureerde tijdseenheden. De boodschap wordt daarmee aangepast aan de curriculumorganisatie in plaats van andersom. Dit versterkt het idee dat methoden simpele trucjes zijn die iedereen kan leren en dat je lesmateriaal vooral een soort ‘recept’ moet zijn. Hierdoor verarmt het beroep op de denkcapaciteit van de ontvanger, waardoor deze meer en meer van een docent verwacht dat hij het denkwerk overneemt en een kant-en-klaar recept aanlevert voor goed onderzoek.Dat is extra problematisch omdat het niet alleen indruist tegen de mores van wetenschappelijk onderzoek in het algemeen, maar ook tegen de specifieke natuur van kwalitatief onderzoek. Er is van tevoren geen ‘weg’ te bepalen die gewoon afgewandeld kan worden. Het prikkelende van kwalitatief onderzoek is nu juist dat vraagstelling en onderzoeksopzet onderweg nog (en soms ingrijpend) kunnen wijzigen door voortschrijdend inzicht dat wordt verkregen door die typische kwaliteit dat je de respondenten maximaal wilt horen en zien, en dat de dataverzameling en -analyse (idealiter) in verschillende iteraties worden uitgevoerd. Uiteraard laat dit onverlet dat er – ook in kwalitatief onderzoek – voldoende tijd moet worden gestoken in een degelijk en doordacht onderzoeksontwerp.Deze onzekerheid is meer dan velen kunnen hanteren, en zeker voor studenten is dat een lastig probleem. Zij willen een eenduidig advies: zó moet je het doen en niet anders. De gedachte dat er wel regels zijn, maar dat je in de context van de situatie moet handelen, is aan hen nog niet besteed. Dit maakt onderwijs in kwalitatieve onderzoeksmethoden lastig, want het hanteren van die onzekerheid is volgens mij een wezenlijk onderdeel van het metier van een kwalitatieve onderzoeker. In deze overgereguleerde maatschappij, waar de illusie heerst dat je alles kunt controleren, voor zijn of afwenden, is dat echter een ‘onwelkome boodschap’.Tot slot nog een laatste overweging. Over het algemeen is methodeonderwijs bij studenten niet erg populair; zij kiezen voor een studie vanwege de inhoud en ambiëren maar zeer beperkt een onderzoekscarrière. Dat maakt methodeonderwijs extra lastig, alhoewel dit mogelijk voor kwalitatief onderzoek wat makkelijker ligt dan voor bijvoorbeeld een vak als statistiek.

Mijn vermoeden is dat bijna alle docenten in kwalitatief onderzoek de uitspraak herkennen van een van de KWALON-redacteuren ‘dat studenten na de cursus in kwalitatief onderzoek toch “blijven” denken in “kwantitatieve” termen’. Ik herken de uitspraak in ieder geval wel en heb zelf ook dergelijke gedachtes gehad. Sterker nog, ik denk dat juist dit mij al een aantal jaar inspireert om mijn onderwijs te verbeteren.Maar waarom inspireert dit eigenlijk? Wat is nou precies het probleem dat studenten in kwantitatieve termen denken na een vak over kwalitatief onderzoek? Op de eerste plaats is het denken in kwantitatieve termen natuurlijk totaal geen probleem als het om kwantitatief onderzoek gaat. Maar sommige kwantitatieve kwaliteitscriteria zijn minder relevant in en adequaat voor kwalitatief onderzoek. Voor veel kwalitatief onderzoek is generalisatie naar een populatie geen doel en dan is het criterium externe validiteit dus irrelevant. Andersom is het net zo problematisch om kwalitatieve criteria te gebruiken voor kwantitatief onderzoek. Zo heb ik bij een vak als statistiek voor antropologen zelfs na afloop studenten horen zeggen dat ‘mensen niet in getallen te vatten zijn’. Overigens klaagde ironisch genoeg juist een van deze studenten over de beoordeling van opdrachten in de categorieën goed, voldoende of onvoldoende, omdat die niet precies genoeg zouden zijn. Het moge duidelijk zijn dat de leerdoelen van mijn vak bij die studenten niet zijn overgekomen.Het probleem is dus niet alleen een probleem van het doceren van kwalitatief onderzoek, maar ook een standaardprobleem van doceren. Iets nieuws aanleren is niet zo moeilijk, maar iets afleren blijkt dat vaak wel. Studenten leven net als alle andere mensen in een wereld die ze voor lief nemen. In die leefwereld worden aan situaties waarmee ze in contact komen betekenissen gegeven vanuit bestaande kennis, of bekende andere situaties of acties. In termen van Schütz (1953) gebruiken mensen typificaties om betekenis te geven aan hun leefwereld. Door dergelijke typificaties is het logisch dat wanneer een student in contact komt met methodologie en wetenschap er vanuit een ‘wetenschappelijk methodologie’-vaatje wordt getapt.Dus wanneer studenten na afloop van een vak over kwalitatief onderzoek nog steeds in kwantitatieve termen over onderzoek praten, is blijkbaar niet helder genoeg geworden dat die typificatie een onjuiste is.Maar hoe komen die studenten nou aan een dergelijke typificatie?De typificatie van wetenschappelijke methodologie komt volgens mij voor een belangrijk deel voort uit populaire noties over wetenschap. Als we naar politieseries kijken, is de kwalitatieve analyse de meest dominante vorm. De rechercheurs voeren briljante kwalitatieve interpretaties uit. Het ultieme bewijs komt echter nooit door het verstehen van de rechercheur, maar door het saaie DNA. Echte wetenschap is hard en bestaat uit metingen van objectieve waarnemingen. Vroeger stond in de KIJK al niets over sociale wetenschappen en tegenwoordig is de oogst in de Quest ook mager. Sociale wetenschap wordt op televisie in programma’s als Proefkonijnen, de Nationale Wetenschapsquiz en De Wetenschap Draait Door helaas vooral gerepresenteerd door kwantitatief ingestelde onderzoekers die meestal experimenten uitvoeren. De common sense is toch dat verificatie in een experiment wetenschappelijk bewezen betekent. Mijn onderbuikgevoel is dat een naïef positivistisch beeld van de wetenschap simpelweg dominant is in de wereld buiten de hogeschool en universiteit.Maar als de typificatie daarvandaan komt, wat kunnen we er dan aan doen? Kunnen we wel het dominante discours veranderen? Dat laatste is in ieder geval minder makkelijk dan het veranderen van onze opleidingen, dus daar zal ik mij op richten in de beantwoording van de gestelde vraag: ‘Wat zijn adequate strategieën om bij studenten de identificatie van wetenschappelijk met kwantitatief denken te doorbreken?’Volgens mij moeten we eerst naar de hele opleiding kijken. Ik denk dat een van de manieren om de naïef kwantitatieve opmerkingen tegen te gaan een gedegen inleiding in de methodologie is. Aangezien deze inleiding bij veel opleidingen wordt gecombineerd met statistiek, zit daar al een belangrijk deel van het probleem. Mijn ervaring is dat een inleiding methodologie beter los kan staan van de praktische toepassing. Als de inleiding methodologie een theoretisch methodologisch vak is, wordt het weliswaar saaier, maar dan ligt de focus bij studenten veel meer op begrip van methoden in plaats van op de technieken, zoals het uitrekenen van sommen of het transcriberen van interviews. In een brede inleiding kun je ook verschillende ontologische en epistemologische posities naast elkaar zetten en vanuit die wetenschapsfilosofie gaan praten over methoden en technieken. Ik verwacht dat na een goede brede inleiding in de methodologie de typificatie van goed wetenschappelijk onderzoek in ieder geval diverser is.Een absoluut succesnummer in de common sense van studenten is dat onderzoek generaliseerbaar moet zijn. In krantenberichten over sociaalwetenschappelijk onderzoek is dat ook het dominante validiteitscriterium. Hoe belabberd de enquêtevragen ook, hoe wankel de correlaties, hoe onzinnig de vermeende causaliteit, hoe kunstmatig de onderzoekssetting, het onderzoek is pas goed als de steekproef bestaat uit meer dan duizend personen.Iedereen die iets weet van random sampling en selectieve respons weet dat dit magische getal toch niets hoeft te betekenen. Een goede steekproef is niet alleen een grote steekproef. En in veel kwalitatief onderzoek is het doel niet om te generaliseren naar een populatie.Om een of andere reden beklijft dergelijke kennis niet bij alle studenten. In statistiekcursussen vinden wij docenten het blijkbaar belangrijker dat de schattingen van studenten goed zijn dan dat we studenten vertellen wat er mis is met de schattingen in echte enquêtes. Wanneer studenten door kennis van kwantitatieve methoden deze ook kunnen relativeren, zou dit ook geweldig helpen.Echter, de rest van de opleiding beter maken is een noodzakelijke, maar niet voldoende manier om studenten van kwantitatieve typificaties af te helpen. Ik bespreek hieronder drie manieren waarop ik dat in mijn eigen onderwijs probeer.

Voor ik een persoonlijk antwoord geef op de vraag die wordt voorgelegd, wil ik in eerste instantie een andere vraag opwerpen. Mijn eerste spontane reactie op de vraag die gesteld werd, was immers: ‘Is het wel zo dat studenten wetenschappelijkheid identificeren met kwantitatief onderzoek?’ Het stellen van de vraag is onmiddellijk ook het halve antwoord: is hier misschien sprake van een ander aanvoelen in Nederland dan in Vlaanderen? Vanuit de Vlaamse context heb ik niet de indruk dat er een onderscheid gemaakt wordt tussen kwalitatief en kwantitatief onderzoek in de mate waarin ze al dan niet wetenschappelijke resultaten opleveren en bijdragen aan kennisopbouw. Studenten schrijven op grote schaal masterscripties die gebruik maken van allerhande kwalitatieve technieken en lijken niet bezorgd dat deze eindverhandelingen minder wetenschappelijk zouden zijn. Bij het vergeven van academische posities lijkt het bovendien ook niet zo dat er bij selecties een onderscheid gemaakt wordt op basis van de bij de eindverhandeling gebruikte methoden. Als er al een onderscheid waar te nemen is, dan is het in de toepassing van de methoden in onderzoek. Soms meen ik tendensen te zien die ook in het Verenigd Koninkrijk waar te nemen zijn, namelijk dat studenten vluchten van het kwantitatieve, statistische werk en zich eerder richten op kwalitatieve methoden. Dat is een negatieve keuze, die echter niet te maken heeft met wetenschappelijkheid maar met cijferangst.De vraag blijft dan wel hangen of er een structureel verschil bestaat in de organisatie van het Vlaamse en Nederlandse onderwijs dat het wantrouwen tegenover kwalitatief onderzoek voedt? Het is niet mogelijk om hier een eenduidig antwoord op te geven. Daarvoor ben ik onvoldoende vertrouwd met alle opleidingsprogramma’s in Nederland. Misschien ligt een mogelijk verschil in de mate van specialisering die door opleidingen nagestreefd wordt. In Vlaanderen worden studenten inhoudelijk gespecialiseerd. Dat wil zeggen dat methodologische opleidingsonderdelen door grote groepen studenten gevolgd worden, maar dat inhoudelijke richtingen steeds specifieker gaan en met kleinere studentenpopulaties te maken krijgen. Op enkele uitzonderingen na wordt studenten niet gevraagd om ook methodologisch een keuze te maken. Zowel kwantitatief als kwalitatief onderzoek wordt door de hele opleiding heen en naast elkaar gedoceerd, zodat iedere student op het einde van de rit beide methoden (min of meer) onder de knie heeft. Op deze manier ontstaat er geen concurrentie tussen studenten die deze of gene methode gebruiken. Ze zijn in beide geschoold en de inhoudelijke keuzes van domein en onderzoeksvragen bepalen hun uiteindelijke specialisatie. Hierdoor is er voor de ene groep studenten geen reden om een andere methode als minder wetenschappelijk af te doen, noch voor onderzoekers die met elkaar concurreren om (beurs of project) middelen. De strijd om de fondsen en om de (goede) studenten wordt in Vlaanderen nooit uitgevochten op methodologische keuzes, en zeker niet op basis van het onderscheid kwantitatief of kwalitatief.Tot zover de kadering vanuit een Vlaamse achtergrond. Maar daarmee is de essentie van de vraag niet aangeraakt: gegeven dat studenten kwalitatief onderzoek nog steeds afdoen als minder wetenschappelijk, wat zijn dan mogelijke strategieën om studenten te helpen hierover te raken? Om strategieën hiertegen te bedenken moeten we ons heel erg bewust zijn van de mogelijke structurele oorzaken van dit wantrouwen. Nog steeds is het zo dat overheden eerder geïnteresseerd zijn in cijfergegevens dan in interviews en focusgroepen. De roep om representativiteit vanuit het parlement is oorverdovend. De bede van kabinetten om trendanalyses en simulaties is enorm. Het is niet zo dat overheden blind blijven voor inzichtelijke kwalitatieve studies, maar als je de balans maakt in onderzoeksmiddelen wordt duidelijk dat het grote geld niet gaat naar kwalitatieve inzichten. Veelal zit hier ook een wantrouwen achter tegenover ‘softe’ kwalitatieve gegevens. Los daarvan zijn er ook nog steeds academische tijdschriften die kwantitatieve kwaliteitsvereisten opleggen aan kwalitatieve bijdragen (intercodeurbetrouwbaarheid is daar de meest prominente van). Hoewel ook daar de methodenstrijd in veel gevallen is gestreden, is het wantrouwen nog niet helemaal verdwenen. Beide tendensen raken het academisch personeel en sijpelen op die manier door tot bij studenten. Als ik lesgeef aan doctoraatsstudenten over NVivo is de interesse voor de ingebouwde Coding Comparison Query (die toelaat intercodeurbetrouwbaarheid te testen) steeds aanwezig. Vaak zijn er verhitte discussies over hoe sterk je kwalitatief onderzoek moet kwantificeren om toch te kunnen publiceren of om toch dat ene project binnen te halen. De macht van het cijfer zit dus ook bij een deel van het onderwijzend personeel in het hoofd. Niet dat hun dat kan worden aangewreven, want als de oudere generatie hen in die traditie vormt of als de externe wereld blijft vragen om oude proeven van wetenschappelijkheid, dan weet je dat het nog enkele decennia zal duren om dergelijke tendensen om te buigen. Een mogelijke strategie is dan ook niet om de tendens om te buigen bij de studenten, maar bij het academisch personeel zelf. Als er steeds opnieuw wordt gehamerd op de eigenheid van kwalitatief onderzoek, op de eigenheid van ons kwaliteitsbewakingssysteem (Guba en Lincoln doen het hier nog prima in mijn ogen) bij overheden, bij parlementariërs en bij onze collega-redactieleden, dan draait het inzicht op lange termijn vanzelf wel bij. Kijk naar hoe in de jaren negentig het kwalitatief onderzoek internationaal een boost kreeg en opnieuw omarmd werd als wetenschappelijke methode. Ook dat is sneller gegaan dan misschien ooit voor mogelijk werd gehouden.Is er dan geen werk naar studenten toe? Uiteraard kunnen we op korte termijn als kwalitatieve onderzoekers en lesgevers alleen maar blijven hameren op het verhaal dat we al zo lang vertellen. En blijkbaar winnen we daarmee slechts heel langzaam terrein. Als studenten kwalitatief onderzoek niet wetenschappelijk vinden, dan is mijn ervaring dat ze steeds opnieuw twee argumenten bovenhalen: het is geen representatief onderzoek en het is geen betrouwbaar onderzoek omdat twee onderzoekers steeds tot andere resultaten zullen komen wanneer ze op dezelfde gegevens werken. Op het gebied van representativiteit kunnen we alleen maar blijven aantonen dat representativiteit ook anders geïnterpreteerd kan worden dan statistisch representatief. Er zijn mooie voorbeelden aan te halen van hoe onderzoek ook theoretisch representatief kan zijn, ook al is het slechts uitgevoerd op kleine aantallen. Wat de betrouwbaarheid betreft geloof ik steeds minder dat kwantitatieve onderzoekers op dit vlak beter scoren. Natuurlijk moet een enkelvoudige frequentietabel er bij iedere onderzoeker identiek uitzien. Maar als je naar multivariate statistiek gaat, is dat dan nog steeds het geval? Net zoals een doorgedreven kwalitatieve analyse door twee onderzoekers niet exact hetzelfde oplevert, zo zal een doorgedreven multivariate analyse die door twee onderzoekers onafhankelijk wordt uitgevoerd ook niet exact hetzelfde opleveren. Misschien moeten we wel eens een groot experiment uitvoeren in Vlaanderen en Nederland waarbij we masterstudenten of doctoraatsstudenten dezelfde database geven met de vraag een bepaalde onderzoeksvraag uit te spitten en te beantwoorden. Mijn voorspelling is dat niet alleen de kwalitatieve onderzoekers, maar ook de kwantitatieve onderzoekers met heel verschillende modellen en interpretaties naar voor zullen komen. Dit soort levende experimenten zou studenten kunnen aantonen dat zowel in kwalitatief als in kwantitatief onderzoek de rol van de onderzoeker cruciaal is in het verwerven van resultaten. Het zou ‘van binnenuit’ een doorleefde ervaring kunnen zijn die in een cursus tot een diepgaand debat onder studenten kan leiden over hoe wetenschap in de praktijk tot stand komt en hoe wetenschappelijke inzichten groeien. Op die manier helpen we studenten misschien over de simplistische clichés van ‘wetenschappelijkheid’ heen.

Om te beginnen twee citaten willekeurig gehaald uit onderzoeksverslagen van studenten in een premastercursus Kwalitatief onderzoek. Het eerste citaat is uit het onderdeel ‘Resultaten’ van een verslag: ‘Vier van de zes respondenten gaven aan wel duidelijke initiatieven te hebben ondernomen om hun gezondheid op peil te houden.’ En het tweede citaat komt uit het onderdeel ‘Discussie’ van een ander verslag: ‘Een andere reden die op nader onderzoek duidt, is de grootte van de onderzoeksgroep, welke vrij klein is.’Dergelijke beschrijvingen – soms op een iets andere wijze verwoord – tref ik regelmatig aan in kwalitatieve onderzoeksverslagen, niet alleen bij premasterstudenten, maar ook bij masterstudenten die een kwalitatieve onderzoeksscriptie schrijven. Het zijn voorbeelden van zinnen waaraan naar mijn opvatting een vorm van ‘kwantitatief denken’ ten grondslag ligt. Ik ga er hierbij van uit dat deze studenten zich er niet bewust van zijn dat zij hun resultaten in een ‘kwantitatieve stijl’ weergeven. De zinnen zijn als het ware ‘automatisch’ geschreven.Als ik een dergelijke weergave van de resultaten aantref, beoordeel ik dat als onvoldoende. Bij het conceptverslag geef ik als commentaar dat tijdens de data-analyse gezocht is naar thema’s, concepten of categorieën en variaties daarbinnen, maar dat de resultaten nu zijn weergegeven in termen van aantallen respondenten die iets zeggen over het thema. Er wordt niet geredeneerd vanuit de verschillende aspecten van het thema die in de data zijn aangetroffen. Sommige studenten pakken dit commentaar goed op en geven hun resultaten weer vanuit het thema. Zij herkennen de redeneerwijze of het ‘discours’ passend bij de weergave van resultaten van kwalitatief onderzoek. Anderen blijven schrijven in termen van ‘sommige respondenten geven weer ...’ en lijken de vertaalslag niet te kunnen maken naar een ‘kwalitatieve redeneerwijze’.Bovenstaande kwantitatieve redeneerwijzen lagen ten grondslag aan de uitspraak ‘dat studenten na de cursus kwalitatief onderzoek toch blijven denken in “kwantitatieve termen”’. Ik neem deze studenten niets kwalijk, omdat ik mezelf ook – net zoals Moerman – regelmatig betrap op ‘kwantitatief denken’.In de beantwoording van de vraag ‘wat (dan) adequate strategieën zijn om de identificatie bij studenten van wetenschap met kwantitatief denken te doorbreken’ geven Evers, Moerman en Mortelmans respectievelijk weer:

Complexity thinking and qualitative research

In this article complexity thinking (or complex thought) is conceived of as a generalization of complexity theory, which was developed at the Santa Fe Institute. Especially Edgar Morin and Paul Cilliers have contributed to the idea of generalized complexity. Within this approach all living and social systems are complex systems: adaptive, dynamic, consisting of emergent features and being able to self-organization, in an almost unpredictable way. Methodological pluralism is a consequence of this type of thinking. Thus, mixed methods are preferred. However, qualitative methodology can already be seen as a striving for complex thought. This concerns its anti-reductionism as well as its anti-holism. In addition, ethical responsibility of empirical researchers is emphasized.

Playing between the lines. A strategy for ethnographic research into safety

Research questions influence the position of the ethnographer in relation to the field and its actors. The ethnographic strategy of a detailed study of a specific tribe, youth group, police department or subculture sets an example for field work. However, to study the dynamics between local politicians, residents and professionals, a more dynamic research strategy is needed. Based on a comparative study of local safety in two disadvantaged neighbourhoods in Rotterdam and Antwerp, this article examines the potential of a dynamic position of the researcher between different actors instead of a more static position close by a specific actor (group). To study interaction in the field is to become part of this interaction and use reactions on one’s presence in the field as data. The author concludes that this dynamic position is a useful research strategy to collect data about social relations, social constructions of meaning and power relations in the context of safety.

‘Ow god, those snobs see us as a living laboratory again.’ Participatory Internet research with Moroccan-Dutch young people

This article covers participatory Internet research strategies with Moroccan-Dutch youth. As the Internet is not a singular entity, informants were stimulated to research with the author the variety of their digital experiences by inviting them to draw an Internet map. Additionally, inviting informants to save and select instant messaging conversation transcripts enabled the collection of non-publicly accessible Internet communication. Not only do these strategies facilitate a bridging of the gap between researchers and informants, they are also useful to make informed decisions about what to include and exclude in the study of digital culture.

Book review

In this contribution the author reviews Qualitative content analysis in practice by M. Schreier.

Book review

In this contribution the author reviews Doing Q methodological research: theory, method and interpretation by S. Watts & P. Stenner.

Book review

In this contribution the author reviews The Sage handbook of visual research methods by E. Margolis & L. Pauwels.

News

The section News gives an overview of current events.