KWALON - Volume 15, Issue 3, 2010

Voor u ligt een themanummer rond een weliswaar al langer bestaande, maar nog zeker niet overal in het alledaags kwalitatief onderzoek geïntegreerde werkwijze: het gebruik van (analyse)software.

The recent mass digitization of text data has led to a need to efficiently and effectively deal with the mountain of textual data that is generated. Digitized text is increasingly in the form of digitized data flows (Brent, 2008). Digitized data flows are non-static streams of generated content – including twitter, electronic news, etc. An oft-cited statistic is that currently 85% of all business data is in the form of text (cited in Hotho, Nürnberger & Paass, 2005). This mountain of data leads us to the question whether the labor-intensive traditional qualitative data analysis techniques are best suited for this large amount of data. Other techniques for dealing with large amounts of data may also be found wanting because those techniques remove the researcher from an immersion in the data. Both dealing with large amounts of data and allowing immersion in data are clearly desired features of any text analysis system.

Atkisson, Monaghan and Brent review in 'Using Computational Techniques to Fill the Gap between Qualitative Data Analysis an Text Analytics' three methods (qualitative data analysis, content analysis and text mining) that are used in order to examine streams of digital textual materials that are increasingly accessible through the Internet.

Veyor® is a trademark of Idea Works, Inc. It is a text analysis program that performs, either by itself or in combination with programs such as Qualrus® and Globalpoint®, not only word category counts, but also sentiment analysis. According to a newspaper article about a recent application to a campaign for the US Senate elections (Reed, 2010), the sentiment towards the candidates in blogs and newspapers as extracted by Globalpoint® predicted the outcome of the elections more accurately than a telephone survey. Candidates received positive or negative points based on what was being said about key issues in the race and were categorized under headings such as 'government,' 'economy,' 'personal' and subsets such as 'free market' and 'tax issues'.

The authors would like to thank both Martine van Selm and Jan Kleinnijenhuis for their thoughtful comments regarding our paper. They each raise a number of interesting points. The comments focus broadly on three areas, and we will structure our response around those three areas. We will first address comments on the literature review, then the Veyor system and finally, comments on the analysis itself.

Dit artikel beschrijft een kwalitatieve methode van nieuwsetnografie die ik in 2006 en 2007 toepaste tijdens veldwerk op de economie-redactie van De Standaard, een Vlaamse kwaliteitskrant. Dat veldwerk vormde de basis voor promotieonderzoek naar journalistieke schrijfprocessen. Centraal in deze benadering staat de combinatie van participerende observatie, schrijfprocesanalyse en retrospectieve interviews. Ik illustreer deze methode aan de hand van een gevalsstudie.

Het systematisch literatuuroverzicht (systematic review) heeft de laatste jaren enorm aan impact gewonnen in het evidence-based discours en wordt beschouwd als een belangrijke informatiebron ter ondersteuning van besliskunde op praktijk en politiek niveau. Een systematisch literatuuroverzicht brengt resultaten van diverse individuele studies samen om betrouwbare antwoorden te genereren op welbepaalde vragen en wordt gepromoot door internationale non-profitorganisaties, zoals de Cochrane Collaboration en de Campbell Collaboration. Auteurs van systematische literatuuroverzichten (reviewers) streven een systematische identificatie, evaluatie en synthese na van alle relevante studies rond een bepaald onderwerp, gebaseerd op een expliciete en voorgedefinieerde methodologie. Hierbij wordt uitgegaan van een te beantwoorden vraag, een welgedefinieerde zoekstrategie, in- en exclusiecriteria voor studies, een kwaliteitsbeoordeling van de geselecteerde studies, en de extractie van resultaten uit die individuele studies, wat resulteert in een synthese. Momenteel is de vraag naar de evaluatie van de effectiviteit van medische, therapeutische, educatieve, sociale of criminologische interventies dominant in deze literatuuroverzichten. Hiervoor worden de resultaten uit studies – bij voorkeur gerandomiseerde, gecontroleerde experimenten – samengebracht door middel van een meta-analyse, een statistische techniek waarmee een gepoold resultaat verkregen wordt dat zich uitspreekt in het voor- of nadeel van een bepaalde interventie. Er is echter een groeiende belangstelling voor en erkenning van de waarde van inzichten uit kwalitatief onderzoek. Die inzichten kunnen immers helpen om de resultaten uit syntheses van kwantitatief onderzoek beter te situeren, om de vraagstelling mee te informeren en om een aantal vragen te beantwoorden die moeilijk door kwantitatief onderzoek kunnen worden beantwoord. Voorbeelden van dergelijke vragen zijn: Hoe moeten we interventies implementeren in een bepaalde context? Hoe kan een interventie verbeterd worden? Sluit de interventie aan bij de subjectieve noden van de doelgroep? Hoe wordt de interventie ervaren door diegenen die ze moeten uitvoeren of ondergaan? Die interesse heeft ertoe geleid dat meerdere onderzoekers zich zijn gaan buigen over de vraag hoe die kwalitatief georiënteerde inzichten op een methodologisch verantwoorde manier kunnen worden samengevat. Uiteraard hoeven syntheses van kwalitatief onderzoek niet aan te sluiten bij een systematisch literatuuroverzicht. Er zijn ook voorbeelden van syntheses die op zichzelf staan, zonder enige link met een bestaand literatuuroverzicht. De laatste jaren werd er enorm geïnvesteerd in het ontwikkelen van methoden voor het uitvoeren van syntheses van kwalitatief onderzoek (Dixon-Woods, Agarwal, Jones, Young & Sutton, 2005; Barnett-Page & Thomas, 2009). Twee van die methoden brachten een ondersteunend softwarepakket op de markt, EPPI-reviewer en QARI. EPPI-reviewer (Evidence for Policy and Practice Information and Coordinating Centre review software) werd ontwikkeld ter ondersteuning van thematische syntheses (Thomas & Harden, 2008), QARI (Qualitative Assessment and Review Instrument) werd ontwikkeld in de context van meta-aggregatie (Joanna Briggs Institute, 2007). Meta-aggregatie werd reeds toegepast in talloze literatuuroverzichten geproduceerd door het Joanna Briggs Institute, meestal als onderdeel van een mixed-methods-review. QARI is een onderdeel van het Joanna Briggs SUMARI softwarepakket (System for the unified management, assessment and review of information). SUMARI biedt software aan voor het uitwerken van literatuuroverzichten met betrekking tot vraagstellingen naar de effectiviteit, kosten en baten van interventies (syntheses van kwantitatief onderzoek) alsook naar de haalbaarheid, gepastheid en betekenis van interventies of fenomenen (syntheses van kwalitatief onderzoek). QARI kan enkel gebruikt worden voor het beantwoorden van kwalitatieve onderzoeksvragen. Ik illustreer het softwarepakket QARI aan de hand van een meta-aggregatie rond barrières ten aanzien van de implementatie van evidence-based praktijkvoering in België (Hannes, 2008).

De toegankelijkheid van nieuwe (sociale) media voor de modale consument betekent een enorme verrijking voor het marktonderzoek.Waar de onderzoeker vroeger vooral afhankelijk was van directe bevraging via groepsdiscussies of diepte-interviews, krijgt diezelfde onderzoeker nu tal van bijkomende mogelijkheden om dichter bij die consument te komen. Ten eerste kunnen sociale media als platform ingeschakeld worden. Online focusgroepen op basis van chat-technologie, etnografisch onderzoek via blogs en research communities vervangen steeds vaker traditioneel kwalitatief onderzoek. Typeerde kwalitatief marktonderzoek zich vroeger vaak als een locale activiteit, nu wordt, dankzij de technologie, ook meer en meer aan globaal kwalitatief online marktonderzoek gedaan, of worden meer landen in eenzelfde onderzoeksdesign opgenomen omdat de praktische bezwaren van onder andere verplaatsing zijn weggevallen.

Recente inleidingen in het gebruik van kwalitatieve data-analysesoftware (KDAS, of QDAS in Engelstalige literatuur) bevatten een opvallende paradox. Aan de ene kant wordt gesteld dat de drie toonaangevende KDAS-pakketten (MAXQDA, NVivo, en Atlas.ti) het kwalitieve onderzoekers mogelijk maken precies dat te doen wat zij willen. Aan de andere kant wordt aan de verschillen die tussen de drie programma's bestaan een groot belang toegekend. Ook wordt met regelmaat gewezen op het belang van de theoretische en methodologische uitgangspositie van de onderzoeker bij de keuze van de software en de elementen daarvan (Lewins & Silver, 2007; Di Gregorio & Davidson, 2008).

Wetenschap is georganiseerde kennis. Als dit waar is dan hebben kwalitatieve onderzoekers volgens mij een zeer bijzonder en even groot probleem: kwalitatieve onderzoekers hebben nu eenmaal – naar de aard van hun verzamelmethoden – heel veel data, en dus heel veel kennis. En, het is dus een behoorlijke klus om dat te organiseren. Er gloort echter hoop: Christopher Hahn, president van 'Qualitative Coding and Analysis' komt in zijn boek 'Doing qualitative research using your computer: a practical guide' met een oplossing voor dit probleem. Hahn belooft aan zijn lezers een boek vol technieken, tips en hulpmiddelen om – in zijn eigen woorden – de beginnende, gevorderde en vergevorderde onderzoeker te helpen bij het opbouwen, structureren en gestructureerd houden van zijn onderzoeksproject.

Beide boeken hebben de pretentie als handleiding bij (softwarematige) analyse gebruikt te kunnen worden, maar de insteek en schrijfstijl is wel heel verschillend. Lijken Di Gregorio en Davidson een lichte bias te hebben richting deductieve werkwijze, bij Saldaña ligt dat juist andersom; hij is meer van het inductieve. Is het boek van Saldaña vooral een leeswijzer en reproductie van andere auteurs met een klein deel eigen ervaring erin verwerkt, het boek van Di Gregorio en Davidson is juist een weergave van de praktijk(ervaring) van beide auteurs. En daar komt waarschijnlijk ook het verschil in aanpak van beide boeken vandaan. In het boek van Saldaña komen diverse codeerwijzen voorbij met bij elk type een leeswijzer, Di Gregorio en Davidson hebben het standpunt, dat het werken met software een heel nieuw genre onderzoek inluidt. In dat verband spreken ze van een E-project. Zij gaan ervan uit dat het gebruik van software verdisconteerd moet worden in het onderzoeksdesign. In deel I zetten ze heel systematisch uiteen waar zo'n E-project qua design aan moet voldoen, wil je gemakkelijk met software kunnen werken en die ook optimaal benutten. Ze illustreren dit in deel II met een aantal voorbeeldprojecten uit de onderzoekswereld, die door een andere doelstelling, ook qua ontwerp en softwaregebruik anders kunnen uitpakken. Bovendien laten zij daarbij een aantal softwarepakketten de revue passeren. Beide boeken zijn bedoeld om de onderzoeker te helpen bij zijn onderzoeksproject. Maar helpen ze ook? Daar ga ik in deze boekbespreking dieper op in.

Op 22 en 23 april 2010 werd in Utrecht in het gebouw van de Universiteit voor Humanistiek het eerste internationale congres gehouden dat ooit door KWALON is georganiseerd. Initiator en hoofdorganisator Jeanine Evers had hiervoor een samenwerkingsverband ontwikkeld met onze Vlaamse zusterorganisatie KwalitatiefSterk, het Duitse Forum Qualitative Sozialforschung/Qualitative Social Research (Freie Universität Berlin) en het Britse CAQDAS networking project (University of Surrey). De conferentie werd bovendien ondersteund door de Universiteit van Humanistiek en DANS (KNAW).

Eerdere KWALON-studiedagen had ik aan mij voorbij laten gaan. Maar deze keer ging het over kwalitatieve analyse software, en omdat we 'op de zaak' onlangs twee licenties van Nvivo hadden bemachtigd, wilde ik graag gaan. Veel van het onderzoek dat we doen, is kwalitatief van karakter, maar meestal weinig academisch. Bovendien merkte ik dat ondanks de beschikbaarheid van NVivo ik verknocht ben aan de tekstverwerker, spreadsheet en, hoe heet zoiets, het programma waarmee je mappen en bestanden organiseert. Met deze drie-eenheid organiseer ik meestal mijn tekstuele data. Bovendien had ik bij de paar keer dat ik van dergelijke analyseprogramma's gebruikmaakte, gemerkt dat ik na het open coderen en het hiërarchisch organiseren ervan, min of meer klaar was. Althans de reflecties op de data deed ik in de tekstverwerker, daarbij overigens wel steeds de inmiddels georganiseerde data raadplegend. NVivo (en Ethnograph) gebruikte ik vooral als 'storage and retrieval'-hulpjes. Ik wilde ook naar deze conferentie om mezelf te stimuleren vaker van NVivo gebruik te maken en meer van de mogelijkheden te profiteren. Kortom, ik kwam om te halen en minder om te brengen.

Ter gelegenheid van de dubbeloratie van Tineke Abma en Guy Widdershoven werd door het VU Medisch Centrum een symposium georganiseerd onder de titel 'Reflection and Participation in Health Care'. Er waren vier prominente onderzoekers op het gebied van participatief actie-onderzoek, evaluatie en ethiek uit de Verenigde Staten en het Verenigd Koninkrijk uitgenodigd. Ieder van hen gaf een master class in de ochtend en verzorgde 's middags een lezing op het symposium. In dit verslag berichten we vooral over bijdragen die relevant zijn voor de kwalitatieve onderzoeksbenadering en staan we kort stil bij de oraties.