Waardering van kwalitatief onderzoek

Inleiding

Wie een wetenschappelijk artikel leest, wil weten of hij kan bouwen op de resultaten daarvan, met andere woorden, of het onderzoek waarover verslag wordt gedaan methodologisch goed in elkaar zit. Daarbij zal de lezer uitgaan van het algemene idee dat een goede methode leidt tot objectieve conclusies. Maar wat is objectief? Betekent dit dat elke onderzoeker in principe dezelfde resultaten zou moeten verkrijgen? Moet het onderzoek volgens vaste protocollen zijn verlopen? En mag de onderzoeker geen enkele bias vertonen? Oftewel, zou de rol van de onderzoeker eigenlijk moeten zijn geminimaliseerd en zou de objectiviteit nog het beste door de uitvoering met een computer zijn gegarandeerd? In dat geval zou kwalitatief onderzoek nooit objectief – in de zin van methodologisch deugdelijk – kunnen zijn. Want bij kwalitatief onderzoek, ook wel interpreterend onderzoek genoemd, worden persoonlijke kwaliteiten als waarneming, communicatie en interpretatie immers niet uitgeschakeld, maar gericht ingezet. (Het lijkt wel huisartsgeneeskunde!) Om kwalitatief onderzoek te kunnen beoordelen moeten we dus toe naar een opvatting van objectiviteit die meer betekent dan alleen het tegenovergestelde van subjectiviteit. Ter beoordeling van de deugdelijkheid van kwalitatief onderzoek hanteren Maso en Smaling daarom een meer algemene definitie van objectiviteit: 'Streven naar objectiviteit in onderzoek is het streven, in relatie tot het kader van de vraagstelling van het onderzoek, recht te doen aan het object van studie: het object van studie te laten spreken en niet te laten vertekenen.’1

Betrouwbaarheid en validiteit als maten voor objectiviteit

Bij kwantitatief onderzoek wordt vertekening van de onderzoeksresultaten voorkomen door de rol van de onderzoeker te minimaliseren. Een dergelijke minimalisering is bij kwalitatief onderzoek niet wenselijk omdat de inbreng van de onderzoeker zoals gezegd essentieel is. In kwalitatief onderzoek wordt dan ook niet getracht de rol van de onderzoeker uit te schakelen, maar wordt vertekening van de onderzoeksresultaten tegengegaan door die rol zo zichtbaar mogelijk te maken. De gangbare criteria om objectiviteit te beoordelen – betrouwbaarheid en validiteit – worden bij de beoordeling van kwalitatief onderzoek daarom iets anders ingevuld dan bij de beoordeling van kwantitatief onderzoek. Betrouwbaarheid is de afwezigheid van toevallige vertekeningen. Validiteit is de afwezigheid van systematische vertekeningen van het onderwerp van onderzoek.1 Anders gesteld zegt de betrouwbaarheid iets over de deugdelijke uitvoering van het onderzoek en validiteit iets over de deugdelijke opzet van het onderzoek.

Betrouwbaarheid wordt meestal onderscheiden in interne en externe betrouwbaarheid. Met interne betrouwbaarheid wordt gedoeld op een mogelijke vertekening van de onderzoeksresultaten door de invloed van een individuele onderzoeker. Het gaat hierbij om controleerbaarheid. Omdat bij kwalitatief onderzoek de individuele onderzoeker per definitie invloed heeft, is dit criterium vooral van toepassing wanneer verschillende onderzoekers binnen hetzelfde onderzoek werken. In die situatie is het belangrijk dat verschillende onderzoekers dezelfde resultaten (zouden) verkrijgen, bijvoorbeeld bij de codering van interviewfragmenten: hoe weet de lezer of verschillende onderzoekers deze op dezelfde manier hebben gecodeerd, of wat daarbij eventuele verschillen waren? Automatisering van het verzamelen van gegevens en de verwerking ervan kan helpen om dit inzichtelijk te maken. Hoewel ook zonder steun van de computer goed kwalitatief onderzoek mogelijk is, wordt meestal gebruikgemaakt van softwareprogramma's, bijvoorbeeld Kwalitan of Nvivo. Of van dergelijke programma's gebruik is gemaakt, behoort in de rapportage van het onderzoek vermeld te staan. Een bij kwalitatief onderzoek veel toegepaste techniek om de interne betrouwbaarheid te vergroten is het gebruik van meerdere methoden of onderzoekers. Zo kan er binnen één onderzoek gelijktijdig van interviews en (participerende) observaties gebruikgemaakt worden of eenzelfde methode door verschillende onderzoekers worden toegepast. Dit gebruik van meerdere methodes heet triangulatie naar een term uit het landmeten waarbij de exacte plaats van een punt vanuit drie gezichtpunten wordt vastgesteld. Met de term externe betrouwbaarheid wordt geduid op de herhaalbaarheid (repliceerbaarheid) van het onderzoek als geheel: zou iemand anders hetzelfde onderzoek over kunnen doen en dan dezelfde resultaten verkrijgen? Voor de beantwoording van deze – meestal theoretische – vraag is het minstens noodzakelijk dat het artikel expliciete informatie verschaft over de gebruikte methoden, de positie van de onderzoekers en de context van het onderzoek. Een procedure om een eventuele herhaalbaarheid te garanderen is de audit trail: alles wat zich gedurende het onderzoek heeft afgespeeld dient op zo'n manier gedocumenteerd te worden dat voor derden inzichtelijk (te maken) is op welke wijze de onderzoeksgegevens verkregen zijn. Ook het primaire onderzoeksmateriaal, zoals interviewtranscripten en observatieprotocollen, moet in principe voor derden toegankelijk zijn.

Het begrip validiteit duidt zoals gezegd op de aan- of afwezigheid van systematische vertekeningen. Interne validiteit wordt ook wel opgevat als de mate waarin de methoden en technieken van onderzoek ervoor zorgen dat de resultaten en onderzoeksconclusies ook werkelijk het beoogde verschijnsel betreffen.2 Oftewel, heeft men inderdaad datgene onderzocht wat men beweert te hebben onderzocht? Een vertekening kan in kwalitatief onderzoek bijvoorbeeld optreden wanneer een onderzoeker selectief aantekeningen maakt van observaties, zonder dat hij zich van deze selectiviteit bewust is. Ook het – bijvoorbeeld uit tijdgebrek – negeren van voorbeelden die voorlopige conclusies tegenspreken, kan een vertekening van resultaten geven. Om de validiteit van een kwalitatief onderzoek te kunnen beoordelen dient een artikel daarom informatie te geven over potentiële bronnen van vertekening. Richtlijnen bij zo'n beoordeling zijn vragen als: Is er een uitgewerkte onderzoeksopzet gevolgd? Is er systematisch gereflecteerd op de rol van de onderzoeker en is dat gedocumenteerd? Hebben geobserveerde of geïnterviewde personen de gelegenheid gehad commentaar te leveren op voorlopige resultaten om vertekening tegen te gaan ( membercheck)? Met externe validiteit wordt gedoeld op de mate van generaliseerbaarheid of verplaatsbaarheid van onderzoeksconclusies naar andere personen, situaties, verschijnselen en tijdstippen dan die van het onderzoek. Bij kwalitatief onderzoek wordt generalisatie niet zozeer nagestreefd door gebruik te maken van een statistisch representatieve steekproef, maar wordt de onderzoeksgroep juist doelgericht samengesteld. In plaats dat het toeval de samenstelling van de steekproef bepaalt – waardoor wordt aangenomen dat mogelijk relevante variabelen in dezelfde frequentie voorkomen als in de onderzochte populatie – wordt bij kwalitatief onderzoek meer doelgericht bepaald welke variabelen wel en niet bij de onderzochte groep voor moeten komen; in het Engels spreekt men van purposive sampling. Welke variabele van de steekproef wordt in- of uitgesloten hangt af van de vraagstelling en wat de onderzoekers al van de relevante kenmerken binnen het object van onderzoek weten. Als zo'n doelgerichte selectie plaatsvindt op grond van theoretische overwegingen wordt overigens van theoretical sampling gesproken. Ook kan de selectie van de onderzoeksgroep in de loop van het onderzoek veranderen, bijvoorbeeld wanneer de analyse van de eerste gegevens aanleiding geeft om de onderzoeksgroep op nieuwe kenmerken te selecteren. Voor meer informatie over steekproeftrekking bij kwalitatief onderzoek verwijzen wij naar het artikel van Hak in deze serie.3 Wat zegt het aantal respondenten in een kwalitatief onderzoek nu over de deugdelijkheid ervan? In principe niets. Ook aan de hand van weinig respondenten kun je het onderwerp van onderzoek immers uitstekend ‘laten spreken’. De ondergrens bij doelgerichte steekproeftrekking is één, al komt dat erg zelden voor, zelfs minder dan kwantitatieve n=1-onderzoeken. Bij het lezen van een kwalitatief onderzoeksartikel gaat het er vooral om dat de auteurs aannemelijk maken dat de voor hun vraagstelling relevante kenmerken (van respondenten of van observatiesituaties) in hun onderzoeksgroep vertegenwoordigd zijn.

Methodologische kwaliteit: hoe herken je het?

Om de lezer in staat te stellen een kwalitatief artikel te kunnen beoordelen dient de rapportage inzicht te bieden in de wijze waarop de verschillende onderdelen van het onderzoek (theoretisch kader; vraagstelling; dataverzameling; data-analyse; conclusie) zich tot elkaar verhouden. Voor lezers die gewend zijn aan kwantitatieve rapportages is dit wellicht soms lastig, omdat kwalitatieve rapportages er wat anders uitzien. Geen tabellen of grafieken; geen p-waarden, betrouwbaarheidsintervallen of andere statistische toetsen die in één oogopslag inzicht kunnen bieden in de representativiteit en betrouwbaarheid van de gerapporteerde resultaten. Kwalitatieve artikelen bestaan voor het overgrote deel uit tekst, waarbij letterlijke citaten een belangrijke plaats innemen. De reden van het gebruik van uitgebreide citaten is dat daarmee gegevens zo veel mogelijk concreet en in hun ‘rijke’, betekenisvolle vorm worden weergegeven. Dit wordt vaak aangeduid als thick description: een verhalende en gedetailleerde manier van beschrijven. Citaten hebben in kwalitatieve rapportages een overeenkomstige functie als tabellen in kwantitatief onderzoek: ze maken de lezer duidelijk dat de gegevens er echt zijn.4 Bovendien maken ze de relatie zichtbaar tussen de ruwe gegevens en de interpretatie, waardoor deze controleerbaar en eventueel bekritiseerbaar is. Wanneer in een artikel de stap van de letterlijke citaten naar de extrapolaties en verklaringen van de onderzoeker helder wordt weergegeven, kan een lezer zich een idee vormen van de houdbaarheid van de interpretatie en van de relevantie van de resultaten voor de eigen praktijk.5 In het onderstaande volgt een bespreking van criteria waaraan een goed kwalitatief artikel dient te voldoen ( tabel). Deze criteria zijn afgeleid van de lijst die beoordelaars van artikelen voor het BMJ gebruiken (te vinden op http://www.bmj.com/advice/checklists. shtml#quality) en van een document dat in het AMC is ontwikkeld om de kwaliteit van kwalitatief onderzoek te waarborgen.67

• Is er een heldere vraagstelling?

Kwalitatief onderzoek wordt doorgaans gestuurd door een open vraagstelling. Vragen naar het ‘hoe’ en ‘waarom’ komen vaker voor dan vragen naar ‘hoeveel’ of ‘wanneer’. Dit open karakter laat echter onverlet dat de vraagstelling helder en eenduidig geformuleerd dient te zijn. De lezer moet immers kunnen achterhalen in hoeverre de gerapporteerde resultaten aan de vraagstelling zijn gerelateerd. In verband met generalisatie van de onderzoeksresultaten moet daarnaast duidelijk aangegeven zijn op welke manier de vraagstelling is afgebakend, bijvoorbeeld naar patiëntgroep, behandelingscontext of ziekte.

• Zijn het theoretisch raamwerk en de methoden die in elke fase van het onderzoek zijn gebruikt expliciet omschreven?

Een onderzoeksstrategie die in het kwalitatief onderzoek veel gebruikt wordt is de zogeheten grounded-theory-benadering. Doel van deze benadering is een theorie te ontwikkelen die zo veel mogelijk op de empirisch verkregen gegevens wordt gefundeerd – vandaar de Nederlandse aanduiding: gefundeerde-theoriebenadering. Omdat deze gefundeerde-theoriebenadering zo vaak voorkomt, wordt vaak gedacht dat kwalitatief onderzoek gelijkstaat aan het doen van onderzoek zonder theoretisch kader. Dit is echter een misverstand. Kwalitatief onderzoek kan vele doelen dienen; zelfs het toetsen van een hypothese is mogelijk. Ook het scala aan gebruikte methoden is breed. Zowel de theoretische uitgangspunten als de gebruikte methode dienen expliciet in een artikel vermeld te worden.

• Is de selectie helder beschreven en theoretisch compleet genoeg om de generaliseerbaarheid van de conceptuele analyse te verzekeren?

Zoals beschreven bij de uitleg over externe validiteit vindt selectie van de onderzoekspopulatie meestal niet op dezelfde wijze plaats als bij kwantitatief onderzoek. Algemene richtlijn is dat de samplingstrategie zo gekozen dient te zijn dat de kenmerken die op grond van theoretische overwegingen als relevant beschouwd kunnen worden, aanwezig waren in de onderzochte populatie. Verder dient te zijn aangegeven in wat voor setting het onderzoek werd uitgevoerd: in een ziekenhuis, huisartsenpraktijk, of nog ergens anders? Dit alles met het doel om de bruikbaarheid van de resultaten voor andere situaties en contexten te kunnen beoordelen.

• Hoe is het veldwerk uitgevoerd? Is het in detail beschreven?

De ruimte voor en mate van detaillering zal per tijdschrift verschillen: in sociaal-wetenschappelijke tijdschriften is hier vaak veel ruimte voor, in biomedische doorgaans veel minder. Minimaal is van belang dat is weergegeven hoe vaak en hoe lang mensen zijn geïnterviewd, welke situaties zijn geobserveerd en wat daarin de rol van de onderzoeker was. Zo is het bij participerende observaties van belang dat beschreven staat in hoeverre de onderzoeker werkelijk ‘meedeed’ in de bestudeerde praktijk.

• Konden de ruwe gegevens (bijvoorbeeld veldwerknotities, transcripten, opnamen) onafhankelijk door anderen worden bekeken; kon het proces van transcriptie onafhankelijk worden bekeken?

Net als bij kwantitatief onderzoek is de controle op de ruwe gegevens, zoals veldnotities en audio- of videomateriaal, ook bij kwalitatief onderzoek van belang; een goed artikel maakt daar melding van. De gegevensinvoer (transcriptie, dat wil zeggen letterlijk uittypen, van bijvoorbeeld interviews) in computersystemen zoals Kwalitan, is een apart punt van aandacht – vergelijkbaar met de controle op de gegevensinvoer in SPSS bij kwantitatief onderzoek. Het is belangrijk dat bij elke stap van bewerking de oorspronkelijke gegevens goed opgeslagen worden omdat het ruwe materiaal steeds toegankelijk moet blijven, zowel voor de onderzoekers zelf als voor een eventuele controle.

• Zijn de procedures voor de analyse van gegevens helder beschreven en theoretisch onderbouwd? Is er een verband met de oorspronkelijke vraagstelling? Hoe werden thema's en begrippen uit de gegevens geëxtrapoleerd?

Om de gepresenteerde resultaten te kunnen beoordelen is het van belang dat een artikel een beschrijving bevat van de manier waarop gegevens zijn gecodeerd en gethematiseerd: gebeurde dat geheel inductief, zoals bij de gefundeerde-theoriebenadering, of vanuit een theoretisch raamwerk? Ook de manier waarop de verschillende geanalyseerde thema's met elkaar in verband zijn gebracht, dient te worden beschreven.

• Is de analyse door meer dan één onderzoeker uitgevoerd om de betrouwbaarheid te garanderen?

Dit is een eenvoudig criterium, dat doorgaans in de methodeomschrijving terug te vinden is. Als hierover niets vermeld staat, kan men ervan uitgaan dat slechts één van de auteurs de analyse heeft uitgevoerd, hetgeen het artikel niet meteen waardeloos maakt, maar wel hogere eisen stelt aan de controleerbaarheid van de analyse. Zo zal dan aan de hand van citaten duidelijk gemaakt moeten worden hoe de onderzoeker bij de analyse te werk is gegaan.

• Heeft de onderzoeker expliciet gezocht naar observaties die de analyse zouden hebben kunnen tegenspreken of veranderen?

Ook dit is een belangrijk criterium dat vermeld zou moeten staan in de methoden. De vraag is of de onderzoeker op zoek is geweest naar tegenvoorbeelden, of – om het met de wetenschapsfilosoof Karl Popper te zeggen – geprobeerd heeft zijn analyse te falsificeren. Dit is een van de manieren waarop de verzamelde gegevens in een vroeg stadium de verdere gegevensverzameling kunnen sturen.

• Zijn originele gegevens in voldoende mate en systematisch weergegeven in het artikel om ook de sceptische lezer te overtuigen van de relatie tussen de interpretatie en de gegevens?

Ervan uitgaande dat alle huisartsen sceptische lezers zijn, en niet alleen van kwalitatief onderzoek, is dit een heel belangrijk punt. Kan de lezer zelf lezen wat de geïnterviewden zeiden, zodat hij zijn interpretatie met die van de onderzoeker kan vergelijken?

Tot slot: de waarde van kwalitatief onderzoek voor de praktijk

Welke rol kunnen dergelijke onderzoeksresultaten nu in de praktijk spelen? Bij kwalitatief onderzoek draait het allemaal om inzicht en begrip. Goed uitgevoerd kwalitatief onderzoek laat het onderwerp op zo'n manier spreken dat het tot inzicht leidt in aspecten van de dagelijkse praktijk waar kwantitatief onderzoek minder ver in doordringt. Kwalitatief onderzoek leidt tot meer begrip van het perspectief van anderen (bijvoorbeeld patiënten) op hun ziekten en problemen en op wat daaraan gedaan moet worden. Daarmee geeft kwalitatief onderzoek een soms verrassende ‘doorkijk’ (een window-like view) op een bekend of onbekend terrein.8 Dat geldt ook voor de resultaten van Freeman en Sweeney: ten eerste kunnen ze fungeren als een spiegel voor huisartsen die bezig zijn met evidence-based geneeskunde; ze kunnen een huisarts erbij helpen te begrijpen welke grenzen er aan dat streven kunnen zijn. Ten tweede verschaffen de resultaten, vooral in de uitgeschreven vorm van het artikel (niet in de zeer beperkte samenvatting hierboven) inzicht in mogelijke goede redenen om van evidence af te wijken, bijvoorbeeld de relatie met deze ene patiënt. Ten derde geven de resultaten van kwalitatief onderzoek vaak goed aan welke witte vlekken er nog in onze kennis van een verschijnsel zitten. Ze genereren dus verdere onderzoeksvragen, die soms opnieuw het best met kwalitatieve methoden kunnen worden onderzocht, soms beter met kwantitatieve. Zo zou het artikel van Freeman en Sweeney aanleiding kunnen geven tot onderzoek naar de vraag hoe artsen evidence aan de patiënt overbrengen (te beantwoorden met kwalitatief onderzoek), of naar de vraag hoe vaak het nu voorkomt dat huisartsen vanwege de voorkeur van een patiënt van een standaard afwijken (te beantwoorden met kwantitatief onderzoek).