Vijf-sterren-RCT’s

Film, weten we allemaal, is een buitengewoon krachtig medium. Er zijn films die zo goed in elkaar zitten, waarin alles zo perfect klopt, dat je als toeschouwer onverbiddelijk wordt meegesleept en overtuigd. Dat soort films zijn, helaas, nogal schaars – dat weten we ook allemaal.

Zo is het ook met de randomised controlled trial. De lof daarop kan niet hoog genoeg gezongen worden. Onlangs nog, in dit tijdschrift, prezen Jip de Jong en Nynke van Dijk RCT’s aan ‘als een van de beste methodes om bewijs te vinden voor de effectiviteit van een behandeling.’ 1 Maar wie meent dat het bewijs geldig is omdat het in een RCT is geleverd, maakt dezelfde denkfout als iemand die meent dat elke film een kunstwerk is. Ook tussen de RCT’s zit, laten we eerlijk zijn, veel bagger.

Het bewijs voor die stelling is niet moeilijk te leveren: daarvoor hoeven we slechts een duik te nemen in de archieven van de Cochrane Collaboration, de fameuze verzameling van meta-analyses en systematische reviews die, weer volgens De Jong en Van Dijk, te zien zijn als ‘de krachtigste vorm van bewijs waarover we beschikken’. Wat vinden de reviewers zelf van de kwaliteit van al die RCT’s die door hun handen gaan?

Neem, om een willekeurige greep te doen, de juli-productie van de Cochrane Collaboration, die in totaal 40 meta-analyses omvat. De commentaren van de reviewers laten zich lezen als die van verzuurde Volkskrant-filmrecensenten in hun beste dagen. ‘Over het geheel genomen was de kwaliteit van bewijs laag tot middelmatig’ (nr. 8800); ‘De methodologische kwaliteit van de ingesloten studies was wisselend’ (8201); ‘Het bewijs is van matige kwaliteit’ (8909); ‘Wij bepaalden de kwaliteit van de studies en deze was ofwel zeer laag ofwel de uitkomst was niet gerapporteerd (9733), en: ‘Over het geheel genomen werden kwaliteitscriteria slecht gerapporteerd’ (6196). Er zat natuurlijk ook wel eens iets goeds tussen: ‘De 40 geïncludeerde onderzoeken tegen placebo waren van redelijk goede kwaliteit met meestal laag risico op vertekening’ (8307).

Aangezien de reviewers hun oordeel over de kwaliteit ook enigszins kwantitatief moeten onderbouwen, valt er zelfs nog wel wat meer over te zeggen. Elk aspect van mogelijke vertekening (toewijzing, blindering, uitval enzovoort), krijgt een beoordeling: + voor laag risico, - voor hoog risico, en ? voor onduidelijk. Die zijn op te vatten als de rapportcijfers 0, 5 en 10 (over die 5 valt te twisten, wie streng in de leer is, ziet dat cijfer vast graag lager).

Op welk rapportcijfer komen de RCT’s gemiddeld uit? Voor mijn telling nam ik – het is een column, geen wetenschap – 12 meta-analyses uit de juli-productie. Er waren 2 enorme meta-analyses, over 40 en 72 onderzoeken, 8 kleinere over soms maar 3 of 4 onderzoeken, en 2 waarin het benodigde tabelletje ontbrak. Dat resulteerde in 177 te analyseren onderzoeken. Van deze 177 onderzoeken waren er 10 min of meer perfect, zonder bias, uitgevoerd; 3 van de 40 over farmacotherapie tegen chronische pijn na een operatie (nr. 8307), en 1 van de 72 over farmacotherapie tegen hematologische problemen bij intubatie (4087) kregen een 10. En als we alle 177 studies tezamen nemen, blijkt het gemiddelde nog net voldoende te zijn: 6,14 (95%-BI 5,6-6,7). Een paar jaar geleden heb ik als verzuurde Volkskrant-wetenschapsrecensent eens een soortgelijke exercitie gedaan,2 toen kwam het gemiddelde op 5,97 (5,7 tot 6,2). Dat blijkt dus geen toevalstreffer.

Het gemiddelde is de beste schatting voor een populatie waarover wij verder nog niets weten: de beste schatting voor het IQ van een onbekende patiënt is 100. Zo is het ook met de kwaliteit van een willekeurige randomised controlled trial: hij zal wel een zesje halen, maar het zou wel zeer uitzonderlijk zijn als hij in werkelijkheid een ‘ruim voldoende’ of zelfs ‘zeer goed’ oogst.