De kwaliteit van de NHG-Standaarden

Inleiding

Ondanks het lange bestaan en de brede acceptatie van de NHG-Standaarden is er betrekkelijk weinig onderzoek gedaan naar de kwaliteit van de standaarden. Toch heeft de kwaliteit geregeld ter discussie gestaan. 1 , 2 , 3 , 4 Afgezien van enkele algemene beschouwingen 5 , 6 , 7 , 8 , 9 is er nooit systematisch onderzoek gedaan naar de kwaliteit van de aanbevelingen in de standaarden. Dit staat in schril contrast met de talloze empirische onderzoeken naar de implementatie en toepassing van de standaarden. 10

Een probleem bij het onderzoeken van de kwaliteit van richtlijnen is het ontbreken van een gevalideerd beoordelingsinstrument. 11 De hamvraag luidt aldus: waar moeten goede aanbevelingen aan voldoen? In de discussies en literatuur over richtlijnen zien we steeds de volgende basiscriteria terugkomen: 5, 6, 12 , 13 , 14 , 15

• De aanbeveling dient zoveel mogelijk wetenschappelijk te zijn onderbouwd.
• De aanbeveling dient aan te sluiten bij de dagelijkse praktijkvoering (compatibiliteit).
• De aanbeveling dient uitvoerbaar en toepasbaar te zijn in de praktijk.

Wij wilden nagaan in hoeverre de aanbevelingen in de NHG-Standaarden aan deze criteria voldoen. Ook waren we geïnteresseerd in eventuele verschillen tussen aanbevelingen voor diagnostiek, voorlichting, behandeling, controle of verwijzing.

Methoden

Ontwikkeling van beoordelingscritera

Op basis van literatuur 12 , 13 , 14 , 15 stelden we een lijst van criteria op om de drie dimensies – wetenschappelijke onderbouwing, compatibiliteit met bestaande praktijk en uitvoerbaarheid – te operationaliseren. Bij de wetenschappelijke onderbouwing gaat het vooral om de beschikbaarheid van empirische onderzoeken ( evidence) en de verslaglegging daarvan in het notenapparaat. Als empirisch onderzoek ontbreekt, kan een bespreking van de voor- en nadelen de lacune in kennis deels vullen. De volledigheid en juistheid van de onderbouwing werd niet getoetst omdat dit een meer uitgebreide, specifiek klinisch-inhoudelijke beoordeling vereist. Bovendien staan er in de standaarden geen zoek- en selectiecriteria vermeld waarmee de methode van literatuurverzameling kan worden getoetst. 16 Bij compatibiliteit gaat het zowel om de aansluiting bij de normen en waarden van de huisarts als om de beleving en te verwachten reacties van patiënten. De uitvoerbaarheid wordt bepaald door de mate waarin nieuwe kennis of vaardigheden of veranderingen in de routines en organisatie vereist zijn. De criteria werden specifiek en ondubbelzinnig geformuleerd waarbij overlap tussen de criteria zoveel mogelijk werd vermeden. Het definitieve ‘beoordelingsinstrument’ bestond uit tien criteria ( tabel 1).

Selectie van aanbevelingen

Voor dit onderzoek maakten we gebruik van de gegevens van het project ‘Toetsen Aan Standaarden’ (TAS-project). 17 Dit project had onder meer als doel via zelfregistratie tijdens consulten na te gaan in hoeverre de belangrijkste aanbevelingen uit de standaarden daadwerkelijk worden opgevolgd. Hiertoe werden met behulp van een panel van richtlijndeskundigen 324 concrete kernaanbevelingen geselecteerd uit 29 NHG-Standaarden (gepubliceerd in 1993-1997). Bij de selectie van standaarden werd gestreefd naar een evenwichtige verdeling over de verschillende ‘ICPC-hoofdstukken’ en over chronische en niet-chronische aandoeningen. Het was voor ons echter ondoenlijk de kwaliteit van alle 324 kernaanbevelingen betrouwbaar te beoordelen. Derhalve selecteerden we (JB, JZ) ongeveer een derde van de aanbevelingen op grond van de volgende criteria:

• gemiddeld vier tot vijf aanbevelingen per standaard (met een maximum van acht);
• een evenwichtige verdeling over de verschillende fasen van het consult (diagnostiek, voorlichting, niet-medicamenteuze en medicamenteuze behandeling, controle en verwijzing);
• voldoende prevalentie van de condities van de aanbevelingen, af te lezen aan het aantal consultregistratieformulieren dat werd terugontvangen in het TAS-project.

Uiteindelijk werden zo 130 aanbevelingen uit 28 standaarden geselecteerd ( tabel 2).

Beoordeling van aanbevelingen

We stelden een extern, onafhankelijk panel van twaalf huisartsen samen om de aanbevelingen met behulp van de opgestelde criteria te beoordelen. Alle panelleden hadden ruime ervaring als praktiserend huisarts en door hun nevenwerkzaamheden inzicht in de algemene huisartsgeneeskundige praktijkvoering. De aanbevelingen werden verdeeld in zes groepen waarbij aanbevelingen over eenzelfde tractus zoveel mogelijk in eenzelfde groep werden opgenomen. Elke groep aanbevelingen werd door twee panelleden onafhankelijk van elkaar beoordeeld. Zij moesten van elke aanbeveling nagaan of deze het criterium al dan niet bezat (dichotome schaal). De tekst van de betreffende NHG-Standaarden kon hierbij worden geraadpleegd. Bij het scoringsformulier zat een handleiding die toelichting gaf over de beoordeling ( appendix, zie www.artsennet.nl/nhg/henw). De resultaten werden vervolgens teruggekoppeld, waarna aan elk koppel werd gevraagd om door overleg overeenstemming te krijgen over alle oordelen. Het overeenstemmingspercentage vóór overleg was gemiddeld 71% (gemiddelde kappa 0,24; spreiding 0-0,47). Na overleg kon in uiteindelijk 99% van de gevallen overeenstemming worden bereikt.

Analyse

De dimensiescores werden bepaald door het gemiddelde percentage van de afzonderlijke criteria te berekenen. De scores werden geaggregeerd en per consultfase geanalyseerd.

Resultaten

Algemeen

Van alle 130 aanbevelingen waren er 80 (62%) expliciet onderbouwd, meestal met een toelichting in een bijbehorende noot ( tabel 3). In 57 van deze 80 aanbevelingen betrof het volgens het panel een onderbouwing met wetenschappelijk onderzoek, dat wil zeggen met empirische onderzoeken zoals klinische trials of observationeel onderzoek. In meer dan de helft (56%) van alle aanbevelingen was er echter geen sprake van een dergelijke onderbouwing. Een bespreking van de voordelen kwam bij 41% van de aanbevelingen voor, terwijl de nadelen slechts bij 14% van de aanbevelingen werden besproken.

In 52% van de gevallen was de aanbeveling volgens het panel zowel compatibel met de normen en waarden van de bestaande praktijk als met de veronderstelde verwachtingen van de patiënt. Negatieve reacties bij patiënten werden in 39% van de aanbevelingen aannemelijk geacht. Bij de toepassing van 48% van de aanbevelingen waren volgens het panel geen nieuwe kennis of vaardigheden noch aanpassingen in de organisatie of verandering van routine vereist (criteria 7-10 waren dan allemaal aanwezig). De uitvoerbaarheid werd vooral beperkt doordat in 43% van de gevallen een verandering van routines vereist werd.

Scores per consultfase

De geselecteerde aanbevelingen bestonden voor 39% uit diagnostische aanbevelingen en voor 32% uit therapeutische aanbevelingen. De overige aanbevelingen betroffen voorlichting (16%), controle (9%) en verwijzing (3%). De therapeutische aanbevelingen werden vaker ondersteund met wetenschappelijk onderzoek (67%) dan de diagnostische aanbevelingen (35%) en aanbevelingen voor voorlichting en controles (29%) ( tabel 4). Bij de niet-medicamenteuze aanbevelingen kwamen relatief vaker de voordelen ter sprake (69%), terwijl bij de medicamenteuze aanbevelingen relatief vaker de nadelen, bijvoorbeeld bijwerkingen besproken werden (38%).

De medicamenteuze aanbevelingen hadden volgens het panel de hoogste compatibiliteit (81%). De niet-medicamenteuze aanbevelingen konden in 69% van de gevallen negatieve reacties bij patiënten oproepen en hadden een lagere compatibiliteit (59%). De uitvoerbaarheid van de medicamenteuze aanbevelingen was het hoogst (87%). De diagnostische aanbevelingen vereisten volgens het panel relatief meer kennis (32%) dan de andere aanbevelingen, terwijl de niet-medicamenteuze aanbevelingen en aanbevelingen voor controle en verwijzing relatief meer veranderingen van bestaande routines en gewoonten vereisten (62% en 56%).

Beschouwing

Uit dit onderzoek blijkt dat de belangrijkste aanbevelingen uit de NHG-Standaarden in het algemeen aansluiten bij de dagelijkse praktijkvoering en redelijk tot goed uitvoerbaar en toepasbaar zijn. Dat geldt zowel voor de aanbevelingen voor diagnostiek als voor de aanbevelingen voor het beleid. De wetenschappelijke onderbouwing van de aanbevelingen, met name die voor diagnostiek, voorlichting, controle en verwijzing, laat echter nog te wensen over. Hoewel de meeste aanbevelingen een verwijzing hadden naar een noot of referentie, was een onderbouwing met empirische onderzoeken slechts bij een minderheid aanwezig. Dit kan te wijten zijn aan het eenvoudigweg ontbreken van kwalitatief goede onderzoeken. Zo bleek uit het onderzoek van Tasche et al. dat er per standaard gemiddeld 12,5 lacunes in kennis bestonden, waarvan het merendeel op het gebied van diagnostiek en medicamenteuze behandeling. 18 Uit een nadere inhoudelijke analyse bleek dat 42 onderzoeksvragen in de ‘lacunebak’ in het onderzoek van Tasche betrekking hadden op aanbevelingen in ons onderzoek. Deze lacunes kwamen echter slecht overeen met onze bevindingen, omdat ons panel vond dat wetenschappelijk onderzoek (criterium 2) maar in 14 van deze 42 aanbevelingen (33%) afwezig was. De kwaliteit van het onderzoek werd – in tegenstelling tot het onderzoek van Tasche – niet door ons panel beoordeeld, hetgeen de discrepantie kan verklaren. De aanwezigheid van wetenschappelijk onderzoek sluit een lacune in kennis immers niet uit, vooral als het onderzoek van matige kwaliteit betreft. Een zorgvuldige argumentatie met een bespreking van de voor- en nadelen van het opvolgen van de aanbeveling kan vaak aanvullende informatie geven over de kwaliteit van de onderbouwing, maar dat werd slechts bij een minderheid van de aanbevelingen gedaan. Sommige aanbevelingen, zoals het advies om meer dan normaal te drinken bij acute diarree of de contactlenzen uit te laten bij een rood oog, zijn echter zo evident dat een onderbouwing of argumentatie minder noodzakelijk wordt geacht.

De compatibiliteit met de normen en waarden van de bestaande praktijk was hoog. De beoordelaars meenden daarentegen dat een aanzienlijk deel (circa 40%) van de aanbevelingen negatieve reacties bij patiënten zou kunnen oproepen. Dat gold met name voor de niet-medicamenteuze aanbevelingen (69%). Dit lijkt vooral te wijten aan het grote aandeel aanbevelingen met minder populaire adviezen zoals het stoppen met roken. Of patiënten de aanbevelingen ook als negatief zien, is niet nagegaan. Er is echter nogal eens een discrepantie tussen wat dokters denken dat patiënten vinden en wat deze werkelijk vinden. 19

De goede compatibiliteit en uitvoerbaarheid van de meeste aanbevelingen kan ook worden verklaard doordat ze reeds de gangbare praktijk beschrijven en dus geen gedragsverandering vereisen. Toch vonden we dat in ongeveer 40% van de aanbevelingen een verandering van routines was vereist. Hierbij moet worden opgemerkt dat voor dit kenmerk de overeenstemming tussen de twee panelleden vóór overleg relatief laag was (60%). Waarschijnlijk zullen de routines en gewoonten van dokter tot dokter verschillen.

Om een aantal redenen dienen we voorzichtig te zijn met het trekken van al te stellige conclusies op grond van dit onderzoek. We hebben getracht de kwaliteit van de NHG-Standaarden te meten met behulp van criteria ontleend aan andere kwaliteitsinstrumenten. 12, 14 De validiteit van deze criteria is echter onbekend en ook nauwelijks te toetsen vanwege het ontbreken van een gouden standaard. Dit is een bekend probleem bij het beoordelen van richtlijnen. 20, 21 Daarnaast is de beoordeling van met name de compatibiliteit en uitvoerbaarheid nogal subjectief. We hebben dit enigszins ondervangen door de panelleden te vragen het oordeel van de huisarts in het algemeen als uitgangspunt te nemen en niet hun persoonlijke opinie of praktijkvoering. Toch is het niet uitgesloten dat de samenstelling van het panel de beoordeling heeft beïnvloed. Tot slot werden in dit onderzoek geen aanbevelingen uit recente NHG-Standaarden opgenomen. De helft van de standaarden in ons onderzoek is inmiddels herzien. Het is mogelijk dat de wetenschappelijke onderbouwing in de loop der jaren beter is geworden, zodat onze beoordeling niet zonder meer mag worden geëxtrapoleerd naar de huidige verzameling geldige NHG-Standaarden.

Dankbetuiging

We bedanken de volgende huisartsen voor hun bijdrage aan het beoordelen van de aanbevelingen: Aria Biemond, Rob Dijkstra, Roel Drijver, Bernard Frijling, Paul Janssen, Marijke Labots-Vogelesang, Vroon Pigmans, Ber Pleumeekers, Berend Terluin, Siep Thomas, Cees in 't Veld en Michel van Wijk.