Praktijk

Probleemgestuurd onderwijs

Gepubliceerd
10 november 2003

Samenvatting

Smits PBA, Verbeek JHAM, De Buisonjé CD. Probleemgestuurd onderwijs. Een systematische review van gecontroleerde evaluatieonderzoeken van onderwijs na het artsexamen. Huisarts Wet 2003;46(12):664-8. Doel Het vaststellen van de effectiviteit van probleemgestuurd onderwijs in medische vervolgopleidingen en bij- en nascholing met behulp van een systematisch literatuuronderzoek. Methode Een search in Medline en andere databases met als inclusiecriteria: probleemgestuurd onderwijs, medische bij- en nascholing en gecontroleerde onderzoeken. In de geselecteerde onderzoeken is de mate van bewijs voor de effectiviteit van het onderwijs vastgesteld voor de uitkomstvariabelen: kennis, performance, tevredenheid van deelnemers en gezondheidstoestand van patiënten. Resultaten We vonden zes onderzoeken die voldeden aan de inclusiecriteria. Vijf daarvan zijn gepubliceerd in de jaren negentig en één in 1988. In vijf onderzoeken gaat het om onderwijs aan huisartsen. In drie onderzoeken wordt probleemgestuurd onderwijs vergeleken met een andere vorm van onderwijs. Probleemgestuurd onderwijs bleek niet beter dan de andere vormen van onderwijs wat betreft de uitkomstvariabelen kennis, performance en gezondheid. Er blijkt wel matig bewijs aanwezig voor een grotere tevredenheid van de deelnemers met probleemgestuurd onderwijs. In de overige drie onderzoeken is probleemgestuurd onderwijs vergeleken met geen onderwijs. Deze onderzoeken leveren beperkte aanwijzingen dat probleemgestuurd onderwijs de uitkomstvariabelen positief beïnvloedt. Conclusie Er zijn beperkte aanwijzingen dat probleemgestuurd onderwijs in medische bij- en nascholing de kennis en performance van deelnemers en de gezondheid van patiënten verbetert. Er is matig bewijs dat artsen meer tevreden zijn met probleemgestuurd onderwijs. Nader onderzoek over dit onderwerp zou moeten worden opgezet als een quasi-experimenteel of gerandomiseerd experiment waarbij probleemgestuurd onderwijs wordt vergeleken met een andere vorm van onderwijs. De performance van artsen en gezondheid van patiënten zouden dan de uitkomstvariabelen moeten zijn.

Inleiding

Probleemgestuurd onderwijs is een van de best beschreven interactieve onderwijsmethoden. Algemeen wordt aangenomen dat probleemgestuurd onderwijs effectiever is wat betreft ‘lerenleren’- vaardigheden dan traditionelere onderwijsvormen en dat het ook leuker is.1 De conclusies van vier systematische literatuuronderzoeken in het begin van de jaren negentig wezen op een iets beter resultaat op de korte en lange termijn voor probleemgestuurd onderwijs dan voor traditioneel onderwijs.2345 Vanaf die tijd zijn er vele probleemgestuurde medische curricula ontstaan. Onlangs werd in een review weer een vraagteken gezet bij de waarde van probleemgestuurd onderwijs voor de artsopleiding.6 In de postacademische medische beroepsopleidingen en in de bij- en nascholing worden andere doelen nagestreefd dan in de artsopleiding. Het gaat niet alleen om verbetering van kennis en vaardigheden, maar ook om het verbeteren van de vakbekwaamheid en de performance van artsen. Uiteindelijk zal dit een betere gezondheid voor patiënten betekenen.7 Probleemgestuurd onderwijs kan in deze context ook effectief zijn.8 Er zijn aanwijzingen in de literatuur dat interactief opgezet onderwijs de praktijk van professionals kan veranderen, maar er zijn maar weinig goed opgezette onderzoeken uitgevoerd.910 Wij konden geen reviews vinden over de effectiviteit van probleemgestuurd onderwijs in postacademisch onderwijs. Als het gaat om de effectiviteit van onderwijsmethoden bieden gecontroleerde evaluatieonderzoeken de meest waardevolle informatie, dit in overeenstemming met de best evidence medical education (BEME)-benadering.11 Daarom voerden we een systematisch literatuuronderzoek uit om te bezien of probleemgestuurd onderwijs effectief is in het onderwijs na het artsexamen.

Wat is bekend?

  • Uit literatuurreviews over probleemgestuurd onderwijs kan met enige voorzichtigheid geconcludeerd worden dat deze vorm van onderwijs tijdens de basisartsopleiding op de korte en lange termijn betere resultaten oplevert dan traditioneel onderwijs.
  • Er is nog geen literatuurreview over de effectiviteit van probleemgestuurd onderwijs in medische bij- en nascholing.

Wat is nieuw?

  • Probleemgestuurd onderwijs in medische bij- en nascholing lijkt de kennis en performance van deelnemers en de gezondheid van patiënten positief te beïnvloeden.
  • Artsen lijken ook tevredener te zijn met probleemgestuurd onderwijs.

Methode

Literatuuronderzoek

Wij zochten in Medline, Embase, Psyclit, het Educational Resources Information Centre (ERIC), de Cochrane Library, en de Research and Development Resource Base in CME op het internet (RDRBWEB) van 1974 (het jaar dat Neufeld en Barrows hun nieuwe aanpak van medisch onderwijs publiceerden) tot augustus 2000. Wij zochten naar onderzoeken met de trefwoorden: problem- based (PBL), practice-based, self-directed, learner centred en active learning. Wij combineerden de resultaten van deze search met die van een andere zoektocht met de trefwoorden: continuing medical education (CME), continuing professional development (CPD), post-professional, postgraduate, en adult learning. Ten slotte trokken we ook referenties in de geïncludeerde onderzoeksartikelen na die ons relevant leken.

Inclusiecriteria

Een onderzoek werd geïncludeerd wanneer de auteurs aangaven dat de onderwijsinterventies probleemgestuurd zijn en dat de essentie van de gebruikte onderwijsmethode te vergelijken is met die van de McMaster Universiteit of de Universiteit van Maastricht.1213 De essentie van probleemgestuurd onderwijs bestaat uit probleemgestuurde onderwijsbijeenkomsten in een kleine groep, gefaciliteerd door een tutor. De zelfgestuurde groep begint met een brainstormsessie over een praktijkprobleem, waarbij een beroep wordt gedaan op bestaande kennis en ervaring. De groepsleden formuleren zelf hun leerdoelen en doen nieuwe kennis op door zelfstudie. De bijeenkomsten worden afgesloten met groepsdiscussie over de bereikte leerdoelen en een evaluatie. Voor dit literatuuronderzoek gebruikten we trefwoorden om relevante artikelen over onderwijs te vinden in het totale domein van postacademische opleidingen, bij- en nascholing ( continuing medical education) en deskundigheidsbevordering ( continuing professional development). Omdat er weinig gerandomiseerd opgezette onderzoeken werden gevonden, sloten we de overige typen gecontroleerd onderzoek niet uit. Op deze manier hoopten we alle relevante gecontroleerde onderzoeken over probleemgestuurd postacademisch onderwijs te vinden.

Reviewmethode bij geselecteerde onderzoeken

Twee reviewers (PBAS, JHAMV) bepaalden onafhankelijk van elkaar de kwaliteit van de geselecteerde onderzoeken, waarbij 5 kwaliteitscriteria werden gebruikt, ontleend aan Sackett et al. ( tabel 1).14 Elk criterium kon maximaal 10 punten krijgen, zodat de totaalscore maximaal 50 punten bedroeg. Een mogelijk zesde kwaliteitscriterium, dat groepen gelijkwaardig behandeld worden met uitzondering van de experimentele onderwijsinterventie, pasten we niet toe. Veel factoren kunnen namelijk het effect van onderwijs bepalen (zoals de tutor, het onderwijsmateriaal, de onderwijsruimten) en het bleek niet mogelijk om deze informatie uit de artikelen te halen. Daarom konden we gelijke behandeling van de groepen niet vaststellen.

Tabel 1Kwaliteitscriteria voor de methodologische kwaliteit van gecontroleerde evaluatieonderzoeken naar de effectiviteit van problee
Duidelijk als gerandomiseerd beschreven10
Quasi-experimenteel5
Follow-up van 3 maanden of meer5
Respons van >80%5
Respons van 50-80%3
Respons van 0
Ja10
Nee0
Gebruikte onderwijsvormen zijn wat effectiviteit betreft aan de deelnemers gepresenteerd als ‘gelijkwaardig’.10
Geen informatie0
Ja10
Statistisch gecorrigeerd5
Geen informatie0
Onderzoek met een totaalscore van meer dan de helft van de maximale score (=25 punten) beschouwden we als van hoge kwaliteit, die met een score

Uitkomstvariabelen

In elk onderzoek werd gekeken naar vier uitkomstvariabelen – kennis, performance en tevredenheid van de deelnemers en gezondheid van de patiënten – en stelden we de mate van bewijs voor die effecten vast. We waardeerden de mate van bewijs voor de effectiviteit van probleemgestuurd onderwijs als ‘sterk’ als we een positieve uitkomst vonden in twee onderzoeken van hoge kwaliteit, als ‘matig’ als er een positieve uitkomst was in één onderzoek van hoge en één van lage kwaliteit, als ‘beperkt’ als er een positieve uitkomst was in een onderzoek van hoge óf een onderzoek van lage kwaliteit en ten slotte als ‘geen bewijs’ als er tegengestelde bevindingen waren of geen bevindingen.

Resultaten van de literatuursearch

Zes gecontroleerde onderzoeken voldeden aan onze inclusiecriteria.15-20 Handmatig zoeken in de referenties van deze artikelen leverde geen nieuwe onderzoeken op die voldeden aan de inclusiecriteria. Vijf van de zes onderzoeken betroffen het effect van postacademisch onderwijs bij huisartsen. In vier onderzoeken waren meer dan vijftig deelnemers betrokken,16171820 in twee waren het er minder dan twintig.1519Tabel 2 geeft de resultaten weer van onze kwaliteitsbeoordeling van de zes onderzoeken. Twee onderzoeken waren van hoge kwaliteit, 1517 de andere van lage. Twee onderzoeken waren gerandomiseerd opgezet.1516 In het onderzoek van Heale et al. echter werd de groep van gerandomiseerd ingedeelde dokters gecombineerd met een groep die niet aan het gehele onderzoek wilde deelnemen.16 Of de randomisatie gelukt is wat betreft de eis van gelijkheid van groepen is onduidelijk.

Tabel 2Beoordeling van de kwaliteit van zes onderzoeken naar de effectiviteit van probleemgestuurd onderwijs na het artsexamen
Groepen gerandomiseerd ingedeeld?Follow-up voldoende lang en compleet?Analyse op basis intention to treat?Deelnemers en onderzoekers geblindeerd?Samenstelling van groepen gelijk bij start onderzoek?
Chan et al. 19991051001035hoog
Heale et al. 19885800013laag
Doucet et al. 199858100528hoog
Benjamin et al. 199958100023laag
Moran et al. 199608100018laag
Premi et al. 199408100018laag
* Elk criterium heeft een maximumscore van 10, en de maximale totaalscore is 50. † Totale scores van =25 punten zijn indicatie voor hoge kwaliteit en scores van

Resultaten van de onderzoeken

Tabel 3 laat de resultaten van de zes onderzoeken zien. De meting van de uitkomst, het effect, was vaak beperkt tot één variabele. Geen van de onderzoeken stelde de beide uitkomstvariabelen vast die onze voorkeur hebben, namelijk performance van de deelnemer en gezondheid van patiënten. In een van de onderzoeken van hoge kwaliteit – probleemgestuurd onderwijs via e-mail vergeleken met het gebruik van internetbronnen – verbeterde de kennis van de deelnemers in geen van beide opzetten, maar de groepsgrootte was beperkt.15 Het andere onderzoek van hoge kwaliteit – probleemgestuurd onderwijs vergeleken met docentgestuurd onderwijs – liet positieve resultaten zien van probleemgestuurd onderwijs met betrekking tot kennis van deelnemers, klinisch redeneren en tevredenheid.17 Het is echter onduidelijk of deze effecten kunnen worden toegeschreven aan het probleemgestuurde onderwijs omdat de opleidingen niet van gelijke omvang waren.

Tabel 3Resultaten van zes onderzoeken naar de effectiviteit van probleemgestuurd onderwijs na het artsexamen
Chan et al. 1999huisartsenRCTe-mail pgointernet- bronnen811geen effectnbnbnbnb
Heale et al. 1988huisartsenRCTkleine groep pgogrote groep discussies, colleges22*39*geen effectgeen effectgroter†nbgeen effect ‡
Doucet et al. 1998huisartsenCTpgodocentgestuurd3429positiefpositiefgroternbnb
Benjamin et al. 1999staf van een polikliniekCTpgogeen~50¶~50¶nbnbnbpositiefpositief §
Moran et al. 1996huisartsenCTkleine groep gericht op de lerendegeen510nbpositief #nbnbpositief §,#
Premi et al. 1994huisartsenCTkleine groep, praktijkgestuurdgeen7846positief #positief $hoge score @nbnb
RCT=Gerandomiseerd experiment, CT=gecontroleerd experiment, pgo=probleemgestuurd onderwijs, nb=niet beoordeeld in het onderzoek. * Geen informatie over het aantal dat de kennistoets voltooide aan het eind van het experiment. † p-waarde is in het artikel niet vermeld. ‡ Bij de follow-up is alleen de kennis van deelnemers getoetst. ¶ Informatie verkregen van de auteur, niet gegeven in het artikel. § Alleen de performance van de deelnemers getoetst bij de follow-up. # Score van de pgo-groep bij de nametingen vergeleken met de eigen score op de voormeting. $ 75/78 deelnemers rapporteerden 127 praktijkveranderingen als resultaat van pgo. @ Gemiddelde (sd) score van 5,8 (0,9) op een 7-puntsschaal voor de pgo-groep.
Tabel 4 geeft de mate van bewijs die we vonden voor de uitkomstvariabelen. In de drie onderzoeken die probleemgestuurd onderwijs vergeleken met een andere onderwijsopzet vonden we ‘geen bewijs’ dat de probleemgestuurde opzet leidde tot meer kennis en betere performance van de deelnemers en ‘matig bewijs’ dat deelnemers tevredener zijn. In geen van deze drie onderzoeken werd de gezondheid van patiënten als uitkomst gemeten. In de overige drie onderzoeken, alledrie van lage kwaliteit, werd probleemgestuurd onderwijs vergeleken met ‘geen onderwijs’. In deze onderzoeken werd ‘beperkt bewijs’ gevonden dat probleemgestuurd onderwijs effectief was in het verbeteren van de kennis en performance van de deelnemers en de gezondheid van patiënten ( tabel 4). Het vergelijken van de mate van tevredenheid van deelnemers is in deze onderzoeksopzet niet mogelijk.
Tabel 4Mate van bewijs, gemeten op uitkomstvariabelen, in zes onderzoeken naar effectiviteit van probleemgestuurd onderwijs na het ar
PositiefresultaatNegatiefresultaatPositiefresultaatNegatiefresultaatMatevan bewijs*
– kennis van deelnemers1101geen
– performance van deelnemers1001geen
– tevredenheid van deelnemers1010matig
– gezondheidstoestand van patiënten0000geen
– kennis van deelnemers0010beperkt
– performance van deelnemers0030beperkt
– gezondheidstoestand van patiënten0010beperkt
* Mogelijke waardering van mate van bewijs: sterk, matig, beperkt, of geen (zie Methoden voor details).

Conclusies

Wij vonden een beperkt aantal relevante onderzoeken van uiteenlopende kwaliteit. Deze leveren geen consistente aanwijzingen dat probleemgestuurd onderwijs in postacademisch onderwijs beter is dan andere onderwijsvormen wat betreft het verbeteren van de kennis en de performance van de deelnemers, maar er was ‘matig bewijs’ dat deelnemers tevredener zijn met probleemgestuurd onderwijs. Er bleek ‘beperkt bewijs’ te zijn dat kennis en performance van dokters en de gezondheidstoestand van patiënten verbeteren door probleemgestuurd onderwijs vergeleken met geen onderwijs. Onderzoeken echter waarin de controlegroep geen onderwijs volgt, geven alleen uitsluitsel over het effect van het volgen van onderwijs op zich en niet over het effect van een specifieke vorm van onderwijs. In de onderzoeken die probleemgestuurd onderwijs vergelijken met een andere vorm van onderwijs om te achterhalen welke vorm effectiever is, zullen inhoud, vorm en beïnvloedende factoren van die beide onderwijsmethoden helder moeten zijn beschreven. De informatie die daarover in de drie onderzoeken wordt beschreven kan worden gewaardeerd als volledig afwezig,16 mager,15 en redelijk.17 Uit onderzoek dat zich niet beperkt tot probleemgestuurd onderwijs komen aanwijzingen naar voren dat interactieve onderwijsmethoden in onderwijs na de artsopleiding effectiever zijn in het veranderen van de performance van dokters en het verbeteren van de gezondheidstoestand van patiënten.9 De resultaten van dit literatuuronderzoek over probleemgestuurd onderwijs in onderwijs na het artsexamen lijken vergelijkbaar met die over probleemgestuurd onderwijs in het medische basisonderwijs.234 Het onderzoek naar de effectiviteit van onderwijs is complex,21,22 maar we zouden toch in staat moeten zijn om onderzoek van hogere kwaliteit uit te voeren dan de hier beschreven onderzoeken, vooral als het gaat om het vergelijken van verschillende onderwijsvormen. Zoals blijkt uit onze review is randomisatie van deelnemers over verschillende vormen van onderwijs niet onmogelijk. Daarbij zullen onderzochte onderwijsmethoden beter gedefinieerd moeten worden en moet beter beschreven worden wat er in de onderwijspraktijk precies gebeurt. Leerdoelen moeten helder worden aangegeven. Is het doel het verhogen van kennisniveaus, het veranderen van gedrag en attitudes of gaat het om het verbeteren van gezondheidszorg? Uitkomstvariabelen moeten corresponderen met de doelen. Bij voorkeur worden een aantal verschillende variabelen gemeten waaronder de performance van deelnemers aan het onderwijs en de gezondheidstoestand van patiënten.9 Er lijkt consensus over te bestaan dat een klein gevonden significant verschil relevant is en een aanwijzing voor effectiviteit.2123 Evaluatie van effectiviteit wordt verder bemoeilijkt door de professionele en sociale context waarin de dokters werken, zoals beschreven is in literatuur over implementatie van richtlijnen. 24 Hiermee wordt de noodzaak tot randomisatie nog eens extra benadrukt, omdat in observationele onderzoeken deze factoren de uitkomsten makkelijk kunnen vertekenen. Op grond van de grotere tevredenheid van deelnemers zou onze voorkeur voor nascholing uitgaan naar probleemgestuurd onderwijs. Deze review geeft naar onze mening echter geen aanleiding om probleemgestuurd onderwijs voor nascholing op dit moment op grote schaal te propageren.

Dankbetuiging

Dit onderzoek is ondersteund door de Nederlandse organisatie voor Wetenschappelijk Onderzoek (NWO), als onderdeel van het prioriteitprogramma over Psychische vermoeidheid en werk, en de Netherlands School of Public and Occupational Health.

Literatuur

Reacties

Er zijn nog geen reacties.

Verder lezen