Wetenschap

Toetsing van huisartsopleiders

0 reacties
Gepubliceerd
20 mei 2001

Samenvatting

Inleiding Gelet op de centrale rol van de huisartsopleider in de opleiding tot huisarts is de scholing gericht op diens didactische kwaliteit van groot belang. Wij gingen na welke toetsinstrumenten voor deze didactische kwaliteit gebruikt worden en of deze voldoen aan de voorwaarden voor een goede toets. Methode Alle afdelingen Huisartsopleiding en het Vlaamse Interuniversitair Centrum voor de Huisartsenopleiding stuurden het desbetreffende materiaal op. De verkregen gegevens werden gerubriceerd en afgezet tegen de voorwaarden waaraan een toets dient te voldoen. Resultaten De validiteit van de meeste toetsinstrumenten is niet gedocumenteerd. Het doel van de toetsing wordt meestal niet beschreven. Slechts in een enkel geval is er een duidelijke relatie met het gegeven onderwijs. Normen worden niet geëxpliciteerd. Conclusie Doel van de toetsing is het verbeteren van de kwaliteit van de huisartsopleider als didacticus door middel van scholing op maat op geleide van de uitkomsten van de toetsing. Bij de ontwikkeling van toetsinstrumenten zal met name aandacht geschonken moeten worden aan de validiteit. Op dit moment lijkt de stationstoets daarvoor de beste mogelijkheden te bieden.

Inleiding

Het onderwijs dat in het laatste deel van de medische basisopleiding en in de vervolgopleidingen wordt gegeven, vindt voor een belangrijk deel plaats in een meester-gezel-situatie; vaak is dit de kern van het onderwijsproces. 1 Ook tijdens de huisartsopleiding brengt de aanstaande huisarts (haio) veel tijd door in de stagepraktijk van een opleider. Om deze één-op-één-onderwijssituatie optimaal te kunnen benutten, dienen de opleiders getraind te zijn in de daarvoor vereiste didactische kwaliteiten. Huisartsopleiders worden geschoold door stafleden van ‘hun’ afdeling Huisartsopleiding. Dat gebeurt tijdens een introductiecursus en acht verplichte scholingsdagen per jaar. 2 Daarnaast zijn er sinds 1994 landelijke cursussen voor opleiders – de Beekbergencursussen – waaraan inmiddels enkele honderden huisartsopleiders hebben deelgenomen. 3 Al in 1986 werd in het rapport ‘Evaluatie van huisartsopleiders’ voorgesteld om huisartsopleiders te toetsen. 4 Dit voorstel is destijds echter niet verder uitgewerkt en implementatie heeft niet plaatsgevonden. Bij elke toetsmethode gaat het om een beoordeling die volgt uit de trias meten – waarderen – beslissen. Dat houdt het volgende in:

  • De meting moet valide en betrouwbaar zijn: men meet wat men wil m/weten, en de meting levert bij herhaling dezelfde gegevens op.
  • Er moet een norm zijn: bij voorbaat staat vast hoe de gevonden gegevens worden gewaardeerd.
  • Het doel van de toets moet duidelijk zijn. Gaat het om een beoordeling die moet leiden tot prestatieverbetering (een educatieve beoordeling met de toets als leermiddel) of om selectie? 5
Wij verrichtten een onderzoek met de volgende vraagstelling:
  • Welke toetsinstrumenten voor huisartsopleiders zijn momenteel in gebruik?
  • In hoeverre voldoen deze instrumenten en de toetsing waarvoor ze gebruikt worden, aan de bovengenoemde voorwaarden?

Methode

Wij richtten aan alle afdelingen Huisartsopleiding in Nederland en aan het Interuniversitair Centrum voor de Huisartsenopleiding (ICHO) in Vlaanderen een schriftelijk verzoek om de in gebruik zijnde didactische toetsinstrumenten voor huisartsopleiders op te sturen. Letterlijk vroegen wij naar ‘de toetsen en de toetsinstrumenten voor opleiders, bijvoorbeeld een kennistoets (gericht op didactische kennis), checklists voor didactische vaardigheden, zelfbeoordelingsinstrumenten en scorelijsten bij observaties van (video's van) leergesprekken of andere didactische activiteiten’. Zaken als vakbekwaamheid en randvoorwaarden werden dus buiten beschouwing gelaten. Van de opgestuurde instrumenten werd per afdeling een overzicht gemaakt dat werd voorgelegd aan deze afdeling met de vraag of onze weergave correct was. De instrumenten uit de geaccordeerde overzichten werden gecategoriseerd naar toetsvorrn. Vervolgens werden de verschillende instrumenten vergeleken met de eisen van de toets-trias.

Resultaten

Alle acht afdelingen in Nederland en het ICHO voldeden aan het verzoek. De afdelingen reageerden alle op de toegestuurde overzichten en brachten correcties aan.

Methoden en instrumenten

De meest gebruikte methode is de beoordeling door de haio aan het eind van een opleidingsperiode ( tabel). De daarbij gebruikte instrumenten zijn lijsten met aandachtspunten, bijvoorbeeld: Hoe beoordeel je ten aanzien van de docentfunctie van de huisartsopleider (hao) op een schaal van 1-10:

  • de leerzaamheid van de dagelijkse nabespreking?
  • de leerzaamheid van de andere leergesprekken (themabespreking, casusbespreking)?
  • de leerzaamheid van de spreekuur observaties?
  • de leerzaamheid van de bespreking van de op video opgenomen haio-consulten?
TabelDe toetsinstrumenten in gebruik bij de verschillende afdelingen huisartsopleiding
 Haio-oordeelEvaluatie-gesprekkenOpleiderstoetsZelfbeoordelingOnderling toetsen*
UMjaja   
RU L(eiden)jaja   
UUjaja   
VUja  jaja
UvAjajaja  
EURjaja jaja
KUNjaja  ja
RUGjaja   
ICHO (Vlaanderen)ja ja  
* In het kader van het onderwijs aan opleiders vindt veel onderlinge toetsing, met name van opleidersvaardigheden plaats, zonder dat dit altijd als toetsmethode wordt benoemd. Deze kolom dient dus met deze restrictie te worden geïnterpreteerd.

Een tweede methode is het voeren van evaluatiegesprekken met de opleiders door een staflid (functionerings- of voortgangsgesprek). Een derde methode is de onderlinge toetsing en het invullen van zelfbeoordelingslijsten tijdens (of voorafgaand aan) scholingsdagen voor opleiders. Verder wordt gebruik gemaakt van toetsing van opleiders in een gestandaardiseerde setting, zoals een stationstoets. Bij het ICHO wordt daarbij ook gebruikt gemaakt van simulatie-haio's.

Validiteit meting

Voor een oordeel over de inhoudsvaliditeit van de gebruikte instrumenten zou men moeten beschikken over een ‘gouden standaard’, een profiel van de ideale opleider. Maastricht, het ICHO en de UvA beschikken over uitgebreide beschrijvingen van de kenmerken, persoonlijke eigenschappen, vaardigheden en houding van de ideale huisartsopleider; elders beperkt men zich tot hoofdlijnen. Waarop deze beschrijvingen zijn gebaseerd blijft onduidelijk, terwijl de criteria die bij het eerste instrument – de beoordeling door de haio – worden gebruikt, niet aansluiten bij deze profielen. Voor het tweede instrument – de evaluatiegesprekken met een staflid – bestaan geen vaste criteria; de gehanteerde criteria zijn hooguit indicatief geformuleerd. De validiteit van het derde instrument, de zelfbeoordeling, heeft veelal dezelfde criteria als het eerstgenoemde instrument. Ten slotte geldt voor de door het ICHO en aan de UvA ontwikkelde stationstoetsen dat zij door nauwkeurig uitgeschreven criteria beter scoren op het punt van validiteit. Deze toetsen meten vooral vaardigheden en in mindere mate houding, kennis en persoonlijke eigenschappen. Ook hier ontbreekt echter een expliciete operationalisatie van het profiel van de ideale opleider. Kortom, de geformuleerde criteria zijn niet onderbouwd en beslaan slechts een deel van de gouden standaard, waardoor de validiteit van elk instrument afzonderlijk beperkt is.

De kern

  • Alle afdelingen Huisartsopleiding besteden veel tijd aan de didactische scholing van huisartsopleiders.
  • Geen van de vijf toetsmethoden gericht op de didactische kwaliteit van huisartsopleiders voldoet aan alle voorwaarden van een goede toets.
  • Gelet op de toetsaspecten betrouwbaarheid, validiteit en acceptatie, verdient de ontwikkeling van een stationstoets met simulatie haio's de voorkeur.

Betrouwbaarheid meting

De betrouwbaarheid van alle toetsinstrumenten is discutabel, behalve die van de stationstoetsen. Het enige instrument waarvan de betrouwbaarheid is onderzocht en gekwantificeerd, is de toets van het ICHO. 6,7

Normen

De instrumenten zijn ingebed in een toetsproces, de toetsmethode. De verdere stappen in dat proces volgen op de meting, die met behulp van het toetsinstrument is verricht. Nergens blijken normen voor de toetsen te zijn vastgelegd. Waar een profiel van de ideale opleider wordt gehanteerd, bestaat in feite alleen een referentiekader bij de verschillende toetsen; daarmee is geen norm geformuleerd, maar alleen het maximaal haalbare. Het is dus aan de haio, aan het staflid of aan de opleider zelf (bij zelfbeoordeling) om te bepalen welke kenmerken de opleider in voldoende mate bezit.

Beslissing

Nergens worden de toetsinstrumenten gebruikt als selectiemiddel. De te nemen beslissingen zijn steeds gericht op suggesties om de prestaties van de opleiders te verbeteren (feedback), dus educatief.

Beschouwing

Bij alle aangeschreven huisartsopleidingen zijn toetsinstrumenten in gebruik om de kwaliteit van opleiders vast te stellen. Onder het woord ‘toetsinstrument’ worden zeer uiteenlopende zaken verstaan. Het maakt een vergelijking van de kwaliteit van opleiders, maar ook van de gebruikte methoden lastig. In het algemeen wordt veel belang gehecht aan het opleidersgedrag in de praktijk. De relatie met het onderwijs, dat aan opleiders is gegeven, wordt alleen bij de toets van de UvA expliciet gelegd. De toetsinstrumenten sluiten qua formuleringen en criteria – áls die gegeven worden – niet aan bij bestaande profielen van de ideale opleider. Inmiddels is door eerder verricht onderzoek een profiel van de ideale opleider vastgesteld. 8 Nu bekend is wat men wil meten, kan dat een aanzet zijn voor de ontwikkeling van opleiderstoetsen met een betere validiteit. De toetsmethode die tegen het licht van de toets-trias als beste mag worden beschouwd is de stationstoets. Een bezwaar is dat de stationstoets qua organisatie ingewikkeld is, bovendien zeer arbeidsintensief en voornamelijk gericht op vaardigheden en minder op houding, kennis en persoonlijke eigenschappen. Er is nog geen norm vastgelegd voor deze toetsen. Bij alle overige methoden wordt (te) veel overgelaten aan het oordeel van de haio of van het staflid of aan de zelfbeoordeling van de opleider. Met name door dit laatste wordt overigens wel reflectie op het opleiderschap gestimuleerd. Het is duidelijk: de trias meten - waarderen – beslissen staat bij de verschillende methoden zwaar onder druk. Is het wellicht te streng om de maat van de toets-trias te gebruiken? Het zijn immers methoden die zijn ontwikkeld uit een behoefte om opleiders feedback te geven over hun kwaliteiten als opleider. Toch dient ook (juist) voor het geven van feedback een goede methode gebruikt te worden. Door de trias te hanteren wordt duidelijk op welke punten nog verbeteringen in de toets wenselijk en mogelijk zijn.

Conclusie

Het beoordelen van opleiders met een educatief doel is een belangrijke aanzet tot verbetering van de didactische kwaliteit van opleiders. De beoordeling zou een onderdeel moeten zijn van een cyclisch proces, waarbij de toetsing het onderwijs aan opleiders stuurt en het effect van dat onderwijs wordt beoordeeld met een volgende toetsing. Om op deze manier benut te kunnen worden, moet de toetsing voldoen aan een aantal basisvoorwaarden. Uit de beschreven inventarisatie blijkt dat er ook bij de huisartsopleiding nog veel winst te behalen valt op dit punt. Stapsgewijs zou gewerkt moeten worden aan het ontwikkelen van valide en betrouwbare toetsinstrumenten voor opleiders, gekoppeld aan het gegeven onderwijs. Opleiders kunnen dan op basis van de toetsuitslag hun didactisch gedrag zo nodig veranderen of gericht (bij)scholen. Mettertijd zal duidelijk moeten worden wat van de verschillende toetsen de norm of de ondergrens is, waaraan de opleiders (na het volgen van het onderwijs) moeten voldoen.

Dankbetuiging

Met dank aan de afdelingen Huisartsopleiding voor hun loyale medewerking aan dit onderzoek.

Misser

Advertenties horen in H&W uitscheurbaar te zijn. Door een misverstand bij de drukkerij is dat in nummer 5 bij een aantal advertenties in het NHG-katern helaas niet het geval. We bieden voor dit ongemak onze verontschuldigingen aan. Redactie en uitgeverij

Literatuur

  • 1.Hoek JF, Geertsema H. Medische vervolgopleidingen. Didactische vaardigheden van opleiders. Med Contact 1997;52:1064-6.
  • 2.College voor Huisartsgeneeskunde en Verpleeghuisgeneeskunde. Algemene opleidingseisen huisartsgeneeskunde. Besluit no.5-2000. Utrecht: KNMG, 2000.
  • 3.Wanrooij BS, Boendermaker PM. De voorkeursleerstijl van de huisarts in opleiding en huisartsopleider in de één op één leersituatie. In: Ten Cate ThJ, et al, redactie. Gezond Onderwijs-5. Proceedings Gezond Onderwijs Congres 1995. Houten/Diegem: Bohn Stafleu Van Loghum, 1996:421-3.
  • 4.Commissie Curriculum Constructie (meerjarige) Beroepsopleiding tot Huisarts. Eindrapportage deelproject D, rapport 07c: Evaluatie van huisartsopleiders. Utrecht: SVUH, 1986.
  • 5.Van der Vleuten CPM. Toetsing van medische competentie. In: Metz JCM, Scherpbier AJJA, Van der Vleuten CPM. Medisch onderwijs in de praktijk. Utrecht: Van Gorcum, 1995:152-64.
  • 6.Schol S. Een agogische vaardigheidstoets voor huisartsenpraktijkopleiders: beschrijving van een nieuw toetsinstrument. Tijdschrift Medisch Onderwijs 2000;19:179-86.
  • 7.Schol S. A Multiple-station Test of the Teaching Skills of General Practice Preceptors in Flanders, Belgium. Acad Med 2001;76:176-80.
  • 8.Boendermaker PM, Schuling J, Meyboom-de Jong B, Zwierstra RP, Metz JCM. What are the characteristics of the competent general practitioner trainer? Fam Practice 2000;17:547-53.

Reacties

Er zijn nog geen reacties

Verder lezen