Evalueren bij PAO

Bij PAO zien we evalueren als het hele proces van in kaart brengen van leerrendement en tevredenheid van de deelnemer. In het verleden maten we eigenlijk vooral de tevredenheid, met een vragenlijst aan het eind van de cursus. Om (nog) beter, effectiever en inspirerender onderwijs te ontwikkelen, is inzicht in het leerrendement onmisbaar. Daarom hebben wij ons evaluatiesysteem herontworpen.

Onze kijk op evalueren

Voor dit herontwerp zijn we uitgegaan van het ‘Learning Transfer Evaluation Model’ (LTEM) ontwikkeld door Dr. Will Thalheimer (2018). Hij stelt dat een cursus pas succesvol is als een deelnemer het geleerde in zijn praktijk toepast. Je kunt dit op 8 niveaus meten, waarbij niveau 1 tot en met 4 eigenlijk nog niks zeggen over de toepassing van het geleerde in de praktijk.

De niveaus zijn:

Aanwezigheid: is een deelnemer aanwezig tijdens de cursusdagen en neemt hij deel aan de e-learning?
Activiteit: heeft de deelnemer aandacht, interesse en een actieve houding?
Deelnemersperceptie: hoef heeft de deelnemer de deelnemer de cursus ervaren?
Kennis: kan de deelnemer feiten en termen herproduceren? Vaak gebeurt dit in literatuur- of theorietoetsen.
Beslissingsbekwaamheid: kan een deelnemer in een casus de juiste beslissing maken?
Taakbekwaamheid: kan een deelnemer bij een casus adequaat handelen?
Overdracht: doet de deelnemer zijn werk beter, na de training? Past hij het geleerde toe in de praktijk met een positief resultaat?
Effecten van de overdracht: wat is het effect van bovenstaande overdracht op de deelnemer en zijn omgeving? Denk daarbij aan collega’s, vrienden, familie, de organisatie, cliënten, ouders, leerlingen, de samenleving?

Aanwezigheid, activiteit en de deelnemersperceptie hielden we al bij. Ook een eindtoets was altijd onderdeel van de cursus die je bij ons volgt. Voor een online training of webinar is dat vaak op niveau 4. Voor klassikale cursussen is dit vaak gericht op beslissings- of taakbekwaamheid. Het meten van overdracht en de effecten van overdracht is echter nog een grote uitdaging.

Wil je meer leren over LTEM en de verschillende niveaus? Will Thalheimer legt het hier heel duidelijk uit.

Evaluatievragenlijsten

We gaan werken met nieuwe evaluatievragenlijsten. Op basis van het boek ‘Performance focused learning surveys’ bleek namelijk dat we onze vragenlijsten beter in konden zetten, om meer inzicht te krijgen in het leerrendement.

De meeste evaluatievragenlijsten, zo ook de onze, zijn gericht op het in kaart brengen van tevredenheid, maar niet op het in kaart brengen van het leerrendement. Tevredenheid zegt namelijk nog niet of een cursus je ook echt iets geleerd heeft.

We meten voortaan niet meer met een schaal van 1-10. Dit blijkt namelijk geen objectief onderscheid te bieden in het kiezen van een cijfer. Je kent het misschien wel: Jij geeft al snel een 9 of zelfs een 10, terwijl jouw collega dan zegt: ‘nee, het is nooit perfect, dus ik geef nooit hoger dan een 7’. En dat terwijl jullie wel allebei heel tevreden zijn over de gevolgde cursus. Het werkt beter als er duidelijk beschrijvende antwoordopties zijn, die weinig ruimte laten voor verschillende interpretaties.

Ook hebben we de momenten van evalueren bekeken. Eerder vroegen we deelnemers alleen na de cursus een evaluatieformulier in te vullen. Met het oog op de toepassing in de praktijk, voegen we hier ook een evaluatiemoment 6 weken na het afronden van de cursus aan toe.
Net als we een kort moment van evaluatie toevoegen halverwege, zo kunnen we sneller bijsturen als dat nodig is.

Rol van docenten

Docenten zijn experts in hun vakgebied en hebben ruime ervaring in de praktijk. Ze weten dus precies welke valkuilen deelnemers tegenkomen in het ontwikkelen van hun kennis en vaardigheden en de toepassing ervan in de praktijk. Het is vanwege die waardevolle ervaring dat wij docenten na elke uitvoering bevragen. We vragen hen om terug te blikken op de cursusuitvoering. Daarbij kijken we naar het leerrendement voor de deelnemer, laten we docenten hun eigen handelen bekijken én geven ze ons feedback op de organisatie en samenwerking.

Wat zijn we nog meer van plan?

We verleggen de focus in onze cursussen meer en meer op het behalen van de niveaus 5 en 6. Hoe goed kan een deelnemer het geleerde toepassen op een casus die overeenkomt met zijn/haar praktijk?

Bovendien werken we aan een uniform beoordelingssysteem. Dit maakt het beoordelen van een eindverslag makkelijker voor de docent, eerlijker en duidelijker voor de deelnemer én inzichtelijker voor PAO.

Daarnaast werken we voor de langere termijn aan een plan om jaarlijks een of enkele cursussen te evalueren op het niveau van overdracht en de effecten daarvan. Zo krijgen we meer inzicht in of we ons doel, een hoog leerrendement voor de praktijk, ook echt behalen. En waar we eventueel nog verbeteringen door kunnen voeren.

Wat betekent dit voor jou?

We gebruiken een nieuwe manier van evalueren die meer gericht is op het meten van leerrendement in de praktijk. Dit helpt ons cursussen nóg beter aan te laten sluiten op jouw praktijk, waardoor de impact van de cursus groter wordt. Naast een hoger leerrendement en meer impact in de praktijk, ga je er heel praktisch het volgende van merken:

We bevragen je kort halverwege de cursus.
We bevragen je uitgebreid(er) direct na afronding van de cursus
We bevragen je kort 6 weken na de cursus.
Volg je een online training of webinar? Dan verandert de inhoud van jouw evaluatievragenlijst na afronding van de training.
De toetsen die je maakt voor de afronding van de cursus zijn meer en meer gericht op het toepassen van het geleerde op een realistische praktijkcasus.