9 ting I bliver nødt til at forholde jer til, når I vil evaluere effekten af kurser

Lige til en start to nærmest alment anerkendte ”kendsgerninger” i relation til evaluering af undervisning:

  • Vi bruger rigtig mange penge på kurser og undervisning – og vi ved ikke ret meget om hvilken værdi vi reelt får for de penge
  • Evalueringer har det med at ende på en hylde og samle støv (okay, i dag ender de med at optage plads på et drev)

Virker det bekendt?

Ikke nok med at vi bruger rigtig mange ressourcer på undervisning (tid, penge, engagement, prestige), uden at vi kender effekten – undersøgelser viser at den generelt er beskeden, for at sige det pænt – men oven i bruger vi så en hel del flere ressourcer på at evaluere, uden at vi bliver ret meget klogere og uden at det får de store praktiske konsekvenser.

Det er selvsagt en rigtig god idé at evaluere undervisning: Hvilken værdi skaber et kursus? Hvad virker? Hvad virker ikke? Hvad skal vi gøre mere af? Hvad skal vi gøre mindre af (eller helt ophøre med at gøre)? Ikke overraskende at mange organisationer faktisk bestræber sig på at skrue op for evalueringsindsatsen i disse år. Vi er på vej (så småt). Men det er ikke helt lige til, har mange erfaret.

Effektiv undervisning? 5 elementer der gør forskellen!

Hvor ville det være ellers fedt med et skarpt, pålideligt og enkelt værktøj til at opgøre effekten af vores uddannelsesaktiviteter og til at vise os, hvilke knapper vi skal skrue på, for at øge effekten!

Men hov, stop! Der er en grund (faktisk en hel del) til at vi er uskarpe på, hvor meget valuta vi får for vores uddannelseskroner og til at evalueringer har det med at samle støv. Det er komplekst og forbundet med mange usikkerhedsfaktorer at evaluere effekten af undervisning. Både at hente informationerne og at tolke på dem. Hvis vi skal evaluere pålideligt, så bliver vi nødt til at se udfordringerne i øjnene og tage bestik af dem. Listen her er et godt sted at starte:

9 ting I ikke kommer uden om at forholde jer til, hvis I kvalificeret og pålideligt vil evaluere effekten af kurser og læringsaktiviteter og bruge resultaterne fremadrettet:

  1. En tilfredshedsmåling siger noget om … ja, deltagernes tilfredshed – og kun det! Hvis deltagerne scorer et kursus højt, så kan det betyde at de har lært en hel masse, men det kan ligeså godt betyde at det har været et behageligt kursus, de er blevet strøget med hårene, det var sjovt, maden var god og der var ingen ubehagelige udfordringer. Altså: En tilfredshedsmåling siger absolut intet om hvad deltagerne har lært! Tilsvarende siger en måling af hvad deltagerne har lært intet om, hvad de lykkes med at anvende i praksis. Husk det nu! Allerede her går det alt for ofte galt!
  2. Læring er en cirkulær proces. Deltagerne i en læringsaktivitet lærer over tid, de lærer i forskelligt tempo, der er masser af bump på vejen etc. Hvordan kan evalueringen rumme det? Så vi kan få et retvisende billede? Langt de fleste evalueringsmetoder i dag er fundamentalt lineært tilrettelagt. Man spørger deltagerne om nogle bestemte ting, tester dem i nogle bestemte ting, på nogle bestemte tidspunkter. Men matcher det deltagernes reelle proces med at tilegne sig og anvende stoffet?
  3. Hvad skal evalueringerne bruges til? Kontrol? Dokumentation? Forbedringer? Måske ligefrem forandringer? Og hvordan skal evalueringerne bruges? Hvordan ser processen ud bagefter? Hvad er det I gerne vil vide og hvilke mulige konsekvenser skal det kunne få?
  4. Hvad er i grunden målet med den aktivitet I vil evaluere? En evaluering bliver aldrig skarpere end de mål evalueringen skal måle opnåelsen af. Hvis en evaluering skal afdække i hvilken udstrækning en læringsaktivitet har skabt de ønskede resultater, så må disse resultater være skarpt identificeret og formuleret. Altså: Hvilke adfærdsændringer i praksis skal læringsaktiviteten føre til? Og hvilke resultater skal virksomheden opnå herved?
  5. Hvordan måler vi pålideligt? Ikke alle adfærdsændringer er lige lette at ”måle”. Så ofte finder vi nogle indikatorer, som vi så måler på i stedet. Men er disse indikatorer reelt pålidelige? Ofte er de ikke! Og hvordan undgår vi at indikatorerne bliver målet i sig selv, for både organisation, undervisere og deltagere? Nogle gange er den mest pålidelige metode at observere og interviewe deltagerne i praksis. Det er bøvlet og svært kvantificerbart. Men igen, hvis målingen ikke reelt er pålidelig, hvilken værdi har den så?
  6. Der er forskel på at evaluere et kursus i anvendelse af et IT program og et kursus i kundeservice. Det er ganske forskellige typer af adfærdsændringer vi ønsker at opnå, de udspiller sig i ganske forskellige kontekster og vil kunne iagttages på ganske forskellige måder. Så hvordan sikrer I at jeres evalueringskoncept reelt rummer – og yder lige meget retfærdighed til – vidt forskellige læringsfelter og anvendelseskontekster?
  7. Positive evalueringer gør rigtig mange glade. Og vi vil gerne forføres. Måske legitimerer evalueringerne ligefrem eksistensberettigelsen af aktiviteten eller af …? Så gør det ikke altid så meget om evalueringerne fortæller hele sandheden. Det er en kunst i sig selv (en tvivlsom én) at spørge så vi kan se en (den ønskede) udvikling/ effekt. Altså: Hvilke hensyn ligger bag evalueringen: En reel nysgerrighed, en interesse i at lære og udvikle, i at udfordre systemer og vanetænkning og i at skærpe kvaliteten og gå efter resultater? Eller …?
  8. Fælles for næsten alle læringsaktiviteter er at effekten ikke er helt som vi kunne ønske os (hvis vi ellers overhovedet har gjort os ulejlighed med at beskrive ”hvad vi ønsker os” (mål)). Hvad så med at evaluere hvad der har spændt ben? Her er der virkelig noget at lære.
  9. Og videre ad den tangent: Hvad er det der reelt virker? Hvorfor gør det det? Og hvordan får vi mere af det? Det er måske det allermest interessante at undersøge/ evaluere. Her er der virkeligt fremtidsperspektiver.

Hvis I tager bestik at disse 9 punkter er I godt på vej, når det drejer sig om at evaluere effekten af undervisning. Det er forskellen på rituel og reel evaluering.

4 skridt, der får dine deltagere til at ændre adfærd