Hvad er formativ evaluering? Introduktion til teoretisk ramme, potentielle bidrag og eksempler på konkrete resultater fra en formativ evaluering

I modsætning til en såkaldt summativ evaluering, der retter sig mod et afsluttet arbejde og outputtet heraf, er en formativ evaluering fremadrettet, dvs. orienterer sig mod at styrke og stimulere udviklingen i et igangværende projekt ved at generere viden og indsigt, som løbende kan informere beslutningstagere og praksis i arbejdet med at justere et projekt eller indsats. En formativ evaluering fokuserer således ikke på outcome og effekter, men på læring, proces og viden, der undervejs i forløbet kan give de implicerede parter større indsigt i relevante forhold om et projekt.

Overordnet set søger en formativ evaluering at give feedback og svar på følgende spørgsmål:
- 1) Hvor skal projektet hen (dvs. sætter mål og retning: hvad skal der gøres fremover)?
- 2) Hvor er projektet nu (dvs. nuværende status: hvad er der sket indtil nu)?
- 3) Hvordan skal projektet komme videre (dvs. fokus på handling: hvad kan der gøres fremadrettet)?

I den forstand er der tale om en konstruktiv evalueringsform, der adresserer nuværende processer og praksis med henblik på handling og udbedring af svagheder og udfordringer i projektet samt vejledning i forhold til kompetenceudvikling og -opbygning.

På oplægget introduceres det overordnede teoretiske afsæt for arbejdet med formative evalueringer, der lægger sig tæt op af aktionsforskning. Forskelle på en summativ og formativ evaluering præsenteres, og det diskuteres ligeledes, hvordan en formativ evaluering adskiller sig fra en procesevaluering. De særlige bidrag, en formativ evaluering kan tilføre udviklingen af interventioner, fremhæves.

Et eksempel på en formativ evaluering præsenteres med udgangspunkt i det igangværende projekt Datadreven Sundhedsfremme på Erhvervsuddannelser, der i 2021-22 blev afprøvet og tilpasset undervejs via formativ evaluering i en præpilotfase på erhvervsskolen Holbæk EUC-Nordvestsjælland (interventionen testes pt. på otte pilotskoler). Metodedesign for den formative evaluering på Holbæk EUC-NVS præsenteres, og en række konkrete resultater og ændringer af Datadreven Sundhedsfremme på Erhvervsuddannelser på baggrund af evalueringen fremhæves.

Primært budskab:
At tilføre en formativ evaluering i de tidlige projektfaser kan medføre vigtig læring og være med til at sikre betydningsfulde ændringer løbende samt sætte retning i forhold til at nå de ønskede mål

Implikationer for praksis:
Oplægget giver en indføring i, hvordan man i praksis kan arbejde med evaluering som proces for læring og udvikling og sætte fokus på et projekts potentielle barrierer, styrker og svagheder

Baggrund:
En stor andel af danske erhvervsskoleelever er i risiko for at udvikle sygdomme senere i livet som følge af dårlig kost, rygning, lav fysisk aktivitet og dårlig mental sundhed – der er derfor behov for effektive sundhedsfremmende interventioner rettet mod erhvervsskoleelever. Projektet Datadreven Sundhedsfremme på Erhvervsuddannelser (Data Sund EUD) har til formål at udvikle en bæredygtig og systemforandrende model til fremme af sundhed og trivsel blandt erhvervsskoleelever.

Data Sund EUD-modellen bygger på en systemorienteret og samskabende tilgang, hvor ansatte og elever på erhvervsuddannelser sammen med kommune og lokale aktører selv bestemmer, hvordan de vil fremme sundhed blandt eleverne med udgangspunkt i viden, data og motivation. Data Sund EUD-modellen testes i løbet af 2022-24 via virknings- og procesevaluering på otte erhvervsuddannelser i fire kommuner/to regioner.

Modellen, der afprøves på de otte skoler, er udviklet i to faser: En indledende fase, hvor de overordnede komponenter og strukturer af modellen blev udviklet på baggrund af tidligere projekterfaringer, litteratur og viden om erhvervsskoleelevers sundhedsadfærd samt en justerende udviklingsfase, hvor den foreløbige model blev afprøvet på en præpilotskole (Holbæk EUC-Nordvestsjælland) i 2021-22 og løbende tilpasset via en formativ evaluering med fokus på modellens styrker, svagheder og særlige udfordringer – det er eksempler fra denne formative evaluering, der præsenteres på oplægget. Formålet med den formative evaluering var at vurdere, videreudvikle, konkretisere og tilpasse modellen på baggrund af data og input fra praksis.

Modellen, der blev afprøvet på Holbæk EUC-NVS, var bygget op omkring en kortlægning af skolens elevers sundhed og trivsel (sundhedsprofil), fællesmøder med formidling af sundhedsprofil, workshops med 5-7 elever/medarbejdere, etablering af en koordinationsgruppe med repræsentanter fra skolens ledelse, medarbejdere, elever og Holbæk Kommune, samt udpegning af en lokal tovholder på skolen. På oplægget gennemgås centrale ændringer i bl.a. disse elementer.

Metode:
Teoretisk baserer formativ evaluering sig på aktionsforskning, der betragter forskning som en dynamisk proces, der ikke kan forudbestemmes, men ændres og udvikles i takt med, at forskere og deltagere (praksis) øger deres indsigt i de emner, processen angår – en sådan tilgang kan være yderst relevant, når man ønsker at opnå viden om, hvordan implementering af ny viden og nye processer foregår i praksis.

Den formative evaluering i Datadreven Sundhedsfremme på Erhvervsuddannelser i præpilotfasen på Holbæk EUC-NVS baserede sig på følgende kvalitativ dataindsamling:

- Observationer og noter under koordinationsgruppemøder, fællesmøder og workshops
- Løbende telefoninterview med medlemmer fra koordinationsgruppen (repræsentanter for ledelse og medarbejdere samt skolens tovholder i projektet)
- Korte interviews med 3 elever fra koordinationsgruppen
- Opfølgende interview med workshopdeltagere
- Interview med to kommunale deltagere
- Ugentlige møder med projektets to regionale projektkoordinatorer

Centrale aktører var aktivt involverede i den formative evaluering for at understøtte kontinuerlig forandring og forbedring af projektet og træffe beslutninger om retning og ændringer undervejs. Faste projektmøder mellem projektledelse, forskning og repræsentanter for praksis (de to regionale koordinatorer) fungerede som centralt læringsrum for kapacitetsopbygning, fortolkning af data, faglig/praktisk sparring samt beslutningstagen.

Projektets specifikke aktiviteter – herunder de enkelte interventionskomponenter og rekrutteringsstrategier – blev udviklet og justeret på disse projektmøder med udgangspunkt i data og lokale praksiserfaringer og efterfølgende kvalificeret og drøftet med repræsentanter for Holbæk EUC-NVS via en regional koordinator.

Resultater:
Den formative evaluering i projekt Datadreven Sundhedsfremme på Erhvervsuddannelser på Holbæk EUC-NVS førte både mindre justeringer og større ændringer med sig, herunder fravalg af en gennemgående koordinationsgruppe på skolen, en styrket formidlingsindsats til aktører på skolen samt tilpasning af lokale beslutningsprocesser. En række konkrete eksempler på ændringer i Datadreven Sundhedsfremme på Erhvervsuddannelser præsenteres med udgangspunkt i hvilke data fra den formative evaluering, der gav anledning til selvsamme justeringer. Der er tale om foreløbige resultater.

Konklusion:
Formativ evaluering producerer praktisk viden på baggrund af erfaringer og praksis blandt de involverede – herunder fagprofessionelle – og kan således sikre tidlig indflydelse og en oplevelse af lydhørhed, gensidig forståelse og fælles mål, og herigennem være med til at bygge bro mellem forskning og praksis. Dertil kan en formativ evaluering være med til løbende at forbedre et projekt via dybdegående viden om udfordringer og gode erfaringer; derved reduceres uhensigtsmæssige processer, tilgange og interventionselementer i et igangværende projekt, inden effekten heraf undersøges nærmere.