Måleredskaber i dagtilbud

Håndbog i vurdering og udvælgelse af måleredskaber

EVA om målekvalitet

”Det er vigtigt for mig at pointere, at måleredskabshåndbogen ser på målekvalitet ud fra tre anerkendte kvalitetsparametre (gennemsigtighed, pålidelighed og gyldighed) - og ikke på anvendelighed, sprogsyn eller lignende. Det er op til kommunerne at vurdere, om det aktuelle syn på sprog, motorik eller lignende er i overensstemmelse med den måde, den enkelte kommune ser på det. Vi ser blot på, om sprogsynet eller det, redskabet nu engang måler er beskrevet, så det er muligt for den enkelte kommune at afgøre, om denne beskrivelse er i overensstemmelse med deres forståelse af sprog eller det man ønsker at måle.”

EVA ved: Områdechef Dina Celia Madsen 12.2021

Opdatering af Håndbogen – hvorfor er LearnLab ikke med?

EVA har i november 2021 udgivet en revideret udgave af håndbogen ”Måleredskaber i dagtilbud” fra 2018. Det fremgår i den reviderede udgave, at Kompetencehjulet fra LearnLab ikke indgår i opdateringen. I håndbogen står der, at: "Udvikler har ikke ønsket at fremsende dokumentation for redskabet, hvorfor det ikke har været muligt at opdatere redskaberne".

En mere retvisende formulering vil dog være, at:

Udvikler (LearnLab) har besluttet ikke at medvirke efter en konstruktiv dialog og kontakt med repræsentanter fra EVA.

I forhold til håndbogen "Måleredskaber i dagtilbud" er der tale om fem af LearnLabs pædagogiske redskaber, der ikke længere indgår:

  • Kompetencehjulet
  • PUB Sprog (ændret navn til Kompetencehjulet Sprog)
  • PUB Krop (udbydes ikke længere)
  • PUB Social (udbydes ikke længere)
  • PUB Personlig (udbydes ikke længere)

Kort om

Baggrunden for ikke at deltage

LearnLab mener ikke, at LearnLabs pædagogiske redskaber kan vurderes fyldestgørende efter EVAs vurderingsgrundlag, der tager udgangspunkt i de tre kvalitetsparametre: gennemsigtighed, pålidelighed og gyldighed.

Ved EVAs opdatering af håndbogen oplyste EVA, at revurderingen ville ske på samme grundlag som i udgaven fra 2018. Derfor så LearnLab ingen grund til deltage, da vurdering af LearnLabs redskaber ikke ville ændre karakter – det ville være spild af både EVAs og LearnLabs tid.

I og med at EVA ikke har haft mulighed for at inddrage kvalitetsparametre som anvendelighed og effekt i vurderingen, kan LearnLabs måleredskaber ikke få kredit for kommuners erfaringer med både ”anvendelighed” og ”effekt” fra systematiske, helhedsorienterede vurderinger af tusindvis af børns udbytte af læringsmiljøerne siden 2010.

LearnLab er optaget af, at redskaberne er anvendelige og har effekt i praksis.

Hvis valget af et måleredskab udelukkende skal baseres på EVAs vurdering i ”Måleredskaber i dagtilbud”, kan håndbogen rejse flere spørgsmål end svar, idet kun ganske få redskaber ligger højt på alle tre vurderingsparametre i EVAs vurdering.

Valg af kvalitetsparametre

I de seneste år har der været fokus på, at evaluering og måling skal være en understøttende og udviklende del af den pædagogiske praksis.

Når en vurdering af pædagogiske måleredskaber udelukkende baseres på gennemsigtighed, gyldighed og pålidelighed, hjælper man ikke brugeren med at træffe et kvalificeret valg i forhold til at vælge redskaber, som bidrager til at understøtte og udvikle den pædagogiske praksis.

Hermed mener LearnLab, at man i højere grad bør kigge på, i hvilken grad de data en måling/evaluering genererer, er af en kvalitet og omfang, som har høj anvendelighed, som kan understøtte og udvikle den pædagogiske praksis.

Når gennemsigtighed, gyldighed og pålidelighed er grundlaget for at vælge et pædagogisk redskab, bliver det også op til den enkelte kommune at gøre sig erfaring med redskabets beregning og præsentation af data.

"Sprogvurdering 3-6" er et eksempel på et redskab som ligger højt i EVAs vurdering, men som benytter en beregning, der kan have konsekvenser i praksis særligt for de sprogligt udsatte børn.

 

Topkarakter trods kendte konsekvenser

LearnLabs fravalg er også sket på baggrund af, at EVA med udgangspunkt i de tre kvalitetsparametre i 2018 gav "Sprogvurdering 3-6" topkarakter.

 

I processen med opdateringen af "Måleredskaber i dagtilbud" viste det sig imidlertid, at der var behov for at ændre i kvalitetsparametrene.

På forespørgsel fra LearnLab i november 2021, om årsagen til at ændre i kvalitetsparametrene svarede områdeleder Dina Celia Madsen fra EVA: 

Redskaber har ændret status af forskellige årsager:  

Forbedret og mere finkornet skala til vurdering af redskabernes kvalitet (pålidelighed og gyldighed)  

Vi har som en del af opdateringen af håndbogen valgt at vurdere redskaberne ud fra en mere finkornet skala med fire kategorier frem for tre. Beslutningen om at foretage denne ændring er truffet ud fra en vurdering af, at kategorien ”Delvis” fra 2017 ikke var finkornet nok. Kategorien ”Delvis” indfangede ikke centrale forskelle mellem redskaberne inden for denne kategori. Der var stor forskel på redskabernes kvalitet alt efter, om de lå i bunden af ”Delvis”-kategorien eller i toppen.  

For at sikre en systematisk gennemgang af redskaberne valgte vi derfor at opdele kategorien ”Delvis” i to kategorier ”I mindre grad” og ”I nogen grad”.  

Herefter er den indsendte dokumentation fra udviklere og forlag samt dokumentationen fra 2017 gennemgået, og der er foretaget en ny systematisk vurdering, hvor dokumentation for forskellige tests af gyldighed og pålidelighed har udløst et antal point og det samlede antal point har herefter ført til en placering i én af de fire kategorier.” 

 


Topkarakteren til "Sprogvurdering 3-6" blev revurderet i forbindelse med ændringen af vurderingsparametrene i 2021. EVA oplyser som begrundelse:  

"Eksempelvis har udviklerne af Sprogvurdering 3-6 år fremsendt ny dokumentation for redskabets kvalitet. Foruden den nye dokumentation for redskabets kvalitet, er der dog også foretaget en mindre justering af selve redskabet."

Selv om vurderingen af "Sprogvurdering 3-6" er faldet i pålidelighed og gyldighed, ligger redskabet stadig i den gode ende af EVAs vurderinger.

Dét, EVA ikke kan oplyse om i sin vurdering, er, at der ved vurdering af børn med "Sprogvurdering 3-6" er, en række overraskelser og konsekvenser, der kan medføre at sprogligt udfordrede børn går under radaren, fordi de bliver vurderet for højt.

Hvad kvalificerer LearnLabs kritiske holdning til EVAs vurdering af Sprogvurdering 3-6?

Den digitale understøttelse af ”Sprogvurdering 3-6” blev i 2017 lagt ud til private aktører. LearnLab udviklede en digital understøttelse af ”Sprogvurderingen 3-6”, men fandt ved kvalitetssikringen af sprogvurderingen en række overraskelser og konsekvenser, der betød, at LearnLab valgte ikke at udbyde ”Sprogvurderingen 3-6”.

Overraskelserne og konsekvenserne drejer sig ikke om "Sprogvurdering 3-6" gennemsigtighed, pålidelighed eller gyldighed, men netop redskabets anvendelighed og effekt.

De afdækkede "overraskelser og konsekvenser", som bør indgå ved vurderingen af sprogtesten, når sprogligt udfordrede børn testes, giver LearnLab indsigt i her.

Læs mere om overraskelser og konsekvenser

Kompetencehjulets anvendelighed og effekt

Kompetencehjulet understøtter, at alle børn mødes af et pædagogisk læringsmiljø, der understøtter det enkelte barns trivsel, læring, udvikling og dannelse.

Observationer og vurderinger af børnenes udbytte af læringsmiljøet, er værdifulde for det enkelte barn, for den pæda­gogiske praksis på stuen, for intuitionen og for kommunen som helhed. Det pædagogiske personale oplever, at kompetenceprofilerne synliggør barnets aktuelle udvikling − visuelt og beskrivende − og giver viden om barnets behov for indholdet i den pædago­giske praksis til gavn for det enkelte barns fortsatte udvikling.

Løbende observationer og vurderinger med Kompetencehjulet, der er en del af den pædagogiske praksis, understøtter opbygning af viden og udvikler indholdet i de pædagogiske læringsmiljøer.

For et barn med behov for tværfaglige indsatser, giver barnets kompetenceprofil vigtige informationer til tværfaglige samarbejdspartnere om barnets ressourcer. Her fremgår også markører, der kan spore de tværfaglige samarbejdspartner ind på barnets udfordringer: følelsesmæssigt, kognitivt, sprogligt, motorisk m.m.

Eksempel på kommune

Systematisk brug af LearnLabs pædagogiske observationsredskaber har skabt lokal evidens. En kommune har siden 2018 ved halvårlige vurderinger af ca. 1600 børn fulgt børnenes aktuelle udvikling og progression i alle læreplanens temaer. Institutionerne har arbejdet datadrevet – de har planlagt pædagogiske aktiviteter med udgangspunkt i børnenes nærmeste udviklingszoner – de har fulgt op, reflekteret over børnenes progressionen og planlagt nye indsatser.

Status på børnenes udbytte af læringsmiljøerne 2021

Diagrammet er baseret på evaluering af 1603 børn i alle læreplanens temaer i en kommune i 2021.
Børnene er født fra januar 2015 til februar 2021.
Børnenes gennemsnitlige alder er 3,9 år (den stiplede linje "baseline").
Børnene er vurderet i læreplanens 6 temaer (de grå søjler). Hvert tema er inddelt i et antal undertemaer (de farvede søjler).

Børnene bag tallene 

1338 (83,5%) af børnene er dansksprogede og 265 (16,5%) af børnene er tosprogede.

Børnenes udvikling er opdelt i tre kategorier:

  • Fra -0,6 år og derunder i forhold til typisk forventet udvikling. Her finder vi de børn, som har brug for særligt fokus for ikke at komme yderligere bagud i udvikling, inden de begynder i 0. klasse – og gerne – indhente noget af det forsømte.

  • Fra -0,5 til +0,5 år i udvikling i forhold til typisk forventet.

  • Fra +0,6 år og derover i forhold til typisk forventet. Her finder vi de børn, som viser tegn på at være ”højt begavede børn”, der også har brug for særligt fokus.

Tabellen viser: 

"Sprog”

4,2% af de dansksprogede børn er -1,0 år eller mere under typisk forventet udvikling. Det svarer til 56 børn.

Det ser ud til, at de børn, der er i denne gruppe, er børn, som bl.a. kan have udviklingsmæssige udfordringer, som relaterer til biologiske forhold.

21,8% af de tosprogede børn er -1,0 år eller mere under den typiske udvikling. Det svarer til 58 børn.

Det er ikke overraskende, at de tosprogede børn gennemsnitligt ikke behersker dansk på samme niveau som dansksprogede. Data kan vise, om de tosprogede børns  progression viser, at de haler ind på de dansksprogede børn.

"Personlig" og "Social"
4,2% (56 børn) og 5,8% (78 børn) af de dansksprogede er -1,0 år og mere under den typiske udvikling.

13,1% (32 børn) og 15,1% (78 børn) af de tosprogede børn er -1,0 år og mere under den typiske udvikling, hvilket er positivt.

et pædagogisk koncept

Kompetencehjulet samler data om
  • Opsporing og forebyggelse
    Tidlig identificering af børn i farezonen, som har brug for særlig støtte og ekstra opmærksomhed. Målrettede indsatser iværksættes ud fra børnenes individuelle kompetenceprofiler med udgangspunkt i barnets nærmeste udviklingszone.

  • Systematiske iagttagelser
    Visualisering af systematiske pædagogiske iagttagelser giver overblik over et barns eller en børnegruppes ressourcer med det formål at kunne tilrettelægge relevante aktiviteter - med hjælp fra Kompetencehjulets didaktiske onlinebibliotek, indeholdende faglig viden, metode og teori.

  • Indhentning af kvalitetsoplysninger
    Data, der gør det muligt at følge udviklingen over tid, på tværs af institutioner og kommuner, fx for at følge børnenes sproglige udvikling eller børnenes helhedsorienterede udvikling (i alle læreplanens temaer).

Redskaber

Vi tilbyder også
Få styr på sprogvurdering af 3-årige og det pædagogiske arbejde med børns sproglige udvikling - Kompetencehjulet

Sprogvurdering
Kompetencehjulet - evalueringsredskab til børnehave, vuggestue og dagpleje

Kompetencehjulet
Tidlig opsporing af børn med sprogforstyrrelse - redskab til tidlig opsporing og indsats i dagtilbud

1 ud af 14 har DLD

Kontakt

Sådan kommer du videre

Brug for en snak om, hvordan I kan styrke læringsmiljøet og kvalificere arbejdet med læreplanerne i din institution? Giv os et kald på 96 35 28 07 eller udfyld formularen, så kontakter vi dig.

Kontakt os