Toetsanalyse
Toetsanalyse: Cronbach’s alfa
Cronbach’s alfa berekenen en bekijken
In Remindo kan je op twee pagina’s de Cronbach’s alfa berekenen en bekijken:
- Op de ‘Learning Analytics’ pagina in de ‘Afnameomgeving’. De Cronbach’s alfa wordt berekend over alle vragen van je toets.
- Op de pagina ‘Statistieken’ in de ‘Beheeromgeving’. Op die pagina kun je de Cronbach’s alfa over een vraagselectie berekenen.
Beide opties worden vanaf stap 1 uitgewerkt. Bij de FAQ hieronder staat een definitie van de Cronbach’s alfa.
-
De Cronbach’s alfa is een maat voor de betrouwbaarheid van de toets. Hoe betrouwbaarder de toets, des te nauwkeuriger de scores geïnterpreteerd kunnen worden. De coëfficiënt α kan maximaal de waarde 1 aannemen (volledig betrouwbaar) en minimaal de waarde 0 (volkomen onbetrouwbaar: scores zijn toevallig tot stand gekomen). Voor een toets wordt een α nagestreefd van 0.8 om in redelijke mate uitspraak te kunnen doen over het kennisniveau van de student (high stake test). Is het de enige toets waarop het oordeel is gebaseerd, dan is de 0.8 norm het streven. Is de beslissing (geslaagd-gezakt voor de cursus) mede gebaseerd op het resultaat van andere toetsen (essay, tussentoetsen) dan is een lagere betrouwbaarheid dan de gewenste 0.8 verdedigbaar. Regel is: hoe langer de toets, des te beter de differentiatiegraad en des te hoger de betrouwbaarheid. (uit: Online module over toetsing)
-
Stap 1
Cronbach’s alfa in de afnameomgeving.
In de afname-omgeving wordt de waarde berekend over alle vragen van de toets. Je kunt de waarde berekenen over een toetsmatrijs of over een toetsmoment. Het laatste is praktisch als je dezelfde toetsmatrijs op meerdere toetsmomenten hebt ingezet.
Cronbach’s alfa berekenen
- Log in op de ‘Afnameomgeving’, beweeg over het tabblad ‘Resultaten’ en klik ‘Analyses’ aan (zie schermafbeelding).
-
Stap 2
- Je komt bij Learning Analytics (zie schermafbeelding). Je kan de eenheid ‘Toetsmatrijs’ of ‘Toetsmoment’ kiezen. Wij kiezen nu voor toetsmatrijs.
- Kies bij het drop-downmenu je toetsmatrijs. De Cronbach’s alfa verschijnt boven de resultaattabel.
- Er verschijnt geen grafiek waarmee je de Cronbach’s alfa kunt interpreteren. In de ‘Beheeromgeving’ verschijnt die grafiek wel (zie stap 4 voor de grafiek) .
-
Handig! Als je aanpassingen op je antwoordmodel doet, komen ook Cronbach’s alfa waarden beschikbaar waarin de ‘conceptaanpassingen’, de ‘actieve aanpassingen’ of ‘alle aanpassingen’ worden meegenomen. Zie schermafbeelding (Engels).
-
Stap 3
Cronbach’s alfa in de ‘Beheeromgeving’
In de ‘Beheeromgeving’ kun je de Cronbach’s alfa van je toetsmatrijs berekenen op basis van:
- de vragen gebruikt in de laatste afname
- een aangepaste selectie van vragen
Cronbach’s alfa ‘gebaseerd op de vragen gebruikt in de laatste afname’
Deze Cronbach’s alfa wordt gebaseerd op alle vragen in de toetsmatrijs.
- Log in op de ‘Beheeromgeving’ en klik ‘Toetsen’ aan.
- Selecteer je ‘Cursus’ in de pop-up en vervolgens je ‘Toetsmatrijs’ in de lijst links in je scherm.
- Zie onderstaande schermafbeelding.
- Kies de blauwe tab ‘Statistieken’.
- Kies de optie ‘Gebaseerd op de vragen gebruikt in de laatste afname’.
- Klik op ‘Bereken Cronbach’s alfa’.
-
Stap 4
- De Cronbach’s alfa verschijnt, met een korte toelichting op welke gegevens de waarde is gebaseerd en wat de waarde betekent (zie schermafbeelding).
-
Stap 5
Cronbach’s alfa ‘gebaseerd op een aangepaste selectie van vragen’
Bij deze optie is het mogelijk een vraag/vragen uit te sluiten van je berekening van de Cronbach’s alfa. Let op! Dit is een meer geavanceerde optie, waarbij het belangrijk is keuzes goed te overwegen. Vraag bij twijfel advies.
- Log in op de ‘Beheeromgeving’ en klik ‘Toetsen’ aan.
- Zie schermafbeelding bij stap 3.
- Kies de blauwe tab ‘Statistieken’.
- Kies de optie ‘Gebaseerd op een aangepaste selectie van vragen’ (groene pijl).
- Kies in de vragenlijst de vraag/vragen die je wilt uitsluiten.
- Kies een periode (zie rode rechthoek)
- Klik op ‘Bereken Cronbach’s alfa’.
- De Cronbach’s alfa verschijnt, met een korte toelichting op welke gegevens de waarde is gebaseerd en wat de waarde betekent (zie schermafbeelding bij stap 4).
-
Let op! Als je bij ‘Kies een periode’ de velden bij ‘Tot’ invult, geldt het volgende: toetsen van studenten die zijn gestart binnen de periode, maar niet zijn afgerond binnen de periode, worden niet meegenomen in de berekening van de Cronbach’s alfa. In het geval van de screenshot bij stap 3 ligt de grens dus bij 13 februari 2017, 18.00 uur.
