Toetsanalyse: learning analytics (P’-, Rit- Rir- waarde en standaardafwijking) in de afnameomgeving

In de afnameomgeving vind je de volgende analysegegevens: behaalde scores, percentage maximum score, percentage voldoendes en onvoldoendes, P’-waarde, Rit-waarde, Rir-waarde en de standdaardafwijking van de vraag.

Vanaf stap 1 leggen we uit waar je deze analysegegevens vindt (n.b. de waarden in de screenshots komen niet uit een reële toets).

• Tip! Meer inhoudelijke en praktische informatie over het analyseren (en opbouwen) van een toets vind je in de e-module Toetsing.

  In de module wordt betreft de toetsanalyse ingegaan op de volgende onderwerpen:

  • Waarom een toetsanalyse?
  • Begrippen toetsanalyse uitgelegd (P/P’-waarde , Rir-waarde, Coëfficient alfa)
  • Een toets analyseren
  • Oefen met een toetsanalyse

• Stap 1

  • Log in op de afnameomgeving.
  • Klik op het tabblad Resultaten en kies Analyses.
  • Kies of je wilt filteren op toetsmatrijs of toetsmoment. Filter van welke toets je de analysegegevens wilt zien.
  • Er verschijnt een tabel met bovenin i.i.g. de tabbladen: ‘Volledig overzicht’, ‘Details van het resultaat’ en ‘Analyseer vragen’. De tab ‘Volledig overzicht’ staat geactiveerd.
  • Extra: Er is een alternatieve weg om ‘Learning Analytics’ te bereiken. Volg hiervoor stap 3 en 4 op deze pagina.

  
×

• Let op! De ‘Groepsanalyse’ is vanaf 25 september 2022 niet meer mogelijk, maar staat nog wel in enkele screenshots. Heb je vragen over het uitzetten van de groepsanalyse, neem dan contact op met digitaletoetsing@uu.nl.

• Stap 2

  Tabblad: Volledig overzicht (gegevens op toetsniveau)

  • Zie schermafbeelding. De lijngrafiek geeft een percentage van de behaalde scores. Het cirkeldiagram geeft, wanneer je er met de muis op gaat staan, het percentage onvoldoendes en voldoendes.
  • Bij een toets met terugkoppelingsonderdelen wordt er geen cirkeldiagram weergegeven wanneer er geen namen van scoregebieden getoond worden. Daarnaast toont het cirkeldiagram alleen grijze tinten wanneer er gekozen is om geen cesuur toe te passen. De diagram krijgt een gele kleur wanneer er nog niet nagekeken vragen zijn.
  • Onder de grafieken zie je een overzicht van de resultaten van alle studenten die deze toets gemaakt hebben.
  • Via de pijltjes naast de kolomnamen kun je sorteren.
  • Klik achter de naam van de student op het grafiekje om de hele toets van deze student te zien.

  
×


• Stap 3

  Tabblad: Details van het resultaat

  • Klik op Details van het resultaat. De P’-waarde, de STDev-waarde, Rir- waarde en de Rit-waarde per vraag zijn zichtbaar. Je ziet meteen hoe iedere student dezelfde vraag beantwoord heeft.
  • Ga je met de muis op een van de cijfers staan, dan zie je om welke vraag het gaat (naam van de vraag / vraagID). Wil je de hele vraag zien, met het antwoord van de student, klik dan op een gekleurd vakje.
  • Met de optie Voer een actie uit kun je deze gegevens naar Excel exporteren.

  
×


• Stap 4

  Tabblad: Details van het resultaat

  • Als je een terugkoppeling (of meerdere) van de score op bepaalde onderdelen van de toets hebt ingesteld, dan kun je daarop filteren via het uitklapmenu ‘Terugkoppeling’ (zie screenshot).
  • Wanneer je filtert kun je ervoor kiezen om de details van één terugkoppelingsregel te laten zien, of om alle terugkoppelingsregels tegelijkertijd te laten zien.
  • De soorten waardes die je bij de terugkoppelingsregels ziet, zijn gelijk aan die onder het tabblad ‘Details van het resultaat’ (zie vorige stap).
  • Met Voer een actie uit kun je de gegevens naar Excel exporten.

  
×


• Stap 5

  Tabblad: Analyseer vragen

  • Klik op het tabblad Analyseer vragen. Bekijk het screenshot.
  • Onder ‘Code/kenmerk’ zie je de naam van de vraag, de ID uit de beheeromgeving en de gebruikte versie van de vraag.
  • In de volgende kolommen zie: maximaal te behalen score per vraag; aantal studenten dat de vraag beantwoordde (Resultaten); P’-waarde, Rir-waarde en standaardafwijking per vraag.
  • Waardes die gemarkeerd zijn met een rood driehoekje (zie screenshot) wijken af van de optimale waarde. Uitleg verschijnt als je op de gemarkeerde waarde staat.
  • In de kolom met het tekstwolkje zie je of er een opmerking bij een vraag is. Lees hier de mogelijkheden voor het behandelen van opmerkingen.
  • Achter de vragen staan nog twee icoontjes. Klik je op de i (toon toetsvraag en details), dan zie je de vraag en algemene- en meta-informatie over de vraag.
  • Klik je op het lijstje (Toon interactie-analyse) dan zie je hoe vaak studenten een bepaald antwoord hebben gegeven. Je kunt hier direct het antwoordmodel aanpassen (als bijvoorbeeld blijkt dat toch meerdere afleiders juist blijken te zijn). N.B.: Meer weten over het antwoordmodel aanpassen? Zie de links onder kopje 4.3 en 4.5 op deze pagina.

  
×


• Stap 6

  Tabblad: Opmerkingen

  Let op: dit tabblad verschijnt wanneer is ingesteld dat kandidaten opmerkingen kunnen maken tijdens de toets.

  • Klik op het tabblad Opmerkingen.
  • Hier zie je een overzicht van alle opmerkingen van alle studenten die bij deze/dit toetsmatrijs/toetsmoment zijn gemaakt.
  • In de rechterkolom in het overzicht kun je er voor kiezen om op een opmerking te reageren, een opmerking te sluiten, of te zien wat je zelf gereageerd hebt.
  • Daarnaast is er de mogelijkheid om rechtstreeks naar de resultaatpagina van de betreffende kandidaat te gaan. Op deze pagina zal direct gefilterd zijn op alle vragen waarbij een opmerking is gemaakt.

×