Vraaginzichten

Filtermogelijkheden

Je kunt verschillende filters gebruiken om het overzicht van vragen te verkleinen. Je kunt tevens meerdere filters tegelijkertijd gebruiken, bijvoorbeeld een combinatie van een waarderingsfilter en een kwaliteitsfilter. Nadat je een filter geselecteerd hebt, heb je de mogelijkheid om alle filters te wissen door gebruik te maken van de optie 'Filters wissen'. Als je eerder filters hebt gebruikt bij de vraaginzichten van een toets, kun je ook de laatst gebruikte filters herstellen door te klikken op 'Laatst gebruikte filters herstellen'. De volgende opties zijn beschikbaar om vragen te filteren:

• Waardering: Toon vragen met een waardering: telt mee, bonus, volle punten of geschrapt. Je kunt één waardering selecteren in dit filter. 
• Kwaliteit: Toon vragen van een bepaalde kwaliteit: makkelijk, moeilijk, aandacht nodig of goed. Je kunt één kwaliteitsstatus selecteren in dit filter. 
• P-waarde, Rit-waarde en Rir-waarde: Toon vragen met een waarde tussen twee getallen. Voor elke waarde kun je een onder- en bovengrens instellen. Alle vragen met een waarde tussen de grenzen worden getoond.

De waardering aanpassen

Aan de bovenkant van elke vraag vind je de mogelijkheid om de waardering van een vraag aan te passen. In het uitklapmenu worden de volgende vier mogelijkheden weergegeven:

1. Telt mee: Dit is de standaard optie; de vraag telt mee in de cijferberekening.
2. Bonus: De vraag wordt niet meegerekend in het maximaal aantal punten, maar de studenten die de vraag goed hebben, krijgen wel de punten. De gokscore van deze vragen wordt nog steeds meegenomen in de gokcorrectie.  
3. Volle punten: Elke student ontvangt het maximaal aantal punten voor deze vraag. De gokscore van deze vragen wordt niet meegenomen in de gokcorrectie.  
4. Geschrapt: De vraag en de punten voor de vraag worden uit de cijferberekening van de toets gehaald. De gokscore van deze vragen wordt niet meegenomen in de gokcorrectie.  

Let op: als je een vraag wijzigt naar Bonus, Volle punten of Geschrapt, kan de vraag tijdens de toetsinzage niet door deelnemers worden bekeken.

Wanneer je de waardering van de vraag aanpast via het uitklapmenu, worden eerst de gevolgen voorspeld. Je kunt de gevolgen bekijken en vervolgens de waardering aanpassen door op Bevestigen te klikken.

Houd er rekening mee dat de voorspelling geen rekening houdt met de gokcorrectie van de gehele toets.

Vraagstatistieken

In de vraaginzichten wordt elke vraag individueel geanalyseerd. De volgende statistieken worden door Ans berekend: Advies over de kwaliteit van de vraag, P-waarde, Rit-waarde, Rir-waarde, p', Rk, gokscore en de gemiddelde duur.

De zichtbaarheid van de statistieken hangt af van het vraagtype:

Voor meerkeuzevragen berekent Ans ook de a-waarde, de Rat-waarde en de Rar-waarde. Omdat deze waarden iets zeggen over de alternatieven, worden deze waarden verderop uitgelegd onder het kopje 'beoordelingsmodel onderverdeling'.

De vraagstatistieken hebben de volgende betekenis:

• Advies over de kwaliteit van de vraag
  Voor elke vraag wordt op basis van de P- en Rit-waardes, één van de volgende adviezen uitgebracht: 
  • Goed: Alle waardes vallen binnen de gestelde waardes (P-waarde tussen 0.2-0.9 en Rit-waarde boven 0.2).
  • Makkelijk: De P-waarde ligt boven 0.9.
  • Moeilijk: De P-waarde ligt onder 0.2.
  • Heeft aandacht nodig: De Rit-waarde ligt onder 0.2.

• P-waarde: Moeilijkheidsgraad
  De P-waarde geeft de moeilijkheidsgraad van de vraag weer. Zonder de aanwezigheid van negatieve punten toont het hoeveel deelnemers de vraag correct hebben beantwoord op een schaal van 0 tot 1. De P-waarde wordt als volgt berekend:

  P = ([totaal aantal punten van de deelnemers] / [totaal aantal deelnemers]) / [totaal aantal punten voor de vraag].

  Met de aanwezigheid van negatieve punten is het mogelijk dat de P-waarde negatief wordt als de meeste studenten negatief hebben gescoord. In dat geval varieert de schaal van -1 tot 1.
  
  Ans heeft voor deze berekening gekozen omdat individuele alternatieven een negatieve score kunnen bevatten. Om deze reden moet er rekening gehouden worden met de score van de vraag.

• Rit-waarde: Relatie van de vraag tot alle vragen in de toets, inclusief deze vraag
  De Rit-waarde geeft aan hoe goed een vraag past in een toets. In het algemeen geldt: hoe hoger, hoe beter. Rit staat voor Relation Item Test. Voor het berekenen van de Rit-waarde, gebruikt Ans de Pearson correlatiecoëfficiënt. Dit is een statistische methode om de correlatie tussen twee waarden te bepalen. De Rit-waarde zet de vraagscore af tegen de totale score van de toets. Zoals bij alle waarden hangt de interpretatie af van het doel van de beoordeling. Hieronder volgt een indicatie van de interpretatie van de waarde:
  • Een waarde groter dan 0.40 is zeer goed
  • Een waarde tussen 0.30 en 0.39 is goed, maar de vraag heeft nog ruimte voor verbetering.
  • Een waarde tussen 0.20 en 0.29 is een twijfelgeval.
  • Elke waarde lager dan 0.19 geeft aan dat de vraag opnieuw bekeken moet worden.

• Rir-waarde: Relatie van de vraag tot alle andere vragen in de toets, exclusief deze vraag
  Deze waarde meet hetzelfde als de Rit-waarde, maar de Rir-waarde is preciezer, omdat het de eigen waarde niet meeneemt. Ook bij de Rir-waarde wordt de Pearson correlatiecoëfficiënt gebruikt. De Rit-waarde zet de vraagscore tegen de totale score van de toets minus de score op deze vraag. Hieronder volgt een indicatie van de interpretatie van de waarde:
  • Een waarde groter dan 0.40 is zeer goed.
  • Een waarde tussen 0.30 en 0.39 is goed, maar de vraag heeft ruimte voor verbetering.
  • Een waarde tussen 0.20 en 0.29 is een twijfelgeval.
  • Elke waarde lager dan 0.19 geeft aan dat de constructie van de vraag opnieuw bekeken moet worden.

• p': De gecorrigeerde moeilijkheidsgraad voor gokkans
  De gecorrigeerde P-waarde (p'-waarde) toont ook de moeilijkheid van de vraag, maar het corrigeert de waarde voor de statistische kans om het antwoord goed te gokken. De waarde is geschaald van -1 tot 1. Wanneer de p'-waarde dicht bij de 1 zit, was de vraag te makkelijk. Dit betekent dat studenten niet goed worden onderscheiden op basis van hun prestatie. Bij extreem lage p'-waardes was de vraag waarschijnlijk te moeilijk. De p'-waarde wordt als volgt berekend:

p' = P - [ (1-P) / (aantal opties voor de meerkeuzevraag - 1) ]

• Rk: Gecorrigeerde gokkans
  Rk is de gecorrigeerde gokkans waarbij ook de gemaakte keuzes van deelnemers op de vraag worden meegenomen bij het berekenen van de waarde. Bij een meerkeuzevraag met vier alternatieven waarvan één goede, is er een statistische kans van één op vier, of 25%, om het antwoord goed te gokken. Dit wordt vertaald in de gokscore (zie hieronder). De Rk waarde neemt ook de gegeven antwoorden van alle deelnemers mee in de berekening. In het voorbeeld van hierboven zijn 3 alternatieven fout (de afleiders). Idealiter is de verdeling van de foutieve antwoorden (ongeveer) evenredig verdeeld over de afleiders. De Rk-waarde houdt rekening met deze verdeling. De Rk waarde wordt als volgt berekend:
  • In het voorbeeld om de Rk-waarde te berekenen, gebruiken we een meerkeuzevraag met één goed antwoord uit vier antwoordmogelijkheden. De volgende verdeling van antwoorden is van toepassing:
    • Antwoord A (goede antwoord): 40 antwoorden
    • Antwoord B (afleider): 22 antwoorden
    • Antwoord C (afleider): 3 antwoorden
    • Antwoord D (afleider): 14 antwoorden
    • Totaal aantal antwoorden: 79
  • Bereken het aantal foutieve antwoorden: 22+3+14 = 39.
  • Bepaal de ideale, evenredige verdeling van de foutieve antwoorden over de afleiders: 39 gedeeld door drie afleiders is 13 antwoorden per afleider.
  • Bepaal per afleider het aantal studenten dat 'verplaatst' moet worden om de ideale verdeling te krijgen: (22-13) + (14-13) = 9 + 1 = 10 antwoorden. In totaal moeten dus tien antwoorden verschoven worden om de ideale verdeling te krijgen.
  • De ratio 10 / 39 op drie afleiders is (10/39 * 3) = 0.77 antwoordalternatieven.
  • Het aantal goedgekeurde antwoordalternatieven is 4 - 0.77 = 3.23.
  • De Rk-waarde is 1 / 3.23 = 0.31 (of 31%). De oorspronkelijke gokkans was 25%. Hoe dichter de Rk-waarde bij de gokkans zit, hoe beter de verdeling over de afleiders is.

• Gokscore: De score die statistisch gezien gescoord kan worden door het antwoord te gokken
  Voor alle gesloten vraagtypen waarbij het antwoord gegokt kan worden, wordt de gokkans berekend. Het overzicht van de vragen waar dit op van toepassing is en de berekening van de gokscore voor de vraagtypen staat beschreven in het gokcorrectie-artikel. 

• Gemiddelde duur: De gemiddelde duur van alle deelnemers voor deze vraag
  Deze waarde vertegenwoordigt de tijd die nodig was om de vraag te beantwoorden. Als de duur minder dan één minuut is, wordt deze naar boven afgerond op 1 minuut. Als de duur meer dan één minuut is, wordt deze naar beneden afgerond op de dichtstbijzijnde minuut. Bijvoorbeeld: als de gemiddelde duur 2 minuten en 20 seconden is, wordt deze naar beneden afgerond op 2 minuten.

Door met de muis over het informatie icoontje te bewegen, wordt een tooltip weergegeven die de criteria voor het beoordelen van de kwaliteit van een vraag uitlegt, en definities biedt voor de waarden P, p’, Rir, Rit en Rk, waardoor de gegevens gemakkelijker te interpreteren zijn.

error_outline Bij een 'per deelnemer gerandomiseerde' toets krijgen niet alle deelnemers dezelfde vragen. De Rit- en Rir-waarde geven een correlatie aan tussen de vragen en het resultaat van de toets. Ookal krijgt niet elke deelnemer dezelfde vragen, dan wordt deze correlatie alsnog berekend voor dit type toetsen.

Groepsvergelijking

Ans biedt de mogelijkheid om de hoeveelheid deelnemers, P-waarden, Rit-waarden en Rir-waarden voor verschillende groepen te tonen. Groepen worden meestal gebruikt voor de afname van een toets, maar het is ook mogelijk om groepen aan te maken na de afname van een toets. De groepsvergelijking kan worden gebruikt om te zien hoe verschillende groepen ten opzichte van elkaar presteren.

Rangcorrelatie

Onder de rangcorrelatie-inzichten van de toets kun je zien in hoeverre de vraag qua complexiteit aansluit bij de complexiteit van de toets als geheel. Voor de rangcorrelatie sorteren we de deelnemers van de toets op hun cijfer en verdelen we ze in vijf groepen. Ans toont de gemiddelde score van elke groep voor die specifieke vraag.

Als de lijn in de grafiek ongeveer horizontaal loopt, betekent dit dat de vraag even goed is beantwoord door de deelnemers met de hoogste score als door de deelnemers met de laagste score.

Als de lijn meer stijgend is, betekent dit dat de deelnemers met de hoogste scores deze vraag beter hebben beantwoord dan de deelnemers met de laagste scores, zoals je voor de meeste vragen zou verwachten.

• Y-as: Genormaliseerde gemiddelde score
  De genormaliseerde gemiddelde score is de score van de vraag vertaald naar een schaal van 0 tot 1.

• X-as: Kwintielgroep
  Voor de kwintielgroepen, worden de deelnemers gesorteerd op hun cijfer voor de toets en vervolgens in vijf groepen verdeeld. Kwintiel 1 bevat de 20% van de deelnemers met de laagste cijfers op de toets en kwintiel 5 bevat de 20% van de deelnemers met het hoogste cijfer.

Beoordelingsmodel onderverdeling

Voor elke vraag wordt de onderverdeling van de antwoorden van de deelnemers of van de nakijkcriteria van de docent getoond. Hoe dit in Ans getoond wordt hangt af van het vraagtype en van de gekozen beoordelingsmethode. Alle combinaties worden hieronder getoond.

Meerkeuzevraag
Voor elk alternatief en voor het alternatief 'geen alternatief gekozen', toont Ans het aantal deelnemers per alternatief. Ook de a-waarde, Rat-waarde en Rar-waarde worden getoond. 

• a-waarde: Het aantal deelnemers dat het alternatief heeft gekozen, op een schaal van 0 tot 1.
• Rat-waarde: Correlatie van het alternatief ten opzichte van de toetsscore. Ans maakt gebruik van de Pearson correlatiecoëfficiënt en zet de deelnemers die dit alternatief kozen uit tegen de toetsscore.
• Rar-waarde: Correlatie van het alternatief ten opzichte van de toetsscore, minus dit alternatief. Ans maakt gebruik van de Pearson correlatiecoëfficiënt en zet de deelnemers die dit alternatief kozen uit tegen de toetsscore minus de score op dit alternatief.

Open, bestand uploaden, code editor, tekening, spreadsheet en wiskundige vergelijking (indien handmatig nakijken is geselecteerd)
Criteria: Met criteria wordt het aantal deelnemers dat de punten heeft gekregen getoond.
Rubriek: Met een rubriek wordt het aantal deelnemers dat de punten heeft gekregen getoond.
Schuifbalk: Geen beoordelingsmodelonderverdeling wordt getoond.

Criteria:

Rubriek:

Invulvraag
Ans toont voor elk uniek gegeven antwoord het aantal deelnemers per antwoord. Daarnaast is het mogelijk om extra alternatieven goed te keuren in het beoordelingsmodel. 
 

Match & stellingvraag
Voor elke mogelijke combinatie van rijen en kolommen toont Ans het aantal deelnemers dat die antwoordcombinatie heeft gegeven. 

Hotspot, Hotspot match, Rangschik, Vraag met getal wiskunde vergelijking (indien automatisch nakijken is geselecteerd)
Voor deze vraagtypen kan geen beoordelingsmodelonderverdeling worden getoond.