Aan de slag

Aan de hand van de toetscyclus worden hieronder de verschillende stappen beschreven die genomen worden tijdens het digitale toetsproces.

Tip! Om snel en eenvoudig met één druk op de knop te zien wanneer welke stap moet worden genomen in de aanloop naar een digitale toetsafname toe, vul je enkel de toetsdatum in op dtprocedure.humanities.uva.nl. Er rolt dan direct een gepersonaliseerd tijdpad uit met de belangrijkste stappen.


Ontwerpen

Voor je aan de slag gaat met het ontwikkelen van toetsvragen, moet vorm worden gegeven aan de toets. Hierbij komen zaken aan bod zoals welke stof je wilt toetsen, hoeveel vragen je wilt stellen, welk soort vragen je wilt opnemen in de toets en de keuze voor de soort toets.

Tijdens een intakegesprek met de CDT’er wordt het ontwerp van de toets uitvoerig besproken. Hierbij worden de wensen in kaart gebracht en worden de mogelijkheden van het digitale toetssysteem belicht.

Het ontwerp van een digitale toets moet stevig staan voor je begint met het construeren van toetsitems. Als je graag digitaal wilt toetsen, is het daarom van belang dat er zo snel mogelijk contact wordt opgenomen met de facultaire CDT’er. Dit kan door een mail te sturen naar digitoets-fgw@uva.nl.


Construeren

Bij de fase van het construeren worden de toetsvragen gemaakt en de toets samengesteld. Hierbij wordt gebruik gemaakt van een online ontwikkelomgeving. Hierin worden de vragen en antwoorden ontwikkeld, verwerkt en eventueel ook ter inzage aangeboden aan collega’s. Na het aanzetten en vrijgeven van de items, wordt de toets samengesteld. Voor de afname wordt gepland, wordt de examinator gevraagd om de samengestelde toets te testen.


Afnemen

Het digitale toetssysteem biedt een veilige afnameomgeving voor studenten. De student logt in op de afnameomgeving en de digitale toets kan vervolgens opgestart worden. Tijdens de toets worden de gegeven antwoorden van de student regelmatig en tijdens het navigeren tussen vragen, opgeslagen.

Het afnameproces wordt bij summatieve toetsen bovendien omgeven door een aantal veiligheidsmaatregelen om te garanderen dat alleen de ingeschreven studenten de toets maken en dat er niet vanaf een andere locatie dan de gewenste locatie getoetst kan worden. Dit is ook de reden dat summatieve toetsen noodzakelijkerwijs in de speciaal daarvoor ingerichte toetszalen moeten worden afgenomen.


Nakijken

Na de afname van de toets kan het nakijkproces beginnen. Het nakijken hangt af van de gekozen vraagtypen. Bij digitale toetsen kan worden gekozen voor gesloten vragen. In dat geval kan de toetssoftware het antwoord van de student vergelijken met het door jou ingegeven correcte antwoord. In deze situatie is de toets na de afname in feite direct nagekeken.

Open vragen moeten nog wel worden nagekeken in de toetsapplicatie; deze kunnen niet automatisch worden nagekeken door de software. Daarnaast is er de mogelijkheid om door de student geüploade bestanden in bulk te downloaden en buiten het systeem na te kijken, in geval van een open vraag waarbij studenten hun antwoorden moeten uploaden in plaats van de antwoorden direct in het systeem in te voeren.


Analyseren

Soms blijkt na het nakijkproces dat items van onvoldoende kwaliteit zijn (te makkelijk, te moeilijk of ambigu), of dat een onjuiste sleutel is ingegeven bijvoorbeeld. Daarom is het van belang dat na het nakijken de toets en items geanalyseerd worden, voordat de toetsresultaten kenbaar worden gemaakt.

Als na de analyse blijkt dat er aanpassingen nodig zijn, zijn er de volgende mogelijkheden: een vraag goed rekenen, een vraag niet meetellen, de antwoordsleutel aanpassen en de toegekende score op een open vraag wijzigen. Voordat je een aanpassing door kunt voeren, moet je deze controleren op de consequenties die de aanpassing kan hebben (bijvoorbeeld het aantal kandidaten dat geslaagd was voor de aanpassing en het aantal geslaagden na de aanpassing).

Logischerwijs levert het doorvoeren van aanpassingen, aangepaste toetsresultaten op. Na de aanpassing zijn alleen de nieuwe scores zichtbaar. Deze resultaten kunnen nu worden gedownload en gerapporteerd.


Rapporteren

Het rapporteren volgt op de toetsanalyse, vaak in de vorm van een cijfer op een tienpuntsschaal. Het vaststellen en bekend maken van de cijfers vindt plaats buiten de toetssoftware. Om de resultaten door te voeren in SIS of andere systemen dienen de resultaten uit het toetssysteem te worden gehaald door middel van een export.

De toetsresultaten kunnen als CSV-bestand of als PDF-bestand worden gedownload. Hierbij worden alleen de eindscores geëxporteerd. Een gemaakte toets kan ook in zijn geheel worden gedownload. Hierbij wordt naast de eindscore, ook de gegeven antwoorden met de toegekende punten per vraag weergegeven.

Daarnaast biedt de software ook de mogelijkheid voor studenten om hun gemaakte toets in te zien. Er kan dan een inzageperiode worden ingepland door de CDT’er. Om te voorkomen dat de toets op straat komt te liggen, is het noodzakelijk dat ook het inzagemoment plaatsvindt in een veilige omgeving; een digitale toetszaal.


Evalueren

Ten slotte de evaluatie: deze is erop gericht de toets een volgende keer beter te construeren. Bijvoorbeeld door de erg moeilijke, erg makkelijke en ambigue vragen te bekijken, hiervan te leren en desgewenst aan te passen voor hergebruik. De vragen die kwalitatief goed zijn gebleken uit de analyse, kunnen op een ander moment worden hergebruikt.