Het aankomende digitale nummer van Examens bevat, onder voorbehoud van de laatste redactionele wijzigingen, onder meer de volgende bijdragen.

Artikelen

AI als tweede beoordelaar: wanneer kan de docent stoppen met alles zelf nakijken?

Arnoud Engelfriet & Silvester Draaijer

Wanneer kan een docent stoppen met het zelf nakijken van alle open tentamenantwoorden als een taalmodel meebeoordeelt? De auteurs stellen een geleidelijke aanpak voor. Eerst kalibreren docent en taalmodel: ze beoordelen onafhankelijk een steekproef, en de verschillen worden gebruikt om vragen en correctievoorschriften te verbeteren. Daarna beoordeelt het model alleen de vragen waarbij de docent en het taalmodel vergelijkbaar oordelen. De docent controleert daarna gericht instabiele modelscores, niet-eenduidige vragen, studenten rond de cesuur en een willekeurige steekproef, zonder eerst de AI-score te zien. Zo blijft het menselijk toezicht effectief, zoals de AI Act en de AVG vereisen.

Kalibratie: van goed gesprek naar zichtbaar effect.

Bregje van Dijk & Femke Snieders

In opdracht van Fontys Paramedisch is onderzocht hoe het effect van kalibratie kan worden gemeten. Aanbevolen wordt beoordelaars vooraf een conceptbeoordeling te laten maken en vast te leggen. Zo kunnen consensus en consistentie tussen beoordelaars worden berekend als signaal voor interbeoordelaarsbetrouwbaarheid, niet als harde meting. Bij zorgen over kalibratie kan controle plaatsvinden via herbeoordelingen of herkalibratie met ankerportfolio’s. Een belangrijke voorwaarde is heldere communicatie over het doel van meten: niet het controleren van individuele examinatoren, maar het versterken van gezamenlijke normontwikkeling. Meten heeft pas waarde wanneer de uitkomsten leiden tot professionele dialoog.

De AI-waaier: meer duiding over AI-gebruik in het mbo

Leanne van Beek

De AI-waaier, ontwikkeld door twintig mbo-instellingen en Npuls, biedt een gemeenschappelijke taal voor het gebruik van generatieve AI in onderwijs, toetsing en examinering. Op basis van de internationale AI Assessment Scale, onderscheidt de waaier vijf gebruikscategorieën: van “Geen AI” tot “Innoveren met AI”. Het instrument helpt docenten en studenten vooraf duidelijk te maken welk AI gebruik passend is, afgestemd op leerdoelen, beroepscontext en examenvorm. De huidige ontwikkeling richt zich op voorwaarden die nodig zijn om de waaier praktisch en effectief in het curriculum- en toetsontwerp te integreren.

Uit de praktijk: Toetsen om verder te leren

Willemeijn van der Kloot Meijburg

Bouwmarktmedewerkers krijgen dagelijks uiteenlopende klantvragen. De online leeromgeving DHZ Vakwerk ondersteunt hen bij het ontwikkelen van productkennis en adviesvaardigheden. Dit artikel beschrijft hoe de principes van programmatisch toetsen zijn toegepast bij het ontwerpen van toetsing binnen deze branchebrede online leeromgeving.

Vaste rubrieken

In de schijnwerpers

Ook in het volgende nummer zetten we een persoon, onderzoek of actueel thema binnen toetsing en examinering in de schijnwerpers. In dit nummer Eva de Schipper.

Terecht of niet?

De auteur is dit keer verbijsterd over hoe wordt omgegaan met de beoordeling van een te laat ingeleverde scriptie.

Gezien en gelezen

In deze rubriek besteden we aandacht aan een recente publicatie die relevant is voor de toets- en examenpraktijk, namelijk het rapport van de Onderwijsraad.