Neem formatief niet te snel voor lief: tien lessen van Dylan Wiliam (1 t/m 4)

Naar aanleiding van de workshops van Dylan Wiliam in Amersfoort, zette Dominique Sluijsmans, lector professioneel beoordelen aan Zuyd Hogeschool, 10 lessen op papier. Hieronder volgen les 1 t/m 4. Hier vind je les 5 t/m 7 en hier les 8 t/m 10.

Peer assessment vaardigheden

In 1998 startte ik bij de Open Universiteit een promotietraject dat zich richtte op het betrekken van studenten bij toetsing door hen te trainen in peer assessment vaardigheden. Eén van de eerste publicaties die ik bestudeerde was Assessment and Classroom Learning van Paul Black en Dylan Wiliam, een onderhavig literatuuronderzoek naar formatief toetsen in de klassenpraktijk. Sindsdien heeft dit thema en het werk van Wiliam mijn aandacht.

In 2008, tien jaar na het verschijnen van deze studie, ontmoette ik deze markante man voor de eerste keer. Het was tijdens het vierde congres van de SIG Assessment van de EARLI, waar hij een keynote verzorgde. We hadden een onderhoudend gesprek in de bus van de congreslocatie naar het hotel.

In september 2018, tien jaar later na de eerste ontmoeting, deed de kans zich voor hem weer te zien. In een driedaags event heeft hij ons deelgenoot gemaakt van al zijn kennis en ervaring over formatief toetsen en curriculumontwerp. Over dit bijzondere event is al eerder geblogd door Jörgen van Remoortere en Martje Köhlen. In deze bijdrage deel ik de voor mij tien belangrijkste lessen uit Wiliam’s seminar. Ik hoop dat deze lessen enige helderheid over formatief toetsen geven, maar vooral ook handvatten bieden voor een goed gesprek.

1. Formatief is een eigenschap van een ​beslissing, niet van een toets

Formatief toetsen wordt vaak in één adem genoemd met summatief toetsen. Waar formatief toetsen is gericht op beslissingen over verdere stappen in het leren, gaat summatief toetsen over beslissingen als certificering of selectie. In de praktijk blijkt echter dat formatieve toetsing nog steeds veel eigenschappen heeft van summatieve toetsing. Denk bijvoorbeeld aan een summatieve toets die niet meetelt en daarom formatief zou zijn, het werken met dezelfde typen vragen als in een summatieve toets, of formatieve toetsing beschouwen als een toetsinstrument.

Toetsing in algemene zin ziet Wiliam echter niet als een set van instrumenten, maar als een procedure die je nodig hebt om zorgvuldige conclusies te trekken over het leren en de voortgang van studenten. Formatief en summatief zijn in deze definitie geen eigenschappen van toetsen, maar eigenschappen van die conclusies. Toetsing gericht op het het nemen van formatieve beslissingen ziet Wiliam veeleer als een proces van onderwijzen, waarbij de docent een aantal technieken/activiteiten inzet binnen het territorium van formatief toetsen.

Binnen dit territorium is een vijftal formatieve strategieën te benoemen die van belang zijn in de fasen van doelen stellen, werken aan taken en het bepalen van de weg om doelen te bereiken (zie afbeelding 1, afkomstig uit een presentatie van Wiliam in Adelaide, Australië): 1) het verhelderen, delen en begrijpen van leerdoelen, 2) het organiseren van discussies, taken en activiteiten om bewijs voor leren te genereren, 3) feedback om de student verder te helpen, 4) studenten activeren als leerbronnen voor elkaar en 5) studenten activeren als verantwoordelijken voor hun eigen leren.

Afbeelding 1. Het territorium van formatief toetsen

2. Formatief toetsen staat niet gelijk aan responsive teaching

Dat Wiliam niet altijd gelukkig is met de praktische invulling van zijn werk, blijkt uit een tweet van 23 oktober 2013: ‘Example of really big mistake: calling formative assessment formative assessment rather than something like “responsive teaching”’. In een Twitterbericht van 24 maart 2018 nuanceert hij echter deze definitie, door responsive teaching te positioneren binnen het bovenstaande territorium van formatief toetsen en de relatie tussen onderwijzen en toetsen te duiden (zie afbeelding 2).

Afbeelding 2. De plek van responsive teaching in het territorium van formatief toetsen

In deze afbeelding is te zien dat formatief toetsen duidelijk onderscheid maakt tussen de rol van de docent in de fasen vaststellen waar de studenten staan en hoe zij hun doelen kunnen bereiken, en de rol van de studenten zelf. Wiliam stelt dat responsive teaching en de rol van studenten beiden belangrijke aspecten zijn van formatief toetsen, maar dat hij formatief toetsen niet gelijkstelt aan responsive teaching. Dat zou immers betekenen dat het alleen gaat om de rol van de docent.

Formatief toetsen verwijst naar het vormgeven van een (cyclisch) leerproces waarbinnen docenten door responsive teaching de brug slaan tussen onderwijzen en leren, en daarbij in staat zijn studenten actief te betrekken en aan het werk te zetten. Om in het vervolg van deze bijdrage de focus te houden op de formatieve functie van toetsing (het komen tot conclusies met een formatief doel), zal ik in de volgende lessen – in lijn met de eerder verschenen blog van René Kneyber – spreken over formatief handelen, waarin dus zowel de docent als de student een belangrijke rol vervullen.

3. Kennis over wat leren betekent is voorwaardelijk voor goed formatief handelen

Als we het hebben over onderwijs, is het woord leren misschien wel het meest gebruikte woord. Er is binnen docententeams lang niet altijd eenduidigheid over wat onder leren wordt verstaan. Wiliam stelt heel duidelijk: leren is verandering in het langetermijngeheugen, waarbij storage strength en retrieval strength een belangrijke rol spelen (lees hierover meer in deze blog). Een ander belangrijke boodschap vanuit de onderwijspsychologie is dat we dienen aan te sluiten bij wat de student al weet (het werk van David Ausubel): voorkennis is de start van leren. Het is van belang deze voorkennis goed in kaart te brengen en vanuit die informatie het onderwijs in te richten. Bij het introduceren van een nieuw onderwerp aan studenten, bestaat het gevaar dat zij na een les er verschillende beelden over hebben.

Het is van belang deze beelden expliciet te krijgen, zodat we snappen wat er in de hoofden van studenten gebeurt. Het bijzondere is dat we juist in de gangbare wijzen van toetsing gericht zijn op kortetermijnleren en niet uitgaan van de voorkennis van studenten. Studenten hollen van toets naar toets, vaak door net voor de de toets de opgegeven stof in het hoofd te proppen (cramming).

Daisy Christodoulou stelt dat toetsen op deze wijze lijkt op het rennen van teveel marathons, en houdt in haar recente boek Making good progress een goed en onderbouwd pleidooi het aantal toetsen op basis waarvan summatieve conclusies worden getrokken sterk te beperken. Zij stelt dat formatief handelen studenten de kans biedt veelvuldig te oefenen (deliberate practice); fouten maken mag en moet zelfs om langetermijnleren te versterken. Huidige wijzen van toetsen lijken dit juist te frustreren. Een visie op toetsen dient daarom ALTIJD te volgen op een visie op leren, nooit andersom. Het heeft weinig nut een toetsprogramma te ontwerpen zonder een gedeeld beeld over de doelen van het onderwijs en een gedeelde opvatting over leren.

4. Het type beslissing die je als docent wilt nemen bepaalt dataverzameling, niet andersom

Formatief handelen richt zich op het verzamelen van informatie die nodig is om een bepaalde beslissing over de vervolgstappen in het leren van studenten te nemen. Er is sprake van doelgericht in plaats van toetsgericht handelen. De verzamelde informatie dient docenten handvatten te geven waar studenten staan en welke vervolgstappen nodig zijn (tijdens een les of over lessen heen). De verzamelde informatie wordt pas bewijs als deze worden gebruikt een bepaalde claim te onderbouwen (bijvoorbeeld: Hebben studenten de juiste voorkennis om taak X of Y te kunnen uitvoeren?). Docenten hebben informatie van hoge kwaliteit nodig om deze beslissingen goed te kunnen nemen. Dit betekent dat zij in staat moeten zijn studenten de juiste stimuli te geven zodat de gewenste response wordt opgeroepen, waarbij de kwaliteit van de stimulus de kwaliteit van de response zal bepalen.

De kwaliteit van goede vragen/opdrachten is dus bepalend voor de wijze waarop studenten zullen antwoorden. Vragen zijn bedoeld om studenten aan het denken te zetten en informatie te genereren. Zonder de juiste informatie bestaat het risico dat er onjuiste conclusies worden getrokken (‘Studenten die hun hand opstaken gaven het goede antwoord dus ik kan verder met mijn les.’).

Wiliam stelt dat in het onderwijs vaak de focus ligt op datagestuurd denken, waarbij de verzamelde data leidend zijn voor beslissingen. Deze wijze van informatieverzameling is vaak normgericht, verzameld op vastgestelde momenten en ook vaak maar gericht op een deel van het onderwezen curriculum. Voorbeelden van datagestuurd werken zijn de formeel georganiseerde proefwerken, gestandaardiseerde toetsen en deficiëntietoetsen. De resultaten van deze toetsen worden vervolgens gebruikt voor het nemen van beslissingen. Om formatief handelen kracht bij te zetten, pleit Wiliam voor een verschuiving van een focus op data-driven decision-making naar decision-driven data collection.