Presentatie Janke Cohen-Schotanus Haagse Academie voor Lichamelijk Opvoeding 28 januari 2016

1. Visie op Onderwijs is
Visie op Toetsing
Janke Cohen-Schotanus
HALO Den Haag
28 januari 2016

2. HALO
op weg naar 2020
hoger p-rendement
betere studielast verdeling
lagere uitval
hogere kwaliteit afstuderenden

3. Hoger onderwijs
in Nederland
te laag rendement
twijfels over kwaliteit afstuderende

4. De lat moet omhoog!
Voor wie? En hoe?

5. De lat moet omhoog!
BSA
Bredere BA opleidingen
Intensiever onderwijs
Intake gesprekken
Meer contacttijd
Selectie
Strenge eisen
Studiebegeleiding
Verhogen kwaliteit docenten
Effect??

6. Meeste maatregelen gericht op
1e jaars studenten

7. Plannen 1e
jaars
Propedeuse in 1 jaar halen
Liefst cum laude

8. nominaal studeren
hoeft niet
driekwart van aantal
punten is voldoende
(BSA)
veel tijd voor
herkansingen in
programma’s
belangrijk dat je
dingen naast je
studie doet (werken
aan je cv)
Herkansen en studievertraging is normaal!
Signalen voor 1e
jaars

9. niet gemotiveerd
onvoldoende voorkennis
lage cijfers VWO
zwakke profielen
selectie nodig
besteden te weinig
tijd aan de studie
drinken te veel
te veel bijbaantjes
Studievertraging: schuld student!
Onze oordelen over vertragers

10. Studievertraging
Schuld student?
Wat kan een opleiding aan
studievertraging doen?

11. Propedeuserendement GNK
als voorbeeld
• 8 faculteiten
• gemeenschappelijke eindtermen
• vergelijkbare inhoud programma’s
• homogene instroom
• rendementsverschillen?

12. Finale propedeuse rendementen (%)
0
10
20
30
40
50
60
70
80
90
100
8 medische faculteiten
Actief leren en veel zelfstudietijd
veel hoorcolleges
Schmidt et al, 2009
17 jaar

13. Propedeuserendement GNK
• Hoe hoog schat je het nominale
propedeuse rendement ( ≤ 1 jaar)?
• Hoe groot mogen de verschillen tussen
faculteiten zijn?

14. Nominale propedeuse rendementen
0
10
20
30
40
50
60
70
80
90
100
8 medische faculteiten
19 jaar

15. Propedeuserendement GNK
Verschillen in:
Onderwijsvormen
Toetsing

16. Onderzoek Onderwijsvormen 1
Curricula met accent op actief leren: hoger
rendement en snellere doorstroom (Lonka en Ahola 1995, Olds en
Miller 2004, Van den Berg en Hofman 2005, Schmidt et al, 2009)
Schmidt et al
8 faculteiten geneeskunde, 10 cohorten (N=13.845)
Actief leren: 8% meer afgestudeerden en 5
maanden korter

17. Onderzoek Onderwijsvormen 2
Heijne-Penninga et al, 2010
3 faculteiten, 2 PBL en 1 traditioneel (n=5478)
4 voortgangstoetsen (4x200 vragen)
Traditioneel beter in jaar 1 en 2
PBL beter in jaar 3 en gehele Master periode
Betere beklijving met PBL

18. Onderzoek Onderwijsvormen 3
(1Schmidt et al, 2010
8 faculteiten, uren programma onderdelen:
geprogrammeerde zelfstudie, hoorcolleges, practica,
tutorgroepen
5 uur meer zelfstudie = 4% meer afgestudeerden
hoe meer hoorcolleges, hoe lager rendement
geen effect practica en tutorgroepen

19. Propedeuserendement GNK
Verschillen in:
Onderwijsvormen
Toetsing:
aantal toetsen, planning, concurrentie,
compensatie, cesuurbepaling,
herkansingsbeleid

20. Wat student bestudeert
Hoe
Hoe veel
Hoe effectief
Wanneer
Biggs et al, 2007
Assessment drives learning

21. Drie vragen van student
wanneer is de toets?
wat moet ik er voor doen?
en als ik zak?
Cohen-Schotanus, 1994,
2012

22. wanneer: 3 - 4 week
wat: alle doelen
en als ik zak? groot probleem
Drie antwoorden voor student
just-time-manager
homo economicus

23. Toetsprogramma
wanneer programmering
wat inhoud
en als ik zak? regelgeving

24. Toetsprogramma
wanneer: programmering
wat: inhoud
en als ik zak? regelgeving
Inhoudelijke sturing
Strategische sturing
kwaliteit
rendement

25. Programmering/planning
Aantal onderwijseenheden
Meer dan 6: kans op onterechte onvoldoende > 50%
Geneeskunde: hoe meer vakken, hoe lager rendement
Planning toetsmomenten
Gemiddelde student begint 2-4 weken voor de toets met
voorbereiding
Concurrentie activiteiten en toetsing
Strategisch gedrag van studenten. Eerst geplande toets krijgt
meeste aandacht
De Gruijter, 1989
Cohen-Schotanus, 1994, 1995
Van der Drift en Vos, 1987

26. Cumulatieve toetsing GNK RuG
keuzes mbt programmering en planning
• blok van 10 weken is één onderwijseenheid
met integrale toetsing
• tussentijdse toetsen
• uitslagbepaling (slagen of zakken) op eind blok
• herhaling stof
• hertentamen alles in 1 keer (zomer)
Cohen-Schotanus, 2012

27. Cumulatieve toetsing
blok 10 weken, integrale bloktoets met 200 vragen
3 deeltoetsen
20 20 20 20 20 20 20 20 20 20
toets 1
toets 2
toets 3
10 10 10 10
5 5 5 5
5 5 5 5
10 101010
10101010 2020
Hertentamen in zomer: 100 vragen over hele blok
Kerdijk et al, 2014

28. Cumulatieve toetsing
blok 10 weken, integrale bloktoets met 200 vragen
3 deeltoetsen
20 20 20 20 20 20 20 20 20 20
toets 1
toets 2
toets 3
10 10 10 10
5 5 5 5
5 5 5 5
10 101010
10101010 2020
Herkansing in zomer: 100 vragen over hele blok
voordelen regelmatig studeren
geen concurrentie
compensatie
revisie mogelijk
herhaling studiestof
hertentamen
onaantrekkelijk

29. Tijdbesteding end-of-block versus cumulatieve toetsing
end-of block cumulatief
Week 1* 4 7
Week 2* 4 8
Week 3* 6 13
Week 4* 6 28
Week 5 8 10
Week 6* 8 12
Week 7* 11 16
Week 8* 13 28
Week 9 19 18
Week 10* 36 30
Kerdijk et al, 2015
* Sign p<.05

30. Zelfstudietijd end-of-block versus cumulatieve toetsing
end-of block cumulatief
Week 1 4 7
Week 2 4 8
Week 3 6 13
Week 4 20 6 28 56
Week 5 8 10
Week 6 8 12
Week 7 11 16
Week 8 60 13 28 122
Week 9 19 18
Week 10 115 36 30 170
Kerdijk et al, 2015

31. Resultaten (% goede antwoorden)
end-of block vs cumulatief
end-of block cumulatief
Week 1-4 73 75
Week 5-8 75 74
Week 9-10 ** 71 78
Kerdijk et al, 2015

32. Taatgen 2009

33. Regelgeving
Herkansing
Lager rendement bij meerdere herkansingen (Jansen, 1995)
Niet plannen tijdens regulier onderwijs (Cohen-Schotanus, 2012)
Compensatie
Maken vooral goede studenten gebruik van (Arnold, 2009)
Alle vakken worden gecompenseerd (Cohen-Schotanus, 1995)
Cesuur
Elke cesuur die niet corrigeert voor moeilijkheid van toets
deugt niet (vele studies, zie bijv. Cohen-Schotanus & Van der Vleuten 2010)
BSA
BSA van 60 studiepunten lijkt best te voldoen

34. Bindend Studie Advies
(Academic Dismissal Policy)
< 35-45 studiepunten: opleiding verlaten
Bij GNK:
Geen rendementsverbetering na twee studiejaren
ondanks extra studiebegeleiding
Verklaring: plafond of drempel?
Stegers-Jager et al, 2011 & 2015
Eijsvolgels et al, 2015

35. Rendement (%) jaarklassen (60 ECTS)
Erasmus
oud jaarklas
Bestuurskunde 1 jaar 30 62
2 jaar 54
Sociologie 1 jaar 16 55
2 jaar 48
Psychologie 1 jaar 50 72
2 jaar 68
Baars et al, 2012

36. Cesuur (slaag/zak grens)
Absoluut: 60% kennis (gecorrigeerd voor raden)
Relatief: gemiddelde prestatie (minus standaard meetfout)
Groningen
Maastricht

37. % gezakten voor 54 toetsen
0
10
20
30
40
50
60
70
80
90
100
Groningen
cesuur: 60% kennis

38. Relatieve cesuur (Wijnen)
gemiddelde
2 x SEM

39. Kennisniveau bij 54 toetsen
0
10
20
30
40
50
60
1 2 3 4 5 6
Maastricht
GoedminFout
cesuur: gemiddelde minus standaard meetfout

40. Gemiddeld % gezakte studenten per
toets
0
10
20
30
40
50
60
70
80
90
100
Maastricht Groningen
17
54

41. 0 4 8 12 16 20 24
0
10
20
30
40
50
2001-2002
Resultaten voortgangstoets

42. Toets als steekproef
makkelijk
gemiddeld
moeilijk

43. Cohen Methode
P95
100%60%
X = cesuur
Test score distributie

44. Cesuur
Cesuurbepaling waarbij geen rekening
wordt gehouden met moeilijkheid van de
toets deugt niet
Onze hang naar absolute cesuren van 50-
60 % leidt tot grote groepen onterecht
gezakte studenten en houdt onze zak-
cultuur in stand

45. Compensatie om 2 redenen
Betrouwbaarheid:
we maken nogal wat beslissingsfouten bij
onze ‘in-house’ toetsen
Validiteit:
Elke toets is slechts gedeeltelijk gerelateerd
aan het einddoel van de opleiding

46. Validiteit
Meet de toets wat deze beoogt te meten
òf:
Is de beoogde interpretatie en het gebruik van
toetsscores terecht
Wools, 2010 en 2015

47. Validiteit (toets)
Wools, 2010 en 2015
performance decisionpractice
domain
competence
domain
test
domainscore

48. Validiteit (toetsprogramma)
Wools, 2010 en 2015
performance
decisionpractice
domain
competence
domain
test
domain
score
performance
performance
score
test
domain
test
domain
competence
domain

49. Waarom compensatie?
Theorie:
Betrouwbaarheid toetsen niet perfect
(de kans is groot dat die ene vijf in een rij
voldoendes toeval is)
Validiteit: vergaande beslissingen moeten op veel
informatie gebaseerd zijn
(eigenlijk is de vraag aan het eind van de
propedeuse: heb ik voldoende informatie over deze student
om te besluiten dat hij/zij deze studie aan kan)

50. Waarom compensatie?
Theorie:
Betrouwbaarheid toetsen niet perfect
Validiteit: vergaande beslissingen: veel informatie nodig
Praktijk:
Goede studenten maken er gebruik van (Arnold et al; 2009)
Alle vakken worden gecompenseerd (Cohen-Schotanus, 1995)
Maw theorie wordt bevestigd

51. Waarom compensatie?
Theorie:
Betrouwbaarheid toetsen niet perfect
Validiteit: vergaande beslissingen veel informatie nodig
Praktijk:
Goede studenten maken er gebruik van (Arnold et al; 2009)
Alle vakken worden gecompenseerd (Cohen-Schotanus, 1995)
Maw theorie wordt bevestigd
Voorwaarde: geldt alleen binnen nominale termijn

52. Wat te doen aan toetskwaliteit en rendement?
Focus beleid: van falende naar nominale student
nominaal = normaal (= lat omhoog)
duidelijke eisen mbt totaalpakket (= lat omhoog)
compensatie binnen nominale termijn (≠ lat omlaag)
verdedigbare cesuur methode (≠ lat omlaag)

53. De lat moet omhoog!
BSA
Bredere BA opleidingen
Intensiever onderwijs
Intake gesprekken
Meer contacttijd
Selectie
Strenge eisen
Studiebegeleiding
Verhogen kwaliteit docenten
Effect??+
??????
??????
??????
??????
++
TOETSBELEID

54. Visie op onderwijs is visie op toetsing