Vol 85 Nr 4 (2008)
Artikel
-
Discussie ‘Tripliek: een onnodig gecompliceerde voorstelling van zaken’
In hun dupliek als volgende stap in de discussie over evidence based onderwijs, betogen Gravemeijer en Kirschner (2008) dat ik een essentiëel onderscheid tussen procesgerichte en resultaatgerichte causaliteit over het hoofd zie, dat ik ze niet heb kunnen overtuigen dat echte experimenten in het onderwijs uitvoerbaar en betaalbaar zijn, en dat ik een confectie- in plaats van een maatwerkaanpak proclameer. In deze tripliek wordt het standpunt verdedigd dat het onderscheid in typen causaliteit de zaak onnodig compliceert, dat de bewering dat iets moeilijk is, niet wel zeggen dat het niet kan geschieden, en dat de taak van de onderwijskunde als toegepaste discipline inderdaad de levering van confectiewerk betreft waarvan we weten dat het gunstige effecten bij leerlingen teweeg brengt. Voorts wordt betoogd dat niet beweerd is dat evidentie alleen tot stand kan komen door experimenten met aselecte toewijzing van leerlingen, leerkrachten en scholen aan controle en experimentele condities.
-
De betrouwbaarheid en generaliseerbaarheid van competentiebeoordelingen op basis van een videodossier
Er komt steeds meer aandacht voor het ontwikkelen van procedures voor het beoordelen van (docent)competenties. Het waarborgen van de betrouwbaarheid en de validiteit van deze beoordelingsprocedures is hierbij een belangrijk punt. Vanuit de literatuur worden ontwerpprincipes aangedragen die de betrouwbaarheid en de validiteit van competentiebeoordelingen zouden kunnen bevorderen, zoals het verhogen van het aantal beoordelaars en taken, het standaardiseren van taken en het gebruiken van taken die heel direct de beoogde competenties meten. Veelal ontbreekt echter de empirische evidentie voor de werkzaamheid van deze principes. In dit onderzoek is nagegaan in hoeverre deze ontwerpprincipes daadwerkelijk leiden tot betrouwbare en valide competentiebeoordelingen. Voorafgaand aan het onderzoek zijn op basis van ontwerpprincipes videodossiers ontworpen die kunnen worden ingezet bij het beoordelen van de coachcompetentie van docenten in het mbo. Een videodossier bestaat uit verschillende videofragmenten van een coachende docent in kritische situaties in de klas. Om de coachcompetentie van de docenten valide te kunnen beoordelen, zijn de videodossiers aangevuld met bronnen waarin contextinformatie is opgenomen. Na het ontwerpen van de videodossiers is bepaald in hoeverre de gebruikte ontwerpprincipes bijdragen aan betrouwbare en valide competentiebeoordelingen. Het onderzoek tracht antwoorden te geven op de volgende onderzoeksvragen: a) in hoeverre wordt de coachcompetentie van docenten in het mbo op basis van een videodossier betrouwbaar gescoord door beoordelaars? en b) in hoeverre zijn de beoordelingen op afzonderlijke videofragmenten van de coachperformance van docenten generaliseerbaar naar het beoogde universum van videofragmenten? Hiertoe zijn vier videodossiers voorgelegd aan twaalf beoordelaars. Scoreformulieren met toegekende scores zijn verzameld. Er is een acceptabele tot hoge overeenstemming tussen beoordelaars gevonden in toegekende scores aan afzonderlijke videofragmenten en zelfs een hoge overeenstemming in toegekende overallbeoordelingen. Daarnaast is er met uitzondering van één beoordelingsschaal (coaching op leerhouding) een acceptabele tot hoge overeenstemming gevonden tussen de toegekende scores aan een videofragment en de gemiddelde toegekende scores aan de andere videofragmenten binnen een schaal. De toegepaste ontwerpprincipes blijken samen te gaan met positieve resultaten op zowel het gebied van het scoren door beoordelaars als op het gebied van de generaliseerbaarheid van beoordelingen over videofragmenten.
-
Op weg naar congruentie tussen opleiden en beoordelen van docenten: een raamwerk voor competent handelen
Een van de voorwaarden voor de alom bepleite congruentie tussen competentiegericht opleiden en assessment is het hanteren van een gemeenschappelijk referentiekader voor verschillende betrokkenen. In dit artikel wordt een model voor competent handelen gepresenteerd, dat die functie kan vervullen. Het is ontwikkeld in de context van het docentenberoep, maar wordt ook toegepast op andere beroepsdomeinen. Het model kan een basis bieden voor het ontwerpen en uitvoeren van valide en betekenisvolle assessments. Gebruikmakend van het model kunnen assessmenttaken worden ontworpen waarin verschillende deelprocessen van competent handelen vertegenwoordigd zijn, zoals die zich afspelen bij de uitvoering van beroepstaken in kritische beroepssituaties. Betoogd wordt dat door uit te gaan van dit model, de kans op gebruik van resultaten van assessments voor verder leren wordt vergroot. Immers, de assessments leveren niet alleen prestatiematen op, maar bieden ook zicht op de afgelegde weg naar de geleverde prestatie en de weg naar een eerstvolgend niveau van competent handelen
-
De validiteit van het beoordelen van docentcognities en docentgedrag in docentportfoliobeoordelingen
This study focuses on the relation between teacher beliefs and teacher behaviour in teacher portfolio assessment. Eighteen experienced teachers developed portfolios about their cognitions and behaviour in instructing, coaching and assessing students’ research skills in Social Sciences. We qualitatively analysed the beliefs and behaviour of 18 teachers as described in their portfolios. In addition, each portfolio was independently assessed by two trained raters on eight content standards (assessment criteria) and the teachers’ classroom behaviour was assessed by their own students in a questionnaire (n = 317). Linear multilevel analysis showed that the students’ assessments of their teachers’ behaviour could be significantly predicted by the raters’ assessments of the teachers’ beliefs and behaviour as described in their portfolios. Teachers with high raters’ assessments on the content standard THINK (the deliberate choice of teaching strategies that meet students’ abilities) had significantly higher student assessments than teachers who were judged low on this content standard. Implications of the results are discussed and suggestions for further research are given.
-
Beoordeling van docenten: inleiding op het themanummer
In dit onderzoek staat de relatie tussen docentcognities en docentgedrag in docentportfoliobeoordelingen centraal. In het onderzoek stelden 18 ervaren docenten portfolio’s samen. De portfolio’s hadden betrekking op cognities en gedrag van docenten bij het instrueren, begeleiden en beoordelen van onderzoeksvaardigheden van leerlingen in de gammavakken. We analyseerden op kwalitatieve wijze de in de portfolio’s opgenomen cognities en docentgedragingen. Tevens beoordeelden zes getrainde beoordelaars paarsgewijs de 18 portfolio’s op acht eerder vastgestelde beoordelingscriteria. Daarnaast werd elke docent door de eigen leerlingen (n = 317) beoordeeld in een leerlingvragenlijst over docentgedrag. De verkregen data (van de onderzoekers, de leerlingen en de beoordelaars) vormden de input voor lineaire meerniveau-analyse van de samenhang tussen docentcognities en gedrag. Daaruit bleek dat de beoordelingen door de leerlingen van het gedrag van hun docenten (over hoe zij onderzoeksopdrachten instrueren en begeleiden) significant konden worden voorspeld vanuit de beoordelingen door de externe beoordelaars. Verder bleken docenten die volgens de beoordelaars een hoe score behaalden op het beoordelingscriterium ‘vooraf nadenken over instructie en begeleiding’ ook door hun leerlingen positiever te zijn beoordeeld op hun gedrag dan de docenten die op dit criterium volgens de beoordelaars een lagere score behaalden. We bediscussiëren de implicaties van de resultaten en geven suggesties voor verder onderzoek.
-
Wat is er mis met beoordelen?
“Waarop letten assessoren als ze beoordelen?”; “Wat is de kwaliteit van nieuw in te zetten beoordelingsinstrumenten?”; “Hoe kunnen we (in de opleiding dan wel in het beroep) blijvend werken aan kwaliteitsverbetering in het beoordelen van docenten?” Deze en andere vragen klinken door in de vier bijdragen van dit themanummer. Centraal staat daarin de vraag naar de validiteit rond docentenbeoordelingen. In deze discussiebijdrage wil ik laten zien dat er nogal wat kwesties spelen rond beoordelen van docenten. Om dit te kunnen doen neem ik een ruimer perspectief om duidelijk te kunnen maken welke bijdrage elk van de artikelen in dit themanummer in het bijzonder levert aan het opbouwen en verbeteren van de kwaliteit in beoordelingspraktijken van (aanstaande) docenten. “Er is niets mis met beoordelen zolang we weten waarover we praten” zou daarbij het motto kunnen zijn.
-
Validiteit in paarsgewijze beoordelingen van docentcompetenties
uit verschillende bronnen en contexten, hangt de validiteit van die beoordelingen voornamelijk af van de beoordelingsprocessen van beoordelaars. Verschillende auteurs hebben gesuggereerd dat de kwaliteit van beoordelingsprocessen kan worden versterkt door samenwerking tussen beoordelaars, maar tot nu toe is weinig empirisch onderzoek beschikbaar over de aard van gezamenlijke beoordelingsprocessen en de wijze waarop samenwerking de validiteit van de beoordeling kan bevorderen. In deze studie beoordeelden 24 beoordelaars paarsgewijs dezelfde docent-in-opleiding. De aard van hun beoordelingsprocessen werd gekarakteriseerd aan de hand van de door hen ondernomen communicatieve activiteiten. Vier typen gezamenlijke beoordelingsprocessen konden op deze manier worden onderscheiden en voor elk type konden specifieke sterke punten en valkuilen worden vastgesteld. De resultaten hebben gevolgen voor de waarborging van validiteit in competentiebeoordelingen en de training van beoordelaars.
