Samenvatting

Achtergrond en doelstelling: Door twijfels binnen het hoger onderwijs over de betrouwbaarheid van beoordelingen in het hoger onderwijs wil de Academie Mens & Arbeid, in deze de opleiding Toegepaste Psychologie, die betrouwbaarheid in kaart brengen. Daarbij gaat het specifiek om de interbeoordelaarsbetrouwbaarheid tussen internen en externen tijdens de (eind)examineringsfase. Zodoende is de centrale onderzoeksvraag geformuleerd: wat is de interbeoordelaarsheidbetrouwbaarheid tussen internen en externen bij het schriftelijke – en  mondelinge deel van de (eind)examinering? Door mistanden in het hoger onderwijs is externe validering volgens een rapport van de commissie Leers een steeds belangrijkere rol gaan spelen. Om deze mistanden in de toekomst te voorkomen en een kwalitatieve eindbeoordeling te krijgen is onderzoek nodig. Er zijn verschillende methoden vanuit de literatuur die duiden op factoren die invloed kunnen hebben op de interbeoordelaarsbetrouwbaarheid. Het gebruik van rubrics, trainingen en evaluatiemateriaal. Door het toepassen van verschillende intra klasse correlatiecoëfficiënten kan de interbeoordelaarsbetrouwbaarheid bepaald worden.
Methode: Er werd gebruik gemaakt van bestaande data vanuit de Academie Mens & Arbeid. Alle cijfers waren apart opgeslagen. Deze werden in SPSS ingevoerd en geanalyseerd. In totaal zijn 187 scripties meegenomen in het onderzoek. 107 hiervan waren bruikbaar voor de secundaire data analyse. Daarnaast werd een vragenlijst afgenomen met meerkeuze vragen en een viertal open vragen. Deze vragenlijst werd online afgenomen. De kwantitatieve data werd wederom in SPSS geanalyseerd. De kwalitatieve data is overgenomen in de bijlagen en inductief gecodeerd. De periode waarover het onderzoek gaat betreft het school jaar 2014/2015 en 2015/2016.
Resultaten: Voor bijna elke analyse werd er geen statistisch significante samenhang gevonden. Hoewel er samenhang gevonden is tussen internen is deze niet significant en berust dus op kans. Ook de onvoldoende samenhang tussen internen en externen berust op kans. Wel werd voor het aantal jaar dat een beoordelaar cijfers geeft en de hoogte van de cijfers een negatieve significante samenhang gevonden.
Conclusie: De beoordelingen van scripties door de in- en externe beoordelaars komen tussen de internen in hoge mate overeen. Tussen de internen en externen is er binnen het schriftelijke onderdeel van de scriptie vrijwel altijd onvoldoende correlatie. Binnen het mondelinge gedeelte is de correlatie altijd voldoende of goed. Hier dient bij opgemerkt te worden dat er ook een negatieve samenhang blijkt tussen het gegeven cijfer en de frequentie en duur van de gegeven beoordelingen omdat zowel interne als externe beoordelaars, naarmate ze langer en frequenter beoordelen, tot een lager cijfer neigen.
Aanbevelingen: De rol van de externe beoordelaar kan onder de loep genomen worden en op basis van de resultaten een meer wegende rol gegeven worden. Daarnaast moet vervolg onderzoek gedetailleerde kwaliteitsveranderingen die vanuit de beoordelaars komen achterhalen. Het trainen van beoordelaars zou kwaliteit kunnen waarborgen.