In de afgelopen vijf jaar heeft Everard van Kemenade onderzoek gedaan naar de effecten van het accreditatiesysteem in Nederland en Vlaanderen.
Dat heeft geleid tot het proefschrift Certificering, accreditatie en de professional (Van Kemenade, 2009) waarop hij in april 2009 is gepromoveerd. Ad Vermeulen heeft een bijdrage aan het proefschrift geleverd bij de statistische analyse van de resultaten. Centraal stond de vraag onder welke voorwaarden professionals bereid zijn mee te werken aan accreditatie. Het onderzoek bestond uit drie fasen.

In dit artikel gaan we met name in op de betekenis van de conclusies van het proefschrift voor het nieuwe accreditatiesysteem, dat binnenkort zal worden ingevoerd. Eerst zullen we daartoe beschrijven welke methoden zijn gebruikt en wat dat aan resultaten heeft opgeleverd.

Methode

In de eerste fase van het onderzoek is een bestaande gevalideerde vragenlijst (Metselaar, 1997) toegepast in drie opleidingen binnen een hogeschool om te achterhalen wat voor professionals in het hoger onderwijs belangrijke issues zijn bij accreditatie. Vervolgens zijn de resultaten daarvan verwerkt tot een lijst van zeven stellingen die in een tweede onderzoek zijn voorgelegd aan 1500 docenten uit 100 hogescholen in Nederland en Vlaanderen. De respons was 365, zijnde 24,3 procent (zie schema 1).

De resultaten van deze vragenlijst zijn besproken met 37 experts, eveneens uit Nederland en Vlaanderen, gebruikmakend van de Delphi-methode. De experts waren managers, docenten, kwaliteitsdeskundigen en vertegenwoordigers van de externe kwaliteitsbeoordelende instanties, zoals VBI en NVAO. Doel van het Delphi-onderzoek, dat uit een schriftelijke en een mondelinge ronde bestond, was mogelijke verklaringen te vinden voor de resultaten uit de eerste twee stappen van het onderzoek.

Resultaten

Accreditatie blijkt de werkdruk in de ogen van de docenten te verhogen. Bijna de helft van de respondenten antwoordt, dat men onzeker is over de gevolgen van accreditatie. Dat accreditatie stress verhoogt wordt door van de respondenten bevestigd. Accreditatie is onderwerp van gesprek met collega’s. Eveneens een hoog percentage van de hogeschooldocenten geeft aan, dat zij hulp nodig hebben van kwaliteitszorgspecialisten om de accreditatie tot een goed einde te brengen. Accreditatie beknot de persoonlijke vrijheid niet. De helft van de respondenten zou niet voor accreditatie kiezen.

Schema 1: Stellingen

Bij sectoren economie, gezondheidszorg en agrarisch onderwijs zijn degenen die voor accreditatie kiezen in de meerderheid; bij sectoren Kunsten, welzijn en techniek zijn degenen die niet voor accreditatie kiezen in de meerderheid. Vlamingen zijn significant positiever over accreditatie dan Nederlanders. Waar 152 Nederlanders niet kiezen voor accreditatie tegen 123 die dat wel doen, zijn er meer Vlamingen die kiezen voor accreditatie (59) dan zij die dat niet doen (31).

De Delphi-bijeenkomst met 37 experts schept zicht op mogelijke onderliggende oorzaken. In twee ronden werden de experts in vier groepen bevraagd naar hun argumentatie voor een bepaalde stelling. Een ronde vond schriftelijk plaats, een mondeling. De experts waren onderverdeeld in een groep docenten, een groep managers, een groep kwaliteitsdeskundigen en een groep bestaande uit vertegenwoordigers van VBI’s en de NVAO.

Professionals – zo stellen de experts – zijn loyaal ten aanzien van het organisatie-onderdeel waar ze werkzaam zijn, wellicht ook uit eigen belang. Professionals willen ook best verantwoording afleggen, maar dan over hun vak, hun werkzaamheden met de klant. En als ze dan verantwoording afleggen dan het liefst aan deskundige vakgenoten (peers) en dat zijn, zo wordt gesteld, de personen in de visitatiecommissies niet allemaal evenzeer.

Het accreditatieproces, zo blijkt uit het Delphi-onderzoek, zal meer problemen opleveren, als het management onvoldoende ondersteuning biedt en er nog veel extra werk gedaan moet worden om de interne kwaliteitszorg op orde te krijgen. Professionals kunnen te weinig organisatiebetrokken zijn en de neiging hebben de verantwoordelijkheid af te schuiven op anderen. Bovendien is er een risico dat de consequenties van de certificering zo streng zijn, dat window dressing gaat optreden. Een van de belangrijkste problemen ten aanzien van accreditatie is, aldus de experts, dat professionals het ervaren als een vorm van controle en daar houden ze niet van (zie ook Weggeman 2007). Met andere woorden professionals prefereren het verbeter- en het betrokkenheidsparadigma boven het beheersingsparadigma (Van Kemenade et al, 2008).

Samengevat zien we drie factoren uit ons onderzoek die de bereidheid van de professional om mee te werken aan certificering bepalen: het certificeringsysteem; kenmerken van de professional zelf en kenmerken van de organisatie. Vlaamse experts geven aan dat het verschil in scores tussen Nederland en Vlaanderen te maken zou kunnen hebben met het verschil in gezagsverhoudingen in hogescholen van beide landen.

De conclusies en het nieuwe accreditatiestelsel

Met name de conclusies ten aanzien van het accreditatieproces en de organisatie zijn hier relevant. Op systeemniveau zijn vijf voorwaarden geformuleerd voor de bereidheid van hogeschooldocenten om mee te werken aan het accreditatieproces:

1. de waardeoriëntatie (control)
2. het object
3. de basisregels
4. de procedure
5. deskundige peers

Binnen hogescholen noemden we drie voorwaarden:

1. eigenaarschap
2. management en
3. intern kwaliteitszorgsysteem

We gaan op deze factoren in (zie ook afbeeldingen onderaan: Schema 2: Conclusies uit Van Kemenade (2009) en Schema 3: Vergelijking oude en nieuwe NVAO-accreditatie met de voorkeuren van de hogeschooldocent).

1. Control
   Ten aanzien van de waardeoriëntatie kan worden gesteld, dat hogeschool-docenten minder gemotiveerd worden door controlsystemen. Het paradigma dat het beste bij hogeschooldocenten past gaat uit van betrokkenheid, betrokkenheid bij het vak en bij (het leren van) de student. Docenten waarderen daarnaast prestatie en continue verbetering hoger dan beheersing en control. Gepleit wordt voor een systeem, dat de verantwoordelijkheid voor verbetering legt bij de instelling en vervolgens vraagt om externe verantwoording daarvan.
   Laughton (2003) trok positieve conclusies voor de situatie in de UK, waar een soortgelijke wijziging van audits op opleidingsniveau naar instellingsniveau al eerder heeft plaatsgevonden. 'The shift of focus from assessment at the subject level to audit at university level will be a relief for many academics....'.
   Het nieuwe accreditatiestelsel kiest niet voor louter instellingsaccreditatie, maar combineert dat met een beperkte opleidingsbeoordeling. Het kader stelt nadrukkelijk dat het erom gaat of de instellingen ‘in control’ zijn. Daarnaast wordt gesproken over kwaliteitsverbetering als een van de doelstellingen. De balans tussen "de maat nemen" (accountability) en verbeteringen stimuleren (quality improvement) moet worden verbeterd, zo wordt gesteld. Voornemen is de visitatie te laten uitmonden in een beoordeling: voldoende, goed of excellent. Het is echter (nog) onduidelijk hoe daaraan precies vorm wordt gegeven.
2. Object
   Hogeschooldocenten vinden dat hun bijdrage zinvol kan zijn, als het gaat om zaken die hen na aan het hart gaan: inhoud en student. Het nieuwe accreditatiestelsel doet een goede stap in die richting. Algemene zaken worden niet meer op opleidingsniveau en niet meer elke keer opnieuw gemeten, maar op instellingsniveau. Hogeschooldocenten worden daarover nog wel bevraagd en dat is ook terecht. De focus in de beperkte opleidingsbeoordeling is meer komen te liggen op het onderwijs en de inhoud.
3. Basisregels
   De derde voorwaarde voor bereidheid mee te werken aan accreditatie wordt gevonden in de beperkte mate van bureaucratie die het systeem oplevert. Op dat terrein is het nieuwe systeem een grote verbetering ten opzichte van het daaraan voorafgaande accreditatiekader. Door centrale vragen ook centraal te stellen en door het aantal criteria te verminderen lijkt een sterke vereenvoudiging van het systeem op te treden. De proportionele verantwoording en de scheiding van instellingsaccreditatie en beperkte opleidingsaccreditatie zullen ook de bureaucratische last verminderen, een van de grote oorzaken, waarom hogeschooldocenten spreken van een verhoging van de werkdruk door accreditatie. Toch wordt daar ook nog aan getwijfeld (notitie Raad van State).
   Doordat het nieuwe accreditatiestelsel niet kiest voor instellingsaccreditatie (met een lichte toets op opleidingsniveau), maar voor een combinatie van instellingaccreditatie (met een lichte toets op opleidingsniveau) plus beperkte opleidingsbeoordeling zal een aantal opleidingen in de steekproef voor instellingsaccreditatie worden meegenomen, nog voordat zij gevisiteerd worden. Dat betekent dubbel werk, te meer daar de resultaten van die steekproef geen waarde hebben in de beperkte opleidingsaccreditatie. Stress komt voor een belangrijk deel uit de zwaarte van de consequenties, wat dan ook in Nederland sterker wordt gevoeld dan in Vlaanderen, waar meer herstelruimte is. In het nieuwe voorstel is nu ook voor Nederlandse opleidingen meer herstelruimte opgenomen, hetgeen de stress vanwege zware consequenties zal verminderen.
4. Procedure
   Hogeschooldocenten prefereren een dialoog boven een interview. Gesteld wordt wel dat het bij de nieuwe accreditatie de bedoeling is, om bij de visitaties van opleidingen niet alleen de maat te nemen, maar ook te discussiëren en een gesprek te voeren.
5. Deskundige peers
   Docenten hebben de behoefte aan een gesprek, discussie of nog liever een dialoog, waar de mondelinge bijeenkomst in het huidige accreditatiesysteem te veel ervaren wordt als een vraaggesprek met eenrichtingsverkeer is. Ze willen met deskundige peers over inhoud en over het leren van de student kunnen praten.

In het accreditatiestelsel wordt nadrukkelijk aangegeven, dat de panelleden van de beperkte opleidingsbeoordeling moeten beschikken over voldoende inhoudelijke (vak- of discipline)deskundigheid, eventueel over werkvelddeskundigheid en dat zij op de hoogte moeten zijn van internationale ontwikkelingen in de discipline of het vak. Bij de beperkte opleidingsbeoordeling wordt - vreemd genoeg - niet gesproken over auditvaardigheden. Die worden wel vereist bij de leden van de audit op instellingsniveau.
De kwaliteit van de auditoren en peers werd door Visiterende en Beoordelende Instanties (VBI's) geregeld, die op hun beurt door het NVAO waren beoordeeld. Nu is geen sprake meer van beoordeling van VBI’s door de NVAO. De NVAO zegt nu vooraf te checken of de door de opleiding voorgestelde externe auditoren voldoen aan eisen als deskundigheid en onafhankelijkheid. De vraag is of daardoor de kwaliteit van de beoordelaars beter wordt en hoe die beoordeling zal worden gedaan met de voorkeuren van de hogeschooldocent.

We gaan verder met de voorwaarden op het niveau van de organisatie.

1. Eigenaarschap
   Het eigenaarschap van de accreditatie zal deels verschuiven naar instellingsniveau. Op opleidingsniveau zal dan in de beperkte opleidingsbeoordeling meer ruimte zijn voor eigenaarschap van hogeschooldocenten. Ook de verwachte vermindering van de complexiteit kan ervoor zorgen dat minder hulp nodig is van kwaliteitszorgspecialisten.
2. De rol van het management
   De rol van het management wordt door docenten als bepalend genoemd voor de mate waarin er werkdruk en stress optreedt ten aanzien van het accreditatieproces. Uiteraard is dat een verantwoordelijkheid van de hogescholen. Het is echter wel verbazend, dat management of liever leiderschap een zo ondergeschikte rol heeft in het beoordelingskader (en in de daaraan voorafgaande systemen). Vanuit kwaliteitsmanagement weten we inmiddels hoe belangrijk leiderschap is voor de kwaliteit van een organisatie. Voor een argumentatie daarvan zie bijvoorbeeld Roozendaal (2008).
3. Intern kwaliteitszorgsysteem
   Werkdruk en stress vanwege het onvoldoende op orde hebben van de interne kwaliteitszorg wordt – uiteraard - door het nieuwe accreditatiekader niet verminderd (en dat zou ook niet moeten). Daar moet zelfs de nadruk op liggen.

Conclusie

Het nieuwe accreditatiestelsel is - vanuit het perspectief van de professional - op een aantal punten zeker een verbetering ten opzichte van het oude stelsel. Anderzijds is een kans gemist. Het is jammer dat men niet voor volledige instellingsaccreditatie heeft durven kiezen. Dat zou de bureaucratische last van het systeem pas echt aanzienlijk hebben kunnen verminderen.

Everard van Kemenade en Ad Vermeulen hebben een adviesbureau op het gebied van kwaliteitsmanagement en onderzoek.

Literatuur
Kemenade, E.A. van (2009), Certificering, Accreditatie en de Professional, Eburon, Zeist
Kemenade, E.A. van, Pupius, M. & Hardjono, T.W. (2008), More value to defining quality, Quality in Higher Education, 14, 2, pp. 175-185
Raad van State (2009), Voorstel van wet tot wijziging van de Wet op het hoger onderwijs en wetenschappelijk onderzoek in verband met aanpassing van het accreditatiestelsel, met memorie van toelichting. 27 feb 2009, zaaknr. W05.08.0578/I
Roozendaal, A. (2008), Contextueel leiderschap. Diagnose en ontwikkeling met behulp van de Referentiemethode®, Van Gorcum, Assen
Weggeman, M. (2007), Leiding geven aan professionals? Niet doen!, Scriptum Management, Schiedam
Nederlandstalige literatuur
Engelstalige literatuur plus samenvatting proefschrift Van Kemenade, 2009