Betrouwbaarheid KCE nader bekeken
Wat doet KCE om de betrouwbaarheid van beoordelingen te optimaliseren? KCE werkt met een beproefd beoordelings systeem aan de hand waarvan KCE de door de opdrachtgever vereiste kwaliteit beoordeelt. De kwaliteitseisen zijn vaak neergelegd in weten regelgeving, (inter)nationale afspraken of landelijke convenanten tussen belanghebbenden. KCE vertaalt deze eisen, samen met opdracht gevers en betrokkenen, naar een toetsingskader. Dit artikel geeft een samenvatting van het beoordelingssysteem dat KCE hanteert. De tekst is ontleend aan het rapport “Betrouwbaarheid oordelen KCE 2007 en 2008”.
Samenvatting van het rapport ‘Betrouwbaarheid oordelen KCE 2007 en 2008’, alsmede de beoordeling ervan, opgesteld door prof.dr. P.G.M. van der Heijden, hoogleraar Statistiek, Faculteit Sociale Wetenschappen, Utrecht. Mei 2009
Toetsingskaders zijn de basis
Werkprocessen zijn gestandaardiseerd
Toetsingskaders maken duidelijk wat gemeten
KCE wil de best mogelijke onder
Al naar gelang de behoefte,
moet worden, welke onderzoeksmethode wordt
zoeken tegen de laagst mogelijke
worden instrumenten ontwikkeld
gehanteerd, wat de beoordelingscriteria zijn en
kosten. Dit betekent dat de
die het werkproces verder
wat de normering is. Een voorbeeld van een
beoordelingen die KCE geeft,
kunnen stroomlijnen. De instru
toetsingskader dat KCE gebruikt, is de landelijke
voldoende betrouwbaar moeten
menten geven zowel richting
EVC-code (EVC staat voor: Erkenning informeel
zijn. Dit vraagt om standaardisatie
aan wat en hoe gemeten moet
Verworven Competenties). Aan de hand van
van werkprocessen:
worden, als aan de wijze waarop zaken geïnterpreteerd moeten
vijf codes en nader uitgewerkte normteksten beoordeelt KCE of instellingen die geregistreerd
KCE werkt met een groep
EVC-aanbieder willen worden, of blijven, voldoen
van ongeveer 40 beoordelaars.
aan de vereisten.
Werken met een grote groep
Alle werkzaamheden worden
beoordelaars geeft kans op
gecontroleerd op afwijkingen.
De wijze waarop het meten moet plaatsvinden,
verschillen in interpretatie.
Afwijkingen worden vastgelegd
is weer vastgelegd in richtlijnen. De richtlijnen
Belangrijk is echter het
op controlelijsten. Rapporten van
worden regelmatig besproken met beoordelaars
uitgangspunt dat als beoorde
bevindingen worden gecontroleerd
en zonodig aangescherpt. Kennis en ervaring in
laars gelijk oordelen, hun
op naleving van de richtlijnen.
het meten worden verspreid en de ruimte voor
oordelen betrouwbaarder zijn.
Op die manier worden de werk
worden door beoordelaars.
processen steeds verder verfijnd.
interpretatieverschillen wordt steeds kleiner. Daarnaast werkt KCE met een kwaliteitszorgsysteem dat bestaat uit vier stappen: beleids vorming, uitvoering, controle, evaluatie. In een cyclisch proces wordt dit kwaliteitszorgsysteem telkens opnieuw gevolgd en bijgesteld, net zo lang als dat nodig is.
Minimaliseren van interpretatieverschillen
Continu werken aan optimaliseren van betrouwbaarheid
Een belangrijk element in het
Met betrouwbaarheidstoetsen is
Betrouwbaarheid komt niet van
Afwijkingen worden vastgelegd
optimaliseren van de betrouw
vast te stellen welk percentage
zelfsprekend tot stand. Door het
waarna foutieve beoordelingen
baarheid is het organiseren
van de beoordelaars tot een
uitvoeren van betrouwbaarheids
worden gecorrigeerd. Doordat
van proefbeoordelingen
vergelijkbaar oordeel komt.
toetsen worden interpretatie-
beoordelingsfouten worden
(betrouwbaarheidstoetsen):
Hoe meer beoordelaars tot
verschillen opgespoord en kunnen
opgespoord en verholpen,
eenzelfde oordeel komen, des
richtlijnen worden aangescherpt.
neemt de betrouwbaarheid
Beoordelaars krijgen, onafhan
te betrouwbaarder de uitslag.
kelijk van elkaar, individueel
substantieel toe. Bij echte beoordelingen zijn altijd
cases te beoordelen en
Naast een nulmeting wordt een
twee beoordelaars betrokken;
bespreken de resultaten
tweede, derde en vierde
hierdoor kan over interpretatie
hiervan met elkaar. Hiermee
betrouwbaarheidstoets
verschillen gesproken worden.
wordt bekeken welke inter
uitgevoerd. Hierbij wordt telkens
Door beoordelaars te vragen hun
pretatiepatronen aanwezig
de uitslag van de voorgaande
oordelen te onderbouwen,
zijn. Met deze kennis kan de
toets gebruikt om de
zijn de oordelen controleerbaar
controle op de beoordelingen
beoordelingspunten te
op naleving van de beoordelings
specifieker worden ingevuld.
perfectioneren en interpretatie
richtlijnen. Deze controle vindt
verschillen te minimaliseren.
plaats na iedere beoordeling.
Het uitvoeren van betrouwbaarheidstoetsen, het bespreken van de resultaten en het blijven controleren van de oordelen, blijft een belangrijk aandachtspunt omdat het bijdraagt aan verdere optimalisatie van de betrouwbaarheid.
Hoe betrouwbaar waren de beoordelingen van KCE in 2007 en 2008? KCE wil zekerheid geven over de kwaliteit die zij levert. Dit betekent dat de beoordelingen van KCE betrouwbaar moeten zijn. Om deze reden heeft KCE door een externe, onafhankelijke partij laten beoordelen hoe het met de betrouwbaarheid van de beoordelingen door KCE staat. Deze toets is uitgevoerd door prof.dr. P.G.M. van der Heijden, hoogleraar Statistiek, Faculteit Sociale Wetenschappen, Universiteit van Utrecht.
Prof.dr. Van der Heijden acht
waarna het aantal afwijkingen
de betrouwbaarheid van de
bij de initiële beoordelingen is
beoordeling door KCE bevredi
gedaald.” Het is juist deze
gend: “In mijn beoordeling
procedure van werken die lof
speelt een rol dat KCE de beoor
oogst bij de hoogleraar. Van der
delingscriteria met de grootste
Heijden: “Ik heb bewondering
risico’s op afwijkende oordelen
voor de inzet en nauwgezetheid
als eerste bij de kop heeft ge
waarmee uw organisatie werkt
pakt en voorgelegd in de vorm
aan verhoging van de betrouw
van cases aan de beoordelaars.
baarheid.” Van der Heijden
[.....] De wijze van interpreteren is
besluit zijn conclusie met de
besproken met de beoordelaars.
woorden: “Ik adviseer u op
Nadere afspraken zijn gemaakt
deze weg verder te gaan.”
Vraag & antwoord Waarom KCE?
Aan tal van opdrachtgevers die gebruik maken van het KCE
KCE geeft zekerheid over vereiste kwaliteit door te werken met een - door een onafhankelijke derde beoordeeld - beoordelingssysteem.
Aan wie biedt KCE zekerheid?
beoordelingssysteem: -- de kern is telkens gelijk:
-- door instellingen die Exameninstelling
omstandigheden meermalen wordt
processen, minimaliseren van
uitgevoerd (bijvoorbeeld door
interpretatieverschillen en optima
verschillende beoordelaars) en
liseren van betrouwbaarheid.
men ongeveer hetzelfde vindt.
kader worden opgenomen, worden in overleg met opdracht
Inburgeringsexamens willen worden,
gevers en/of betrokkenen
te beoordelen op het voldoen aan
ontwikkeld en vastgesteld.
wettelijke vereisten; en -- door toezicht te houden op de kwaliteit van de uitvoering van inburgeringsexamens. Aan werkgevers en werknemers die een Ervarings Certificaat willen verwerven: -- door aanbieders van EVC te beoordelen voordat ze door het kenniscentrum EVC geregistreerd worden.
Als een meting onder identieke
standaardiseren van werk
-- de criteria die in het toetsings Aan de minister van WWI:
Wanneer is een meting betrouwbaar?
Meer informatie? Prof.dr. Van der Heiden heeft zich bij het leveren van commentaar gebaseerd op het rapport ‘Betrouwbaarheid oordelen KCE 2007 en 2008’, waarvan u in deze brochure de samenvatting aantreft. Bent u geïnteresseerd in het volledige rapport, wendt u zich dan tot KCE.
KCE Postbus 499 3800 AL Amersfoort 0800 - 523 46 36 info@kce.nl www.kce.nl
de
norm
|
de
w E G I N G
|
de
waarde