Databetrouwbaarheid

Precisie: De Kappa methode

foto_boek.jpg

Kappa methode tip 1.pngDoel
• Een meetsysteem beoordelen op de mate van overeenstemming

In het kort
De Kappa is een precisiemaat voor een meetsysteemanalyse met discrete data. De Kappa toetst bijvoorbeeld of het registreren van gegevens goed (genoeg) gebeurt.

Toelichting
De Kappa-methode helpt om de databetrouwbaarheid van een meetsysteem vast te stellen. De Kappa is de maat voor de mate van overeenkomst (overeenstemming) die de herhaalbaarheid en reproduceerbaarheid aangeeft. De Kappa bepaalt niet alleen de kans op een correcte overeenkomst, maar corrigeert ook voor de ‘gokkans’. Vandaar dat de Kappa als een robuuste maat gezien wordt. De Kappa is ontwikkeld door onder andere Cohen (1960) en Fleiss (1971). De Kappa wordt ook gewogen berekend (lettend op categorieën en frequenties).

In formulevorm is Cohens Kappa:Kappa methode formule.png

waarbij P-verwacht de gokkans is (ofwel de verwachte kans op overeenstemming) en
waarbij P-observatie de kans is dat het ‘klopt’ (geobserveerde kans op overeenstemming).
Een Kappa zit tussen [-1; 1]. Een Kappa van > 0,7 is voor een meetsysteem vaak voldoende.

Aanpak
• Zie hiervoor de aanpak voor de Gage R&R, of bijgevoegd voorbeeld
• Bereken aanvullend de Kappa “” vervolgens met (meestal) statistische software

Synoniem en/of alternatief
De Kappa-methode heet ook wel een discrete Gage R&R of een Attribute Agreement Analysis. Alternatieve termen (Engelse) komen voor: repeatability wordt intra of within agreement, en reproducibility wordt wel inter- of between agreement genoemd. Er zijn ook precisiemethoden voor meetsystemen met continue data.

Duur
Met computers kun je deze maat in een (fractie van een) seconde berekenen.

Voorbeeld:
Registraties over facturen verbeteren met de Kappa-methode
Hierna vind je een voorbeeld van een meetsysteemanalyse, dat in een A3-template is weergegeven. Door wijzigingen in het facturatieproces voldeed de huidige opzet van registreren niet meer. Projectnaam was ‘Facturatie First Time Right’ (FFTR). De Kappa-waarden zijn gebruikt om te kijken in hoeverre de consequentheid in registraties (Engels: agreement) afdoende is. Anders gezegd, de Kappa corrigeert voor de ‘gokkans’.
In eerste instantie bleek dat er niet precies genoeg (inconsequent) geregistreerd werd. Na onder andere een interne training met goede definities, bleek het registreren in tweede instantie wel goed te gaan.

Kappa methode voorbeeld.png

foto_boek.jpg