Databetrouwbaarheid: bepaal de meetfout

Als je databetrouwbaarheid toetst, bepaal je concreet de meetfout (verschil tussen werkelijke en gemeten waarde). Dit kun je zowel kwalitatief als kwantitatief doen.

Doel van de meetfout bepalen

• Data beoordelen op betrouwbaarheid (kwalitatief en/ of kwantitatief)
• Inzicht krijgen in de verhouding tussen meetfout en de grootte van de doelstelling
• Indien nodig, de meetfout verkleinen totdat deze werkbaar is

Toelichting

Het bepalen van de meetfout is nuttig om te weten of een norm of verbeterdoelstelling echt is behaald (of te wijten is aan een meetfout). Binnen Kaizen events werk je vaak met kwalitatieve beoordelingen. Bij grotere projecten of ‘variatieprojecten’ zijn kwantitatieve methoden vaak nodig om het monitoren van procesprestaties effectief te kunnen beoordelen. ASQ en LSSP praktijkgecertificeerde (Lean) Six Sigma Black Belts kunnen een meetsysteemanalyse zelf uitvoeren.

Meetfout bepalen aanpak

• Het meetsysteem (meetproces) altijd kwalitatief begrijpen
• Bepaal of de meetfout acceptabel is. Of ten opzichte van de gewenste verbetering, of volgens gangbare maten/ criteria
• Verbeter het meetsysteem indien nodig

Synoniem en/ of alternatief

Six Sigma experts en statistici praten over de meetsysteemanalyse (MSA), een toetsing met kwantitatieve methoden, zoals een statistisch Gage R&R experiment en het ‘ijken’ van apparaten. Een meetsysteem wordt ook wel meetprocedure of –protocol genoemd.

Duur meetsysteemanalyse

Het duurt soms uren om het meetsysteem echt te begrijpen. Denk aan het afnemen van interviews en het zelf observeren van registraties. Een experiment of meetsysteemanalyse (MSA) uitvoeren is vaak enkele dagen werk. IJken kan in maximaal een uur.

Voorbeelden en tools meetfout bepalen

Er zijn veel tools beschikbaar welke iets over de meetfout in het meetsysteem te zeggen. Hieronder is een lijst met veel gebruikte voorbeelden qua tools weergegeven:

Kwalitatieve toetsing

• Observeren van het meten, rondvragen / interviewen van mensen die registreren of meten
• Opvragen van rapporten van leveranciers, zoals (lab)analyses en inschattingen
• Workshops zoals een visgraatanalyse en het doornemen van metingen met betrokkenen

Kwantitatieve toetsing (algemeen)

• Resolutie bepalen (de kleinste eenheid is minimaal 1/10e van specificaties of de Range)
• Relatiegrafieken, zoals een Spreidingsdiagram of Boxplot
• Tijd gerelateerde grafieken, zoals de tijdreeksgrafiek, Run Chart en Control Chart

Kwantitatieve toetsing (meetsysteemanalyse (MSA) tools)

• Accuraatheid: IJkmethoden of –protocollen om de systematische meetfout te bepalen
• Accuraatheid: Regressie-analyse of Gage Linearity & Bias Study
• Precisie: Kappa-methode
• Precisie: Gage R&R methoden

In het vervolg van het onderwerp “databetrouwbaarheid” staan veelgebruikte tools in categorieën weergegeven. Inclusief toelichting en voorbeelden. Onderscheidt is gemaakt in een kwalitatieve toetsing, en de onderdelen accuraatheid en precisie.

Voorbeeld meetfoutanalyse in workshop

Het voorbeeld hieronder was het resultaat van een visgraat-analyse, om te kijken wat (mogelijke) redenen zijn van foutieve registraties in een woningcoöperatie. Meer info over de visgraat is in het hoofdstuk DMAIC: Analyse (onderwerp: visgraat) terug te lezen.