Omgaan met ‘kleine aantallen’
Uitwisseling en bundeling van kennis rond thema’s als case-mix correctie, omgaan met kleine aantallen en missende waarden in kwaliteitsregistraties vindt plaats in het NFU-expertisenetwerk Selectie en analyse van indicatoren.
In de laatstgehouden bijeenkomst van het NFU-expertisenetwerk Selectie en analyse van indicatoren stonden de ‘kleine aantallen’ centraal. Aan de hand van presentaties van prof. dr. Ewout Steyerberg (Erasmus MC) en drs. Dennis van Veghel (Meetbaar Beter) werden de gevolgen en methodologische oplossingen besproken. Wat de gevolgen betreft: in het geding zijn onterecht gerapporteerde verschillen tussen ziekenhuizen (type 1 fouten) die het beslissen van toezichthouders en zorgverzekeraars kwetsbaar maken, én niet-gerapporteerde reële verschillen (type 2 fouten) waarmee patiënten belemmerd worden goed te kiezen en verbeterpotentieel voor zorginstellingen verhullen. Aantallen vergroten kan onder meer door:
- Verlengen van de tijdsperiode, maar let op: een te grote tijdsperiode brengt ruis mee!
- Gebruik van grotere eenheden, bijvoorbeeld van afdeling naar ziekenhuisniveau, maar let op: ook dit introduceert meer ruis!
- Gebruik van samengestelde maten, maar hierdoor zijn concrete aanwijzingen voor verbeterpotentieel lastiger te verkrijgen.
En dan de vraag welke conclusies gerechtvaardigd zijn bij een verbetering van uitkomstindicatoren ná een verbeterproject: de causale conclusie dat het project gewerkt heeft, is dan snel getrokken, maar zeker niet altijd terecht. Het fenomeen ‘ruis’ is bij grote aantallen minder pregnant aanwezig, maar ook dan kan er sprake zijn van verstorende factoren (confounders) die de geobserveerde verbetering verklaren. Voorzichtigheid is dus geboden als het gaat om het verbinding van conclusies aan ingezette verbetertrajecten op basis van trends in de tijd.