Ziekenhuisranglijsten kunnen reputaties maken en
breken. De waarde ervan blijkt echter zeer relatief.
Ziekenhuizen moeten zich dus niet gek laten maken en
kunnen hun energie beter steken in een goed intern
kwaliteitssysteem

Bal, R.A. (Roland)

Lingsma, H.F. (Hester)

Pons, H. (Heleen)

Pons, H

Lingsma, Hester

Bal, Roland

EUR Research Repository

De ranglijst is een slechte raadgever

Erasmus University Digital Repository

64 nr. 47 | 19 november 2009 | Medisch Contact | 1969onderzoekSpecialisten kunnen het eigen ziekenhuis  stelselmatig hoger waarderen Oktober 2004: precies op de dag van de kick off-bijeenkomst van Sneller Beter, het nationale kwaliteitspro-gramma voor de ziekenhuiszorg, wordt de eerste AD-ranglijst van ziekenhuizen gepu-bliceerd. Terwijl binnen kwaliteitsmanagers, adviseurs en vertegenwoordigers van de deel-nemende ziekenhuizen luisteren naar speeches over de grote ambities van het programma, staat een aantal ziekenhuisbestuurders de hele dag op de gang te bellen. Met de lokale pers om uitleg te geven over de (slechte) score die hun ziekenhuis heeft behaald, met de voor-lichtingsafdelingen om de marketingstrategie te bepalen. In één klap wordt duidelijk dat kwaliteit een kwetsbaar product is, waarbij externe beoordelingen reputaties op het spel kan zetten.1ReputatiemarktIn korte tijd hebben de ziekenhuisranglijsten furore gemaakt. De ‘markt’ van de gezond-heidszorg lijkt vooral een reputatiemarkt te zijn geworden. Voorlichtings-diensten zijn inmiddels veranderd in marketing-afdelingen, scores op prestatie-indicatoren en ranglijsten worden nauw-lettend gevolgd en uitgebuit in de marketing-strategie. Reputatiemanagement heeft zijn intrede ge-daan in de ziekenhuiswereld.Maar waar de ranglijsten van AD, Elsevier en Roland Berger, en de keuzesites van KiesBeter en Independer reputaties kunnen maken en breken, komt ook hun eigen reputatie op het spel te staan.2 In een onderzoek op aange-ven van de NVZ stelde het MOA Center for Marketing Intelligence & Research onlangs vast dat de Elsevier-lijst onbetrouwbaar is.3  De op basis van peer review vastgestelde lijst zou manipuleerbaar zijn doordat ziekenhuizen hun specialisten (kunnen) oproepen het eigen ziekenhuis stelselmatig hoger te waarderen. Een aantal ziekenhuizen heeft op basis hiervan besloten niet langer deel te nemen aan het Elsevier-onderzoek.Maar hoe zit het nu feitelijk met de betrouw-baarheid van de ranglijsten? Om hier achter te komen, hebben wij de ranglijsten van het AD en Elsevier van 2005 tot en met 2008 met elkaar vergeleken. Keert de ‘puntenwolk van Giard’ die in eerder onderzoek werd beschreven hier terug of is de onderlinge vergelijkbaarheid in-middels verbeterd?4 En is er nog steeds sprake van een ‘jojo-effect’ van ziekenhuizen door opeenvolgende jaargangen van de lijsten?5 Elsevier en ADElsevier was in 1996 de eerste die een zieken-huisranglijst publiceerde. De gegevens waarop Elsevier de ranglijsten baseert, zijn door de jaren gelijk gebleven: specialisten, huisartsen, hoofdverpleegkundigen, kwaliteitsmanagers en raden van bestuur beoordelen de zieken-huizen op medische kwaliteit door middel van Heleen Pons, student Zorgmanagement, instituut Beleid & Management Gezond-heidszorg (iBMG)Hester Lingsma, promovendus, afdeling Maatschappelijke  Gezondheidszorg, Erasmus MCRoland Bal, hoogleraar bestuur en beleid gezondheidszorg, iBMGCorrespondentieadres:  r.bal@bmg.eur.nl;c.c.: redactie@medischcontact.nlGeen belangenverstrengeling gemeld.Ziekenhuisranglijsten kunnen reputaties maken en breken. De waarde ervan blijkt echter zeer relatief. Ziekenhuizen moeten zich dus niet gek laten maken en kunnen hun energie beter steken in een goed intern kwaliteitssysteem.De ranglijst is een slechte raadgeverReputatiestrijd tussen ziekenhuizen komt kwaliteit niet ten goede1970 | Medisch Contact | 19 november 2009 | 64 nr. 47onderzoekZiekenhuizen jojoën door  de opeenvolgende jaargangen van de lijsten een enquête. De beoordeling per ziekenhuis bestaat uit een puntentelling, gebaseerd op wat de deskundigen als sterk of juist als zwak punt aankruisen. De gegevens waarop het AD de ranglijst baseert wijken hier sterk vanaf. Het AD maakt namelijk gebruik van openbare kwaliteitsgegevens. Voor de ziekenhuisranglijst van 2008 waren dat bijvoor-beeld 26 geselecteerde kwaliteitsaspecten waarop de ziekenhuizen punten kunnen scoren. Daarnaast worden wel patiëntenoordelen, verkregen van Independer, in de ranglijst meegenomen. Geen correlatie Al onze analyses zijn gebaseerd op 73 zie-kenhuizen, waarvan op alle lijsten gegevens beschikbaar waren. Om de onderlinge verge-lijkbaarheid van de ranglijsten te bepalen, zijn Spearman correlatiecoëfficiënten uitgerekend, zowel tussen de verschillende jaargangen van één ranglijst als tussen verschillende ranglijs-ten. Het blijkt dat alleen de correlaties tussen de verschillende jaargangen van dezelfde lijst enige samenhang vertonen. Er is geen correla-tie tussen de ranglijsten van het AD en die van Elsevier.  Om te kijken of eerdere jaargangen van de ranglijsten voorspellende waarde hebben voor de jaren daarna, is een multivariate lineaire regressie uitgevoerd. Daaruit bleek dat voor zowel het AD als Elsevier alleen het jaar 2007 enige voorspellende waarde heeft voor 2008; daarvoor is voorspelling op basis van de rang-lijstpositie niet mogelijk. De gegevens uit 2007 zijn echter ook niet erg voorspellend voor 2008. Ook hebben we de onderlinge voorspellende waarde tussen de verschillende ranglijsten onderzocht. Hier werd niets significants gevon-den. Het AD is dus niet voorspellend voor het volgende jaar van Elsevier of andersom. Verder is gekeken naar de trend in de tijd van enkele individuele ziekenhuizen. Hiervoor zijn door toeval 7 van de 73 ziekenhuizen geselec-teerd en de plaatsen van deze ziekenhuizen op de ranglijsten zijn uitgezet in de tijd. In de grafiek is te zien dat er een enorme fluctuatie be-staat in de opeenvolgende jaren. Voor de meeste ziekenhuizen is geen consistent patroon te ontdekken in de tijd. Elsevier iets beterWe moeten concluderen dat we opnieuw te maken hebben met de eerdergenoemde pun-tenwolk van Giard. Er zijn veel ziekenhuizen die bij het AD hoog op de ranglijst staan maar bij Elsevier juist laag, en andersom. Dit is ook te verwachten aangezien Elsevier en het AD ande-re dingen meten. Kwaliteit is niet eenduidig en dat komt in de ranglijsten ook tot uiting. Maar is er ook een beste ranglijst en zo ja, welke? De ranglijst van Elsevier staat ter discussie van-wege het gebruik van peer review. Juist omdat collega’s oordelen moeten geven over andere ziekenhuizen zou de lijst niet betrouwbaar zijn. Dat kennelijke wantrouwen in peer review is vreemd. Dit systeem staat in allerlei andere domeinen juist centraal, bijvoorbeeld in de wetenschap, waar collega’s elkaars publicaties en subsidieaanvragen beoordelen. Hoewel ook dit problematisch kan zijn, blijft peer review het dominante systeem.6 Elsevier gebruikt het adagium dat ‘dokters onderling prima weten wat het goede ziekenhuis is’ en dat lijkt zo gek nog niet. beeld: Corbis64 nr. 47 | 19 november 2009 | Medisch Contact | 1971onderzoekHet AD gebruikt de prestatie-indicatoren van IGZ. Hoewel prestatie-indicatoren intuïtief objectiever lijken dan opvattingen van collega’s is hiervan echter bekend dat de objectiviteit problematisch is en dat de statistische betrouw-baarheid vaak zeer laag is als gevolg van kleine patiëntenaantallen per ziekenhuis.7 Aan beide methoden kleven dus nadelen. Bij gebrek aan een gouden standaard is het dan ook niet mogelijk te zeggen welke van de lijsten het beste is. Belangrijker lijkt daarom de consi-stentie in de tijd, en wat dat betreft doet het peer review-systeem van Elsevier het iets beter dan het systeem gebaseerd op prestatie-indicatoren van het AD. Dat ziekenhuizen van positie op de ranglijst veranderen in opeenvolgende jaren, is op zich goed. Daarmee laten de lijsten zien dat ze gevoelig zijn voor verandering in de kwaliteit van zorg. Het zou dan echter te ver-wachten zijn dat die verandering van posities zelf consistent zou zijn. Dat is niet het geval: in-dividuele ziekenhuizen jojoën nog steeds door de opeenvolgende jaargangen van de lijsten. Dit betekent dat het voor het publiek (patiën-ten, verzekeraars, ziekenhuizen, overheid) niet mogelijk is ‘goede’ en ‘slechte’ ziekenhuizen te identificeren op basis van de Elsevier- noch de AD-lijst, hoewel als gezegd de Elsevier-lijst hier iets beter scoort. Aura van objectiviteitOndanks het gebrek aan betrouwbaarheid, spelen de lijsten een belangrijke rol en richten ziekenhuizen hun gedrag erop in.8 Met name de AD-lijst, met het aura gebaseerd te zijn op objectieve prestaties, lijkt gevolgd te worden. Dit leidt tot steeds meer nadruk op reputa-tiemanagement, maar gaat dus blijkbaar niet vanzelfsprekend gepaard met kwaliteitsverbe-tering. Dit verschijnsel is al eerder aangetoond in de financiële sector en de wetenschap.2MOA Center for Marketing Intelligence & Research en eerder de Raad voor de Gezond-heidszorg hebben opgeroepen tot een sector-brede score.9 Een dergelijke score kan wellicht helpen de huidige verwarring over ranglijsten te voorkomen, maar het is niet erg waarschijn-lijk dat die er gaat komen (de reputatiemarkt kent zijn eigen dynamiek), noch dat die een objectieve graadmeter gaat vormen (want gege-vens blijven afkomstig van instellingen die op die reputatiemarkt concurreren). Verdergaande validering zal bovendien een groeiende regi-stratielast met zich meebrengen. De strijd op de reputatiemarkt zal dus nog wel doorgaan. Maar intussen doen ziekenhuizen en andere zorginstellingen er goed aan zich te richten op kwaliteitsverbetering op basis van hun interne kwaliteitssystemen.   SAMEnvAttinGn	Met de publicatie van ranglijsten van ziekenhuizen staan zowel de reputaties van ziekenhuizen als die van de ranglijsten zelf inmiddels op het spel.n	Statistische analyse van de Elsevier- en AD-lijsten laat zien dat de lijsten onder-ling niet vergelijkbaar zijn.n	De lijst van Elsevier doet het iets beter waar het gaat om de consistentie door de jaren heen.n	Geen van beide lijsten is betrouwbaar. Ziekenhuizen doen er goed aan zich te richten op hun interne kwaliteitssystemen.De bijbehorende literatuurlijst en meer MC-artikelen over ranglijsten vindt u bij dit artikel op onze website: www.medischcontact.nl.RanglijstenDe plaatsen van zeven at random geselecteerde ziekenhuizen op de ranglijsten van het AD (boven) en Elsevier (onder) door de jaren heen. Voor de meeste ziekenhui-zen is geen consistent patroon te ontdekken.trend AD-ranglijsttrend Elsevier-ranglijstReferenties1 Zuiderent-Jerak, Teun. 2009. Competition in the wild. Emerging figurations of healthcare markets. Social Studies of Science, 39: 765-792.2 Power, Michael, Tobias Scheytt, Kim Soin, and Kerstin Sahlin. 2009. Reputational risk as a logic of organizing in late modernity. Organization Studies 30 (2 & 3):301-324.3 van Hamersveld, Mario, and Lex Olivier. 2009. Ziekenhuiskenners Keuren Zichzelf. De Elsevier Onderzoekaanpak Doorgelicht. Amsterdam: MOA, Center for Marketing Intelligence & Research.4 Giard, R.W.M. 2005. Prestatie-indicatoren als maat voor kwaliteit van medische zorg: retoriek en reali-teit. Nederlands Tijdschrift voor Geneeskunde 149 (49):2715-2719.5 Bal, Roland. 2008. De nieuwe zichtbaarheid. Sturing in tijden van marktwerking, Oratiereeks Erasmus MC. Rotterdam: Erasmus MC.6 Weingart, Peter. 2005. Impact of bibliometrics upon the science system: inadvertent consequences? Scientometrics 62 (1):117-131.7 Bevan, Gwyn, and Christopher Hood. 2006. What’s measured is what matters. Targets and gaming in the English public health care system. Public Admini-stration 84 (3):517-538.8 van Woensel, Marco, Pieter van der Valk, and Leo te Velde. 2007. Effecten van ziekenhuisranglijsten. ZM magazine 23 (9):2-4.9 http://www.rvz.net/cgi-bin/nieuws.pl?niew_sr-cID=228

http://repub.eur.nl/pub/22595/MedContact_2009_1969.pdf

De ranglijst is een slechte raadgever

Abstract

Similar works

Full text

Available Versions

EUR Research Repository

Erasmus University Digital Repository

EUR Research Repository