De Jong, K.

Kamsteeg, F.

Markus, M. T.

Noom, Marc J.

Pot, A. M.

Schippers, G. M.

Swildens, W.

Sytema, S.

Theunissen, J.

Tiemens, B.

Van Der Vlist, H. P.

Vuyk, J.

Zondervan, T.

Dutch

BACKGROUND: The structural measurement of the results of treatment under the Dutch mental health services and a comparison of these results between mental health centres help to provide insight into the effectiveness of treatment in general practice. AIM: To provide an overview of the issues that require attention when the results of mental health centres are being compared. METHOD: Documentation, policy information and practical experience with routine outcome monitoring were analysed. RESULTS: We describe the problems that can arise when results obtained by mental health centres are compared and we suggest some solutions for these problems. Important/actors that have emerged from our study are as follows: working with routine outcome monitoring is a process of naturalgrowth and involves experiences with several solutions and the making of definitive choices on the basis of experience. CONCLUSION: It is instructive to compare mental health centres with each other and with regards to so-called 'best practices' (benchmarking). However, mental health centres draw on a differing wide mix of patients and use different measurement procedures and instruments. In this article we express the view that in the near future it should be possible to draw meaningful comparisons.</p

VU Research Portal

VU Research PortalRoutine outcome monitoring en benchmarkingNoom, Marc J.; De Jong, K.; Tiemens, B.; Kamsteeg, F.; Markus, M. T.; Pot, A. M.;Schippers, G. M.; Swildens, W.; Sytema, S.; Theunissen, J.; Van Der Vlist, H. P.; Vuyk,J.; Zondervan, T.published inTijdschrift voor Psychiatrie2012document versionPublisher's PDF, also known as Version of recordLink to publication in VU Research Portalcitation for published version (APA)Noom, M. J., De Jong, K., Tiemens, B., Kamsteeg, F., Markus, M. T., Pot, A. M., Schippers, G. M., Swildens, W.,Sytema, S., Theunissen, J., Van Der Vlist, H. P., Vuyk, J., & Zondervan, T. (2012). Routine outcome monitoringen benchmarking: Hoe kunnen we behandelresultaten op een zorgvuldige manier vergelijken? Tijdschrift voorPsychiatrie, 54(2), 141-145.General rightsCopyright and moral rights for the publications made accessible in the public portal are retained by the authors and/or other copyright ownersand it is a condition of accessing publications that users recognise and abide by the legal requirements associated with these rights.            • Users may download and print one copy of any publication from the public portal for the purpose of private study or research.            • You may not further distribute the material or use it for any profit-making activity or commercial gain            • You may freely distribute the URL identifying the publication in the public portal ?Take down policyIf you believe that this document breaches copyright please contact us providing details, and we will remove access to the work immediatelyand investigate your claim.E-mail address:vuresearchportal.ub@vu.nlDownload date: 13. Dec. 2021t i j d s c h r i f t  v o o r  p s y c h i a t r i e  5 4  ( 2 0 1 2 )  2  141k o r t e  b i j d r a g eRoutine outcome monitoring en benchmarking: hoe kunnen we behandelresultaten op een zorgvuldige manier vergelijken?m . j .  n o o m ,  k .  d e  j o n g ,  b .  t i e m e n s ,  f .  k a m s t e e g ,  m . t .  m a r k u s ,  a . m .  p o t ,  g . m .  s c h i p p e r s ,  w .  s w i l d e n s ,  s .  s y t e m a ,  j .  t h e u n i s s e n ,  h . p .  v a n  d e r  v l i s t ,  j .  v u y k ,  t .  z o n d e r v a nachtergrond   Het  structureel  meten  van  de  resultaten  van  een  behandeling  in  de geestelijke  gezondheidszorg  en  het  vergelijken  daarvan  tussen  instellingen  helpen  om  inzicht  te krijgen in het effect van behandelingen in de reguliere praktijk.doel   Geven  van  een  overzicht  van  de  kwesties  die  van  belang  zijn  bij  het  vergelijken  van instellingen.methode   Analyseren van documentatie en beleidsinformatie over en praktijkervaring met routine outcome monitoring (rom).resultaten   We  beschrijven  knelpunten  die  kunnen  ontstaan  bij  het  vergelijken  van instellingen  en  formuleren  oplossingsrichtingen  voor  deze  knelpunten.  Daarbij  staat  centraal dat  het  werken  met  rom   een  groeiproces  is,  waarbij  men  experimenteert  met  verschillende oplossingsrichtingen en op basis van ervaringen definitieve keuzes maakt.conclusie   Het  is  leerzaam  om  instellingen  te  vergelijken,  zowel  onderling  als  met  ‘best practices’ (benchmarking). Instellingen verschillen echter in cliëntenpopulaties, meetprocedures en  instrumentarium. Een zinvolle vergelijking is op termijn toch mogelijk.[tijdschrift voor psychiatrie 54(2012)2, 141-145]trefwoorden   benchmarking, geestelijke gezondheidszorg, routine outcome monitoring, vergelijkbaarheidggz Nederland is in 2009 een project gestart om een landelijke vorm van routine outcome monito-ring (rom) in te voeren. Het doel van dit project is om te stimuleren dat rom meer toegepast wordt in de ggz voor:–  behandelen en begeleiden;–  leren;–  verantwoorden;–  onderzoek.ggz Nederland heeft een werkgroep ‘Verge-lijkbaarheid’ ingesteld om ideeën uit te werken over het zo zorgvuldig mogelijk vergelijken van behandelresultaten. De auteurs van dit artikel zijn lid van deze werkgroep. In dit artikel gaan wij spe-cifiek in op de aandachtspunten bij het maken van vergelijkingen voor benchmarking.Camp (1989) definieert benchmarking als ‘systematisch onderzoek naar de prestaties en de onder-liggende processen en methoden van één of meer leidende referentieorganisaties op een bepaald gebied, en de verge-lijking van de eigen prestaties en werkmethoden met deze ‘best  practices’,  met  het  doel  om  de  eigen  prestaties  te m . j .  n o o m / k .  d e  j o n g / b .  t i e m e n s  e . a .142 t i j d s c h r i f t  v o o r  p s y c h i a t r i e  5 4  ( 2 0 1 2 )  2plaatsen en te verbeteren’. Het uitgangspunt is dat door vergelijken de mogelijkheid ontstaat van elkaar te leren. Bij de vergelijkbaarheid van gege-vens moeten we echter aandacht schenken aan verschillen tussen doelgroepen, cliëntenpopula-ties, rom-procedures en ten slotte meetinstru-menten. Deze zullen wij achtereenvolgens bespre-ken.vergelijkbaarheid van doelgroepenBij de prestatie-indicatoren (Zichtbare Zorg ggz 2009) is gekozen voor een indeling van uit-komsten gebaseerd op diagnostische categorieën. De werkgroep heeft gekozen voor een indeling in doelgroepen. De reden hiervoor is dat instellingen meestal naar doelgroep georganiseerd zijn en dat meetinstrumenten voor rom gekoppeld zijn aan de behandeldoelstellingen die bij een bepaalde doelgroep horen. De volgende doelgroepen zijn onderscheiden:–  volwassenen in kortdurende zorg;–  volwassenen met ernstige psychiatrische aan-doeningen;–  ouderen;–  kinderen en jeugd;–  verslavingszorg;–  forensische zorg.Een probleem met deze indeling is dat som-mige stoornissen, zoals autismespectrumstoor-nissen, maar ook angst- en stemmingsstoornis-sen, in meerdere doelgroepen voorkomen. Toch lijkt deze indeling in doelgroepen bruikbaar om te komen tot vergelijkbare groepen. Een vervolgstap kan zijn om binnen een doelgroep onderscheid te maken naar diagnostische categorieën.vergelijkbaarheid van instellingenBinnen een doelgroep kunnen gegevens van instellingen met elkaar vergeleken worden. De vraag daarbij is hoe vergelijkbaar cliëntenpopula-ties, rom-procedures en meetinstrumenten zijn.CliëntenpopulatiesInstellingen verschillen in de demografische gegevens en klinische problematiek van hun cli-enten, de casemix (France e.a. 2001). Verschillen tus-sen instellingen in uitkomsten kunnen liggen aan verschillen tussen hun cliëntenpopulaties in plaats van verschillen in kwaliteit van zorg. Omdat we van veel doelgroepen niet weten welke factoren van invloed zijn, is casemixcorrectie voor-lopig slechts beperkt mogelijk. Daarbij neemt men alleen factoren op die daadwerkelijk voor-spellend zijn voor de uitkomsten (Zaslavsky 2001). Door de komende jaren naast uitkomstgegevens ook achtergrondvariabelen van cliënten en behan-delgegevens te verzamelen, kunnen we meer inzicht krijgen in relevante factoren.rom-proceduresInstellingen verschillen ook in hun rom-procedures. Zo is er variatie in het tijdstip van de metingen en de wijze van afname: wie de meting afneemt (een administratief medewerker, een behandelaar of een testverpleegkundige), hoe (op papier, via een interview of via een computer) en waar (thuis of bij de instelling). Bij langdurende zorg is er vaak geen sprake van een begin- of eind-meting, maar worden zorg en metingen geconti-nueerd. Voor benchmarking zouden de procedu-res idealiter gelijk moeten zijn. Om behandelre-sultaten goed te kunnen vergelijken is het raad-zaam dat beginmetingen zo vroeg mogelijk en eindmetingen zo laat mogelijk in de behandeling plaatsvinden. Voorts zou men op den duur ook follow-upmetingen kunnen verrichten, om na te gaan of de resultaten na een periode zonder zorg beklijven.MeetinstrumentenEr is veel discussie over meetinstrumenten, al lijkt er steeds meer consensus te ontstaan over welke het geschiktst zijn. In het landelijke rom-r o u t i n e  o u t c o m e  m o n i t o r i n g  e n  b e n c h m a r k i n gt i j d s c h r i f t  v o o r  p s y c h i a t r i e  5 4  ( 2 0 1 2 )  2  143project is ervoor gekozen om uit te gaan van een selectie van gangbare instrumenten in de praktijk en dus verschillende instrumenten toe te staan. De commissie onderzoekt hoe gegevens onderling vergelijkbaar gemaakt kunnen worden. Het ver-dient de voorkeur om methodes te kiezen die ook toepasbaar zijn op individuele cliënten, zodat een-voudig de verbinding gelegd kan worden tussen behandelresultaten op individueel niveau en op instellingsniveau.De eenvoudigste methode daarvoor is stan-daardisatie  van  scores, waardoor elk instrument dezelfde schaal krijgt. Een voorbeeld hiervan zijn T-scores (De Beurs 2010). Een nadeel van standaar-disatie is dat het geen criterium geeft voor de hoe-veelheid verandering die noodzakelijk is om toeval uit te sluiten.De reliable change index (rci; Jacobson & Truax 1991) geeft wel een criterium voor het minimale verschil tussen twee metingen om van een betrouwbare verandering te kunnen spreken, maar zegt niets over de klinische betekenis van uitkomsten. Bij kortdurende zorg is de gewenste behandeluitkomst bijvoorbeeld herstel, terwijl dit bij langdurende zorg niet altijd nagestreefd wordt.In de kortdurende zorg pas men vaak het principe van klinische  significantie (Jacobson & Truax 1991) toe. Daarbij kijkt men hoe de eindme-ting zich verhoudt tot de normscore voor ‘nor-maal’ functioneren. In de langdurende zorg zijn er methodes voorgesteld om te bepalen hoeveel per-sonen over tijd naar een betere ‘categorie’ gaan, bijvoorbeeld van ernstig naar minder ernstig (o.a. Parabiaghi e.a. 2005). Ook kijkt men wel naar remissie.Bij de doelgroep forensische psychiatrie is risicotaxatie van belang, maar er lijken nog geen normen te bestaan voor risicoreductie.We kunnen concluderen dat er voor de meeste doelgroepen dus nog criteria voor beteke-nisvolle verandering ontwikkeld moeten worden. Hierin ligt een taak voor de doelgroepgerichte expertgroepen van ggz Nederland.resultaten van pilotstudieDe werkgroep heeft een pilotstudie uitge-voerd bij 11 ggz-instellingen met 1500 cliënten uit vier verschillende doelgroepen (Tiemens e.a. 2010). We hebben in de doelgroep ‘volwassenen in kort-durende behandeling’ eerst vergelijkingen gemaakt met de rci. Er waren geen significante verschillen tussen instellingen, maar wel tussen diagnostische groepen (zie tabel 1; χ2 (6) = 13,4; p = 0,04).Uit de pilotstudie blijkt hoe groot de invloed is van cliëntvariabelen: het is dus van belang daar-voor te corrigeren. Bovendien valt er veel te verbe-teren in de aanlevering van de gegevens, zoals de hoofddiagnose en de berekening van som- of schaalscores van verschillende instrumenten.tabel 1 Verschil in reliable change index (rci; in %) bij verschillende stoornissenklinisch herstel en rci Stemmings-stoornis(n = 135)Angst-stoornis(n = 118)Overige stoornissen(n = 187)Hersteld 30 21 35Betrouwbaar verbeterd 19 17 11Geen verbetering 42 54 50Betrouwbaar verslechterd 8 8 4beschouwingHet vergelijken van instellingen bij bench-marking is een delicaat proces, waarbij men zorg-vuldig moet omgaan met verschillen tussen instellingen. Dat is nog meer van belang als ben-chmarking wordt ingezet voor externe verant-woording en financiële consequenties kan heb-ben. Daarbij is er een spanningsveld tussen alge-mene wensen die gelden voor rom voor bench-marking en specifieke wensen voor een instelling om rom ‘op maat’ te organiseren. Bovendien moet men een start maken met het registreren van type interventie, intensiteit en behandelduur. Deze informatie is cruciaal om uiteindelijk echt uit-spraak te kunnen doen over wat werkt, voor wie en waarom. Ten slotte is het goed om te realiseren dat m . j .  n o o m / k .  d e  j o n g / b .  t i e m e n s  e . a .144 t i j d s c h r i f t  v o o r  p s y c h i a t r i e  5 4  ( 2 0 1 2 )  2een belangrijke voorwaarde voor een zorgvuldige toepassing van rom is dat de kwaliteit van de ver-zamelde gegevens goed is. Een ‘experimentele’ periode is noodzakelijk, waarin men leert uit erva-ringen met rom in de praktijk en waarin men de besproken methoden verder ontwikkelt (Tiemens e.a. 2010). In deze periode kan men aan de hand van de database toetsen of de minimale dataset aan-passing behoeft, welke criteria voor verandering zinvol zijn en welke instrumenten het geschiktst zijn.Naarmate meer gegevens verzameld zijn, kan men op empirische gronden keuzes maken op genoemde punten en zijn steeds nauwkeuriger vergelijkingen mogelijk tussen diagnosecatego-rieën, doelgroepen, procedures en meetinstru-menten. Dan kunnen uit de landelijke database referentiegroepen samengesteld worden die pas-sen bij de casemix van een bepaalde instelling. Als een instelling zich bijvoorbeeld richt op de behan-deling van kortdurende depressie en relatief veel allochtone cliënten heeft, relatief veel vrouwen en relatief veel ouderen, dan kan er een referentie-groep gecreëerd worden, waar deze instelling zich aan kan spiegelen. De keuze voor relevante varia-belen voor het samenstellen van een referentie-groep moet gebaseerd zijn op resultaten van onderzoek. Een andere mogelijkheid is om op basis van de casemix de verwachte uitkomsten voor een instelling te bepalen en de instelling met haar eigen ‘verwachte’ uitkomst te benchmarken. Dan wordt benchmarking ‘leren door vergelijken’ en geen ‘afrekenen voor financiering’.conclusieWij concluderen dat er voldoende technieken beschikbaar zijn om rom-gegevens met elkaar te vergelijken. Door zorgvuldig om te gaan met de mogelijkheden en de beperkingen, kan men inzicht verkrijgen in de mate waarin behandelre-sultaten kunnen overeenkomen of verschillen.literatuurBeurs E de. De genormaliseerde T-score. Een euro voor testuitslagen. Maandblad Geestelijke volksgezondheid 2010; 65: 684-95.Camp RC. Benchmarking: The search for industry best practices that lead to superior performance. Milwaukee: Quality press for the American society for quality control: 1989.France FHR, Mertens I, Closon M, Hofdijk J. Case mix – Global view, local actions: Evolution in twenty countries. Amsterdam: IOS Press; 2001.Jacobson N, Truax P. Clinical significance: a statistical approach to defining meaningful change in psychotherapy research. J Con-sult Clin Psychol 1991; 59: 12-9.Parabiaghi A, Barbate AD, Avanzo B, Erlichter A, Lora A. Assessing reli-able and clinically significant change on health of the nation outcome scales: Method for displaying longitudinal data. Aust N Z J Psychiatry 2005; 39: 719-25.Tiemens B, Noorthoorn E, Janssen W, Kloos M. ROM GGZ, een pilot: ervaringen, mogelijkheden en aandachtspunten. Amersfoort: GGZ Nederland; 2010.Zaslavsky AM. Statistical issues in reporting quality data: Small samples and casemix variation. Int J Qual Health Care 2001; 13: 481-8.Zichtbare Zorg ggz. Basisset prestatie-indicatoren 2009-2010 geestelij-ke gezondheidszorg en verslavingszorg. Den Haag: Zichtbare zorg ggz; 2009. auteursmarc noom universitair hoofddocent, Leiden Institute for the Advancement and Integration of Routine Outcome Moni-toring (liairom), lumc, Leiden.kim de jong, onderzoeker, verbonden aan ggz nhn en Erasmus Medisch Centrum, Rotterdam.bea tiemens, andragoog en epidemioloog, Pro Persona Cen-tre for Education and Science, directeur Stichting Centrum voor Zorgmonitoring, en hoofd Onderzoek Indigo Service Organisatie.frans kamsteeg, hoofd kenniscentrum ggnet, Warns-veld.monica markus, psycholoog-methodoloog en coördinator Routine Outcome Monitoring Consortium Kind- & Adoles-centie Psychiatrie (romckap), Curium-lumc, Oegstgeest.anne margriet pot, hoogleraar Ouderenpsychologie, Vrije Universiteit, Amsterdam en Trimbos-instituut, Utrecht.r o u t i n e  o u t c o m e  m o n i t o r i n g  e n  b e n c h m a r k i n gt i j d s c h r i f t  v o o r  p s y c h i a t r i e  5 4  ( 2 0 1 2 )  2  145gerard schippers, bijzonder hoogleraar Verslavingsge-drag en Zorgevaluatie, Amsterdam Institute for Addiction Research, amc en Arkin, Amsterdam.wilma swildens, senior onderzoeker en projectleider Utrechtse zorgmonitor, Altrecht, Utrecht.sjoerd sytema, senior onderzoeker bij het Rob Giel Onder-zoekscentrum (rgoc), verbonden aan het Universitair Medisch Centrum Groningen (umcg).jan theunissen, senior onderzoeker bij ggz inGeest, partner van vumc, Amsterdam.paul van der vlist, business consultant, eq Groep, Woerden.judith vuyk, psychiater-directeur, Willem Arntsz Divisie, Altrecht, Utrecht.tineke zondervan, hoofd afdeling Nieuwe Kennis, Delta Psychiatrisch Centrum, Rotterdam.Correspondentieadres: dr. Marc Noom, lumc, Afdeling Psychiatrie, Albinusdreef 2, 2333 ZA Leiden.E-mail: m.j.noom@lumc.nlGeen strijdige belangen meegedeeld.Het artikel werd voor publicatie geaccepteerd op 28-11-2011.summary Routine outcome monitoring and benchmarking: how can treatment results be compared in a responsible manner? M.J. Noom, K. de Jong, B. Tiemens, F. Kamsteeg, M.T. Markus, A.M. Pot, G.M. Schippers, W. Swildens, S. Sytema, J. Theunissen, H.P. van der Vlist, J. Vuyk, T. Zondervan –background   The  structural  measurement  of  the  results  of  treatment  under  the  Dutch mental  health  services  and  a  comparison  of  these  results  between  mental  health  centres  help  to provide insight into the effectiveness of treatment in general practice.aim   To  provide  an  overview  of  the  issues  that  require  attention  when  the  results  of  mental health centres are being compared.method   Documentation, policy information and practical experience with routine outcome monitoring were analysed.results   We  describe  the  problems  that  can  arise  when  results  obtained  by  mental  health centres are compared and we suggest some solutions for these problems. Important factors that have emerged from our study are as follows: working with routine outcome monitoring is a process of natural growth and involves experiences with several solutions and the making of definitive choices on the basis of experience.conclusion   It  is  instructive to compare mental health centres with each other and with regards  to  so-called  ‘best  practices’  (benchmarking).  However,  mental  health  centres  draw  on  a differing  wide  mix  of  patients  and  use  different  measurement  procedures  and  instruments.  In this article we express the view that in the near future  it should be possible to draw meaningful comparisons.[tijdschrift voor psychiatrie 54(2012)2, 141-145]key words   benchmarking, comparison, mental health care, routine outcome monitoring

Routine outcome monitoring and benchmarking:How can treatment results be compared in a responsible manner?

Routine outcome monitoring and benchmarking:How can treatment results be compared in a responsible manner?

Abstract

Similar works

Full text

Available Versions

VU Research Portal

EUR Research Repository

EUR Research Repository