Exploring performance assessment and incentive regulation in the context of primary health care

Tese de doutoramento, Ciências Económicas e Empresariais, Faculdade de Economia, Universidade do Algarve, 2017This thesis consists of two research articles. The first article addresses two research questions: (1) what have been the main performance dimensions and measures used for primary care assessment? And (2) to what extent have key stakeholders been involved in primary care assessment? To answer these questions, we developed a conceptual framework that includes three stages of performance assessment (measurement, analysis, and action) and captures four performance dimensions (accessibility, equity, efficiency, and effectiveness). We applied this framework for a systematic review of the 166 empirical articles devoted to performance assessment of primary care providers. The results of the review show that a wide variety of performance measures has been used to assess primary care providers, and also that the four dimensions have mostly been explored separately. Furthermore, the results of the review reveal an insufficient involvement of stakeholders in the performance assessment process, indicating the potentially limited impact of the reviewed research on health care policy and practice. The second article aims two objectives: (1) to develop a DEA methodology for performance assessment of primary care providers in Portugal; and (2) to propose an alternative methodology for P4P contracting based on the DEA assessment results. To achieve the first objective, we modified the standard DEA model to account for the necessary relations between the weights attributed to each performance indicator and domain and to account for the effect of the relevant environmental variables. To achieve the second objective, we combined relative and absolute performance assessments in the elaboration of several bases for reward, and each of these two assessments is proposed to be linked to a system of graduated rewards. For underperforming units, we suggest establishing absolute targets derived from the relevant benchmarks, identified by DEA. We also recommend the creation of a benchmarking programme that will contribute to the dissemination of best practices among the providers.No contexto dos desafios globais nos cuidados de saúde, o desenvolvimento de sistemas de cuidados de saúde primários tem tido prioridade, enquanto a avaliação do desempenho na prestação de cuidados de saúde primários se assume como uma das direções centrais de investigação. Não existe, no entanto, uma forma padronizada sob a qual o desempenho dos prestadores de cuidados primários possa ser medido, tendo em conta a diversidade de definições para o termo “desempenho” em relação a esses mesmos prestadores. Além disso, não é claro que a investigação empírica nesta área tenha estado associada, com sucesso, à prática e política de cuidados de saúde. A este respeito, o primeiro artigo incluído nesta tese pretende alcançar os dois objetivos seguintes: (1) explorar as dimensões e indicadores de desempenho principais das avaliações dos cuidados primários, ao efetuar uma revisão sistemática da literatura que adota um enquadramento concetual abrangente para a avaliação de desempenho dos prestadores de cuidados primários; e (2) examinar o potencial das avaliações dos cuidados primários em relação à melhoria de desempenho na prática e política de cuidados de saúde, através do prisma do envolvimento das partes interessadas (stakeholders) em três diferentes fases da avaliação de desempenho, tal como proposto por Smith (1996). Desenvolvemos um enquadramento concetual que inclui três fases de avaliação de desempenho (medição, análise, e ação) e que captura quatro dimensões de desempenho (acessibilidade, equidade, eficiência, e eficácia). Aplicámos este enquadramento para uma revisão sistemática de 166 artigos empíricos dedicados à avaliação de desempenho de prestadores de cuidados primários. Os resultados da revisão mostram que uma ampla variedade de medições de desempenho foi utilizada para avaliar prestadores de cuidados primários, as quais são sistematizadas em tabelas sumárias para auxiliar a seleção de um conjunto apropriado de indicadores de desempenho para futuras avaliações de cuidados primários. Também concluímos que as quatro dimensões têm sido maioritariamente exploradas de forma separada na literatura empírica analisada. Levando em conta as relações existem entre as diferentes dimensões de desempenho, pensamos que os futuros estudos de investigação devem aplicar maiores esforços para avaliar simultaneamente várias dimensões de desempenho e para explorar de forma mais profunda as relações existentes entre elas. Os resultados da revisão mostram também um envolvimento insuficiente por parte dos interessados no processo de avaliação de desempenho, indicando o impacto potencialmente limitado da investigação analisada. Na maioria dos casos, as partes interessadas envolvidas nas avaliações de cuidados primários foram membros de staff, legisladores, e gestores, sendo que apenas uma pequena minoria de estudos relata o envolvimento de outras partes interessadas relevantes, como pacientes e cidadãos. Por conseguinte, aconselha-se que estudos futuros tenham o intento de envolver partes interessadas cruciais no processo de avaliação de cuidados primários, incluindo pacientes e cidadãos, entre outros, para garantir que os modelos e resultados têm validade aparente (face validity) e que consigam também fortalecer o impacto que a investigação empírica tem na prática e política de cuidados de saúde. O segundo artigo incluído nesta tese explora o potencial da Análise Envoltória de Dados (DEA), uma técnica não paramétrica para a avaliação relativa de desempenho proposta por Charnes, Cooper e Rhodes (1978), a fim de melhorar delinear programas de pagamento por desempenho (pay-for-performance ou P4P) nos cuidados de saúde primários. Os programas de pagamento por desempenho são atualmente vistos como uma ferramenta promissora para melhorar a prestação de cuidados de saúde, e não existem dúvidas de que a conceção dos programas P4P tem um papel crucial na forma como os seus objetivos são cumpridos. Neste artigo pretendemos investigar um elemento fundamental na conceção destes programas que não tem recebido muita atenção na literatura P4P – o método para a avaliação de desempenho. Acreditamos que a utilização da DEA permite uma avaliação mais justa dos prestadores no contexto do P4P quando comparada com a análise de proporção (ratio analysis), que é mais tradicional nos programas P4P. Uma das principais vantagens da DEA, quando comparada com a análise de proporção, é que ela permite que cada unidade seja avaliada com uma maior ênfase nos indicadores de desempenho, nos quais a unidade avaliada teve um melhor desempenho, levando simultaneamente em conta as relações entre os diferentes indicadores e dimensões de desempenho. A DEA também compara cada unidade com um grupo de outras unidades que operam sob condições similares e com prioridades de desempenho iguais, identificando aqueles prestadores que são os melhores executantes e identificando metas para a melhoria de desempenho das unidades que obtêm um resultado inferior a 100% na avaliação da DEA. A este respeito, este artigo tem dois objetivos de investigação: (1) desenvolver uma abordagem metodológica com base na DEA para a avaliação de desempenho de prestadores de cuidados de saúde primários em Portugal; e (2) propor uma metodologia alternativa para a contratualização de P4P por parte destes prestadores, com base nos resultados da avaliação da DEA. Para alcançar o primeiro objetivo, modificámos o modelo básico da DEA ao adotar a abordagem de benefício da dúvida (the benefit-of-the-doubt approach) e ao introduzir uma combinação única de restrições de pesos – um parâmetro que regula o nível de disparidade entre os pesos virtuais ideais que está combinado com restrições de pesos virtuais proporcionais e ordinais. Na nossa perspetiva, tal combinação de restrições de pesos faculta o melhor equilíbrio entre as preferências derivadas exogenamente a partir da relevância relativa de cada indicador de desempenho e de cada dimensão e o nível de disparidade acessível definido endogenamente na atribuição dos pesos virtuais. As restrições estabelecidas permitem ainda um grande grau de flexibilidade na atribuição dos pesos, em oposição a qualquer sistema fixo de pesos, preservando dessa forma uma das principais vantagens da DEA. A abordagem proposta com base na DEA também tem explicitamente em conta a influência de fatores ambientais no alcançar das metas estabelecidas pelo sistema P4P. Em particular, ao termos analisado os índices de Malmquist propostos por Camanho e Dyson (2006) e os coeficientes de correlação de Pearson, identificámos quatro fatores ambientais relevantes – o número de anos em operação das unidades prestadoras de serviços, a densidade populacional, a percentagem de utentes inscritos com 65 ou mais anos de idade, e a percentagem de utentes inscritos com diabetes – e efetuámos uma análise de clusters para classificar os prestadores em relação às suas condições ambientais. Como resultado desta análise de clusters, identificámos um pequeno grupo de prestadores que operam em condições menos favoráveis e um grande grupo de prestadores que operam em condições mais favoráveis. Depois, efetuámos uma avaliação da DEA, em que cada prestador foi comparado somente com os pares que operam nos mesmos ou em piores ambientes, como sugerido por Löber e Staat (2010). Para alcançar o segundo objetivo deste estudo, propomos uma nova metodologia para a contratualização de P4P que liga os resultados da avaliação da DEA com as metas absolutas para as unidades que obtiveram um resultado inferior a 100% na avaliação da DEA e com um sistema de incentivos graduados para as unidades que obtiveram um resultado relativamente alto nesta avaliação. Também definimos uma metodologia para a avaliação do alcançar absoluto das metas por parte das unidades que mostram um potencial para a melhoria de desempenho e desenvolvemos um sistema distinto de incentivos graduados associado a esta avaliação. Foi efetuada uma análise exploratória dos resultados atuais, das metas contratualizadas e das metas DEA sugeridas para algumas das unidades, sublinhando as vantagens da metodologia DEA proposta, quando comparada com a metodologia de avaliação atualmente implementada no programa P4P português. Também se sugere a implementação de um programa de benchmarking entre os prestadores com caraterísticas similares e prioridades de desempenho iguais, a fim de contribuir para a disseminação das melhores práticas. Os estudos futuros são encorajados a explorar um leque mais vasto de indicadores relacionados com o desempenho dos prestadores de cuidados primários portugueses, a fim de permitir uma avaliação abrangente desses prestadores e também são encorajados a investigar a influência de outros fatores ambientais, como as caraterísticas socioeconómicas da população, na alcançabilidade das metas do P4P. Recomenda-se também a análise de possíveis efeitos não intencionais do programa P4P implementado. Além disso, propõe-se que um modelo de DEA baseado em indicadores de volume seja utilizado em futuras avaliações dos prestadores de cuidados primários portugueses, pois esse modelo tem em conta potenciais diferenças de recursos entre os prestadores