Multi-disciplinary fairness considerations in machine learning for clinical trials.

While interest in the application of machine learning to improve healthcare has grown tremendously in recent years, a number of barriers prevent deployment in medical practice. A notable concern is the potential to exacerbate entrenched biases and existing health disparities in society. The area of fairness in machine learning seeks to address these issues of equity; however, appropriate approaches are context-dependent, necessitating domain-specific consideration. We focus on clinical trials, i.e., research studies conducted on humans to evaluate medical treatments. Clinical trials are a relatively under-explored application in machine learning for healthcare, in part due to complex ethical, legal, and regulatory requirements and high costs. Our aim is to provide a multi-disciplinary assessment of how fairness for machine learning fits into the context of clinical trials research and practice. We start by reviewing the current ethical considerations and guidelines for clinical trials and examine their relationship with common definitions of fairness in machine learning. We examine potential sources of unfairness in clinical trials, providing concrete examples, and discuss the role machine learning might play in either mitigating potential biases or exacerbating them when applied without care. Particular focus is given to adaptive clinical trials, which may employ machine learning. Finally, we highlight concepts that require further investigation and development, and emphasize new approaches to fairness that may be relevant to the design of clinical trials

Evaluating methodological quality of prognostic models including patient-reported health outcomes in oncology (EPIPHANY): a systematic review protocol

Introduction While there is mounting evidence of the independent prognostic value of patient-reported outcomes (PROs) for overall survival (OS) in patients with cancer, it is known that the conduct of these studies may hold a number of methodological challenges. The aim of this systematic review is to evaluate the quality of published studies in this research area, in order to identify methodological and statistical issues deserving special attention and to also possibly provide evidence-based recommendations. Methods and analysis An electronic search strategy will be performed in PubMed to identify studies developing or validating a prognostic model which includes PROs as predictors. Two reviewers will independently be involved in data collection using a predefined and standardised data extraction form including information related to study characteristics, PROs measures used and multivariable prognostic models. Studies selection will be reported following the Preferred Reporting Items for Systematic Reviews and Meta-Analyses guidelines, with data extraction form using fields from the Critical Appraisal and Data Extraction for Systematic Reviews of Prediction Modelling Studies (CHARMS) checklist for multivariable models. Methodological quality assessment will also be performed and will be based on prespecified domains of the CHARMS checklist. As a substantial heterogeneity of included studies is expected, a narrative evidence synthesis will also be provided. Ethics and dissemination Given that this systematic review will use only published data, ethical permissions will not be required. Findings from this review will be published in peer-reviewed scientific journals and presented at major international conferences. We anticipate that this review will contribute to identify key areas of improvement for conducting and reporting prognostic factor analyses with PROs in oncology and will lay the groundwork for developing future evidence-based recommendations in this area of research

Méthodes de détermination de la différence minimale cliniquement importante pour les questionnaires de qualité de vie relative à la santé en cancérologie

La qualite de vie relative a la sante (QdV) est un critere de jugement majeur dans les essais cliniques en cancerologie afin de pouvoir mesurer le benefice clinique de nouvelles strategies therapeutiques pour le patient. L’interpretation des resultats doit se faire d’un point de vue statistique mais egalement d’un point de vue clinique pour le patient. En effet, la significativite statistique etant fortement influencee par la taille de l’echantillon, une petite difference de score de QdV peut etre statistiquement significative sans pour autant avoir de sens clinique pour le patient. La difference minimale cliniquement importante (DMCI) a ainsi ete definie comme la plus petite difference d’un score de QdV percue comme cliniquement importante pour le patient. L’objectif de ce travail est de repertorier l’ensemble des methodes existantes pour la determination de la DMCI et de realiser une revue de la litterature en cancerologie. Methodes Les methodes existantes pour determiner la DMCI sont generalement classees en deux categories : (1) celles basees sur l’ancre, i.e. sur un critere externe permettant de qualifier le changement observe (petite, moyenne, ou importante amelioration/deterioration vs. stabilite) et (2) celles basees sur la distribution des scores de QdV. Differents articles en cancerologie portant sur la determination de la DMCI pour un questionnaire du groupe EORTC ont ete selectionnes par une recherche dans PUBMED avec algorithme de selection. Des informations ont ete recueillies telles que la methode de determination de la DMCI utilisee, le choix de l’ancre et des distributions reportees, et la taille de l’echantillon consideree. Resultats Une premiere recherche PUBMED a permis d’identifier 54 articles dont 11 articles (20 %) portant sur des questionnaires EORTC. Les premiers resultats obtenus specifiquement pour les articles EORTC sont reportes ici. Les methodes basees sur l’ancre et la distribution ont ete utilisees conjointement dans chaque etude. L’ancre utilisee correspondait a l’item de QdV global du questionnaire QLQ-C30 ou QLQ-C15PAL pour quatre etudes, la question de transition de Jaeschke pour quatre etudes, et des mesures cliniques telles que le « performance status » pour trois etudes. La correlation entre l’ancre et les scores de QdV a l’inclusion a ete verifiee pour huit etudes. Les distributions generalement reportes etaient 20, 30 et 50 % de l’ecart-type a l’inclusion. Dans seulement une etude, la taille de l’echantillon a ete determinee specifiquement pour l’analyse de la DMCI. Les methodes basees sur l’ancre necessitent la collecte d’un critere externe supplementaire. Une limite souvent observee est le faible echantillon par categorie d’ancre conduisant a des resultats peu fiables, avec un minimum de sept patients observes pour determiner la DMCI pour l’amelioration. Dans deux articles l’impact de l’occurrence de l’effet « response shift » (RS) sur la determination de la DMCI a ete etudie. Il a ete montre dans ces etudes que l’effet RS impactait majoritairement les resultats de la DMCI chez les patients pour lesquels une deterioration etait observee. Dans deux etudes la stabilite de la DMCI au cours du temps a ete exploree. Conclusion La revue systematique de la litterature est en cours et les resultats de cette revue completeront ces premieres donnees. Des recommandations pourront ainsi etre proposees pour les futures etudes ayant pour objectif de determiner la DMCI

Modeling strategies to improve parameter estimates in prognostic factors analyses with patient-reported outcomes in oncology

Purpose The inclusion of patient-reported outcome (PRO) questionnaires in prognostic factor analyses in oncology has substantially increased in recent years. We performed a simulation study to compare the performances of four different modeling strategies in estimating the prognostic impact of multiple collinear scales from PRO questionnaires. Methods We generated multiple scenarios describing survival data with different sample sizes, event rates and degrees of multicollinearity among five PRO scales. We used the Cox proportional hazards (PH) model to estimate the hazard ratios (HR) using automatic selection procedures, which were based on either the likelihood ratio-test (Cox-PV) or the Akaike Information Criterion (Cox-AIC). We also used Cox PH models which included all variables and were either penalized using the Ridge regression (Cox-R) or were estimated as usual (Cox-Full). For each scenario, we simulated 1000 independent datasets and compared the average outcomes of all methods. Results The Cox-R showed similar or better performances with respect to the other methods, particularly in scenarios with medium–high multicollinearity (ρ = 0.4 to ρ = 0.8) and small sample sizes (n = 100). Overall, the Cox-PV and Cox-AIC performed worse, for example they did not select one or more prognostic collinear PRO scales in some scenarios. Compared with the Cox-Full, the Cox-R provided HR estimates with similar bias patterns but smaller root-mean-squared errors, particularly in higher multicollinearity scenarios. Conclusions Our findings suggest that the Cox-R is the best approach when performing prognostic factor analyses with multiple and collinear PRO scales, particularly in situations of high multicollinearity, small sample sizes and low event rates

Méthodes de détermination de la différence minimale cliniquement importante pour les questionnaires de qualité de vie relative à la santé en cancérologie

La qualite de vie relative a la sante (QdV) est un critere de jugement majeur dans les essais cliniques en cancerologie afin de pouvoir mesurer le benefice clinique de nouvelles strategies therapeutiques pour le patient. L’interpretation des resultats doit se faire d’un point de vue statistique mais egalement d’un point de vue clinique pour le patient. En effet, la significativite statistique etant fortement influencee par la taille de l’echantillon, une petite difference de score de QdV peut etre statistiquement significative sans pour autant avoir de sens clinique pour le patient. La difference minimale cliniquement importante (DMCI) a ainsi ete definie comme la plus petite difference d’un score de QdV percue comme cliniquement importante pour le patient. L’objectif de ce travail est de repertorier l’ensemble des methodes existantes pour la determination de la DMCI et de realiser une revue de la litterature en cancerologie. Methodes Les methodes existantes pour determiner la DMCI sont generalement classees en deux categories : (1) celles basees sur l’ancre, i.e. sur un critere externe permettant de qualifier le changement observe (petite, moyenne, ou importante amelioration/deterioration vs. stabilite) et (2) celles basees sur la distribution des scores de QdV. Differents articles en cancerologie portant sur la determination de la DMCI pour un questionnaire du groupe EORTC ont ete selectionnes par une recherche dans PUBMED avec algorithme de selection. Des informations ont ete recueillies telles que la methode de determination de la DMCI utilisee, le choix de l’ancre et des distributions reportees, et la taille de l’echantillon consideree. Resultats Une premiere recherche PUBMED a permis d’identifier 54 articles dont 11 articles (20 %) portant sur des questionnaires EORTC. Les premiers resultats obtenus specifiquement pour les articles EORTC sont reportes ici. Les methodes basees sur l’ancre et la distribution ont ete utilisees conjointement dans chaque etude. L’ancre utilisee correspondait a l’item de QdV global du questionnaire QLQ-C30 ou QLQ-C15PAL pour quatre etudes, la question de transition de Jaeschke pour quatre etudes, et des mesures cliniques telles que le « performance status » pour trois etudes. La correlation entre l’ancre et les scores de QdV a l’inclusion a ete verifiee pour huit etudes. Les distributions generalement reportes etaient 20, 30 et 50 % de l’ecart-type a l’inclusion. Dans seulement une etude, la taille de l’echantillon a ete determinee specifiquement pour l’analyse de la DMCI. Les methodes basees sur l’ancre necessitent la collecte d’un critere externe supplementaire. Une limite souvent observee est le faible echantillon par categorie d’ancre conduisant a des resultats peu fiables, avec un minimum de sept patients observes pour determiner la DMCI pour l’amelioration. Dans deux articles l’impact de l’occurrence de l’effet « response shift » (RS) sur la determination de la DMCI a ete etudie. Il a ete montre dans ces etudes que l’effet RS impactait majoritairement les resultats de la DMCI chez les patients pour lesquels une deterioration etait observee. Dans deux etudes la stabilite de la DMCI au cours du temps a ete exploree. Conclusion La revue systematique de la litterature est en cours et les resultats de cette revue completeront ces premieres donnees. Des recommandations pourront ainsi etre proposees pour les futures etudes ayant pour objectif de determiner la DMCI

Adaptive learning algorithms to optimize mobile applications for behavioral health: guidelines for design decisions

Providing behavioral health interventions via smartphones allows these interventions to be adapted to the changing behavior, preferences, and needs of individuals. This can be achieved through reinforcement learning (RL), a sub-area of machine learning. However, many challenges could affect the effectiveness of these algorithms in the real world. We provide guidelines for decision-making. Using thematic analysis, we describe challenges, considerations, and solutions for algorithm design decisions in a collaboration between health services researchers, clinicians, and data scientists. We use the design process of an RL algorithm for a mobile health study "DIAMANTE" for increasing physical activity in underserved patients with diabetes and depression. Over the 1.5-year project, we kept track of the research process using collaborative cloud Google Documents, Whatsapp messenger, and video teleconferencing. We discussed, categorized, and coded critical challenges. We grouped challenges to create thematic topic process domains. Nine challenges emerged, which we divided into 3 major themes: 1. Choosing the model for decision-making, including appropriate contextual and reward variables; 2. Data handling/collection, such as how to deal with missing or incorrect data in real-time; 3. Weighing the algorithm performance vs effectiveness/implementation in real-world settings. The creation of effective behavioral health interventions does not depend only on final algorithm performance. Many decisions in the real world are necessary to formulate the design of problem parameters to which an algorithm is applied. Researchers must document and evaulate these considerations and decisions before and during the intervention period, to increase transparency, accountability, and reproducibility. clinicaltrials.gov, NCT03490253. © The Author(s) 2021. Published by Oxford University Press on behalf of the American Medical Informatics Association. All rights reserved. For permissions, please email: [email protected]