Updating and external validation of a surgical site infection risk-index tool

Introduction: Surgical site infections (SSIs) represent an important threat in surgical settings as they are associated with significant clinical and economic burden, on a patient and societal level. Due to the increasing emergence of resistant bacteria, focus must be shifted to SSI prevention as opposed to therapeutic intervention following SSI development. We therefore created the JSS-SSI Risk Scoring Tool, which identifies low-, moderate- and high-risk SSI patients. Following development of the risk tool, this study aimed to update and validate the model using an external population.Methods: This retrospective study utilized surgical patient-level data from the National Surgical Quality Improvement Program between 2012 and 2014. Discrimination, calibration and overall fit of the original model were assessed with the aid of the Receiver Operating Characteristic (ROC) area under the curve (AUC), sensitivity, specificity, calibration plot, Hosmer-Lemeshow test and Brier score. Twelve updating methods were conducted. The final JSS-SSI Risk Scoring Tool was selected following the comparison of discrimination, calibration and overall fit of the updated tools. Variable score values were calculated for all included risk factors. Threshold values were established with ROC analysis. The discrimination, calibration and overall fit of the final JSS-SSI Risk Scoring Tool were evaluated. Multivariate logistic regression assessed the relative rate of observed SSIs in moderate and high-risk patients in comparison to the low-risk group.Results: The external population included 1,459,481 patients of which 3.4% developed an SSI. The original risk tool yielded an AUC = 0.657, sensitivity = 79.6%, specificity = 58.3%, calibration slope = 0.37 and intercept = 0.02, a Hosmer-Lemeshow p ˂ 0.001 and mean (SD) Brier score = 0.0331 (0.1606). Among the twelve updating methods assessed, the tool produced by Method 11, which solely included the risk factors with an odds ratio (OR) above 1.5 when associated with SSIs, had the highest predictive accuracy [mean (SD) Brier score = 0.0318 (0.1602)], and was thusly retained as the final JSS-SSI Risk Scoring Tool. The SSI predictors included: discharge destination other than home (OR = 1.732; 16 points); surgery duration above 3 hours (OR = 2.139; 19 points); inpatient status (OR = 2.690; 24 points); general, gynecologic, otolaryngologic, thoracic or urologic surgery (OR = 2.525; 22 points); and Class III contaminated or Class IV dirty/ infected operative wound (OR = 2.169; 19 points). Following ROC analysis, threshold values of 42.997 and 58.468 were selected, therefore patients with scores of 0-42, 43-58 and 59-100 points had a low, moderate and high SSI risk, respectively. The final JSS-SSI Risk Scoring Tool demonstrated superior discrimination, calibration and overall fit than the original risk tool. As per the established threshold values, 60.7%, 21.6% and 17.8% of patients had a low, moderate and high SSI risk of which 1.4%, 3.7% and 9.9% of patients developed an SSI, respectively. Patients with a moderate and high risk were 2.776 and 7.919 times more likely to develop an SSI, respectively, when compared to low-risk patients (both p ˂ 0.001).Conclusion: This study updated and externally validated the JSS-SSI Risk Scoring Tool in a large external population. Applicability and implementation of this validated tool in surgical settings is henceforth advised to assist the decision-making of healthcare professionals during the identification of patients with an increased SSI risk.Introduction: Les infections du site opératoire (ISOs) représentent une menace sérieuse dans les milieux chirurgicaux car elles sont associées à un fardeau clinique et économique important, au niveau du patient et de la société. En raison de l'émergence croissante de bactéries résistantes, l'accent doit être déplacé vers la prévention des ISOs par opposition à l'intervention thérapeutique suite à leur développement. Nous avons donc créé l'outil de risque ‘JSS-SSI Risk Scoring Tool’, qui identifie des patients avec un risque faible, modéré et haut d’atteindre un ISO. À la suite du développement de l'outil de risque, cette étude visait à mettre à jour et à valider le modèle avec une population externe.Méthodes: Cette étude rétrospective a utilisé les données chirurgicales du Programme National d'Amélioration de la Qualité Chirurgicale de 2012 à 2014. La discrimination, l'étalonnage et l'ajustement global du modèle original ont été évalués à l'aide de la zone caractéristique de fonctionnement du récepteur (Receiver Operating Characteristic, ROC) sous la courbe (Area Under the Curve, AUC), de la sensibilité, de la spécificité, du graphique d'étalonnage, le test Hosmer-Lemeshow et le score Brier. Douze méthodes de mise à jour ont été menées. L'outil final JSS-SSI Risk Scoring Tool a été sélectionné suite à la comparaison de la discrimination, de l'étalonnage et de l'ajustement global des douze outils. Les valeurs de score variable ont été calculées pour chaque facteur de risque inclus. Les valeurs de seuil ont été établies avec l'analyse ROC. La discrimination, l'étalonnage et l'ajustement global de l'outil final ont été évalués. Une régression logistique multivariée a évalué le taux relatif d’ISOs observées chez les patients à risque modéré et élevé par rapport au groupe à faible risque.Résultats: La population externe comprenait 1 459 481 patients dont 3,4% ont développé une ISO. L'outil de risque original a généré un AUC = 0,657, sensibilité = 79,6%, spécificité = 58,3%, pente d'étalonnage = 0,37 et interception = 0,02, Hosmer-Lemeshow p ˂ 0,001 et moyenne (SD) score Brier = 0,0331 (0,1606). Parmi les douze méthodes de mise à jour, l'outil produit par la Méthode 11, qui comprenait uniquement les facteurs de risque avec un rapport de cotes (OR) supérieur à 1.5, avait la plus grande précision prédictive [score de Brier moyen (SD) = 0.0318 (0.1602)], et a donc été retenu comme outil de risque final. Les prédicteurs d’ISOs comprenaient: destination de sortie autre que la maison (OR = 1,732; 16 points); durée de la chirurgie supérieure à 3 heures (OR = 2,139; 19 points); statut d'hospitalisation (OR = 2,690; 24 points); chirurgie générale, gynécologique, otolaryngologique, thoracique ou urologique (OR = 2,525; 22 points); et blessure opératoire Classe III contaminée ou IV sale/ infectée (OR = 2,169; 19 points). À la suite de l'analyse ROC, des valeurs de seuil de 42,997 et 58,468 ont été sélectionnées, donc les patients avec des scores de 0-42, 43-58 et 59-100 points ont un risque d’ISO faible, modéré et élevé, respectivement. L'outil final de risque JSS-SSI a démontré une discrimination, étalonnage et l'ajustement global supérieurs que l'outil de risque d'origine. Selon les valeurs de seuil établies, 60,7%, 21,6% et 17,8% des patients avaient un risque d’ISO faible, modéré et élevé dont 1,4%, 3,7% et 9,9% des patients ont développé une ISO, respectivement. Les patients présentant un risque modéré et élevé étaient de 2,776 et 7,919 fois plus susceptibles de développer une ISO, respectivement, par rapport aux patients à faible risque (tous deux p < 0,001).Conclusion: Cette étude a mis à jour et validé de manière externe l'outil de risque ‘JSS-SSI Risk Scoring Tool’ dans une population externe. L'applicabilité et la mise en œuvre de cet outil validé en milieu chirurgical sont désormais conseillées d'aider à la prise de décision des professionnels de la santé lors de l'identification des patients présentant un risque accru d’ISO