Artificial neural networks to assess virtual reality anterior cervical discectomy performance

Abstract

Background: Virtual reality surgical simulators are being developed with the goal of providing a safe environment for trainees to practice specific surgical scenarios and allow for self-guided learning. Artificial intelligence technology, including artificial neural networks, offers the potential to manipulate large datasets from simulators to gain insight into the importance of specific performance metrics during simulated operative tasks.Hypothesis: Artificial neural networks are suitable for and capable of revealing and quantitating important metrics of performance for a virtual reality spinal surgery task.Objectives: First, to develop metrics of performance for a novel virtual reality anterior cervical discectomy simulation. Second, to employ artificial neural networks to classify participants’ expertise based on their performance in the simulated task. Third, to examine the ability of the neural network to outline the relative weights of specific metrics in the determination of expert performance in this virtual reality spinal procedure.Methods: Twenty-one participants performed a simulated anterior cervical discectomy on the novel virtual reality Sim-Ortho simulator. Participants were divided into 3 groups, including 9 Post-Resident, 5 Senior, and 7 Junior participants. Data was recorded and manipulated to calculate metrics of performance for each participant. Neural networks were trained and tested and the relative importance of each metric was calculated.Results: A total of 369 metrics spanning four categories (safety, efficiency, motion, cognition) were generated. An artificial neural network was trained on 16 selected metrics, and tested achieving a training accuracy of 100% and a testing accuracy of 83.3%. Network analysis identified safety metrics, including the number of contacts on spinal dura, as highly important.Conclusion: Artificial neural networks classified 3 groups of participants based on expertise allowing insight into the relative importance of specific metrics of performance. This novel methodology aids in the understanding of which components of surgical performance predominantly contribute to expertise.Contexte: Les simulateurs chirurgicaux de réalité virtuelle sont en cours de développement dans le but de fournir aux stagiaires en chirurgie un environnement sûr leur permettant de mettre en pratique des scénarios chirurgicaux spécifiques et de permettre un apprentissage autonome. La technologie de l'intelligence artificielle, y compris les réseaux de neurones artificiels, offre la possibilité de manipuler de grands ensembles de données à partir de simulateurs pour mieux comprendre l'importance de mesures de performances spécifiques lors des opérations chirurgicales simulées. Hypothèse: Les réseaux de neurones artificiels sont adaptés et capables de mettre en évidence et de quantifier des mesures de performance importantes pour une opération de chirurgie rachidienne en réalité virtuelle. Objectifs: Premièrement, de développer des mesures de performance pour une simulation innovatrice de discectomie cervicale antérieure en réalité virtuelle. Deuxièmement, d’utiliser des réseaux de neurones artificiels afin de classer les compétences des participants en fonction de leurs performances dans la tâche simulée. Troisièmement, d’examiner la capacité du réseau de neurones à définir l’importance relative des mesures spécifiques dans la détermination de la performance d’un expert dans cette procédure rachidienne en réalité virtuelle. Méthodologie: Vingt et un participants ont réalisé une discectomie cervicale antérieure simulée sur le nouveau simulateur de réalité virtuelle Sim-Ortho. Les participants ont été divisés en 3 groupes, comprenant 9 participants « Post-Resident », 5 participants « Senior » et 7 participants « Junior ». Cette étude s'est concentrée sur la portion discectomie de l’opération. Les données ont été enregistrées et traitées pour calculer des mesures de performance pour chaque participant. Les réseaux de neurones ont été formés et testés; et l'importance relative de chacune des mesures de performance a été calculée. Résultats: Un total de 369 mesures de performance couvrant quatre catégories incluant la sécurité, l’efficacité, le mouvement et le cognitif ont été générées. Un réseau de neurones artificiels a été formé sur 16 mesures sélectionnées et testé avec une précision d’entraînement de 100% et une précision des tests de 83,3%. L’analyse du réseau a révélé que les mesures de sécurité, y compris le nombre de contacts sur la dure-mère, étaient très importantes. Conclusion: Les réseaux de neurones artificiels ont classé 3 groupes de participants sur la base d'une expertise permettant de mieux comprendre l'importance relative de mesures de performance spécifiques. Cette méthodologie novatrice aide à comprendre quelles composantes de la performance chirurgicale contribuent principalement à l'expertise