Artificial intelligence applications and cataract management: A systematic review

Artificial intelligence (AI)-based applications exhibit the potential to improve the quality and efficiency of patient care in different fields, including cataract management. A systematic review of the different applications of AI-based software on all aspects of a cataract patient's management, from diagnosis to follow-up, was carried out in accordance with the Preferred Reporting Items for Systematic Reviews and Meta-Analyses guidelines. All selected articles were analyzed to assess the level of evidence according to the Oxford Centre for Evidence-Based Medicine 2011 guidelines, and the quality of evidence according to the Grading of Recommendations Assessment, Development and Evaluation system. Of the articles analyzed, 49 met the inclusion criteria. No data synthesis was possible for the heterogeneity of available data and the design of the available studies. The AI-driven diagnosis seemed to be comparable and, in selected cases, to even exceed the accuracy of experienced clinicians in classifying disease, supporting the operating room scheduling, and intraoperative and postoperative management of complications. Considering the heterogeneity of data analyzed, however, further randomized controlled trials to assess the efficacy and safety of AI application in the management of cataract should be highly warranted

Studies on machine learning-based aid for residency training and time difficulty in ophthalmology

兵庫県立大学大学院工学(博士)2023doctoral thesi

Improving cataract surgery procedure using machine learning and thick data analysis

Cataract surgery is one of the most frequent and safe Surgical operations are done globally, with approximately 16 million surgeries conducted each year. The entire operation is carried out under microscopical supervision. Even though ophthalmic surgeries are similar in some ways to endoscopic surgeries, the way they are set up is very different. Endoscopic surgery operations were shown on a big screen so that a trainee surgeon could see them. Cataract surgery, on the other hand, was done under a microscope so that only the operating surgeon and one more trainee could see them through additional oculars. Since surgery video is recorded for future reference, the trainee surgeon watches the full video again for learning purposes. My proposed framework could be helpful for trainee surgeons to better understand the cataract surgery workflow. The framework is made up of three assistive parts: figuring out how serious cataract surgery is; if surgery is needed, what phases are needed to be done to perform surgery; and what are the problems that could happen during the surgery. In this framework, three training models has been used with different datasets to answer all these questions. The training models include models that help to learn technical skills as well as thick data heuristics to provide non-technical training skills. For video analysis, big data and deep learning are used in many studies of cataract surgery. Deep learning requires lots of data to train a model, while thick data requires a small amount of data to find a result. We have used thick data and expert heuristics to develop our proposed framework.Thick data analysis reduced the use of lots of data and also allowed us to understand the qualitative nature of data in order to shape a proposed cataract surgery workflow framework

Intraoperative process monitoring using generalized surgical process models

Der Chirurg in einem modernen Operationssaal kann auf die Funktionen einer Vielzahl technischer, seine Arbeit unterstützender, Geräte zugreifen. Diese Geräte und damit auch die Funktionen, die diese zur Verfügung stellen, sind nur unzureichend miteinander vernetzt. Die unzureichende Interoperabilität der Geräte bezieht sich dabei nicht nur auf den Austausch von Daten untereinander, sondern auch auf das Fehlen eines zentralen Wissens über den gesamten Ablauf des chirurgischen Prozesses. Es werden daher Systeme benötigt, die Prozessmodelle verarbeiten und damit globales Wissen über den Prozess zur Verfügung stellen können. Im Gegensatz zu den meisten Prozessen, die in der Wirtschaft durch Workflow Management-Systeme (WfMS) unterstützt werden, ist der chirurgische Prozess durch eine hohe Variabilität gekennzeichnet. Mittlerweile gibt es viele Ansätze feingranulare, hochformalisierte Modelle des chirurgischen Prozesses zu erstellen. In dieser Arbeit wird zum einen die Qualität eines, auf patienten individuellen Eingriffen basierenden, generalisierten Modells hinsichtlich der Abarbeitung durch ein WfMS untersucht, zum anderen werden die Voraussetzungen die, die vorgelagerten Systeme erfüllen müssen geprüft. Es wird eine Aussage zur Abbruchrate der Pfadverfolgung im generalisierten Modell gemacht, das durch eine unterschiedliche Anzahl von patientenindividuellen Modellen erstellt wurde. Zudem wird die Erfolgsrate zum Wiederfinden des Prozesspfades im Modell ermittelt. Ausserdem werden die Anzahl der benötigten Schritte zumWiederfinden des Prozesspfades im Modell betrachtet.:List of Figures iv List of Tables vi 1 Introduction 1 1.1 Motivation 1 1.2 Problems and objectives 3 2 State of research 6 2.1 Definitions of terms 6 2.1.1 Surgical process 6 2.1.2 Surgical Process Model 7 2.1.3 gSPM and surgical workflow 7 2.1.4 Surgical workflow management system 8 2.1.5 Summary 9 2.2 Workflow Management Systems 10 2.2.1 Agfa HealthCare - ORBIS 10 2.2.2 Siemens Clinical Solutions - Soarian 10 2.2.3 Karl Storz - ORchestrion 10 2.2.4 YAWL BPM 11 2.3 Sensor systems 12 2.3.1 Sensors according to DIN1319 13 2.3.2 Video-based sensor technology 14 2.3.3 Human-based sensor technology 15 2.3.4 Summary 15 2.4 Process model 15 2.4.1 Top-Down 15 2.4.2 Bottom-Up 17 2.4.3 Summary 18 2.5 Methods for creating the ICCAS process model 18 2.5.1 Recording of the iSPMs 18 2.5.2 Creation of the gSPMs 20 2.6 Summary 21 3 Model-based design of workflow schemas 23 3.1 Abstract 24 3.2 Introduction 25 3.3 Model driven design of surgical workflow schemata 27 3.3.1 Recording of patient individual surgical process models 27 3.3.2 Generating generalized SPM from iSPMs 27 3.3.3 Transforming gSPM into workflow schemata 28 3.4 Summary and Outlook 30 4 Model-based validation of workflow schemas 31 4.1 Abstract 32 4.2 Introduction 33 4.3 Methods 36 4.3.1 Surgical Process Modeling 36 4.3.2 Workflow Schema Generation 38 4.3.3 The SurgicalWorkflow Management and Simulation System 40 4.3.4 System Validation Study Design 42 4.4 Results 44 4.5 Discussion 47 4.6 Conclusion 50 4.7 Acknowledgments 51 5 Influence of missing sensor information 52 5.1 Abstract 53 5.2 Introduction 54 5.3 Methodology 57 5.3.1 Surgical process modeling 57 5.3.2 Test system 59 5.3.3 System evaluation study design 61 5.4 Results 63 5.5 Discussion 66 5.6 Conclusion 68 5.7 Acknowledgments 68 5.8 Conflict of interest 68 6 Summary and outlook 69 6.1 Summary 69 6.2 Outlook 70 Bibliography 7

Blinding eye disease in Western Australia: perspectives on data integration

This thesis explores the utility of linked hospital administrative data for evaluating blinding eye diseases and the eye care provided for them in Western Australia. Alternative data sources and methodologies that complement linked data methods were explored. Areas of study were complications of cataract surgery, the epidemiology of blindness, diabetic retinopathy screening and management, causes of vision loss in remote Aboriginals, and the safety of intravitreal anti-vascular endothelial growth factors in age-related macular degeneration

A review of artificial intelligence applications in anterior segment ocular diseases

Background: Artificial intelligence (AI) has great potential for interpreting and analyzing images and processing large amounts of data. There is a growing interest in investigating the applications of AI in anterior segment ocular diseases. This narrative review aims to assess the use of different AI-based algorithms for diagnosing and managing anterior segment entities. Methods: We reviewed the applications of different AI-based algorithms in the diagnosis and management of anterior segment entities, including keratoconus, corneal dystrophy, corneal grafts, corneal transplantation, refractive surgery, pterygium, infectious keratitis, cataracts, and disorders of the corneal nerves, conjunctiva, tear film, anterior chamber angle, and iris. The English-language databases PubMed/MEDLINE, Scopus, and Google Scholar were searched using the following keywords: artificial intelligence, deep learning, machine learning, neural network, anterior eye segment diseases, corneal disease, keratoconus, dry eye, refractive surgery, pterygium, infectious keratitis, anterior chamber, and cataract. Relevant articles were compared based on the use of AI models in the diagnosis and treatment of anterior segment diseases. Furthermore, we prepared a summary of the diagnostic performance of the AI-based methods for anterior segment ocular entities. Results: Various AI methods based on deep and machine learning can analyze data obtained from corneal imaging modalities with acceptable diagnostic performance. Currently, complicated and time-consuming manual methods are available for diagnosing and treating eye diseases. However, AI methods could save time and prevent vision impairment in eyes with anterior segment diseases. Because many anterior segment diseases can cause irreversible complications and even vision loss, sufficient confidence in the results obtained from the designed model is crucial for decision-making by experts. Conclusions: AI-based models could be used as surrogates for analyzing manual data with improveddiagnostic performance. These methods could be reliable tools for diagnosing and managing anterior segmentocular diseases in the near future in remote areas. It is expected that future studies can design algorithms thatuse less data in a multitasking manner for the detection and management of anterior segment diseases

Pixel-level semantic understanding of ophthalmic images and beyond

Computer-assisted semantic image understanding constitutes the substrate of applications that range from biomarker detection to intraoperative guidance or street scene understanding for self-driving systems. This PhD thesis is on the development of deep learning-based, pixel-level, semantic segmentation methods for medical and natural images. For vessel segmentation in OCT-A, a method comprising iterative refinement of the extracted vessel maps and an auxiliary loss function that penalizes structural inaccuracies, is proposed and tested on data captured from real clinical conditions comprising various pathological cases. Ultimately, the presented method enables the extraction of a detailed vessel map of the retina with potential applications to diagnostics or intraoperative localization. Furthermore, for scene segmentation in cataract surgery, the major challenge of class imbalance is identified among several factors. Subsequently, a method addressing it is proposed, achieving state-of-the-art performance on a challenging public dataset. Accurate semantic segmentation in this domain can be used to monitor interactions between tools and anatomical parts for intraoperative guidance and safety. Finally, this thesis proposes a novel contrastive learning framework for supervised semantic segmentation, that aims to improve the discriminative power of features in deep neural networks. The proposed approach leverages contrastive loss function applied both at multiple model layers and across them. Importantly, the proposed framework is easy to combine with various model architectures and is experimentally shown to significantly improve performance on both natural and medical domain

Generation of Artificial Image and Video Data for Medical Deep Learning Applications

Neuronale Netze haben in den letzten Jahren erstaunliche Ergebnisse bei der Erkennung von Ereignissen im Bereich der medizinischen Bild- und Videoanalyse erzielt. Dabei stellte sich jedoch immer wieder heraus, dass ein genereller Mangel an Daten besteht. Dieser Mangel bezieht sich nicht nur auf die Anzahl an verfügbaren Datensätzen, sondern auch auf die Anzahl an individuellen Stichproben, das heißt an unabhängigen Bildern und Videos, in bestehenden Datensätzen. Das führt wiederum zu einer schlechteren Erkennungsgenauigkeit von Ereignissen durch das neuronale Netz. Gerade im medizinischen Bereich ist es nicht einfach möglich die Datensätze zu erweitern oder neue Datensätze zu erfassen. Die Gründe hierfür sind vielfältig. Einerseits können rechtliche Belange die Datenveröffentlichung verhindern. Andererseits kann es sein, dass eine Krankheit nur sehr selten Auftritt und sich so keine Gelegenheit bietet die Daten zu erfassen. Ein zusätzliches Problem ist, dass es sich bei den Daten meist um eine sehr spezifische Domäne handelt, wodurch die Daten meist nur von Experten annotiert werden können. Die Annotation ist aber zeitaufwendig und somit teuer. Existierende Datenaugmentierungsmethoden können oft nur sinnvoll auf Bilddaten angewendet werden und erzeugen z.B. bei Videos nicht ausreichend zeitlich unabhängige Daten. Deswegen ist es notwendig, dass neue Methoden entwickelt werden, mit denen im Nachhinein auch Videodatensätze erweitert oder auch synthetische Daten generiert werden können. Im Rahmen dieser Dissertation werden zwei neu entwickelte Methoden vorgestellt und beispielhaft auf drei medizinische Beispiele aus dem Bereich der Chirurgie angewendet. Die erste Methode ist die sogenannte Workflow-Augmentierungsmethode, mit deren Hilfe semantischen Information, z.B. Ereignissen eines chirurgischen Arbeitsablaufs, in einem Video augmentiert werden können. Die Methode ermöglicht zusätzlich auch eine Balancierung zum Beispiel von chirurgischen Phasen oder chirurgischen Instrumenten, die im Videodatensatz vorkommen. Bei der Anwendung der Methode auf die zwei verschiedenen Datensätzen, von Kataraktoperationen und laparoskopischen Cholezystektomieoperationen, konnte die Leistungsfähigkeit der Methode gezeigt werden. Dabei wurde Genauigkeit der Instrumentenerkennung bei der Kataraktoperation durch ein Neuronales Netz während Kataraktoperation um 2,8% auf 93,5% im Vergleich zu etablierten Methoden gesteigert. Bei der chirurgischen Phasenerkennung im Fall bei der Cholezystektomie konnte sogar eine Steigerung der Genauigkeit um 8,7% auf 96,96% im Verglich zu einer früheren Studie erreicht werden. Beide Studien zeigen eindrucksvoll das Potential der Workflow-Augmentierungsmethode. Die zweite vorgestellte Methode basiert auf einem erzeugenden gegnerischen Netzwerk (engl. generative adversarial network (GAN)). Dieser Ansatz ist sehr vielversprechend, wenn nur sehr wenige Daten oder Datensätze vorhanden sind. Dabei werden mit Hilfe eines neuronalen Netzes neue fotorealistische Bilder generiert. Im Rahmen dieser Dissertation wird ein sogenanntes zyklisches erzeugendes gegnerisches Netzwerk (engl. cycle generative adversarial network (CycleGAN)) verwendet. CycleGANs führen meiste eine Bild zu Bild Transformation durch. Zusätzlich ist es möglich weitere Bedingungen an die Transformation zu knüpfen. Das CycleGAN wurde im dritten Beispiel dazu verwendet, ein Passbild von einem Patienten nach einem Kranio-Maxillofazialen chirurgischen Korrektur, mit Hilfe eines präoperativen Porträtfotos und der operativen 3D Planungsmaske, zu schätzen. Dabei konnten realistisch, lebendig aussehende Bilder generiert werden, ohne dass für das Training des GANs medizinische Daten verwendeten wurden. Stattdessen wurden für das Training synthetisch erzeugte Daten verwendet. Abschließend lässt sich sagen, dass die in dieser Arbeit entwickelten Methoden in der Lage sind, den Mangel an Stichproben und Datensätzen teilweise zu überwinden und dadurch eine bessere Erkennungsleistung von neuronalen Netzen erreicht werden konnte. Die entwickelten Methoden können in Zukunft dazu verwendet werden, bessere medizinische Unterstützungssysteme basierende auf künstlicher Intelligenz zu entwerfen, die den Arzt in der klinischen Routine weiter unterstützen, z.B. bei der Diagnose, der Therapie oder bei bildgesteuerten Eingriffen, was zu einer Verringerung der klinischen Arbeitsbelastung und damit zu einer Verbesserung der Patientensicherheit führt

Optical Methods in Sensing and Imaging for Medical and Biological Applications

The recent advances in optical sources and detectors have opened up new opportunities for sensing and imaging techniques which can be successfully used in biomedical and healthcare applications. This book, entitled ‘Optical Methods in Sensing and Imaging for Medical and Biological Applications’, focuses on various aspects of the research and development related to these areas. The book will be a valuable source of information presenting the recent advances in optical methods and novel techniques, as well as their applications in the fields of biomedicine and healthcare, to anyone interested in this subject