A novel approach toward skin cancer classification through fused deep features and neutrosophic environment

Variations in the size and texture of melanoma make the classification procedure more complex in a computer-aided diagnostic (CAD) system. The research proposes an innovative hybrid deep learning-based layer-fusion and neutrosophic-set technique for identifying skin lesions. The off-the-shelf networks are examined to categorize eight types of skin lesions using transfer learning on International Skin Imaging Collaboration (ISIC) 2019 skin lesion datasets. The top two networks, which are GoogleNet and DarkNet, achieved an accuracy of 77.41 and 82.42%, respectively. The proposed method works in two successive stages: first, boosting the classification accuracy of the trained networks individually. A suggested feature fusion methodology is applied to enrich the extracted features’ descriptive power, which promotes the accuracy to 79.2 and 84.5%, respectively. The second stage explores how to combine these networks for further improvement. The error-correcting output codes (ECOC) paradigm is utilized for constructing a set of well-trained true and false support vector machine (SVM) classifiers via fused DarkNet and GoogleNet feature maps, respectively. The ECOC’s coding matrices are designed to train each true classifier and its opponent in a one-versus-other fashion. Consequently, contradictions between true and false classifiers in terms of their classification scores create an ambiguity zone quantified by the indeterminacy set. Recent neutrosophic techniques resolve this ambiguity to tilt the balance toward the correct skin cancer class. As a result, the classification score is increased to 85.74%, outperforming the recent proposals by an obvious step. The trained models alongside the implementation of the proposed single-valued neutrosophic sets (SVNSs) will be publicly available for aiding relevant research fields

koopmans: an open-source package for accurately and efficiently predicting spectral properties with Koopmans functionals

Over the past decade we have developed Koopmans functionals, a computationally efficient approach for predicting spectral properties with an orbital-density-dependent functional formulation. These functionals address two fundamental issues with density functional theory (DFT). First, while Kohn-Sham eigenvalues can loosely mirror experimental quasiparticle energies, they are not meant to reproduce excitation energies and there is formally no connection between the two (except for the HOMO for the exact functional). Second, (semi-)local DFT deviates from the expected piecewise linear behavior of the energy as a function of the total number of electrons. This can make eigenvalues an even poorer proxy for quasiparticle energies and, together with the absence of the exchange-correlation derivative discontinuity, contributes to DFT's underestimation of band gaps. By enforcing a generalized piecewise linearity condition to the entire electronic manifold, Koopmans functionals yield molecular orbital energies and solid-state band structures with comparable accuracy to many-body perturbation theory but at greatly reduced computational cost and preserving a functional formulation. This paper introduces "koopmans", an open-source package that contains all of the code and workflows needed to perform Koopmans functional calculations without requiring expert knowledge. The theory and algorithms behind Koopmans functionals are summarized, and it is shown how one can easily use the koopmans package to obtain reliable spectral properties of molecules and materials.Comment: 60 pages, 5 figures, 2 tables. Document includes supporting informatio

Information retrieval and text mining technologies for chemistry

Efficient access to chemical information contained in scientific literature, patents, technical reports, or the web is a pressing need shared by researchers and patent attorneys from different chemical disciplines. Retrieval of important chemical information in most cases starts with finding relevant documents for a particular chemical compound or family. Targeted retrieval of chemical documents is closely connected to the automatic recognition of chemical entities in the text, which commonly involves the extraction of the entire list of chemicals mentioned in a document, including any associated information. In this Review, we provide a comprehensive and in-depth description of fundamental concepts, technical implementations, and current technologies for meeting these information demands. A strong focus is placed on community challenges addressing systems performance, more particularly CHEMDNER and CHEMDNER patents tasks of BioCreative IV and V, respectively. Considering the growing interest in the construction of automatically annotated chemical knowledge bases that integrate chemical information and biological data, cheminformatics approaches for mapping the extracted chemical names into chemical structures and their subsequent annotation together with text mining applications for linking chemistry with biological information are also presented. Finally, future trends and current challenges are highlighted as a roadmap proposal for research in this emerging field.A.V. and M.K. acknowledge funding from the European Community’s Horizon 2020 Program (project reference: 654021 - OpenMinted). M.K. additionally acknowledges the Encomienda MINETAD-CNIO as part of the Plan for the Advancement of Language Technology. O.R. and J.O. thank the Foundation for Applied Medical Research (FIMA), University of Navarra (Pamplona, Spain). This work was partially funded by Consellería de Cultura, Educación e Ordenación Universitaria (Xunta de Galicia), and FEDER (European Union), and the Portuguese Foundation for Science and Technology (FCT) under the scope of the strategic funding of UID/BIO/04469/2013 unit and COMPETE 2020 (POCI-01-0145-FEDER-006684). We thank Iñigo Garciá -Yoldi for useful feedback and discussions during the preparation of the manuscript.info:eu-repo/semantics/publishedVersio

Radar rainfall forecasting for sewer flood modelling to support decision-making in sewer network operations

Radar quantitative precipitation estimates (QPEs) and forecasts (QPFs) are useful in urban hydrology because they can provide real time or forecasted rainfall information for flood forecasting/warning systems. Sewer flooding is a disruptive problem in England and Wales. Wastewater companies have reported that more than 4,700 customers are at risk of internal sewer flooding. Currently in the UK, mitigating sewer flooding before it occurs is difficult to achieve operationally because of the lack of accurate and specific data. As radar rainfall data is available from the UK Met Office, particularly radar QPFs with a maximum lead time of 6 hours, these datasets could be used to predict sewer flooding up to this maximum lead time. This research investigates the uses of radar Quantitative Precipitation Forecasts and Quantitative Precipitation Estimates to support short term decisions of sewer network operation in reducing the risk of sewer flooding. It is achieved by increasing the accuracy of deterministic radar quantitative precipitation forecasts, developing on probabilistic radar quantitative precipitation forecasts, and using spatial variability of radar quantitative precipitation estimates to estimate flood extents in sewer catchments from the North East of England. Radar rainfall data used in the case study is also sourced from this region of size 184 km x 140 km. The temporal and spatial resolutions of rainfall forecasts are important to producing accurate hydrological output. Hence, increasing these resolutions is identified to improving deterministic radar quantitative precipitation forecasts for hydrological applications. An interpolation method involving temporal interpolation by optical flow and spatial interpolation by Universal Kriging is proposed to increase the resolution of radar QPF from a native resolution of 15 mins and 2-km to 5 mins and 1-km. Key results are that the interpolation method proposed outperforms traditional interpolation approaches including simple linear temporal interpolation and spatial interpolation by inverse distance weighting. Probabilistic radar quantitative precipitation forecasts provide information of the uncertainty of the radar deterministic forecasts. However, probabilistic approaches have limitations in that they may not accurately depict the uncertainty range for different rainfall types. Hence, postprocessing probabilistic quantitative precipitation forecasts are required. A Bayesian postprocessing approach is introduced to postprocess probability distributions produced from an existing stochastic method using the latest radar QPE. Furthermore, non-normal distributions in the stochastic model are developed using gamma based generalised linear models. Key successes of this approach are that the postprocessed probabilistic QPFs are more accurate than the pre-processed QPFs in both cool and warm seasons of a year. Furthermore, the postprocessed QPFs of all the verification events better correlate with their QPE, thus improving the temporal structure. Spatial variability of radar QPE/QPF data influences flood dynamics in a sewer catchment. Moreover, combination of different percentiles of probabilistic QPFs, per radar grid, over a sewer catchment would produce different spatial distributions of rainfall over the area. Furthermore, simulating many probabilistic QPFs concurrently is computationally demanding. Therefore, generalised linear models have been used to estimate model flood variables using a spatial analysis of radar QPE. Spatial analysis involves using indexes representing specific information of the spatial distribution of rainfall. The novelty of this estimation method includes faster estimations of flood extents. The main points of success of this approach are that more detailed spatial analysis of large sewer catchments produce more accurate flood estimations that could be used without running hydraulic simulations. This makes the approach suitable for probabilistic sewer flood forecasting in real-time applications. A business case is proposed to use the outputs of this research for commercial applications. Probabilistic sewer flood forecasting is evaluated and recommended for industry application using a financial appraisal approach for Northumbrian Water Limited. The business case shows that the methods could be adopted by the wastewater company to mitigate sewer flooding before it occurs. This would support decision making and save costs with better intervention management

Challenges and Opportunities of End-to-End Learning in Medical Image Classification

Das Paradigma des End-to-End Lernens hat in den letzten Jahren die Bilderkennung revolutioniert, aber die klinische Anwendung hinkt hinterher. Bildbasierte computergestützte Diagnosesysteme basieren immer noch weitgehend auf hochtechnischen und domänen-spezifischen Pipelines, die aus unabhängigen regelbasierten Modellen bestehen, welche die Teilaufgaben der Bildklassifikation wiederspiegeln: Lokalisation von auffälligen Regionen, Merkmalsextraktion und Entscheidungsfindung. Das Versprechen einer überlegenen Entscheidungsfindung beim End-to-End Lernen ergibt sich daraus, dass domänenspezifische Zwangsbedingungen von begrenzter Komplexität entfernt werden und stattdessen alle Systemkomponenten gleichzeitig, direkt anhand der Rohdaten, und im Hinblick auf die letztendliche Aufgabe optimiert werden. Die Gründe dafür, dass diese Vorteile noch nicht den Weg in die Klinik gefunden haben, d.h. die Herausforderungen, die sich bei der Entwicklung Deep Learning-basierter Diagnosesysteme stellen, sind vielfältig: Die Tatsache, dass die Generalisierungsfähigkeit von Lernalgorithmen davon abhängt, wie gut die verfügbaren Trainingsdaten die tatsächliche zugrundeliegende Datenverteilung abbilden, erweist sich in medizinische Anwendungen als tiefgreifendes Problem. Annotierte Datensätze in diesem Bereich sind notorisch klein, da für die Annotation eine kostspielige Beurteilung durch Experten erforderlich ist und die Zusammenlegung kleinerer Datensätze oft durch Datenschutzauflagen und Patientenrechte erschwert wird. Darüber hinaus weisen medizinische Datensätze drastisch unterschiedliche Eigenschaften im Bezug auf Bildmodalitäten, Bildgebungsprotokolle oder Anisotropien auf, und die oft mehrdeutige Evidenz in medizinischen Bildern kann sich auf inkonsistente oder fehlerhafte Trainingsannotationen übertragen. Während die Verschiebung von Datenverteilungen zwischen Forschungsumgebung und Realität zu einer verminderten Modellrobustheit führt und deshalb gegenwärtig als das Haupthindernis für die klinische Anwendung von Lernalgorithmen angesehen wird, wird dieser Graben oft noch durch Störfaktoren wie Hardwarelimitationen oder Granularität von gegebenen Annotation erweitert, die zu Diskrepanzen zwischen der modellierten Aufgabe und der zugrunde liegenden klinischen Fragestellung führen. Diese Arbeit untersucht das Potenzial des End-to-End-Lernens in klinischen Diagnosesystemen und präsentiert Beiträge zu einigen der wichtigsten Herausforderungen, die derzeit eine breite klinische Anwendung verhindern. Zunächst wird der letzten Teil der Klassifikations-Pipeline untersucht, die Kategorisierung in klinische Pathologien. Wir demonstrieren, wie das Ersetzen des gegenwärtigen klinischen Standards regelbasierter Entscheidungen durch eine groß angelegte Merkmalsextraktion gefolgt von lernbasierten Klassifikatoren die Brustkrebsklassifikation im MRT signifikant verbessert und eine Leistung auf menschlichem Level erzielt. Dieser Ansatz wird weiter anhand von kardiologischer Diagnose gezeigt. Zweitens ersetzen wir, dem Paradigma des End-to-End Lernens folgend, das biophysikalische Modell, das für die Bildnormalisierung in der MRT angewandt wird, sowie die Extraktion handgefertigter Merkmale, durch eine designierte CNN-Architektur und liefern eine eingehende Analyse, die das verborgene Potenzial der gelernten Bildnormalisierung und einen Komplementärwert der gelernten Merkmale gegenüber den handgefertigten Merkmalen aufdeckt. Während dieser Ansatz auf markierten Regionen arbeitet und daher auf manuelle Annotation angewiesen ist, beziehen wir im dritten Teil die Aufgabe der Lokalisierung dieser Regionen in den Lernprozess ein, um eine echte End-to-End-Diagnose baserend auf den Rohbildern zu ermöglichen. Dabei identifizieren wir eine weitgehend vernachlässigte Zwangslage zwischen dem Streben nach der Auswertung von Modellen auf klinisch relevanten Skalen auf der einen Seite, und der Optimierung für effizientes Training unter Datenknappheit auf der anderen Seite. Wir präsentieren ein Deep Learning Modell, das zur Auflösung dieses Kompromisses beiträgt, liefern umfangreiche Experimente auf drei medizinischen Datensätzen sowie eine Serie von Toy-Experimenten, die das Verhalten bei begrenzten Trainingsdaten im Detail untersuchen, und publiziren ein umfassendes Framework, das unter anderem die ersten 3D-Implementierungen gängiger Objekterkennungsmodelle umfasst. Wir identifizieren weitere Hebelpunkte in bestehenden End-to-End-Lernsystemen, bei denen Domänenwissen als Zwangsbedingung dienen kann, um die Robustheit von Modellen in der medizinischen Bildanalyse zu erhöhen, die letztendlich dazu beitragen sollen, den Weg für die Anwendung in der klinischen Praxis zu ebnen. Zu diesem Zweck gehen wir die Herausforderung fehlerhafter Trainingsannotationen an, indem wir die Klassifizierungskompnente in der End-to-End-Objekterkennung durch Regression ersetzen, was es ermöglicht, Modelle direkt auf der kontinuierlichen Skala der zugrunde liegenden pathologischen Prozesse zu trainieren und so die Robustheit der Modelle gegenüber fehlerhaften Trainingsannotationen zu erhöhen. Weiter adressieren wir die Herausforderung der Input-Heterogenitäten, mit denen trainierte Modelle konfrontiert sind, wenn sie an verschiedenen klinischen Orten eingesetzt werden, indem wir eine modellbasierte Domänenanpassung vorschlagen, die es ermöglicht, die ursprüngliche Trainingsdomäne aus veränderten Inputs wiederherzustellen und damit eine robuste Generalisierung zu gewährleisten. Schließlich befassen wir uns mit dem höchst unsystematischen, aufwendigen und subjektiven Trial-and-Error-Prozess zum Finden von robusten Hyperparametern für einen gegebene Aufgabe, indem wir Domänenwissen in ein Set systematischer Regeln überführen, die eine automatisierte und robuste Konfiguration von Deep Learning Modellen auf einer Vielzahl von medizinischen Datensetzen ermöglichen. Zusammenfassend zeigt die hier vorgestellte Arbeit das enorme Potenzial von End-to-End Lernalgorithmen im Vergleich zum klinischen Standard mehrteiliger und hochtechnisierter Diagnose-Pipelines auf, und präsentiert Lösungsansätze zu einigen der wichtigsten Herausforderungen für eine breite Anwendung unter realen Bedienungen wie Datenknappheit, Diskrepanz zwischen der vom Modell behandelten Aufgabe und der zugrunde liegenden klinischen Fragestellung, Mehrdeutigkeiten in Trainingsannotationen, oder Verschiebung von Datendomänen zwischen klinischen Standorten. Diese Beiträge können als Teil des übergreifende Zieles der Automatisierung von medizinischer Bildklassifikation gesehen werden - ein integraler Bestandteil des Wandels, der erforderlich ist, um die Zukunft des Gesundheitswesens zu gestalten

Meso-scale heating predictions for weak impact of granular energetic solids

An explicit, two-dimensional, Lagrangian finite and discrete element technique is formulated and used to computationally characterize meso-scale fluctuations in thermomechanical fields induced by low pressure deformation waves propagating through particulate energetic solids. Emphasis is placed on characterizing the relative importance of plastic and friction work as meso-scale heating mechanisms which may cause bulk ignition of these materials and their dependence on piston speed (vp ~ 50-500 m/s). The numerical technique combines conservation principles with a plane strain, thermoelastic-viscoplastic constitutive theory to describe deformation within the material meso-structure. An energy consistent, penalty based, distributed potential force method, coupled to a penalty regularized Amontons Coulomb law, is used to enforce kinematic and thermal contact constraints between particles. The technique is shown to be convergent, and its spatial (~ 2.0) and temporal (~ 1.5) convergence rate is established. Predictions show that alhough plastic work far exceeds friction work, considerably higher local temperatures result from friction work. Most mass within the deformation wave (~ 99.9%) is heated to approximately 330, 400, and 500 K, for vp = 50, 250, and 500 m/s, respectively, due to plastic work, whereas only a small fraction of mass (~ .001%) is respectively heated to temperatures in excess of 600, 1100 and 1400 K due to friction work. In addition to low speed impact, and contrary to conventional belief, friction work is shown to also be an important heating mechanism at higher impact speeds. The variation in spatial partitioning of bulk energy within the deformation wave structure with particle morphology and material properties is demonstrated