Interpreting Arabic Sign Alphabet by using the Deep Learning

Sign Language (SL) is a communication method between people. It is an essential language; especially for people who are speech impaired and hearing impaired, it can be considered as their mother tongues. Hand gestures form the nonverbal communication of this language. We focus on interpreting Arabic Sign Alphabet (ASA) in this study and, as a case study, the recognition of alphabet in Iraqi Sign Language (IrSL) is carried out with the help of specialists from the “Al-Amal Institute for the Deaf and Dumb”. A new ASA dataset of various hand gestures was created and adopted. In addition, a deep learning model named the Deep Arabic Sign Alphabet (DASA) is proposed, which is a developed version of the Convolutional Neural Network (CNN). It can efficiently interpret the ASA, achieving a high interpretation accuracy of 95.25%

Towards The Deep Semantic Learning Machine Neuroevolution Algorithm: An exploration on the CIFAR-10 problem task

Dissertation presented as the partial requirement for obtaining a Master's degree in Data Science and Advanced AnalyticsSelecting the topology and parameters of Convolutional Neural Network (CNN) for a given supervised machine learning task is a non-trivial problem. The Deep Semantic Learning Machine (Deep-SLM) deals with this problem by automatically constructing CNNs without the use of the Backpropagation algorithm. The Deep-SLM is a novel neuroevolution technique and functions as stochastic semantic hill-climbing algorithm searching over the space of CNN topologies and parameters. The geometric semantic properties of the Deep-SLM induce a unimodel error space and eliminate the existence of local optimal solutions. This makes the Deep-SLM potentially favorable in terms of search efficiency and effectiveness. This thesis provides an exploration of a variant of the Deep-SLM algorithm on the CIFAR-10 problem task, and a validation of its proof of concept. This specific variant only forms mutation node ! mutation node connections in the non-convolutional part of the constructed CNNs. Furthermore, a comparative study between the Deep-SLM and the Semantic Learning Machine (SLM) algorithms was conducted. It was observed that sparse connections can be an effective way to prevent overfitting. Additionally, it was shown that a single 2D convolution layer initialized with random weights does not result in well-generalizing features for the Deep-SLM directly, but, in combination with a 2D max-pooling down sampling layer, effective improvements in performance and generalization of the Deep-SLM could be achieved. These results constitute to the hypothesis that convolution and pooling layers can improve performance and generalization of the Deep-SLM, unless the components are properly optimized.Selecionar a topologia e os parâmetros da Rede Neural Convolucional (CNN) para uma tarefa de aprendizado automático supervisionada não é um problema trivial. A Deep Semantic Learning Machine (Deep-SLM) lida com este problema construindo automaticamente CNNs sem recorrer ao uso do algoritmo de Retro-propagação. A Deep-SLM é uma nova técnica de neuroevolução que funciona enquanto um algoritmo de escalada estocástico semântico na pesquisa de topologias e de parâmetros CNN. As propriedades geométrico-semânticas da Deep-SLM induzem um unimodel error space que elimina a existência de soluções ótimas locais, favorecendo, potencialmente, a Deep-SLM em termos de eficiência e eficácia. Esta tese providencia uma exploração de uma variante do algoritmo da Deep-SLM no problemo de CIFAR-10, assim como uma validação do seu conceito de prova. Esta variante específica apenas forma conexões nó de mutação!nó de mutação na parte non convolucional da CNN construída. Mais ainda, foi conduzido um estudo comparativo entre a Deep-SLM e o algoritmo da Semantic Learning Machine (SLM). Tendo sido observado que as conexões esparsas poderão tratar-se de uma forma eficiente de prevenir o overfitting. Adicionalmente, mostrou-se que uma singular camada de convolução 2D, iniciada com valores aleatórios, não resulta, directamente, em características generalizadas para a Deep-SLM, mas, em combinação com uma camada de 2D max-pooling, melhorias efectivas na performance e na generalização da Deep-SLM poderão ser concretizadas. Estes resultados constituem, assim, a hipótese de que as camadas de convolução e pooling poderão melhorar a performance e a generalização da Deep-SLM, a não ser que os componentes sejam adequadamente otimizados

Análise de imagens médicas com recurso a metodologias de deep learning

Mestrado em Engenharia Eletrónica e InformáticaExame público realizado em 26 de Julho de 2021A imagiologia médica refere-se a um conjunto de processos ou técnicas que permitem criar representações visuais das partes interiores do corpo. A avaliação de uma imagem médica requer uma análise cuidadosa bem como a compreensão das propriedades e dos detalhes das imagens, que incluem as condições de aquisição, as condições experimentais e as características do sistema biológico. O recurso à imagiologia médica permite a investigação e o diagnóstico precoce de diferentes patologias. Portanto, uma abordagem baseada no conhecimento para a análise e interpretação de tais imagens é imperativa. Há cada vez mais inovações no que concerne ao diagnóstico através de imagens médicas. Como tal, os avanços técnicos que permitam a produção de imagens de maior resolução, aliados a métodos de análise de imagens médicas que permitam extrair novas informações, têm sido investigados por parte da comunidade científica. Uma das áreas de investigação em destaque consiste na aplicação da inteligência artificial na imagem médica emulando a racionalidade do diagnóstico realizada pelo médico e oferecendo uma oportunidade para novos desenvolvimentos no que concerne à utilização da imagem médica como ponto de partida para o diagnóstico. Este trabalho visa investigar e implementar metodologias de machine learning, um ramo da inteligência artificial, para classificar e segmentar imagens médicas. Para tal, foi realizada uma extensa pesquisa bibliográfica sobre o estado da arte em revistas da especialidade indexadas. No sentido de testar diferentes abordagens foram selecionados para teste dois dataset para classificação, MedMNIST e MedNIST compostos por 454591 e 58954 imagens médicas respetivamente, e dois dataset para segmentação, BBBC038 composto por 735 imagens médicas e o ICPR2012 com 50 imagens H&E. Assim, o trabalho foi dividido em duas vertentes principais. Uma primeira parte onde se foca na classificação de imagens médicas, onde foi implementada e comparada a performance de várias arquiteturas utilizando as métricas adequadas. Para a realização desta primeira tarefa, foi necessário um pré-processamento dos dados (das imagens médicas). Em segundo lugar, foram investigadas formas de segmentação de imagens com o intuito de identificar núcleo celulares. Uma vez mais, foram construídas e comparadas as performances de diferentes arquiteturas, utilizando as métricas mais pertinentes. Adicionalmente, foi investigada a segmentação e a deteção com a particularidade de identificar núcleos que se encontrassem em mitose. Para ambas as tarefas foram obtidos resultados mais promissores do que os previamente reportados para os dataset’s estudados. No final, foi ainda desenvolvida uma aplicação web que permite testar os modelos e visualizar os resultados. Em resumo, os resultados deste estudo demonstraram o potencial das metodologias de machine learning como uma ferramenta importante para automatização de tarefas na área de imagem médica apresentando importantes contributos que permitem uma melhoria na classificação de determinadas patologias.Medical imaging encompasses a set of processes or techniques which allow the creation of visual representations of the inner parts of the body. The evaluation of a medical image requires a careful analysis, as well as the understanding of the properties and details of the images, that include the acquisition and experimental conditions, and the features of the biological system. The use of medical imaging allows the investigation and the early diagnosis of different pathologies. Therefore, a knowledge-based approach for the analysis and interpretation of such images is imperative. There is an increasing innovation concerning diagnosis through medical imaging. As such, the technical advances that allow the production of higher resolution images, allied to methods of medical images analysis that uncover new information, have been investigated by the scientific community. A research field that must be highlighted within medical imaging is artificial intelligence, which emulates the rationality of the diagnosis performed by the medical doctor and offers an opportunity for new developments regarding the use of medical imaging as a starting point for diagnosis. This work aims to investigate and implement machine learning methodologies, a field of artificial intelligence, to classify and segment medical images. For that goal, an intensive literature search in indexed specialty journals was conducted. As a way to test different approaches, two datasets were selected for classification, MedMNIST and MedNIST, composed by 454591 and 58954 medical images, respectively, and two datasets for segmentation, BBBC038, composed by 735 medical images and ICPR2012 with 50 H&E images. Therefore, this work was divided into two main components. A first part, where the focus is on the classification of medical images, where the performance of several architectures was implemented and characterized, using the adequate metrics. To accomplish this first task, a pre-processing of the data (medical images) was needed. Secondly, the segmentation of images with the goal of identifying cell nuclei were investigated. Once again, the performances of several architectures were built and compared, using the most relevant metrics. Additionally, research was conducted concerning segmentation and detection, with the singularity of identifying nuclei undergoing mitosis. The results obtained were more promising for both tasks than what had previously been reported for the studied datasets. In the end, a web application capable of testing the models and visualize the results was developed. In brief, the results obtained herein demonstrate the potential of machine learning methodologies as an important tool for the automatization of tasks in the medical imaging field, providing important contributions that lead to a better classification of certain pathologies

Multiactivation Pooling Method in Convolutional Neural Networks for Image Recognition

Convolutional neural networks (CNNs) are becoming more and more popular today. CNNs now have become a popular feature extractor applying to image processing, big data processing, fog computing, etc. CNNs usually consist of several basic units like convolutional unit, pooling unit, activation unit, and so on. In CNNs, conventional pooling methods refer to 2×2 max-pooling and average-pooling, which are applied after the convolutional or ReLU layers. In this paper, we propose a Multiactivation Pooling (MAP) Method to make the CNNs more accurate on classification tasks without increasing depth and trainable parameters. We add more convolutional layers before one pooling layer and expand the pooling region to 4×4, 8×8, 16×16, and even larger. When doing large-scale subsampling, we pick top-k activation, sum up them, and constrain them by a hyperparameter σ. We pick VGG, ALL-CNN, and DenseNets as our baseline models and evaluate our proposed MAP method on benchmark datasets: CIFAR-10, CIFAR-100, SVHN, and ImageNet. The classification results are competitive