INDOOR SEMANTIC SEGMENTATION FROM RGB-D IMAGES BY INTEGRATING FULLY CONVOLUTIONAL NETWORK WITH HIGHER-ORDER MARKOV RANDOM FIELD

Indoor scenes have the characteristics of abundant semantic categories, illumination changes, occlusions and overlaps among objects, which poses great challenges for indoor semantic segmentation. Therefore, we in this paper develop a method based on higher-order Markov random field model for indoor semantic segmentation from RGB-D images. Instead of directly using RGB-D images, we first train and perform RefineNet model only using RGB information for generating the high-level semantic information. Then, the spatial location relationship from depth channel and the spectral information from color channels are integrated as a prior for a marker-controlled watershed algorithm to obtain the robust and accurate visual homogenous regions. Finally, higher-order Markov random field model encodes the short-range context among the adjacent pixels and the long-range context within each visual homogenous region for refining the semantic segmentations. To evaluate the effectiveness and robustness of the proposed method, experiments were conducted on the public SUN RGB-D dataset. Experimental results indicate that compared with using RGB information alone, the proposed method remarkably improves the semantic segmentation results, especially at object boundaries

Análise da segmentação de lesões mamárias por watershed com variação de elementos estruturantes

Breast cancer is the main type of cancer diagnosed worldwide, with one in six women diagnosed with the disease dying. To improve the prognosis and survival of patients is necessary to perform the early detection through mammography. Mammography is a radiographic exam that allows to note mammary lesions as masses and calcifications. Using digital mammographic images processing, it’s possible to improve visualization of structures and facilitate diagnosis, using noise-reduction filters, contrast enhancement and segmentation. Segmentation is the division of the image in regions of interest (lesions) and background. One of the techniques in segmentation is watershed segmentation, that is a topographic analysis of the image and object’s boundaries extraction. Watershed demands using markers, that limits the regions where processing will be applied, avoiding issues as over-segmentation. The markers can be defined using morphological operators, which uses structuring elements to identify interest pixels. Therefore, the aim of this work is to evaluate watershed segmentation of mammographic lesions, by changing the pre-processing and structuring elements. There were applied disk and diamond-shaped structuring elements, with 25, 50 and 100 pixels as size, in addition to noisereduction Wiener filter and contrast enhancement with Wavelet transform and contrast limited adaptative histogram equalization (CLAHE). The results were evaluated by using accuracy, ROC curve (Receiver Operating Characteristic Curve) and visual analysis of the images, comparing the results with the original image. As result, it was possible to identify the relationship between size and pre-processing with the number of detected regions. Moreover, small structuring elements are more effective in watershed segmentation, requiring research with different noise reduction methods and marker definition algorithms. Finally, the results allowed to establish how breast density and shape, size and type of lesion interfere in watershed segmentation results.Trabalho de Conclusão de Curso (Graduação)O câncer de mama é o principal tipo de câncer diagnosticado mundialmente, sendo que uma a cada seis mulheres diagnosticadas com a doença vão a óbito. Para melhorar o prognóstico e a sobrevida das pacientes é necessária a detecção precoce através da mamografia. A mamografia é um exame radiográfico que permite observar lesões mamárias como nódulos e calcificações. Através do processamento digital das imagens mamográficas, é possível melhorar a visualização das estruturas e facilitar o diagnóstico, utilizando filtros de suavização de ruído, realce do contraste e segmentação. A segmentação é a divisão da imagem em regiões de interesse (lesões) e fundo da imagem. Uma das técnicas de segmentação é a segmentação por watershed, que consiste na análise topográfica da imagem e extração das fronteiras dos objetos da imagem. A segmentação por watershed utiliza marcadores, que limitam as regiões que passarão pelo processamento, atenuando problemas como a supersegmentação. Os marcadores podem ser definidos com a utilização de operadores morfológicos, os quais fazem uso de elementos estruturantes para identificar os pixels de interesse. Desse modo, o objetivo desse trabalho é avaliar a segmentação por watershed de lesões mamárias, variando o préprocessamento e os elementos estruturantes utilizados. Foram empregados elementos estruturantes nos formatos diamond e disk, nos tamanhos 25, 50 e 100 pixels, além da suavização do ruído pelo filtro de Wiener e realce de contraste utilizando a transformada Wavelet e equalização de histograma adaptativa com limitação de contraste (CLAHE). Os resultados foram avaliados através da acurácia, curva ROC (Receiver Operating Characteristic Curve) e análise visual das imagens, com comparação dos resultados obtidos com a imagem original. Como resultado, identificou-se que há relação entre o tamanho e tipo de préprocessamento com o número de regiões detectadas. Além disso, elementos estruturantes menores são mais efetivos na segmentação por watershed, sendo necessário pesquisas associando diferentes métodos de redução de ruído e definição de marcadores. Por fim, foi possível estabelecer a interferência da densidade mamária e da forma, tamanho e tipo de lesão no resultado da segmentação