Melhorando a precisão do reconhecimento de texto usando técnicas baseadas em sintaxe

Orientadores: Guido Costa Souza de Araújo, Marcio Machado PereiraDissertação (mestrado) - Universidade Estadual de Campinas, Instituto de ComputaçãoResumo: Devido à grande quantidade de informações visuais disponíveis atualmente, a detecção e o reconhecimento de texto em imagens de cenas naturais começaram a ganhar importância nos últimos tempos. Seu objetivo é localizar regiões da imagem onde há texto e reconhecê-lo. Essas tarefas geralmente são divididas em duas partes: detecção de texto e reconhecimento de texto. Embora as técnicas para resolver esse problema tenham melhorado nos últimos anos, o uso excessivo de recursos de hardware e seus altos custos computacionais impactaram significativamente a execução de tais tarefas em sistemas integrados altamente restritos (por exemplo, celulares e TVs inteligentes). Embora existam métodos de detecção e reconhecimento de texto executados em tais sistemas, eles não apresentam bom desempenho quando comparados à soluções de ponta em outras plataformas de computação. Embora atualmente existam vários métodos de pós-correção que melhoram os resultados em documentos históricos digitalizados, há poucas explorações sobre o seu uso nos resultados de imagens de cenas naturais. Neste trabalho, exploramos um conjunto de métodos de pós-correção, bem como propusemos novas heuríticas para melhorar os resultados em imagens de cenas naturais, tendo como base de prototipação o software de reconhecimento de textos Tesseract. Realizamos uma análise com os principais métodos disponíveis na literatura para correção dos erros e encontramos a melhor combinação que incluiu os métodos de substituição, eliminação nos últimos caracteres e composição. Somado a isto, os resultados mostraram uma melhora quando introduzimos uma nova heurística baseada na frequência com que os possíveis resultados aparecem em bases de dados de magazines, jornais, textos de ficção, web, etc. Para localizar erros e evitar overcorrection foram consideradas diferentes restrições obtidas através do treinamento da base de dados do Tesseract. Selecionamos como melhor restrição a incerteza do melhor resultado obtido pelo Tesseract. Os experimentos foram realizados com sete banco de dados usados em sites de competição na área, considerando tanto banco de dados para desafio em reconhecimento de texto e aqueles com o desafio de detecção e reconhecimento de texto. Em todos os bancos de dados, tanto nos dados de treinamento como de testes, os resultados do Tesseract com o método proposto de pós-correção melhorou consideravelmente em comparação com os resultados obtidos somente com o TesseractAbstract: Due to a large amount of visual information available today, Text Detection and Recognition in scene images have begun to receive an increasing importance. The goal of this task is to locate regions of the image where there is text and recognize them. Such tasks are typically divided into two parts: Text Detection and Text Recognition. Although the techniques to solve this problem have improved in recent years, the excessive usage of hardware resources and its corresponding high computational costs have considerably impacted the execution of such tasks in highly constrained embedded systems (e.g., cellphones and smart TVs). Although there are Text Detection and Recognition methods that run in such systems they do not have good performance when compared to state-of-the-art solutions in other computing platforms. Although there are currently various post-correction methods to improve the results of scanned documents, there is a little effort in applying them on scene images. In this work, we explored a set of post-correction methods, as well as proposed new heuristics to improve the results in scene images, using the Tesseract text recognition software as a prototyping base. We performed an analysis with the main methods available in the literature to correct errors and found the best combination that included the methods of substitution, elimination in the last characters, and compounder. In addition, results showed an improvement when we introduced a new heuristic based on the frequency with which the possible results appear in the frequency databases for categories such as magazines, newspapers, fiction texts, web, etc. In order to locate errors and avoid overcorrection, different restrictions were considered through Tesseract with the training database. We selected as the best restriction the certainty of the best result obtained by Tesseract. The experiments were carried out with seven databases used in Text Recognition and Text Detection/Recognition competitions. In all databases, for both training and testing, the results of Tesseract with the proposed post-correction method considerably improved when compared to the results obtained only with TesseractMestradoCiência da ComputaçãoMestra em Ciência da Computação4716-1488887.335287/2019-00, 1774549FuncampCAPE

SIFT 구분자를 활용한 실내도면 이미지에서의 텍스트 정보 구축기법 연구

학위논문 (석사)-- 서울대학교 대학원 : 공과대학 건설환경공학부, 2018. 8. 김용일.최근 기계학습을 통한 데이터 분석방법의 발전과 데이터 처리 능력이 발전됨에 따라 도면 이미지에서 의미론적 분석이 활발하게 이루어지고 있다. 이에 따라 의미론적 분석을 위해 도면 이미지에서 텍스트 정보를 추출해내는 연구 또한 활발하게 이루어지고 있다. 그러나 도면 이미지에서 텍스트를 분리하는 기존 연구에서는 그래픽 성분과 텍스트 성분이 겹쳤을 때 텍스트 정보를 추출할 수 없다는 단점이 존재했다. 따라서 본 연구는 SIFT 구분자를 통해 특이점에서의 이미지의 특성을 정의하고 정의된 특성을 SVM 모형에 적용하여 해당하는 지역 이미지의 클래스를 분류함으로써 이 문제를 개선하고자 한다. 분류 모형의 학습데이터 생성을 위해 55장의 도면에서 생성된 14,440장의 연결성분 이미지와 312,882개의 SIFT 구분자를 수집했다. 연결성분의 클래스 분류를 위해 연결성분을 벡터화 시켜 SVM-BoW 모형에 적용했으며 SIFT 구분자를 SVM 구분자 모형을 통해 분류하여 특이점의 클래스를 결정했다. 마지막으로 텍스트로 분류된 연결성분과 특이점을 모아 도면 이미지에서 텍스트 성분을 분리했고 분리과정에서 도면 이미지에서 텍스트의 위치정보를 구축하였다. 본 연구에서 제안한 기법은 도면 이미지에 적용하면 그래픽 성분과 겹치는 텍스트 성분을 자동으로 추출할 수 있을 뿐만 아니라 도면 이미지에서의 위치정보 또한 구축할 수 있다는 점에서 의의가 있다.1. 서론 1 1.1 연구 배경 및 목적 1 1.2 관련 연구 3 1.3 연구 범위 및 방법 9 2. 배경 이론 12 2.1 SIFT 알고리즘 12 2.2 SVM (Support Vector Machine) 21 2.3 Tombre 방법을 활용한 텍스트 분리 25 3. 실내도면 이미지의 텍스트 정보 구축 방법 31 3.1 실내도면 이미지 전처리 및 학습 데이터 생성 31 3.1.1 실내도면 이미지 전처리 31 3.1.2 학습데이터 생성 32 3.2 수정된 Tombre 방법을 통한 텍스트/그래픽 성분 분리 35 3.3 SVM-BoW 모형을 활용한 연결성분 클래스 분류 37 3.3.1 연결성분 이미지 벡터화 37 3.3.2 SVMBoW 모형을 적용한 연결성분 이미지 클래스 분류 40 3.4 SVM 구분자 모형을 활용한 SIFT 구분자 클래스 분류 42 3.4.1 SVM 구분자 모형을 활용한 SIFT 구분자 클래스 분류 42 3.4.2 그래픽 성분과 겹치는 텍스트 성분의 분리 43 3.5 실내도면 이미지의 텍스트 성분 분리 및 텍스트 위치정보 구축 44 3.5.1 실내도면 이미지의 텍스트 성분 분리 44 3.5.2 실내도면 이미지에서의 텍스트 정보 구축 45 4. 실험 및 결과 47 4.1 실험 대상 및 데이터 47 4.2 실내도면 이미지 전처리 및 학습 데이터 생성 결과 48 4.2.1 이미지 전처리 48 4.2.2 학습데이터 생성 결과 48 4.3 SVM-BoW 모형을 활용한 연결성분 클래스 분류 결과 50 4.3.1 그래픽 성분과 겹치지 않는 텍스트 성분 분리 50 4.3.2 SIFT 구분자 군집화을 통한 BoW(Bag of Words) 생성 52 4.3.3 SVM-BoW 모형을 활용한 연결성분 클래스 분류 결과 53 4.4 SIFT 구분자 클래스 분류 결과 56 4.4.1 SIFT 구분자 클래스 분류 56 4.4.2 SIFT 구분자의 클래스를 활용한 텍스트/그래픽 성분 분리 57 4.5 실내도면 이미지의 텍스트/그래픽 분리 및 텍스트 정보 구축 59 4.5.1 텍스트/그래픽 이미지 분리 결과 59 4.5.2 텍스트 성분 정보 구축 65 5. 결론 66 참고문헌 68 부록 73 Abstract 93Maste

The Palgrave Handbook of Digital Russia Studies

This open access handbook presents a multidisciplinary and multifaceted perspective on how the ‘digital’ is simultaneously changing Russia and the research methods scholars use to study Russia. It provides a critical update on how Russian society, politics, economy, and culture are reconfigured in the context of ubiquitous connectivity and accounts for the political and societal responses to digitalization. In addition, it answers practical and methodological questions in handling Russian data and a wide array of digital methods. The volume makes a timely intervention in our understanding of the changing field of Russian Studies and is an essential guide for scholars, advanced undergraduate and graduate students studying Russia today

The Palgrave Handbook of Digital Russia Studies

This open access handbook presents a multidisciplinary and multifaceted perspective on how the ‘digital’ is simultaneously changing Russia and the research methods scholars use to study Russia. It provides a critical update on how Russian society, politics, economy, and culture are reconfigured in the context of ubiquitous connectivity and accounts for the political and societal responses to digitalization. In addition, it answers practical and methodological questions in handling Russian data and a wide array of digital methods. The volume makes a timely intervention in our understanding of the changing field of Russian Studies and is an essential guide for scholars, advanced undergraduate and graduate students studying Russia today