DeepOtsu: Document Enhancement and Binarization using Iterative Deep Learning

This paper presents a novel iterative deep learning framework and apply it for document enhancement and binarization. Unlike the traditional methods which predict the binary label of each pixel on the input image, we train the neural network to learn the degradations in document images and produce the uniform images of the degraded input images, which allows the network to refine the output iteratively. Two different iterative methods have been studied in this paper: recurrent refinement (RR) which uses the same trained neural network in each iteration for document enhancement and stacked refinement (SR) which uses a stack of different neural networks for iterative output refinement. Given the learned uniform and enhanced image, the binarization map can be easy to obtain by a global or local threshold. The experimental results on several public benchmark data sets show that our proposed methods provide a new clean version of the degraded image which is suitable for visualization and promising results of binarization using the global Otsu's threshold based on the enhanced images learned iteratively by the neural network.Comment: Accepted by Pattern Recognitio

Development of Machine Learning Based Binarization Technique of Hand-drawn Floor Plans for Automatic Extraction of Indoor Spatial Information

학위논문(석사) -- 서울대학교대학원 : 공과대학 건설환경공학부, 2022. 8. 유기윤.최근 인공지능, 사물인터넷 등의 발전과 함께 사용자의 위치를 파악하여 실시간 정보를 제공하는 실내 위치기반 서비스에 대한 사회적 관심도가 높다. 이러한 실내 위치기반 서비스의 활성화를 위해서는 실내 공간의 모습을 표현하는 실내 구조 형상화 및 모델링이 필수적이다. 이에 따라 레이저 스캐너, 건축도면 이미지, CAD플랜 등 다양한 원천 데이터로부터 실내 공간을 재현하는 연구들이 진행되어 왔다. 특히 실내 공간정보를 자동 추출 기술은 수동 모델링 대비 경제적으로 매우 효율적이다. 이에 2차원 건축도면 이미지 데이터로부터 벽, 창문, 계단과 같은 실내 객체를 자동 추출하여 3D 모델링 데이터를 구축하는 도면 해석 연구가 활발히 진행 중에 있다. 기존의 2차원 사진 기반 도면 해석 연구들은 객체와 배경이 명확히 구분되며 객체가 일정한 색으로 표현된 전자 도면을 대상으로 연구를 수행하였다. 하지만, 펜과 잉크를 사용해 작성된 핸드드로잉 도면의 경우 기존 연구에 사용된 도면에 비해 노이즈가 많고 배경 패턴이 불규칙적이다. 또한 사용된 펜이나 잉크에 따라 객체의 색상값이 일정하지 않기 때문에 기존 실내 공간 객체 추출 알고리즘을 적용하는 데에 한계가 존재한다. 이에 본 연구는 노이즈가 심하고 불규칙적인 핸드드로잉 건축도면을 대상으로 실내 공간을 구성하는 객체와 배경을 구분하는 이진화를 수행하고자 한다. 본 연구는 전자 도면 대상의 기존 실내 공간정보 자동 추출 연구의 범위를 역사적 건축물이나 건축 연도가 오래되어 아날로그 방식으로 작성된 건축도면만 존재하는 건물을 대상으로 확장하는 것을 목표로 한다. 분석 데이터로서 1900년대 초반에 작성된 일제시기 건축도면을 활용하여 연구를 수행하였다. 본 연구에 사용된 일제시기 건축도면은 종이류 문화재 특성상 보관 및 디지털화 과정에서 다양한 형태의 노이즈가 존재하며 작성 시 사용된 필기류 종류에 따라 객체의 색상 값이 일정하지 못하다. 또한 핸드드로잉 건축도면 이미지마다 나타나는 노이즈의 픽셀값과 실내 객체의 선명도가 다르기 때문에 머신러닝 모델을 사용한 학습 기반 이진화 기법을 적용하였다. 이진화는 제거하고자 하는 노이즈의 형태에 따라 크게 두 가지 단계로 진행된다. 첫 번째 단계는 가우시안 혼합 모델을 사용하여 도면 이미지의 배경에 전체적으로 넓게 분포하는 노이즈를 감소시키는 단계이다. 두 번째 단계는 랜덤포레스트 모델을 기반으로 객체와 배경을 구분하는 특징을 추출하여 면적이 작고 다양한 형태의 노이즈를 학습 및 제거시키는 단계이다. 마지막으로 제안한 방법론에 대한 검증을 수행하기 위해 학습 과정에 사용되지 않은 테스트 셋에 대한 분류 모델 성능 평가와 최종 결과 이미지에 대한 이미지 품질 평가를 진행했다. 실험 결과, 분류 모델 성능 평가의 경우 랜덤포레스트 모델의 평균 정밀도 및 재현율은 각각 0.985와 0.99이고 최종 이진화 결과 이미지의 신호 대비 잡음 비 지표는 16.543의 결과를 얻었다. 이진화 결과, 선행 연구 대비 다양한 두께로 구성된 벽, 창문, 가벽과 같은 실내 공간 객체와 배경을 성공적으로 분리하였다. 또한 모델의 일반화 성능 검증을 위해 베르사유 궁전 건축도면에 대해 본 연구의 이진화 알고리즘을 적용하였다. 적용 결과, 정밀도 및 재현율은 각각 0.998와 0.969이고 결과 이미지의 품질을 평가하는 지표 역시 테스트 셋과 유사하게 우수한 성능을 나타냈다. 본 연구는 기존 도면 해석 연구의 활용처를 핸드드로잉 건축도면으로 확장하는 기반을 마련했다는 점에서 의의가 있다.Along with the recent development of artificial intelligence and the Internet of Things, social interest in indoor location-based services providing real-time information from user location is getting high. For location-based service development, indoor spatial modelling is essential to represent indoor topology. Therefore, many studies have been conducted to extract indoor structure information from various types of data such as laser scanners, architectural drawing images, and CAD plans. In particular, the automatic extraction technology of indoor space information is economically efficient compared to manual modeling, so algorithms for automatic extraction of floor plan entities like walls, windows, and stairs from 2D floor plan image are actively developed. Previous studies mostly used “clean” floor images that floor plan entities and background are clearly distinguished. However, in the case of hand-drawing architectural floor plans created using various types of pens and ink, there are large numbers of noise in background. In addition, since the pixel intensities of every floor plan entities are not constant depending on the pen or ink used, there is a limit to applying the previous algorithms. Therefore, this study aims to perform binarization to distinguish floor plan entities from background with noise and irregular patterns. The purpose of this study is to expand the scope of previous floor plan analysis studies to historical and old buildings. For dataset, we use architectural drawings of the Japanese colonial period written in the early 1900s. The Japanese architectural drawings used in this study have various types of noise made during the process of storage and digitization. Also, floor plan entities consist of all different colors depending on the type of materials used. We apply learning-based binarizaiton algorithm and our algorithm can be divided into two main steps. The first step is to reduce the noise that is widely distributed across the background of the drawing image using a Gaussian mixture model. The second step is to extract features that distinguish objects and backgrounds based on the random forest model, and to learn various forms of small noise. For evaluation, we perform the classification performance of suggested algorithm on test set. Our binarization algorithm results in 98.5% precision and 99.0% F1-score rate. This study has two main contributions. First, our algorithm successfully distinguishes various types of floor plan entities with different thickness. Second, study scope of automatic extraction of spatial information from floor plan image can be expanded from electronic floor plan image to hand-drawing architectural floor plans.1. 서론 1 1.1 연구 배경 및 목적 1 1.2 이진화 연구 동향 4 1.2.1 규칙 기반 이진화 방법론 7 1.2.2 학습 기반 이진화 방법론 10 1.2.3 시사점 및 결론 12 1.3 연구 범위 및 방법 14 2. 연구 방법 17 2.1 데이터 수집 및 전처리 17 2.2 배경 예측 및 제거 19 2.2.1 픽셀값 빈도 분석 19 2.2.2 이상값 필터링 21 2.2.3 가우시안 혼합 모델 24 2.2.4 배경 제거 이미지 생성 26 2.3 머신러닝 기반 도면 이진화 27 2.3.1 특징 추출 27 2.3.1.1 통계적 특성 30 2.3.1.2 명암도 동시행렬의 통계적 특성 31 2.3.1.3 수직-수평 연속성 행렬 35 2.3.2 랜덤포레스트 모델 38 2.3.3 재귀적 특징 제거법 42 2.3.4 평가지표 44 2.4 후처리 47 3. 실험 적용 및 결과 49 3.1 데이터 수집 및 전처리 결과 49 3.2 배경 예측 및 제거 결과 52 3.3 특징 추출 결과 56 3.3.1 명암도 동시발생 행렬 특징 추출 결과 56 3.3.2 수직-수평 연속성 행렬 특징 추출 결과 58 3.4 머신러닝 기반 도면 이진화 평가 결과 59 3.4.1 특징 중요도 및 최적 특징 조합 59 3.4.2 분류 모델 성능 비교 63 3.4.3 이진화 결과 이미지의 품질 비교 65 3.5 머신러닝 기반 도면 이진화 적용 결과 68 3.5.1 소축척 도면에서의 이진화 적용 결과 70 3.5.2 대축척 도면에서의 이진화 적용 결과 72 3.6 다양한 핸드드로잉 건축도면의 이진화 평가 및 적용 결과 74 3.6.1 직선 객체로 구성된 베르사유 궁전 건축도면의 이진화 75 3.6.2 곡선 객체를 포함하는 베르사유 궁전 건축도면의 이진화 76 4. 결론 79 참 고 문 헌 82 부 록 86 Abstract 112석

Information Preserving Processing of Noisy Handwritten Document Images

Many pre-processing techniques that normalize artifacts and clean noise induce anomalies due to discretization of the document image. Important information that could be used at later stages may be lost. A proposed composite-model framework takes into account pre-printed information, user-added data, and digitization characteristics. Its benefits are demonstrated by experiments with statistically significant results. Separating pre-printed ruling lines from user-added handwriting shows how ruling lines impact people\u27s handwriting and how they can be exploited for identifying writers. Ruling line detection based on multi-line linear regression reduces the mean error of counting them from 0.10 to 0.03, 6.70 to 0.06, and 0.13 to 0.02, com- pared to an HMM-based approach on three standard test datasets, thereby reducing human correction time by 50%, 83%, and 72% on average. On 61 page images from 16 rule-form templates, the precision and recall of form cell recognition are increased by 2.7% and 3.7%, compared to a cross-matrix approach. Compensating for and exploiting ruling lines during feature extraction rather than pre-processing raises the writer identification accuracy from 61.2% to 67.7% on a 61-writer noisy Arabic dataset. Similarly, counteracting page-wise skew by subtracting it or transforming contours in a continuous coordinate system during feature extraction improves the writer identification accuracy. An implementation study of contour-hinge features reveals that utilizing the full probabilistic probability distribution function matrix improves the writer identification accuracy from 74.9% to 79.5%

Binarización híbrida para el degradado de imágenes de documentos históricos

Este trabajo revisó métodos que se encargan de realizar la binarización de documentos, los cuales podrían ser clasificados en dos, los que usan sólo técnicas de procesamiento de imágenes y los que utilizan inteligencia artificial para la resolución del problema. Se propone un método el cual binariza los documentos, usando sólo algoritmos de procesamiento de imágenes tales como Otsu, Sobel, Filtro de la mediana y operaciones morfológicas los cuales combinadas tienen un resultado de 0.92 (F ¡Mesure).Tesi

Advanced Image Acquisition, Processing Techniques and Applications

"Advanced Image Acquisition, Processing Techniques and Applications" is the first book of a series that provides image processing principles and practical software implementation on a broad range of applications. The book integrates material from leading researchers on Applied Digital Image Acquisition and Processing. An important feature of the book is its emphasis on software tools and scientific computing in order to enhance results and arrive at problem solution