딥러닝의 영상처리를 사용한 자동 소방장비

학위논문(박사)--서울대학교 대학원 :자연과학대학 협동과정 계산과학전공,2020. 2. 강명주.It is a highly crucial task to protect people and properties at fire scenes through early detection and suppression. For this aim, it is necessary for fire apparatus to swiftly move to fire scene by early detection. In addition, performing fire suppression after swift and accurate fire scene detection are required. Recently, researches on the method to determine whether fire has occurred or not through image processing by using deep learning and the method to determine the possibility of flame existence and unmanned vehicle are actively being conducted. This study introduces the method to determine fire occurrence through unmanned surveillance camera and suppressing it by unmanned fire fighting truck. First of all, Chapter 1 mentions recent research trends related to this study. Chapter 2 introduces the method regarding determining fire occurrence. The deep learning model used for fire detection constructed architecture by effectively using modified DCR block and CMFC block. By using multi-scale prediction based on flame size, determination of fire occurrence was more accurate and alarm malfunction rate was lower than existing methods. Chapter 3 suggested the method to determine road areas in which driving is possible so that unmanned fire fighting trucks can move fast and avoid obstacles. Chapter 4 suggested the method to perform vanishing point determination - a preprocess of lane recognition - so that driving in current lane is possible in road area. Afterward, fire occurrence area has to be identified once unmanned fire fighting truck arrives at a scene. Chapter 5 suggested fire segmentation model which identifies fire occurrence area through semantic segmentation. Lastly, the models used in performing such methods are generally known to require vast amounts of computations and memory. Therefore, Chapter 6 suggested a lightweight fire segmentation model which can be used in mobile devices. The suggested methods have been identified of their validity through respective experiments. Also, accuracy was identified based on evaluation metrics suitable for respective experiments. Through this, the proposed methods suggested in respective chapters have been identified to have greater accuracy compared to the recently published methods which used the algorithm-based method and using the deep learning method.화재현장에서는 화재를 초기에 발견하고 진압을 통해 화재로부터 인명과 재산을 보호하는 것은 상당히 중요한 업무이다. 이를 위해서는 화재를 초기에 감지하여 화재현장으로 소방시설이 빠르게 출동하는 것이 필요하다. 또한, 화재발생 지역을 빠르고 정확하게 판단하여 화재진압을 수행하는 것이 요구된다. 최근, 딥러닝을 사용한 영상처리를 통해 화재발생 여부를 판단하는 방법과, 화염의 존재가능성을 판단하는 기법 및 무인자동차를 사용한 화재진압에 대한 연구가 활발히 진행되고 있다. 이 논문에서는 무인 감시카메라를 통해 화재여부를 판단한 뒤, 화재현장으로 무인 소방차가 출동하여 화재를 진압하기 위한 몇가지 기법에 대하여 소개한다. 먼저, 1장에서는 이 논문과 관련된 최근 연구동향에 대해 언급한다. 그리고 2장에서는 화재발생 여부 판별에 대한 기법을 소개한다. 화재감지를 위해 사용된 딥러닝 모델은 modified DCR block 과 CMFC block 을 효과적으로 사용하여 architecture를 구성하였다. 이를 통해, 화염의 크기에 따라 multi-scale prediction을 사용함으로써 기존의 기법에 비해 더 정확한 화재발생여부 판별과, 더 낮은 경보 오작동율을 수행하는 것을 확인하였다. 3장에서는 화재현장으로 출동하면서, 빠르게 이동해야 하는 무인소방차가 장애물 회피가 가능할 수 있도록 주행이 가능한 도로영역을 판별하는 기법을 제안하였다. 4장에서는, 이동 중 주행가능한 도로영역에서 현재 차선을 유지하며 주행 가능하도록, 차선인식의 전처리 과정인 소실점 판별을 수행하는 기법을 제안하였다. 이후, 화재현장에 무인소방차가 도착하면 화재발생 영역을 판별해야 한다. 5장에서는 semantic segmentation을 통해 이러한 화재발생 영역을 확인할 수 있도록 하는 fire segmentation 모델을 제안하였다. 마지막으로, 이러한 기법들이 수행되는 데 사용되는 모델들은 전체적으로 많은 연산량과 메모리를 요구하는 것이 잘 알려져 있다. 따라서 6장에서는 모바일 장치에서 사용할 수 있는 수준의 경량화된 fire segmentation 모델을 제안하였다. 제안한 기법은 각각의 실험을 통해 타당성을 확인하였다. 그리고, 각 실험에 맞는 평가지표를 통해 정확도를 확인하였다. 이를 통해, 각 장에서 제안한 기법들은 모두 최근에 발표된 알고리즘 기반의 기법과, 딥러닝을 사용한 기법들에 비해 높은 정확도를 갖는 것을 확인하였다.1 INTRODUCTION 1 1.1 Recent research on deep learning 1 1.2 Application: Deep learning in real life 7 1.2.1 Fire Detection 7 1.2.2 Road Segmentation 9 1.2.3 Vanishing Point Detection 10 1.2.4 Fire Segmentation 13 1.2.5 Model Compression for Fire Segmentation 14 1.3 Scenario for Automatic Fire Fighting Apparatus 16 2 Fire Detection 19 2.1 Related Work 19 2.2 Proposed Method for Fire Detection 23 2.2.1 Modified DCR block and CMFC block 23 2.2.2 Proposed Architecture for Fire Detection 24 2.2.3 Experimental Result 24 3 Road Segmentation 32 3.1 Related work 32 3.2 Proposed Method for Road Segmentation 34 3.3 Experimental Result 37 3.3.1 Data Augmentation 38 3.3.2 Evaluation 38 4 Vanishing Point Detection 42 4.1 Related Work 42 4.2 Proposed Method for Vanishing Point Detection 47 4.2.1 Proposed Architecture 47 4.2.2 Experimental Result 50 5 Fire Segmentation 54 5.1 Proposed Method for Fire Segmentation 54 5.2 Experimental Result 57 5.2.1 Result: FiSmo dataset 57 5.2.2 Result: Corsican Fire Database 61 6 Model Compression for Fire Segmentation 63 6.1 Related Work 63 6.2 Squeezed Model for Fire Segmentation 65 6.2.1 Proposed Architecture 65 6.2.2 Experimental Results 68 7 Conclusion 72 Abstract (In Korean) 84Docto