Real-time Eye Blink Detection System for Driver's Side Face in Autonomous Driving Envirnonment

학위논문(석사) -- 서울대학교대학원 : 공학전문대학원 응용공학과, 2023. 2. 김성우.최근 자율주행 2단계에 자동차들이 많이 나오기 시작하면서 운전자 들은 운전에 집중하기보다는 자동차의 엔터테이먼트 시스템으로 시선을 옮겨가고 있고, 자율 주행 시스템의 도움으로 운전이 단조로워지면서 졸 음에 빠지는 경우가 많아지고 있다. 하지만 아직까지 완전 자율 주행의 단계까지는 여러가지 단계들이 남아있다. 이러한 중간 시점에서 우리는 운전자들의 집중할수 있게 하거나 졸음에서 깨어날수 있도록 도와주는 시스템이 필요하다. 지금까지의 연구들은 자율 주행 환경이 아닌 일반 주행 환경에서 운 전자가 시선을 앞만 보고 있을때에 졸음을 감지하는 방법에 대해서 집중 해서 연구해왔다. 이에 따라서 본 논문에서는 비접촉식 방식중의 하나로 카메라를 통해서 운전자가 엔터테이먼트 시스템으로 시선을 옆으로 두 거나 졸음을 했을때 운전자에게 주의를 줄수 있는 자율환경에서 운전자 졸음 방지 시스템을 연구하여 개발하였다. 졸음 운전을 판단하기 위해서 먼저 운전자의 얼굴을 인식하고, 얼굴 의 주요지점을 인식한 이후에 필요한 눈과 입의 주요지점을 찾아내고, 찾 아낸 주요지점을 통해서 머리의 자세까지 판단하였다. 그리고 현재 많은 시스템에서 잘 동작하지 않고 있는 고개를 옆으로 돌렸을때에 본 논문에 서 제시한 알고리즘을 통해서 눈의 크기를 보정하도록 시스템을 설계하 였다. 본 논문에서 python 개발 환경에서 opencv를 주로 사용하였다. 감지 모델로는 얼굴을 인식하고 얼굴 주요지점을 인식하는 방법으로는 높은 성능을 내는 MobileNet SSD 를 통해서 얼굴을 감지하였고, 얼굴 주요 지점 감지 모델로는 Regression Tree 방식을 이용하여 빠른시간에 얼굴 주요 지점을 감지하였고, 머리의 자세는 앞에서 찾은 얼굴 지점의 2D 좌표를 이용하여 Perspective-n-Point 방법을 사용하여 얼굴의 회전 방향을 추측하 였고, 그를 활용하여 옆 얼굴에서 눈의 크기를 보정하는 방법을 개발하여 전체적인 시슴템을 개발을 하였다. 본 연구를 통해 자율 주행 2단계 환경에서 운전자가 옆으로 봤을때에 졸음을이전시스템들보다더잘감지할수있음을확인하였다.본연구결 과를 실무 환경에 적용함으로써 운전자의 졸음을 더 정확히 판단할 것을 기대하며 이는 소프트웨어 경쟁력을 확보하는데 기여할 것이다.As many cars in the second level of autonomous driving (SAE level 2) start to appear, drivers are shifting their gaze to the cars entertainment system instead of focusing on driving. However, there are still several steps left ahead until we reach the stage of fully autonomous driving. Meanwhile, we need a system that can help drivers focus on the road and avoid drowsiness. Previous studies focused on methods for detecting drowsiness have been conducted in a manual driving environment when the driver is look- ing straight ahead, not in an autonomous driving environment when driver is looking in different directions. Therefore, this study researched and de- veloped a drowsiness prevention system in an autonomous driving environ- ment by a non-contact method, using a camera. The system warns drivers to stay focused on driving when they are paying attention to the entertainment system or feeling drowsy. The drowsiness of the driver was determined by the following steps. First, the drivers face was recognized, followed by the main points of the drivers face. Then, the necessary main points of the eye and mouth were found. Finally, the pose of the head was determined through the found main points. Additionally, the system was designed with an algorithm that cor- rects the eye size when the head is turned to the side, a task many systems in the market fail to achieve. In this paper, OPENCV was mainly used in the python development environment. High-performance MobileNet-SSD is adopted as a face detec- tion model. For facial landmark detection, regression trees were used. As for the head posture, the Perspective-n-Point method using the 2D coordinates of the face points found earlier, were used to estimate the direction of the face rotation, and also correct the size of the eye from the side view of face. Through this study, it was confirmed that in a level 2 autonomous driv- ing environment, the drivers drowsiness can be better detected when the driver is looking to the side. Applying the results of this study on a real word product will help determine the drivers drowsiness more accurately, thus securing software competitiveness.I. 서론 - 1 1.1 연구의배경과목적 - 1 1.2 연구보고서의구성 - 6 II. 관련연구 - 7 2.1 EuroNCAP안전관련평가에대한연구 - 7 2.2 자율주행단계 - 11 2.3 졸음운전자감지를위한방법들 - 14 2.4 적외선센서를이용한논검출방법 -18 2.5 대표적인얼굴감지모델 - 18 2.6 기존연구와의차이점 - 19 III. 졸음감지기법시스템 - 22 3.1 얼굴감지 - 24 3.2 얼굴주요지점감지 - 25 3.3 머리자세감지 - 26 3.4 눈크기교정 - 27 3.5 눈깜빡임감지 - 28 3.6 하품감지 - 31 3.7 졸음감지를위한변수들 - 32 IV. 실험결과 - 33 4.1 실험환경 - 33 4.2 얼굴감지모델성능비교 - 35 4.3 뜬눈의EAR과감은눈의EAR차이실험 - 36 4.4 EAR감지기성능비교실험 - 37 4.5 눈깜빡임성능실험 - 38 V. 결론 - 40 5.1 연구결과 - 40 5.2 후속연구과제 - 41 참고문헌 - 42 Abstract - 45 찾아보기 - 47석

A Study on the classification and mapping methods of wetlands in Korea

학위논문(박사)--서울대학교 대학원 :협동과정 조경학전공,2002.Docto