상황 판단을 기반으로 한 폭력 감지 인공 지능 모델의 효율화: 감시 카메라 시나리오를 중심으로

학위논문(석사) -- 서울대학교대학원 : 데이터사이언스대학원 데이터사이언스학과, 2023. 2. 김형신.Recently, CCTVs are installed everywhere and play an important role in crime prevention and investigation. However, there is a problem in that a huge amount of manpower is required to monitor CCTV recordings. From this point of view, deep learning (DNN) based models that can automatically detect violence have been developed. However, they used heavy architectures such as 3D convolution or LSTM to process video data. For this reason, they require offloading to the central server for recordings to be processed so that incur huge transmission cost and privacy concern. Furthermore, given violence does not occur frequently, it is inefficient to run heavy video recognition model all the time. To solve these problems, this study proposes WhenToWatch, to enhance efficiency of violence detection system on surveillance camera. Main goals of this study are as follows: (1) To devise DNN-based violence detection system fully run on the CCTV devices to avoid offloading cost and privacy issues. (2) To reduce energy consumption of the device and processing time by introducing pre-screening module checking existence of people and deciding whether violence detection model should be executed or not. (3) To minimize computation overhead of the pre-screening module by combining lightweight non-DNN based methods and executing them according to previous status. In conclusion, WhenToWatch can be helpful when running violence detection models on edge devices such as CCTV, where power and computing resources are limited. Experiments show that WhenToWatch can reduce the execution of the violence detection model by 17% on the RWF-2000 dataset and 31% on the CCTV-Busan dataset. In addition, WhenToWatch reduces average processing time per a video from 310.46 seconds to 255.60 seconds and average power consumption from 3,303mW to 3,100mW on Jetson Nano, confirming it contributes to efficient on-device system operation.최근에는 안전을 위해 CCTV가 곳곳에 설치되어 있으며 범죄 예방 및 수사에 중요한 역할을 하고 있다. 그러나 CCTV 영상들을 실시간으로 감시하거나 녹화된 영상을 재검토하기 위해서는 막대한 인력이 필요하다는 문제점이 있다. 이러한 관점에서 자동으로 폭력을 감지할 수 있는 딥러닝 모델들이 꾸준히 개발되어왔다. 그러나 대부분의 모델은 3D 컨볼루션, LSTM 등의 무거운 영상처리 모델을 사용했기 때문에 CCTV 디바이스 내에서의 추론은 거의 불가능했고, 서버로 영상을 전송하여 처리하는 것을 전제로 한다. 이 경우 막대한 전송 비용이 발생할 뿐만 아니라 사생활 침해 문제가 발생할 소지가 있다. 뿐만 아니라, 폭력은 일반적인 사건에 비해 발생 빈도가 낮다는 점을 고려한다면 CCTV 동작 시간 내내 무거운 폭력 감지 모델을 구동하는 것은 비효율적이라고 할 수 있다. 이러한 문제점들을 해결하고 폭력 감지 시스템의 효율성을 제고하기 위해 본 연구에서는 WhenToWatch라는 폭력 감지 시스템을 제안한다. 본 연구의 주요 목적은 다음과 같다. (1) 데이터 전송 비용을 최소화하고 개인정보를 보호하기 위해 감시카메라 장치 내에서 구동 가능한 딥러닝 기반의 폭력 감지 시스템을 제안한다. (2) 감시카메라 장치의 전력 소모량과 데이터 처리 시간을 줄이기 위해 사전 판단 모듈을 도입한다. 이를 통해 사람의 존재 여부를 판단하고 폭력 감지 모델의 실행 여부를 결정함으로써 불필요한 연산량을 줄일 수 있다. (3) 사전 판단 모듈로 인한 추가적인 연산량 부담을 최소화하기 위해 실행속도가 빠른 비 딥러닝 기반의 방법론들을 결합한 시스템을 디자인하고, 이전 상태에 따라 적절한 연산을 실행한다. 최종적으로 WhenToWatch는 CCTV와 같이 리소스가 제한된 엣지 디바이스에서 폭력 감지 모델을 효율적으로 구동할 수 있게 한다. 실제 실험 결과, 제안된 사전 판단 모듈을 적용했을 때, 폭력 감지 모델의 실행 횟수는 RWF-2000 데이터셋에서 약 17% 감소했으며 CCTV-Busan 데이터셋에서는 약 31% 감소하는 것으로 나타났다. 본 논문의 시스템 구조를 통해 보다 효율적인 시스템 운영이 가능함을 확인할 수 있었다. 또한 젯슨 나노에서 평균 비디오 처리 시간은 310.46초에서 255.60초로 감소하였으며 전력 소모량은 3,303mW에서 3,100mW로 감소하여 WhenToWatch가 효율적인 온디바이스 시스템 운영에 기여할 수 있음을 보여주었다.1 Introduction 1 2 Related Work 6 2.1 Violence Detection 6 2.2 Edge AI 7 2.3 Early-skipping in Neural Networks 8 3 Methodology 9 3.1 WhenToWatch Overview 9 3.2 Implementation Details of Sub-modules 12 3.3 Dataset 15 3.4 On-device Inference 16 4 Evaluation 18 4.1 Performance of Violence Detector 18 4.2 Effect of Pre-screening Module 19 4.3 Efficiency Measurement on Jeton Nano 21 5 Discussion and Future Work 23 5.1 Discussion and Future Work 23 6 Conclusion 24 6.1 Conclusion 24 Bibliography 25 Abstract in Korean 35석

J. S. Bach Fantasia in c minor, BWV. 906 ;F. Chopin Fantaisie in f minor, Op. 49 ;A. Scriabin Fantasy in b minor, Op. 28 ;R. Schumann Humoreske in B♭Major, Op. 20

본 논문은 본인의 석사 과정 이수를 위한 졸업 연주의 프로그램인 바흐(Johann Sebastian Bach 1685-1750)의 <Fantasia in c minor, BWV. 906>, 쇼팽(Fryderyk Franciszek Chopin 1810-1849)의 <Fantaisie in f minor, Op. 49>, 스크리아빈(Alexander Nikolayevich Scriabin 1872-1915)의 <Fantasy in b minor, Op. 28>, 그리고 슈만(Robert Alexander Schumann 1810-1856)의 <Humoreske in B♭Major, Op. 20>을 주제로 연구한 것이다. 바흐의 <Fantasia in c minor, BWV.906>은 바로크 시대인 1738년에 작곡되었다. 이 곡은 그의 대표적인 작곡기법인 엄격한 대위법을 사용하지 않으며 리듬과 템포가 비교적 유동적이다. 또한 빠른 아르페지오 패시지로 기교를 드러내며 다양한 조성으로 이동하는 등의 자유로운 모습을 보여준다. 쇼팽의 <Fantaisie in f minor, Op.49>는 형식적인 면에서 전형적인 소나타 형식과 비교된다. 하지만 그 형식을 뛰어넘는 자유로운 구성 안에서 판타지 특유의 즉흥성과 서정성을 보여주고 있다. 또한 쇼팽의 피아노 음악의 특징인 분산화음과 장식음을 동반한 긴 선율, 반음계적 진행과 이명동음 전조, 감7화음 등도 사용되고 있는 것을 볼 수 있다. 스크리아빈의 <Fantasy in b minor, Op.28>은 낭만주의의 영향을 보여주는 스크리아빈의 작곡연대 초기에 속하는 1900년에 작곡되었다. 이 곡은 낭만적이고 서정적인 선율과 그에 붙는 장식음, 분산화음 형태의 반주 등 쇼팽의 영향을 보여준다. 동시에 기교적인 테크닉과 빈번한 증,감4화음 등의 독특한 특징을 보여주며, 보다 폭넓은 감정을 표현하면서 환상적인 면모를 드러낸다. 슈만의 <Humoreske in B♭Major, Op.20>는 슈만의 피아노 작품의 중요한 형식인 연곡들 중의 한 곡이며, 피아노 작품을 위주로 작곡하던 시기인 1839년에 작곡되었다. 이 곡은 5부의 구성으로 나뉘는데 각 부분은 특징적인 선율과 리듬 등으로 대조된다. 그렇지만 곡의 전체에 걸쳐 주제적 조성인 B♭과 g minor 사용하고, 2박 계통의 박자를 벗어나지 않으며, 일부의 부분들 사이에 유사한 리듬과 음정을 사용함으로 연관성을 보여준다.;This thesis is a study on the piano compositions of Johann Sebastian Bach’s (1685-1750) Fantasia in c minor, BWV. 906, Frederic Chopin’s (1810-1849) Fantasie in f minor, Op. 49, Alexander Scriabin’s (1872-1915) Fantasy in b minor, Op. 28, and Robert Alexander Schumann’s (1810-1856) Humoreske in B♭ Major, Op. 20. This study is required for graduation of the Master’s degree. The work of J. S. Bach’s Fantasia BWV. 906 was composed in 1738 during Baroque period. It is different from his other works in that it does not use strict counterpoint which is the representative compositional style of J. S. Bach. This piece presents free style in terms of tempo, rhythm and diverse modulation compared with his other piano pieces. Chopin composed his Fanatasie Op. 49 with sonata form but it has highly free compositional style unlike typical sonata composition. This piece presents the representative traits of Chopin’s piano composition such as broken chords, long melody lines with ornamentation, chromatic progression, enharmonic modulation, and diminished seventh chord. Chopin’s improvisation and lyricism are shown through these factors. The piece of A. Scriabin’s Fantasy Op.28 which is the early category of his music influenced by romanticism was composed in 1900s. Especially this piece reflects Chopin’s influence in using compositional materials which are the romantic and lyrical melody with ornamentations, accompaniment of broken chord. He also used his own unique style such as virtuostic technique and frequently used augmented and diminished 4th chord. His music also reveals romantic and profound emotions, creating fantastic style. Schumann’s Humoreske Op. 20 was composed in 1839 when he tended to compose piano works. This piece is regarded as one of the important pieces in his work. Although the music is divided into five sections, each section is linked to main keys of B flat and g minor with rhythmic consistency of two beats. Also there is relation between similar rhythmic and melodic aspects in this piece so that it is played continuously as a big one piece.Ⅰ. 서론 1 Ⅱ. 본론 2 A. J. S. Bach <Fantasia in c minor, BWV. 906> 2 1. 작품 배경 2 2. 작품 분석 5 B. F. Chopin <Fantaisie in f minor, Op. 49> 9 1. 작품 배경 9 2. 작품 분석 12 C. A. Scriabin <Fantasy in b minor, Op. 28> 23 1. 작품 배경 23 2. 작품 분석 26 D. R. Schumann <Humoreske in BMajor, Op. 20> 38 1. 작품 배경 38 2. 작품 분석 41 Ⅲ. 결론 58 참고문헌 61 ABSTRACT 6