사용자 생성 콘텐츠 웹 사이트의 동영상 확산-Bilibili기반으로 실증 분석

학위논문(석사)--서울대학교 대학원 :공과대학 협동과정 기술경영·경제·정책전공,2019. 8. 황준석.User-generated content emphasis user value, and based on the development of Web 2.0, it takes an important position whatever in information diffusion and market management part. Therefore, it is necessary to identify which factors would give influence to information diffusion in UGC. This thesis based on a video UGC website – Bilibili, try to find influential factors during the video diffusion process. Different from previous research which mainly focuses on the social network, this thesis mainly used video characteristic data to explore effective factors to video diffusion. First, after the draw the number of views increase trend within one month, views trend in Bilibili indicates that video diffusion showed a different diffusion curve. Then through careful analysis of each different diffusion periods, this thesis found the influential factors are different during different diffusion periods. The analysis result showed that higher interactive among users and contents could attract more people to watch the video which improves video diffusion rate, and also showed the impacts of general comment below the video and sharing activity, video quality to video diffusion. Based on this thesis, some marginal implications also introduced such as it could provide some basis for web designers, people who use UGC as a marketing tool and users who want to be a UGC content producer.사용자 생성 콘텐츠 (UGC) 사용자의 가치를 강조하며 Web 2.0의 개발을 기반으로 정보 확산 및 시장 관리에 중요한 역할을 가지고있다. 따라서 UGC웹 사이트에서 어떤 요소가 정보 확산에 영향을 미칠 것인지를 식별하는 것이 필요하다. 이 논문은 Bilibili웹 사이트 기반으로, 비디오 확산 과정에서 영향력있는 요인을 찾아 보려고한다. 주로 소셜 네트워크에 초점을 맞춘 선행 문헌와는 달리, 이 논문에서는 주로 비디오 특성 데이터를 사용하여 비디오 확산에 효과적인 요소를 탐구했다. 첫째, 1 개월 이내에 비디오 조회수 증가 추세 파악했고 비디오 확산에는 세 가지 단계가 있다. 둘째, 각 단계에서 비디오 확산에 미치는 요인이 무엇인지 분석했다. 분석결과 보면 사용자와 콘텐츠의 상호 작용이 높을수록 더 많은 사람들이 동영상을 볼 수 있어 동영상 확산 속도가 향상 될 수 있음을 보여주었다. 이 논문을 바탕으로 웹 디자이너, UGC를 마케팅 도구로 사용하는 사람들 및 UGC 콘텐츠 제작자가되기를 원하는 사용자에게 기본적인 근거를 제공 할 수 있다는 점과 같은 몇 가지 중요한 함의가 소개되었다.Table of content: 1. Introduction 1 2. Literature review 4 2.1 UGC and Bilibili. 4 2.2 Video diffusion in UGC 6 2.3 Hypotheses 9 3 Data and Methodology. 12 3.1 Data 12 3.2 Methodology. 16 4. Analysis results and Conclusion. 19 4.1 Analysis result. 19 4.2 Conclusion 21 4.2.1 Conclusion of daily views. 21 4.2.2 Conclusion of video attributes. 22 5. Implications and limitations 26 5.1 Implications 26 5.2 Limitations. 28 Reference: 29 Appendix: 37 국문초록 43Maste

안정적인, 비디오 기반의 공정 이상 탐지

학위논문(석사) -- 서울대학교대학원 : 공과대학 기계공학부, 2021.8. 박종우.Industrial video anomaly detection is an important problem in industrial inspection, possessing features that are distinct from video anomaly detection in other application domains like surveillance. No public datasets pertinent to the problem have been developed, and accordingly, robust models suited for industrial video anomaly detection have yet to be developed. In this thesis, the key differences that distinguish the industrial video anomaly detection problem from its generic counterparts are examined: the relatively small amount of video data available, the lack of diversity among frames within the video clips, and the absence of labels that indicate anomalies. We then propose a robust framework for industrial video inspection that addresses these specific challenges. One novel aspect of our framework includes a model that masks regions in frames that are irrelevant to the inspection task. We show that our framework outperforms existing methods when validated on a novel database that replicates video clips of real-world automated tasks.공정 검사라는 다소 방대한 분야의 여러 문제 중에서, 산업용 비디오 이상 탐지는 큰 중요성을 지닌 문제이지만, 그 중요성에 비해 충분히 주목을 받지 못하고 있다. 이 문제를 연구할 때 사용할 공적인 데이터셋이 부재하며, 이를 기반으로 고안된 산업용 비디오 이상 탐지에 특화된 기법에 대한 선행 연구도 진행 된 적이 없었다. 본 논문에서는 일반적인 비디오 이상 탐지 문제와 산업용 비디오 이상 탐지 문제의 상이한 특성들을 분석하여 규명하였다. 일반적인 비디오 이상 탐지에서와 달리, 산업용 비디오 이상탐지 문제에서는 사용 가능한 데이터의 양이 한정되어 있으며, 학습에 필요한 라벨이 없기 때문에 이를 활용한 모델을 개발하는 것이 불가능하다. 이와 같은 이유로 인해, 기존 모델을 산업용 비디오 이상 탐지 문제에 적용할 시, 검사하고자 하는 동작과 무관한 요소의 출현과 움직임으로 인한 거짓 알람이 지나치게 자주 발생한다. 분석을 기반으로, 강건한 비디오 이상 감지가 가능한 산업용 비디오 이상 탐지 방안을 고안하였다. 이 기법에서는 이상 탐지를 위한 모델과 별개로, 영상 내의 요소들 중 동작 감지와 상관 없는 것들을 가리는 모델을 활용한다. 제안하고자 하는 방안의 효용성을 검증하기 위해, 실제 공정 영상과 유사한 특성들을 보이는 로봇 동작을 촬영해 수집한 데이터베이스를 구축하였으며, 이를 활용해 모델의 성능들을 측정하였다. 본 연구에서 제시하는 강건한 비디오 이상탐지 방안과 데이터 베이스를 논문을 통해 공개함으로써, 이 분야와 관련한 더 다양한 연구를 촉진하는데 기여 할 수 있을 것이라 기대한다.1 Introduction 1 1.1 Related Works 8 1.2 Contributions of Our Work 15 1.3 Organization 16 2 Preliminaries 18 2.1 Weakly Supervised Learning 19 2.1.1 Supervised Learning and Unsupervised Learning 19 2.1.2 Demysti cation on Weakly Supervised Learning 21 2.2 Class Activation Maps 22 2.2.1 Overview on Visualizing Activations 22 2.2.2 Overview on CAM 24 2.2.3 Overview on Grad-CAM 25 2.2.4 Overview on Eigen-CAM 26 2.3 Dynamic Time Warping 27 2.4 Label Smoothing 28 2.4.1 Review on Cross Entropy Function 30 2.4.2 Summary on Label Smoothing 31 3 Robust Framework for Industrial Video Anomaly Detection 32 3.1 Components of the Framework 34 3.1.1 Anomaly Detection Model 34 3.1.2 Background Masking Model 34 3.1.3 Fusing Results from the Components of the Framework 37 3.2 Details of the Weakly Supervised Learning Method 37 3.2.1 Partition Order Prediction Task 37 3.2.2 Partition Order Labels 39 3.2.3 Conditioning the Labels 43 4 Experiments 45 4.1 Database for Industrial Video Anomaly Detection 46 4.2 Ideal Background Mask 48 4.2.1 Acquiring Ideal Masks 48 4.2.2 Enhancing Robustness in VAD Using Masks 48 4.3 Masking Using the Proposed Method vs Using an Ideal Mask 49 4.4 Performance Enhancement Using the Proposed Method 50 4.5 Ablation Study 54 4.5.1 Number of Layers for Eigen-CAM 54 4.5.2 Threshold on Attention Maps 54 4.5.3 Temporal Smoothing Window Size 56 5 Conclusion 57 A Appendix 59 A.1 Experimental Results for All Tasks in the Database 59 Bibliography 60 국문초록 68석

이야기형 설명문을 활용한 대규모 비디오 학습 연구

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2021. 2. 김건희.Extensive contributions are being made to develop intelligent agents that can recognize and communicate with the world. In this sense, various video-language tasks have drawn a lot of interests in computer vision research, including image/video captioning, video retrieval and video question answering. It can be applied to high-level computer vision tasks and various future industries such as search engines, social marketing, automated driving, and robotics support through QA / dialog generation for the surrounding environment. However, despite these developments, video-language learning suffers from a higher degree of complexity. This thesis investigates methodologies for learning the relationship between videos and free-formed languages, including explanations, conversations, and question-and-answers, so that the machine can easily adapt to target downstream tasks. First, we introduce several methods to learn the relationship between long sentences and videos efficiently. We introduce the approaches for supervising human attention transfer for the video attention model, which shows the video attention mechanism can benefit from explicit human gaze labels. Next, we introduce the end-to-end semantic attention method, which further reduces the visual attention algorithm's complexity by using the representative visual concept word detected by the attention-based detector. As a follow-up study on previous methods, we introduce a JSFusion (Joint Sequence Fusion) method that enables efficient video search and QA by enabling many-to-many matching of attention model. Next, we introduce the CiSIN(Character in Story Identification Network), which uses Attention to increase the performance of character grounding and character re-identification in the movie. Finally, we introduce Transitional Adaptation, which promotes the caption generation models to generates coherent narratives for long videos. In summary, this thesis presents a novel approaches for automatic video description generation/retrieval and shows the benefits of extracting linguistic knowledge for object and motion in the video as well as the advantage of multimodal audio-visual learning for understanding videos. Since the proposed methods are easily adapted to any video-language tasks, it is expected to be applied to the latest models, bringing additional performance improvements. Moving forward, we plan to design an unsupervised video learning framework that can solve many challenges in the industry by integrating an unlimited amount of video, audio, and free-formed language data from the web.시각-언어 학습은 이미지/비디오 캡션(Image/Video captioning), 시각 질의응답(Visual Question and Answering), 비디오 검색(Video Retrieval), 장면 이해(scene understanding), 이벤트 인식(event detection) 등 고차원의 컴퓨터 비전 태스크(task)뿐만 아니라 주변 환경에 대한 질의 응답 및 대화 생성(Dialogue Generation)으로 인터넷 검색 뿐만 아니라 최근 활발한 소셜 마케팅(Social Marketing) 자율 주행(Automated Driving), 로보틱스(Robotics)을 보조하는 등 여러 미래 산업에 적용될 수 있어 활발히 연구되고 있는 중요한 분야이다. 컴퓨터 비젼과 자연어 처리는 이러한 중요성을 바탕으로 각자 고유한 영역에서 발전을 거듭해 왔으나, 최근 딥러닝의 등장과 함께 눈부시게 발전하면서 서로를 보완하며 학습 결과를 향상시키는 등 큰 시너지 효과를 발휘하게 되었다. 하지만 이런 발전에도 불구하고, 비디오-언어간 학습은 문제의 복잡도가 한층 높아 어려움을 겪게 되는 경우가 많다. 본 논문에서는 비디오와 이에 대응하는 설명, 대화, 질의 응답 등 더 나아가 자유 형태의 언어 (Free-formed language)간의 관계를 더욱 효율적으로 학습하고, 목표 임무에 잘 대응할 수 있도록 개선하는 것을 목표로 한다. 먼저, 시각적 복잡도가 이미지보다 높은 비디오와 긴 문장 사이의 관계를 효율적으로 학습하기 위한 여러 방법들을 소개한다. 인간의 주의 인식(Attention) 모델을 비디오-언어 모델에 지도 학습 하는 방법을 소개하고, 이어서 비디오에서 우선 검출된 대표 시각 단어를 매개로 하여 주의 인식(Attention) 알고리즘의 복잡도를 더욱 줄이는 의미 중심 주의 인식 (Semantic Attention) 방법, 어텐션 모델의 다대다 매칭을 기반으로 효율적인 비디오 검색 및 질의응답을 가능케 하는 비디오-언어간 융합 (Joint Sequence Fusion) 방법 등 비디오 주의 인식을 효율적으로 학습시킬 수 있는 방법들을 제시한다. 다음으로는, 주의 인식(Attention) 모델이 물체-단어 간 관계를 넘어 비디오 상에서 인물 검색 (Person Searching) 그리고 인물 재 식별 (Person Re-Identification)을 동시에 수행하며 상승작용을 일으키는 스토리 속 캐릭터 인식 신경망 (Character in Story Identification Network) 을 소개하며, 마지막으로 자기 지도 학습(Self-supervised Learning)을 통해 주의 인식(Attention) 기반 언어 모델이 긴 비디오에 대한 설명을 연관성 있게 잘 생성할 수 있도록 유도하는 방법을 소개한다. 요약하자면, 이 학위 논문에서 제안한 새로운 방법론들은 비디오-언어 학습에 해당하는 비디오 캡션(Video captioning), 비디오 검색(Video Retrieval), 시각 질의응답(Video Question and Answering)등을 해결할 수 있는 기술적 디딤돌이 되며, 비디오 캡션 학습을 통해 학습된 주의 인식 모듈은 검색 및 질의응답, 인물 검색 등 각 네트워크에 이식되면서 새로운 문제들에 대해 동시에 최고 수준(State-of-the-art)의 성능을 달성하였다. 이를 통해 비디오-언어 학습으로 얻은 언어 지식의 이전은 시각-청각을 아우르는 비디오 멀티모달 학습에 큰 도움이 되는 것을 실험적으로 보여준다. 향후 작업 방향 (Future Work)으로는 앞서 연구한 내용들을 기반으로 웹 속에 존재하는 대규모의 언어, 비디오, 오디오 데이터를 통합해 학습에 활용하여 산업계의 많은 난제를 해결할 수 있는 비지도 학습 모델을 만들고자 한다.Chapter 1 Introduction 1.1 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4 1.2 Outline of the thesis . . . . . . . . . . . . . . . . . . . . . . . . .8 Chapter 2 Related Work 2.1 Video Captioning . . . . . . . . . . . . . . . . . . . . . . . . . . .9 2.2 Video Retrieval with Natural Language . . . . . . . . . . . . . . 12 2.3 Video Question and Answering . . . . . . . . . . . . . . . . . . . 13 2.4 Cross-modal Representation Learning for Vision and LanguageTasks . . . . 15 Chapter 3 Human Attention Transfer for Video Captioning18 3.1 Introduction 3.2 Video Datasets for Caption and Gaze . . . . . . . . . . . . . . . 21 3.3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.3.1 Video Pre-processing and Description . . . . . . . . . . . 22 3.3.2The Recurrent Gaze Prediction (RGP) Model . . . . . . . 23 3.3.3Construction of Visual Feature Pools . . . . . . . . . . . . 24 3.3.4The Decoder for Caption Generation . . . . . . . . . . . . 26 3.3.5Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.4.1Evaluation of Gaze Prediction . . . . . . . . . . . . . . . . 29 3.4.2Evaluation of Video Captioning . . . . . . . . . . . . . . . 32 3.4.3Human Evaluation via AMT . . . . . . . . . . . . . . . . 35 3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Chapter 4 Semantic Word Attention for Video QA and VideoCaptioning 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.1.1Related Work . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.1.2Contributions . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.2 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.1Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.2An Attention Model for Concept Detection . . . . . . . . 42 4.2.3Video-to-Language Models . . . . . . . . . . . . . . . . . 45 4.2.4A Model for Description . . . . . . . . . . . . . . . . . . . 45 4.2.5A Model for Fill-in-the-Blank . . . . . . . . . . . . . . . . 48 4.2.6A Model for Multiple-Choice Test . . . . . . . . . . . . . 50 4.2.7A Model for Retrieval . . . . . . . . . . . . . . . . . . . . 51 4.3 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.3.1The LSMDC Dataset and Tasks . . . . . . . . . . . . . . 52 4.3.2Quantitative Results . . . . . . . . . . . . . . . . . . . . . 54 4.3.3Qualitative Results . . . . . . . . . . . . . . . . . . . . . . 56 4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Chapter 5 Joint Sequnece Fusion Attention for Multimodal Sequence Data 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 5.3.1Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . 63 5.3.2The Joint Semantic Tensor . . . . . . . . . . . . . . . . . 65 5.3.3The Convolutional Hierarchical Decoder . . . . . . . . . . 66 5.3.4An Illustrative Example of How the JSFusion Model Works 68 5.3.5Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.3.6Implementation of Video-Language Models . . . . . . . . 69 5.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 5.4.1LSMDC Dataset and Tasks . . . . . . . . . . . . . . . . . 71 5.4.2MSR-VTT-(RET/MC) Dataset and Tasks . . . . . . . . . 73 5.4.3Quantitative Results . . . . . . . . . . . . . . . . . . . . . 74 5.4.4Qualitative Results . . . . . . . . . . . . . . . . . . . . . . 76 5.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 Chapter 6 Character Re-Identification and Character Ground-ing for Movie Understanding 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 6.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 6.3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 6.3.1Video Preprocessing . . . . . . . . . . . . . . . . . . . . . 84 6.3.2Visual Track Embedding . . . . . . . . . . . . . . . . . . . 85 6.3.3Textual Character Embedding . . . . . . . . . . . . . . . 86 6.3.4Character Grounding . . . . . . . . . . . . . . . . . . . . 87 6.3.5Re-Identification . . . . . . . . . . . . . . . . . . . . . . . 88 6.3.6Joint Training . . . . . . . . . . . . . . . . . . . . . . . . 90 6.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 6.4.1Experimental Setup . . . . . . . . . . . . . . . . . . . . . 92 6.4.2Quantitative Results . . . . . . . . . . . . . . . . . . . . . 93 6.4.3Qualitative Results . . . . . . . . . . . . . . . . . . . . . . 95 6.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 Chapter 7 Transitional Adaptation of Pretrained Models forVisual Storytelling 7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 7.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 7.3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 7.3.1The Visual Encoder . . . . . . . . . . . . . . . . . . . . . 104 7.3.2The Language Generator . . . . . . . . . . . . . . . . . . 104 7.3.3Adaptation training . . . . . . . . . . . . . . . . . . . . . 105 7.3.4The Sequential Coherence Loss . . . . . . . . . . . . . . . 105 7.3.5Training with the adaptation Loss . . . . . . . . . . . . . 107 7.3.6Fine-tuning and Inference . . . . . . . . . . . . . . . . . . 107 7.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 7.4.1Experimental Setup . . . . . . . . . . . . . . . . . . . . . 109 7.4.2Quantitative Results . . . . . . . . . . . . . . . . . . . . . 112 7.4.3Further Analyses . . . . . . . . . . . . . . . . . . . . . . . 112 7.4.4Human Evaluation Results . . . . . . . . . . . . . . . . . 115 7.4.5Qualitative Results . . . . . . . . . . . . . . . . . . . . . . 116 7.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 Chapter 8 Conclusion 8.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 8.2 Future Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 Bibliography ... 123 요약 ... 148 Acknowledgements ... 150Docto

Dysphgia in Parkinson’s Disease

Dysphagia is a frequent symptom in Parkinson’s disease (PD) and the main cause of aspiration pneumonia and death of patients with PD. It is also associated with nutritional problems, pulmonary complications and quality of life of PD patients. The prevalence is very high in PD patients, varying from 77% to 95%, but exact pathophysiology and mechanism remains obscure. Dysphagia associated with PD has been reported to affect all stages of swallowing including oral, pharyngeal, esophageal phase, but oral and pharyngeal phases are more often abnormal than esophageal phase. There are several treatment strategies for dysphagia of PD patients such as rehabilitative treatment including speech therapy, respiratory muscle strengthening, pharmacologic treatment, deep brain stimulation and surgical treatment. But, the effects of these treatments are still limited, thus individualized and interdisciplinary approach is recommended.ope

비디오 프레임 보간을 위한 테스트 단계의 적응적 방법론 연구

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 전기·컴퓨터공학부, 2021. 2. 이경무.Computationally handling videos has been one of the foremost goals in computer vision. In particular, analyzing the complex dynamics including motion and occlusion between two frames is of fundamental importance in understanding the visual contents of a video. Research on video frame interpolation, a problem where the goal is to synthesize high-quality intermediate frames between the two input frames, specifically investigates the low-level characteristics within the consecutive frames of a video. The topic has been recently gaining increased popularity and can be applied to various real-world applications such as generating slow-motion effects, novel view synthesis, or video stabilization. Existing methods for video frame interpolation aim to design complex new architectures to effectively estimate and compensate for the motion between two input frames. However, natural videos contain a wide variety of different scenarios, including foreground/background appearance and motion, frame rate, and occlusion. Therefore, even with a huge amount of training data, it is difficult for a single model to generalize well on all possible situations. This dissertation introduces novel methodologies for test-time adaptation for tackling the problem of video frame interpolation. In particular, I propose to enable three different aspects of the deep-learning-based framework to be adaptive: (1) feature activation, (2) network weights, and (3) architectural structures. Specifically, I first present how adaptively scaling the feature activations of a deep neural network with respect to each input frame using attention models allows for accurate interpolation. Unlike the previous approaches that heavily depend on optical flow estimation models, the proposed channel-attention-based model can achieve high-quality frame synthesis without explicit motion estimation. Then, meta-learning is employed for fast adaptation of the parameter values of the frame interpolation models. By learning to adapt for each input video clips, the proposed framework can consistently improve the performance of many existing models with just a single gradient update to its parameters. Lastly, I introduce an input-adaptive dynamic architecture that can assign different inference paths with respect to each local region of the input frames. By deciding the scaling factors of the inputs and the network depth of the early exit in the interpolation model, the dynamic framework can greatly improve the computational efficiency while maintaining, and sometimes even outperforming the performance of the baseline interpolation method. The effectiveness of the proposed test-time adaptation methodologies is extensively evaluated with multiple benchmark datasets for video frame interpolation. Thorough ablation studies with various hyperparameter settings and baseline networks also demonstrate the superiority of adaptation to the test-time inputs, which is a new research direction orthogonal to the other state-of-the-art frame interpolation approaches.계산적으로 비디오 데이터를 처리하는 것은 컴퓨터 비전 분야의 중요한 목표 중 하나이고, 이를 위해선 두 비디오 프레임 사이의 움직임과 가리어짐 등의 복잡한 정보를 분석하는 것이 필수적이다. 비디오 프레임 보간법은 두 입력 프레임 사이의 중간 프레임을 정확하게 생성하는 것을 목표로 하는 문제로, 연속된 비디오 프레임 사이의 정밀한 (화소 단위의) 특징들을 움직임과 가리어짐을 고려하여 분석하도록 연구되었다. 이 분야는 슬로우모션 효과 생성, 다른 시점에서 바라보는 물체 생성, 손떨림 보정 등 실생활의 다양한 어플리케이션에 활용될 수 있기 때문에 최근에 많은 관심을 받고 있다. 기존의 방법들은 두 입력 프레임 사이의 픽셀 단위 움직임 정보를 효과적으로 예측하고 보완하는 방향으로 연구되어왔다. 하지만 실제 비디오 데이터는 다양한 물체들 및 복잡한 배경의 움직임, 이에 따른 가리어짐, 비디오마다 달라지는 프레임율 등 매우 다양한 환경을 담고 있다. 따라서 하나의 모델로 모든 환경에 일반적으로 잘 동작하는 모델을 학습하는 것은 수많은 학습 데이터를 활용하여도 매우 어려운 문제이다. 본 학위 논문에서는 비디오 프레임 보간 문제를 해결하기 위한 테스트 단계의 적응적 방법론들을 제시한다. 특히 딥러닝 기반의 프레임워크를 적응적으로 만들기 위하여 (1) 피쳐 활성도 (feature activation), (2) 모델의 파라미터, 그리고 (3) 네트워크의 구조를 변형할 수 있도록 하는 세 가지의 알고리즘을 제안한다. 첫 번째 알고리즘은 딥 신경망 네트워크의 내부 피쳐 활성도의 크기를 각각의 입력 프레임에 따라 적응적으로 조절하도록 하며, 어텐션 모델을 활용하여 정확한 프레임 보간 성능을 얻을 수 있었다. 옵티컬 플로우 예측 모델을 활용하여 픽셀 단위로 움직임 정보를 추출한 대부분의 기존 방식들과 달리, 제안한 채널 어텐션 기반의 모델은 별도의 모션 모델 없이도 매우 정확한 중간 프레임을 생성할 수 있다. 두 번째로 제안하는 알고리즘은 프레임 보간 모델의 각 파라미터 값을 적응적으로 변경할 수 있도록 메타러닝 (meta-learning) 방법론을 사용한다. 각각의 입력 비디오 시퀀스마다 모델의 파라미터 값을 적응적으로 업데이트할 수 있도록 학습시켜 줌으로써, 제시한 프레임워크는 기존의 어떤 프레임 보간 모델을 사용하더라도 단 한 번의 그라디언트 업데이트를 통해 일관된 성능 향상을 보였다. 마지막으로, 입력에 따라 네트워크의 구조가 동적으로 변형되는 프레임워크를 제시하여 공간적으로 분할된 프레임의 각 지역마다 서로 다른 추론 경로를 통과하고, 불필요한 계산량을 상당 부분 줄일 수 있도록 한다. 제안하는 동적 네트워크는 입력 프레임의 크기와 프레임 보간 모델의 깊이를 조절함으로써 베이스라인 모델의 성능을 유지하면서 계산 효율성을 크게 증가하였다. 본 학위 논문에서 제안한 세 가지의 적응적 방법론의 효과는 비디오 프레임 보간법을 위한 여러 벤치마크 데이터셋에 면밀하게 평가되었다. 특히, 다양한 하이퍼파라미터 세팅과 여러 베이스라인 모델에 대한 비교, 분석 실험을 통해 테스트 단계에서의 적응적 방법론에 대한 효과를 입증하였다. 이는 비디오 프레임 보간법에 대한 최신 결과들에 추가적으로 적용될 수 있는 새로운 연구 방법으로, 추후 다방면으로의 확장성이 기대된다.1 Introduction 1 1.1 Motivations 1 1.2 Proposed method 3 1.3 Contributions 5 1.4 Organization of dissertation 6 2 Feature Adaptation based Approach 7 2.1 Introduction 7 2.2 Related works 10 2.2.1 Video frame interpolation 10 2.2.2 Attention mechanism 12 2.3 Proposed Method 12 2.3.1 Overview of network architecture 13 2.3.2 Main components 14 2.3.3 Loss 16 2.4 Understanding our model 17 2.4.1 Internal feature visualization 18 2.4.2 Intermediate image reconstruction 21 2.5 Experiments 23 2.5.1 Datasets 23 2.5.2 Implementation details 25 2.5.3 Comparison to the state-of-the-art 26 2.5.4 Ablation study 36 2.6 Summary 38 3 Meta-Learning based Approach 39 3.1 Introduction 39 3.2 Related works 42 3.3 Proposed method 44 3.3.1 Video frame interpolation problem set-up 44 3.3.2 Exploiting extra information at test time 45 3.3.3 Background on MAML 48 3.3.4 MetaVFI: Meta-learning for frame interpolation 49 3.4 Experiments 54 3.4.1 Settings 54 3.4.2 Meta-learning algorithm selection 56 3.4.3 Video frame interpolation results 58 3.4.4 Ablation studies 66 3.5 Summary 69 4 Dynamic Architecture based Approach 71 4.1 Introduction 71 4.2 Related works 75 4.2.1 Video frame interpolation 75 4.2.2 Adaptive inference 76 4.3 Proposed Method 77 4.3.1 Dynamic framework overview 77 4.3.2 Scale and depth finder (SD-finder) 80 4.3.3 Dynamic interpolation model 82 4.3.4 Training 83 4.4 Experiments 85 4.4.1 Datasets 85 4.4.2 Implementation details 86 4.4.3 Quantitative comparison 87 4.4.4 Visual comparison 93 4.4.5 Ablation study 97 4.5 Summary 100 5 Conclusion 103 5.1 Summary of dissertation 103 5.2 Future works 104 Bibliography 107 국문초록 120Docto

Comparison of the Macintosh Laryngoscope and the GlideScope Video Laryngoscope in a Cadaver Model of Foreign Body Airway Obstruction

Purpose: The GlideScope video laryngoscope (GL) has been known to help inexperienced health care providers become able to manage even difficult airways. The purpose of this study was to compare foreign body removal efficacies between the Macintosh laryngoscope (ML) and the GL in a setting of airway obstruction. Methods: Participants were asked to remove the simulated foreign body (2×2 cm rice cake) from the supraglottic area of a freshly embalmed cadaver. This simulated a normal airway and a difficult airway with cervical spine immobilization. Participants performed the removal maneuver 4 times in random order using a Magill forceps with both the ML and the GL. We measured the time to removal (sec) and preference of the participant (5-point scale) and compared results according to the type of laryngoscope. Successful removal was defined as a removal time that was less than 120 sec. Results: Forty participants were enrolled in this simulation experiment. The success rate, time to removal and provider preference were not significantly different betweeh the two types of laryngoscope. In subgroup analysis for experienced providers, the time to removal was significantly shorter shorter in the ML group than the GL group (14 vs 20 sec, p<0.05). The preference of experienced provider was also significantly higher for ML than GL. Conclusion: This study suggests that ML has comparable efficacy for foreign body removal to GL and is acceptable to experienced providersope

Cross-Layer Adaptive Streaming over HTTP

학위논문 (석사)-- 서울대학교 대학원 : 컴퓨터공학부, 2016. 2. 권태경.최근 모바일 기기 보급의 증가와 인터넷 네트워크 인프라의 확대 및 글로벌 비디오 스트리밍 서비스의 등장으로 비디오 콘텐츠에 대한 수요가 폭발적으로 증가했다. 그 결과 현재 전체 인터넷 트래픽 중 스트리밍이 차지하는 비율이 70%이상을 차지하고 있으며 이러한 추세는 점차 강화되고 있다. 이러한 상황에서 몇 년 전부터 사용자의 네트워크 상황을 예측하여 이에 맞춰 최적의 화질을 제공하는 HTTP기반의 적응형 스트리밍에 대한 연구가 활발히 이루어져 왔고, 비디오와 오디오 표준화를 위한 워킹 그룹인 MPEG(Moving Picture Expert Group)에서는 DASH (Dynamic Adaptive Streaming over HTTP) 기법을 표준화 하였다. 다양한 연구를 통해 클라이언트 측에서 알고리즘을 통해 좀 더 정확하게 네트워크 상황을 예측하려는 시도가 있어왔지만 근본적으로 DASH가 TCP기반의 HTTP위에서 동작하기 때문에 그 성능이 TCP의 특성에 크게 종속될 수 밖에 없다. 그러나 TCP의 일차적인 목표는 신뢰성 있는 통신으로, 사용자 QoE(Quality of Experience)라는 DASH의 최종 목표와는 상충되는 경우가 존재한다. 따라서 본 연구에서는 클라이언트의 TCP 레이어와 DASH 플레이어가 동작하는 어플리케이션 레이어 간의 크로스레이어 적응형 스트리밍 프레임워크인 CLASH를 제안 하고자 한다. 이를 통해 패킷 손실과 같이 TCP에 영향을 주는 문제가 발생했을 때에도 스트리밍의 품질에 영향을 최소화 할 수 있도록 하는 시스템을 구현하였고, 실험을 통해 이를 검증해 보았다.제 1장 서 론 4 제 1절 연구의 배경 4 제 2절 논문의 구성 6 제 2장 기존 연구의 한계점 7 제 1절 전송 프로토콜 (TCP) 7 제 2절 HTTP 적응형 스트리밍 프로토콜 (DASH) 8 제 3장 CLASH 프레임워크 11 제 1절 사용자 상황을 고려한 크로스 레이어 스트리밍 11 제 2절 CLASH의 구성요소 및 동작 원리 14 제 3절 시스템의 구현 17 1. 패킷 모니터링 시스템 17 2. 클라이언트 DASH 알고리즘 19 3. 버퍼 모니터링 기법 19 4. Raw 소켓을 이용한 로스 하이드 기법 20 제 4장 시스템 분석 및 평가 21 제 1절 실험 환경 21 제 2절 성능 평가 23 제 3절 결과 논의 27 제 5장 결 론 29 참고 문헌 31 Abstract 33Maste

무선환경에서의 RTP를 이용한 실시간 원격 진료 시스템의 설계 및 평가

생체공학 협동과정/석사[한글]환경의 제약이 없는 인터넷 기반의 실시간 멀티미디어 서비스를 이용한 원격 의료는 시, 공간의 제약 없이 환자를 진단하고 적절한 조치를 취할 수 있게 하여 환자의 생존율, 회복률에 긍정적 효과를 끼친다. 이를 위해 응급 의료 서비스는 다양한 전문의의 종합적이고 동시적인 서비스가 제공되어야 한다. 인터넷을 통하여 실시간 비디오를 전송하기 위해서는 채널의 충분한 대역폭, 적은 지연과 적은 패킷 손실 등의 조건이 보장되어야 한다. 그러나 현재의 인터넷은 비디오 전송에 필요한 QoS (Quality of Service)를 만족시키기 위해 네트워크 계층에서 어떠한 기능도 제공하지 못한다. 따라서 사용자가 원하는 서비스의 품질 보장은 네트워크 계층 상위에서 수행되어야만 한다. 이를 위해 제안된 것이 수송계층(transport layer) 위에서 동작하는 실시간 수송 프로토콜(RTP : Real-time Transport Protocol)과 실시간 수송제어 프로토콜(RTCP : Real-time Transport Control Protocol)이다. 이들은 응용 계층과 수송계층 사이에서 패킷 생성 시 삽입되는 부분이라고 이해하는 것이 타당할 것이다. 실시간 수송 프로토콜(RTP)과 실시간 수송제어 프로토콜(RTCP)을 사용하면, 비디오 전송에서 시간제약에 따른 특성을 고려해 줄 수 있고, 네트워크 내에서 발생하는 손실에 대처할 수 있다.본 논문에서는 RTP 프로토콜을 사용한 실시간 원격 의료 진료시스템을 설계, 구현하였다. 우선 의료 정보 데이터에 실시간성을 부여하기 위하여 UDP 기반에 RTP를 적용하였다. 무선망에서 TCP를 사용하였을 경우 실시간성이 완벽히 보장되지 않고 무선망에서의 링크 에러를 병목현상 등의 다른 에러로 인식하기 때문에 불필요한 윈도우사이즈 조절로 인한 대역폭 낭비현상이 있었다. 반면 UDP는 무조건적인 전송으로 인한 비 신뢰적인 전송과 QoS가 보장 되지 않는 단점이 있다. 때문에 본 시스템에서는 대역폭을 충분히 활용할 수 있는 UDP 기반에서 RTP 프로토콜을 적용하여 실시간성을 부여하고 중요한 환자 데이터는 우선권을 부여하여 전송하였다. 이와 같은 알고리즘을 사용함으로써 응용계층 아래 단에서의 실시간성 보장 효과를 확인할 수 있었다.두 번째로는 네트워크의 상태에 유동적으로 대응하기 위한 전송률 제어 알고리즘을 제안하였다. 정확하고 주기적인 네트워크 성능 수집을 위하여 RTCP를 사용하였다. RTCP는 현재 네트워크의 대역폭, 지연, PER 등의 정보를 수집하여 최대 전송 보장 가능한 데이터 사이즈를 송신단에게 알려준다. 주어진 정보를 분석하여 적합한 전송률을 결정, 전송함으로써 안정적인 대역폭을 사용할 수 있고, 무조건적인 전송으로 인한 병목현상을 방지함으로써 환자 영상 품질의 보장에 우월한 성능을 보일 수 있음을 확인하였다. [영문]For quick and correct treatment of disease, real-time telemedicine system that enables medical examination and treatments made by several specialists simultaneously was designed. The system must transmit good quality data without concerning network that has different bandwidth by real time. The important issue of real-time telemedicine system is end-to-end delay constraint. Therefore, UDP(User Datagram Protocol) is more suitable for transporting multimedia data than TCP(Transmission Control Protocol). But UDP does not control network congestion and guarantee QoS(Quality of Service). There are many research results to complement UDP. One of these results is RTP(Real-Time Transport Protocol) and RTCP(Real-Time Transport Protocol). RTP and RTCP is mainly designed for use with UDP(User Datagram Protocol) for multimedia transport over the Internet. It has the capability of media-synchronization and network''s QoS feedback to compensate for the weakness of UDP. In this thesis, the RTP/RTCP UDP protocol is implemented over a windows pc system, and integrate with a MPEG-4 video codec system. The performance of channel rate control algorithms for VBR(Variable Bit Rate) video transmission is compared by the implemented test system. They are a TCP-Friendly rate control algorithm and a modified algorithm with a hounded minimum and maximum bitrate. It is shown that the modified algorithm provide wider range of controlled bit rates depending on the packet loss ratio and the throughput than the TCP or UDP algorithm.In this paper, we designed and evaluated the real-time multimedia telemedicine system using RTP over CDMA 1X-EVDO. To evaluate this system, we designed the telemedicine system which is based on the RTP. RTP can guarantee realtime transmission at the transport layer, that can''t guarantee at the network layer. and then we designed the RTCP protocol. The RTCP Packets can analyze network traffic and packet loss rate. Using RTCP report, we can control the QoS(Quality of Service) such as transmission rate control or priority control. The performances of the proposed algorithm and system in terms of throughput variation, RTT(Round Trip Time), jitter and PSNR(Peak Signal to Noise Ratio) were shown better performance more than UDP or native RTP.ope

박현기의 초기 작품에 나타난 탈평면적 경향에 대한 연구

학위논문 (석사)-- 서울대학교 대학원 : 미술대학 협동과정미술경영, 2018. 8. 정영목.본 논문은 박현기(1942-2000)의 1974년부터 1985년까지 제작된 초기 작품을 중심으로 분석한 연구이다. 박현기는 한국 비디오 아트의 선구자라고 불리며 미술사적으로 중요한 위치에 있음에도 불구하고, 그에 대한 연구는 비교적 적게 진행되었으며 연구의 범위 또한 비디오 작업 부분에 편중되어 있었다. 이에 따라 박현기의 작품세계에 대한 해석의 범위를 넓히고자 연구를 시작하게 되었으며, 그의 작품세계 중에서도 비디오뿐만 아니라 오브제, 환경, 행위와 같은 다양한 탈평면 미술 경향을 시도해 보았던 1974년부터 1985년까지의 초기 실험 단계에 집중했다. 이를 위해 먼저 박현기 작품의 형성 배경이 되는 1970년대부터 1980년대까지의 한국미술의 상황에 대해 살펴보았다. 앵포르멜 이후 1960년대 말 한국화단에서는 회화라는 평면에서 벗어나 새로운 미술을 수용하고자 하는 움직임이 시작되었다. 본격적으로 1970년대부터 몇몇 실험적인 소그룹들에 의해 오브제, 환경, 행위 등의 탈평면적 미술 경향이 새롭게 시도 되었고, 그러한 경향은 1980년대까지 이어졌다. 그리고 1970년대 초중반부터 대구화단에서도 《대구현대미술제》를 중심으로 미술의 탈평면적 경향이 새롭게 모색되기 시작하였는데, 이는 1980년대까지 이어져 대구를 기반으로 초기 시기 작가 활동을 한 박현기에게 영향을 미쳤다. 이러한 배경을 바탕으로 본문에서는 1974년부터 1985년까지의 박현기의 초기 작품을 크게 세 가지 경향으로 나누어 살펴보았다. 작품이 제작된 시기 순으로 오브제, 환경, 행위에 해당하는 작품을 면밀히 살펴봄으로써, 결과적으로 박현기가 말하고자 했던 불완전한 지각과 인식에 대한 문제에 대해 고찰해 본 것이다. 따라서 본 연구는 박현기의 작품세계를 보다 다양하게 고찰해보았다는 점에 의의를 두고자 한다. 주요어 : 박현기, 탈평면적 경향, 오브제, 환경, 행위, 대구현대미술제 1 장 서론 1 제 1 절 연구 배경 및 목적 1 제 2 절 연구 내용 2 제 3 절 선행 연구 3 제 2 장 박현기의 작품 형성 배경 6 제 1 절 1970-80년대 탈평면적 경향 6 1. 오브제 11 2. 환경 16 3. 행위 20 제 2 절 대구미술과 박현기 25 1. 1970-80년대 탈평면적 경향 25 2. 박현기의 활동 30 제 3 장 박현기의 초기 작품 분석 36 제 1 절 오브제 36 제 2 절 환경 44 제 3 절 행위 53 제 4 장 결론 61 참고문헌 64 도판목록 72 도 판 77 Abstract 92Maste

Study on Cold Air Flow Characteristics in a Domestic Refrigerator Using an Image Intensifier CCD Camera

Environmental concerns and the restriction policy on the energy efficiency require continuous improvements in refrigerator energy efficiency. Hence, it is very important to manufacture household refrigerators with the shroud form and cold air flow that are economically acceptable. This study has been performed on cold air flow characteristics in a domestic refrigerator which sizes are 400mm x 410mm x 670mm of the freezer and 510mm x 710mm x 670mm of the cold storage room with a fan. The domestic refrigerator is divided into two completely parts, which one is for cooling the freezer and the other is for cooling the food room. This domestic refrigerator has an evaporator, in which is located the freezer compartment. The experiments were conducted at three different internal temperatures in the freezer(10℃, 30℃). It was showed that the rate of cold air distribution into freezing room and cold storage room was almost 7 : 3. This experimental investigation indicates that the velocity of cold air flow of 40mm, 80mm, 370mm and 670mm sections are faster than other sections. The first objective of this work was the analysis of the result to obtain insight regarding the effects of the variables and to assess the cold air flow characteristics at three different internal temperatures in the freezer and at two different internal temperatures cold storage room. The second consideration was to develop refrigerator energy consumption. in other words, This paper presents to improve that the energy efficiency of the refrigerator.(5℃, 15℃, 30℃) and in the cold storage room목차 Abstract = i 기호설명 = iii 제1장 서론 = 1 제2장 실험 및 영상처리 = 3 2.1 실험장치 = 3 2.2 PIV의 개요 = 6 2.3 PIV 시스템의 구성 = 17 2.3.1 조명 및 추적입자 = 17 2.3.2 화상입력장치 및 저장장치 = 19 2.3.3 이미지 보오드 = 20 2.4영상처리 = 22 2.4.1 전처리 = 22 2.4.2 동일입자 추적 = 27 2.4.3 후처리 = 34 제3장 결과 및 검토 = 35 3.1 냉동실의순간 및 시간평균 속도분포 = 35 3.2 냉장실의 순간 및 시간평균 속도분포 = 72 3.3 평균운동에너지 분포 = 88 3.4 냉동실 및 냉장실 속도분포비교 = 105 제4장 결론 = 109 참고문헌 = 111 감사의 글 = 11