Data augmentation techniques for the Video Question Answering task

Video Question Answering (VideoQA) is a task that requires a model to analyze and understand both the visual content given by the input video and the textual part given by the question, and the interaction between them in order to produce a meaningful answer. In our work we focus on the Egocentric VideoQA task, which exploits first-person videos, because of the importance of such task which can have impact on many different fields, such as those pertaining the social assistance and the industrial training. Recently, an Egocentric VideoQA dataset, called EgoVQA, has been released. Given its small size, models tend to overfit quickly. To alleviate this problem, we propose several augmentation techniques which give us a +5.5% improvement on the final accuracy over the considered baseline.Comment: 16 pages, 5 figures; to be published in Egocentric Perception, Interaction and Computing (EPIC) Workshop Proceedings, at ECCV 202

Motion-Appearance Synergistic Networks for Video Question Answering

Video Question Answering is a task which requires an AI agent to answer questions grounded in video. This task entails three key challenges: (1)understand the intention of various questions, (2) capturing various elements of the input video (e.g., object, action, causality), and (3) cross-modal grounding between language and vision information. We propose MotionAppearance Synergistic Networks (MASN), which embed two crossmodal features grounded on motion and appearance information and selectively utilize them depending on the question’s intentions. MASN consists of a motion module, an appearance module, and a motion-appearance fusion module. The motion module computes the action-oriented cross-modal joint representations, while the appearance module focuses on the appearance aspect of the input video. Finally, the motion-appearance fusion module takes each output of the motion module and the appearance module as input, and performs question-guided fusion. As a result, MASN achieves new state-of-the-art performance on the TGIF-QA and MSVD-QA datasets. We also conduct qualitative analysis by visualizing the inference results of MASN.비디오 질의 응답은 AI 에이전트가 주어진 비디오를 기반으로 관련된 질문에 응답하는 문제이다. 비디오 질의 응답 문제를 해결하기 위해서는 세 가지 과제를 해결하여야 한다: (1) 다양한 질문의 의도를 이해하고, (2) 주어진 비디오의 다양한 요소(e.g. 물체, 행동, 인과관계)를 파악하여야 하며, (3) 언어와 시각 정보 두 modality 간의 상관관계를 기반으로 생성된 표상(cross-modal representation)을 통해 정답을 추론하여야 한다. 따라서 본 학위논문에서는 동작 정보 및 모양 정보에 기반한 두 가지 cross-modal representation 을 생성하고, 이를 질문의 의도에 따라 가중합하는 동작-모양 시너지 네트워크를 제안한다. 제안하는 모델은 세 가지의 모듈: 동작 모듈, 모양 모듈, 동작-모양 융합 모듈로 구성되어 있다. 동작 모듈에서는 질문과 행동 정보를 융합한 cross-modal representation 을 생성하며, 모양 모듈에서는 주어진 비디오의 모양 측면에 집중하여 표상을 생성한다. 최종적으로 동작-모양 융합 모듈에서 인코딩된 두 정보가 질문의 내용을 기반으로 융합된다. 실험 결과, 제안하는 모델은 대규모 비디오 질의 응답 데이터셋인 TGIF-QA 와 MSVD-QA 에 대해 최첨단의 성능을 보였다. 본 논문에서는 또한 제안하는 모델의 정성적 평가 결과에 대해서도 보여준다.제 1 장 서 론 1 제 1 절 연구의 배경 1 제 2 절 연구의 내용 2 제 2 장 배경 연구 5 제 1 절 시각 정보 기반 질의 응답 모델들 5 제 2 절 행동 분류 모델들 5 제 3 절 어텐션 메커니즘 6 제 3 장 동작-모양 시너지 네트워크 7 제 1 절 시각 및 언어 표상 7 제 2 절 동작 및 모양 모듈 9 제 3 절 동작-모양 융합 모듈 10 제 4 절 정답 추론 및 목적 함수 13 제 4 장 실험 및 결과 14 제 1 절 학습 데이터 14 제 2 절 학습 조건 15 제 3 절 최첨단 접근 방식과의 비교 15 제 4 절 모듈 별 기여도 평가 17 제 5 절 정성적 평가 19 제 5 장 결론 및 제언 21 참고문헌 22 Abstract 27석