이야기형 설명문을 활용한 대규모 비디오 학습 연구

학위논문 (박사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2021. 2. 김건희.Extensive contributions are being made to develop intelligent agents that can recognize and communicate with the world. In this sense, various video-language tasks have drawn a lot of interests in computer vision research, including image/video captioning, video retrieval and video question answering. It can be applied to high-level computer vision tasks and various future industries such as search engines, social marketing, automated driving, and robotics support through QA / dialog generation for the surrounding environment. However, despite these developments, video-language learning suffers from a higher degree of complexity. This thesis investigates methodologies for learning the relationship between videos and free-formed languages, including explanations, conversations, and question-and-answers, so that the machine can easily adapt to target downstream tasks. First, we introduce several methods to learn the relationship between long sentences and videos efficiently. We introduce the approaches for supervising human attention transfer for the video attention model, which shows the video attention mechanism can benefit from explicit human gaze labels. Next, we introduce the end-to-end semantic attention method, which further reduces the visual attention algorithm's complexity by using the representative visual concept word detected by the attention-based detector. As a follow-up study on previous methods, we introduce a JSFusion (Joint Sequence Fusion) method that enables efficient video search and QA by enabling many-to-many matching of attention model. Next, we introduce the CiSIN(Character in Story Identification Network), which uses Attention to increase the performance of character grounding and character re-identification in the movie. Finally, we introduce Transitional Adaptation, which promotes the caption generation models to generates coherent narratives for long videos. In summary, this thesis presents a novel approaches for automatic video description generation/retrieval and shows the benefits of extracting linguistic knowledge for object and motion in the video as well as the advantage of multimodal audio-visual learning for understanding videos. Since the proposed methods are easily adapted to any video-language tasks, it is expected to be applied to the latest models, bringing additional performance improvements. Moving forward, we plan to design an unsupervised video learning framework that can solve many challenges in the industry by integrating an unlimited amount of video, audio, and free-formed language data from the web.시각-언어 학습은 이미지/비디오 캡션(Image/Video captioning), 시각 질의응답(Visual Question and Answering), 비디오 검색(Video Retrieval), 장면 이해(scene understanding), 이벤트 인식(event detection) 등 고차원의 컴퓨터 비전 태스크(task)뿐만 아니라 주변 환경에 대한 질의 응답 및 대화 생성(Dialogue Generation)으로 인터넷 검색 뿐만 아니라 최근 활발한 소셜 마케팅(Social Marketing) 자율 주행(Automated Driving), 로보틱스(Robotics)을 보조하는 등 여러 미래 산업에 적용될 수 있어 활발히 연구되고 있는 중요한 분야이다. 컴퓨터 비젼과 자연어 처리는 이러한 중요성을 바탕으로 각자 고유한 영역에서 발전을 거듭해 왔으나, 최근 딥러닝의 등장과 함께 눈부시게 발전하면서 서로를 보완하며 학습 결과를 향상시키는 등 큰 시너지 효과를 발휘하게 되었다. 하지만 이런 발전에도 불구하고, 비디오-언어간 학습은 문제의 복잡도가 한층 높아 어려움을 겪게 되는 경우가 많다. 본 논문에서는 비디오와 이에 대응하는 설명, 대화, 질의 응답 등 더 나아가 자유 형태의 언어 (Free-formed language)간의 관계를 더욱 효율적으로 학습하고, 목표 임무에 잘 대응할 수 있도록 개선하는 것을 목표로 한다. 먼저, 시각적 복잡도가 이미지보다 높은 비디오와 긴 문장 사이의 관계를 효율적으로 학습하기 위한 여러 방법들을 소개한다. 인간의 주의 인식(Attention) 모델을 비디오-언어 모델에 지도 학습 하는 방법을 소개하고, 이어서 비디오에서 우선 검출된 대표 시각 단어를 매개로 하여 주의 인식(Attention) 알고리즘의 복잡도를 더욱 줄이는 의미 중심 주의 인식 (Semantic Attention) 방법, 어텐션 모델의 다대다 매칭을 기반으로 효율적인 비디오 검색 및 질의응답을 가능케 하는 비디오-언어간 융합 (Joint Sequence Fusion) 방법 등 비디오 주의 인식을 효율적으로 학습시킬 수 있는 방법들을 제시한다. 다음으로는, 주의 인식(Attention) 모델이 물체-단어 간 관계를 넘어 비디오 상에서 인물 검색 (Person Searching) 그리고 인물 재 식별 (Person Re-Identification)을 동시에 수행하며 상승작용을 일으키는 스토리 속 캐릭터 인식 신경망 (Character in Story Identification Network) 을 소개하며, 마지막으로 자기 지도 학습(Self-supervised Learning)을 통해 주의 인식(Attention) 기반 언어 모델이 긴 비디오에 대한 설명을 연관성 있게 잘 생성할 수 있도록 유도하는 방법을 소개한다. 요약하자면, 이 학위 논문에서 제안한 새로운 방법론들은 비디오-언어 학습에 해당하는 비디오 캡션(Video captioning), 비디오 검색(Video Retrieval), 시각 질의응답(Video Question and Answering)등을 해결할 수 있는 기술적 디딤돌이 되며, 비디오 캡션 학습을 통해 학습된 주의 인식 모듈은 검색 및 질의응답, 인물 검색 등 각 네트워크에 이식되면서 새로운 문제들에 대해 동시에 최고 수준(State-of-the-art)의 성능을 달성하였다. 이를 통해 비디오-언어 학습으로 얻은 언어 지식의 이전은 시각-청각을 아우르는 비디오 멀티모달 학습에 큰 도움이 되는 것을 실험적으로 보여준다. 향후 작업 방향 (Future Work)으로는 앞서 연구한 내용들을 기반으로 웹 속에 존재하는 대규모의 언어, 비디오, 오디오 데이터를 통합해 학습에 활용하여 산업계의 많은 난제를 해결할 수 있는 비지도 학습 모델을 만들고자 한다.Chapter 1 Introduction 1.1 Contributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4 1.2 Outline of the thesis . . . . . . . . . . . . . . . . . . . . . . . . .8 Chapter 2 Related Work 2.1 Video Captioning . . . . . . . . . . . . . . . . . . . . . . . . . . .9 2.2 Video Retrieval with Natural Language . . . . . . . . . . . . . . 12 2.3 Video Question and Answering . . . . . . . . . . . . . . . . . . . 13 2.4 Cross-modal Representation Learning for Vision and LanguageTasks . . . . 15 Chapter 3 Human Attention Transfer for Video Captioning18 3.1 Introduction 3.2 Video Datasets for Caption and Gaze . . . . . . . . . . . . . . . 21 3.3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.3.1 Video Pre-processing and Description . . . . . . . . . . . 22 3.3.2The Recurrent Gaze Prediction (RGP) Model . . . . . . . 23 3.3.3Construction of Visual Feature Pools . . . . . . . . . . . . 24 3.3.4The Decoder for Caption Generation . . . . . . . . . . . . 26 3.3.5Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 3.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.4.1Evaluation of Gaze Prediction . . . . . . . . . . . . . . . . 29 3.4.2Evaluation of Video Captioning . . . . . . . . . . . . . . . 32 3.4.3Human Evaluation via AMT . . . . . . . . . . . . . . . . 35 3.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Chapter 4 Semantic Word Attention for Video QA and VideoCaptioning 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.1.1Related Work . . . . . . . . . . . . . . . . . . . . . . . . . 39 4.1.2Contributions . . . . . . . . . . . . . . . . . . . . . . . . . 40 4.2 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.1Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . 41 4.2.2An Attention Model for Concept Detection . . . . . . . . 42 4.2.3Video-to-Language Models . . . . . . . . . . . . . . . . . 45 4.2.4A Model for Description . . . . . . . . . . . . . . . . . . . 45 4.2.5A Model for Fill-in-the-Blank . . . . . . . . . . . . . . . . 48 4.2.6A Model for Multiple-Choice Test . . . . . . . . . . . . . 50 4.2.7A Model for Retrieval . . . . . . . . . . . . . . . . . . . . 51 4.3 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 4.3.1The LSMDC Dataset and Tasks . . . . . . . . . . . . . . 52 4.3.2Quantitative Results . . . . . . . . . . . . . . . . . . . . . 54 4.3.3Qualitative Results . . . . . . . . . . . . . . . . . . . . . . 56 4.4 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57 Chapter 5 Joint Sequnece Fusion Attention for Multimodal Sequence Data 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59 5.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61 5.3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63 5.3.1Preprocessing . . . . . . . . . . . . . . . . . . . . . . . . . 63 5.3.2The Joint Semantic Tensor . . . . . . . . . . . . . . . . . 65 5.3.3The Convolutional Hierarchical Decoder . . . . . . . . . . 66 5.3.4An Illustrative Example of How the JSFusion Model Works 68 5.3.5Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69 5.3.6Implementation of Video-Language Models . . . . . . . . 69 5.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 5.4.1LSMDC Dataset and Tasks . . . . . . . . . . . . . . . . . 71 5.4.2MSR-VTT-(RET/MC) Dataset and Tasks . . . . . . . . . 73 5.4.3Quantitative Results . . . . . . . . . . . . . . . . . . . . . 74 5.4.4Qualitative Results . . . . . . . . . . . . . . . . . . . . . . 76 5.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78 Chapter 6 Character Re-Identification and Character Ground-ing for Movie Understanding 6.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 6.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 6.3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 6.3.1Video Preprocessing . . . . . . . . . . . . . . . . . . . . . 84 6.3.2Visual Track Embedding . . . . . . . . . . . . . . . . . . . 85 6.3.3Textual Character Embedding . . . . . . . . . . . . . . . 86 6.3.4Character Grounding . . . . . . . . . . . . . . . . . . . . 87 6.3.5Re-Identification . . . . . . . . . . . . . . . . . . . . . . . 88 6.3.6Joint Training . . . . . . . . . . . . . . . . . . . . . . . . 90 6.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92 6.4.1Experimental Setup . . . . . . . . . . . . . . . . . . . . . 92 6.4.2Quantitative Results . . . . . . . . . . . . . . . . . . . . . 93 6.4.3Qualitative Results . . . . . . . . . . . . . . . . . . . . . . 95 6.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97 Chapter 7 Transitional Adaptation of Pretrained Models forVisual Storytelling 7.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99 7.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101 7.3 Approach . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103 7.3.1The Visual Encoder . . . . . . . . . . . . . . . . . . . . . 104 7.3.2The Language Generator . . . . . . . . . . . . . . . . . . 104 7.3.3Adaptation training . . . . . . . . . . . . . . . . . . . . . 105 7.3.4The Sequential Coherence Loss . . . . . . . . . . . . . . . 105 7.3.5Training with the adaptation Loss . . . . . . . . . . . . . 107 7.3.6Fine-tuning and Inference . . . . . . . . . . . . . . . . . . 107 7.4 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108 7.4.1Experimental Setup . . . . . . . . . . . . . . . . . . . . . 109 7.4.2Quantitative Results . . . . . . . . . . . . . . . . . . . . . 112 7.4.3Further Analyses . . . . . . . . . . . . . . . . . . . . . . . 112 7.4.4Human Evaluation Results . . . . . . . . . . . . . . . . . 115 7.4.5Qualitative Results . . . . . . . . . . . . . . . . . . . . . . 116 7.5 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116 Chapter 8 Conclusion 8.1 Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 8.2 Future Works . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 Bibliography ... 123 요약 ... 148 Acknowledgements ... 150Docto

Self-Labeling Online Learning for Mobile Robot Grasping

학위논문(석사) -- 서울대학교대학원 : 자연과학대학 협동과정 뇌과학전공, 2022.2. 장병탁.동적인 환경에서 물체 파지를 정확하고 견고하게 하는 것은 모바일 조작 로봇이 성공적으로 과업을 수행하는데 필수적이다. 과거 암 로봇의 조작 연구에선 파지 인식을 위해 촉각 센서나 시각 센서를 사용하여 이를 해결하고자 했다. 하지만 이동형 로봇은 변화하는 환경에서 움직임으로 인해 노이즈가 발생함을 고려해야 한다. 최근 파지 인식 연구는 학습 기반 알고리즘에 의존하고 있다. 학습 기반 방법은 데이터를 수집하고 라벨을 입력하는데 많은 시간과 노력이 필요한 제한이 있다. 따라서 본 논문은 로봇의 파지인식학습을 위해, 스스로 라벨링을 수행하며 온라인 학습하는 과정을 자동화하는 종단간(end-to-end) 방법을 제시한다. 셀프 라벨링은 로봇이 물체가 파지 후 사라졌는지 여부를 카메라를 통한 물체 인식으로 확인하여 수행한다. 파지 인식은 멀티모달 파지 인식 네트워크를 통해 학습되며, 이때 입력 데이터는 카메라와 그리퍼의 여러 센서를 통해 얻은 데이터를 활용한다. 제안한 방법을 검증하기 위해 실내 거실 환경에서 정리정돈 과업을 수행하는 실험을 설계하였다. HSR 로봇을 활용해 11개의 물체를 정리정돈하는 두가지 비교실험을 진행하였고, 파지 인식 네트워크를 사용한 실험이 사용하지 않은 실험대비 파지 실패가 3회, 5회 발생했을 때 과업 수행 시간에서 각각 10.7%와 14.7%의 향상을 보여 제안한 방법의 효율성을 입증하였다.In this paper, we proposed a new grasp perception method for mobile manipulation robot that utilizes both self-labeling and online learning. Self-labeling is implemented by using object detection as supervision, and online learning was achieved by training the model with a randomly sampled batch from a queue-based memory. For robust perception, the GPN model is trained by processing four types of sensory data, and shows high accuracy in performance with various objects. To demonstrate our self-labeling online learning framework, we designed a pick-and-place experiment in a real-world environment with everyday objects. We verified the effectiveness of the GPN by a comparative experiment that measured the task performance by comparing time within two demos: one using the GPN-trained model, and the other using a simple logical method. As a result, it was confirmed that using the GPN does contribute in saving time for picking and placing the objects, especially if more failures occur, or the time spent in delivering the objects increases.제 1 장 서 론 1 제 1 절 파지 인식 연구의 필요성 및 연구 동향 1 제 2 절 데이터 라벨링의 자동화 필요성 및 방안 제시 3 제 3 절 연구의 내용 4 제 2 장 배경 연구 6 제 1 절 물체 파지 인식 6 제 2 절 온라인 학습 6 제 3 절 자기지도 학습과 셀프 라벨링 7 제 3 장 셀프 라벨링을 통한 파지 인식 온라인 학습 8 제 1 절 로봇을 이용한 셀프 라벨링 8 제 2 절 메모리 기반 온라인 학습 11 제 3 절 파지 인식 네트워크 12 제 4 장 실험 설정 13 제 1 절 로봇 플랫폼 13 제 2 절 파지 작업을 위한 물체 목록 15 제 3 절 RGB-D 카메라 기반 거리 계산 18 제 4 절 실험 방법 20 제 5 장 실험 결과 22 제 1 절 온라인 학습을 통한 파지 인식 네트워크 학습 22 제 2 절 파지 인식 네트워크 사용에 따른 성능 비교 25 제 6 장 고찰 및 결론 28 제 1 절 연구의 정리 28 제 2 절 연구의 고찰 29 참고문헌 31 Abstract 38석

Development of a 10MW-Class Floating Offshore Wind Power Generation System and Economic Feasibility Analysis for Offshore Wind Farm Applications

As the climate crisis intensifies, renewable energy sources are becoming essential for decarbonization, with wind power emerging as a leading alternative to traditional hydrocarbons. Floating offshore wind energy, unaffected by water depth limitations, facilitates the development of large-scale offshore wind farms with gigawatt (GW)-scale capacities, spanning tens of square kilometers. The application of ultra-large wind turbines has the potential to significantly enhance economic efficiency by reducing the required area for wind farms, driving a trend toward rapid turbine size escalation. Floating structures are well-suited as the foundation for such large turbines, underscoring the urgent need to develop floating offshore wind farms. Currently, plans are underway to establish floating offshore wind farms with a capacity exceeding 6 GW in capacity off the coast of Ulsan, South Korea. However, there remains a lack of sufficient reference studies to guide this development. This study focuses on developing a floater for a 10 MW-class floating offshore wind power system off the coast of Ulsan. It includes the design of a 1 GW offshore wind farm layout utilizing this system and an economic feasibility analysis of the proposed wind farm. In accordance with the International Electrotechnical Commission (IEC) standards, design load cases were selected, and the environmental conditions of the Ulsan offshore area were analyzed to estimate marine design loads. Based on these design conditions, a 10 MW-class floating offshore wind power system was developed. The upper structure of the 10 MW-class turbine was designed by scaling up specifications from the 5 MW-class turbines developed by the U.S. National Renewable Energy Laboratory (NREL). For the floater, the OC4 semi-submersible model was scaled up to support the weight of the upper structure, and integrated load analyses were conducted to assess its performance. To ensure the reliability of the numerical analysis results, the integrated load analysis methods were validated through a scaled model test conducted at a 1:90 scale in a wave tank. The validated methods were applied to perform integrated load analyses for the developed 10 MW-class system under ultimate limit state (ULS) and accidental limit state (ALS) conditions, confirming that all design constraints were satisfied. Structural strength evaluations of the developed 10 MW-class floater were conducted, including an assessment of residual strength under collision scenarios with vessels. Structural reinforcement designs satisfying yield and buckling criteria were proposed based on the initial structural design. The collision damage analysis results were validated by comparison with drop impact test results. The validation was performed on both stringer-stiffened cylindrical models and unstiffened tubular models, demonstrating good agreement between experimental and numerical results, with a maximum error of 8%. Using the validated methods, collision damage analysis was conducted for the 10 MW-class floaters under accidental limit state conditions, confirming that residual strength decreased by approximately 33 % compared to the undamaged state. Based on the developed system, the economic feasibility of a 1 GW-class floating offshore wind farm off the coast of Ulsan was analyzed. Layout designs and system configurations for the wind farm were developed. Annual energy production was calculated using validated wind speed data derived from measurements, and energy production was compared based on turbine spacing distances. Life-cycle costs for the offshore wind farm were calculated, and the levelized cost of energy (LCOE) was determined. The analysis showed that the wind farm could achieve economic viability, with an initial capital recovery period ranging from 10 to 15 years, depending on the cost composition. In conclusion, this study successfully developed a 10 MW-class floating offshore wind power system and demonstrated the economic feasibility of a 1 GW-class floating offshore wind farm utilizing the designed system.|기후위기가 본격화된 지금 탈탄소를 위한 신재생에너지는 필수적이며 기존 탄화수소를 대체하는 데 풍력발전의 역할이 주요한 대안으로 떠오르고 있다. 부유식 해상풍력발전은 수심의 제한이 없어서 수십 km 규모의 GW급 해상풍력단지 개발이 가능하다. 또한 초대 형 풍력발전기를 적용하면 단지면적을 줄여서 경제성을 획기적으로 향상시킬 수 있으므로 최근 풍력발전기는 급속도로 대형화가 진행되는 추세이다. 이러한 초대형 풍력발전기의 기 초로는 부유체가 적합하며 부유식 해상풍력단지의 개발이 절실히 필요하다. 현재 울산 앞 바다에는 6 GW 이상의 부유식 해상풍력단지 설치가 계획되어 있으나 개발을 위한 참고 연 구는 부족한 실정이다. 본 연구에서는 울산 앞바다를 대상으로 10 MW급 부유식 해상풍력 발전시스템의 부유체 개발과 이를 적용한 1 GW 해상풍력단지의 배치 설계 및 이에 대한 경제성 검토를 수행해보았다. 본 연구에서는 IEC 국제표준을 준용하여 설계하중조건의 선정과 울산 앞바다의 환경 조 건을 분석하여 해상설계 외력을 산정하였다. 설계 조건을 적용하여 10 MW급 부유식 해상 풍력시스템의 개발을 수행하였으며 10 MW급 터빈의 상부구조물은 미국재생에너지연구소 (NREL)의 5 MW급 터빈 상부구조물 제원으로부터 확장설계를 수행하였다. 부유체는 상부 구조물의 무게로부터 OC4 반잠수식 모델을 확장하여 설계하였으며 성능 검토를 위해 통합 하중해석을 수행하였다. 수치해석 결과의 신뢰도를 확보하기위해 1:90 축소 모형의 수조 모형시험 결과로부터 통합하중해석 기법의 검증을 수행하였다. 검증된 기법을 적용하여 개 발된 10 MW급 시스템의 극한한계상태(ULS)와 사고한계상태(ALS)에서의 통합하중해석을 수행하였으며 결과로부터 설계제약조건을 모두 만족하는 것을 확인하였다. 개발된 10 MW 급 부유체의 구조강도를 평가해보았으며 이와 함께 본 연구에서는 선박과 충돌로 인한 사 고한계상태를 반영하여 잔류강도의 감소를 확인해보았다. 초기 구조설계에 대한 구조강도 평가를 수행하였으며 항복(Yield)과 좌굴(Buckling) 평가기준을 만족하는 구조보강 설계안 을 도출하였다. 충돌 수치해석 결과의 신뢰도를 확보하기위해 위해 낙하 충격시험 결과와 충돌 손상 해석 기법의 검증을 수행하였다. 검증은 종늑골 보강 원통(Stringer-Stiffened Column)과 비보강 원통(Unstiffened Tubular) 모델에 대하여 수행하였으며 최대 8 % 오 차로 충격 실험과 수치해석 결과가 잘 일치하는 것을 확인하였다. 검증된 기법을 적용하여 사고한계상태를 고려한 10 MW급 부유체와 선박의 충돌 손상해석을 수행하였다. 최종적으 로 손상된 부유체의 잔류강도를 확인하였으며 손상이 없는 상태보다 잔류강도가 33 % 정도 감소하는 것을 확인하였다. 설계된 시스템을 적용하여 울산 앞바다를 대상으로 1 GW급 부 유식 해상풍력단지의 경제성 검토를 하였으며 이를 위해 단지의 계통 구성 및 레이아웃 설 계를 수행하였다. 실측 자료와 검증을 마친 재해석 풍속 자료로부터 연간 발전량을 평가하 였으며 이격거리에 따른 발전량을 비교하였다. 해상풍력단지의 생애 주기에 걸친 발생 비 용을 산출하였으며 이로부터 균등화발전비용을 확인하였다. 결과로부터 1 GW급 해상풍력단 지의 경제성 평가를 수행하였으며 발생 비용 구성에 따라 10년에서 15년사이의 초기자본지 출 회수기간일 때 경제성을 가지는 것으로 확인되었다. 최종적으로 본 연구를 통해 10 MW 급 부유식 해상풍력발전 시스템의 설계와 이를 적용한 1 GW급 해상풍력단지의 경제성을 확인하였다.Docto

과업관여도와 단어노출빈도가 중학교 영어 학습자의 제2언어 어휘 학습에 미치는 영향

학위논문(석사)--서울대학교 대학원 :사범대학 외국어교육과(영어전공),2019. 8. 소영순.Words are the basis of foreign language learning. Effective learning of more words in less time has been of great interest in Korean classroom situations where English is taught as a foreign language (EFL). Among many variables that influence vocabulary learning, the purpose of this study is to investigate the effects of two key factors that can be manipulated, task-induced involvement load and word exposure frequency, on second language (L2) vocabulary learning. Until now, there have been a few studies combining task involvement and word repetitions, and even few studies dealing with both variables have made contradictory conclusions regarding which factor is more important in vocabulary acquisition and retention. In addition, there is a limit in that the majority of the studies did not meet the minimum exposure to the target words, which is at least 6 times. Experiments were carried out with sixty 9th graders (43 advanced and 17 intermediate learners) by assigning them tasks with different task-induced involvement index and word repetitions. Two vocabulary tasks were completed at different times, with three glossed readings inducing less involvement, and one sentence-writing task inducing higher involvement load. All participants performed each task alternately in two sessions. Up to 12 word exposures for each target word were made in the reading task and 7 word repetitions in the writing task. At the end of each session, an immediate vocabulary retention test was taken, which consisted of active learning test and passive word test. As a result of two-way repeated ANOVAs, this study found that word exposure frequency had a greater effect on word acquisition than task-induced involvement load. If at least six sufficient word exposure conditions were met, three reading tasks with glosses resulted in better vocabulary retention effects than one sentence-writing task. In the overall test and the active word test, two different combinations of task-induced involvement load and word occurrences had a significant impact on word acquisition, but no significant effect on the passive word test. On the other hand, in relation to the learner's proficiency level, the higher learners showed better word acquisition than the intermediate learners in all the test types. In addition, regardless of the learner's level, all the participants showed a tendency to acquire the words significantly better in the condition of three reading tasks with glosses. Therefore, these consistent results provide teachers and material developers with pedagogical implications for effective vocabulary instruction in EFL contexts.단어는 외국어 학습의 기본으로서, 많은 단어를 제한된 시간 내에 효율적으로 학습하는 방법은 영어를 외국어로 배우는 한국의 교실 상황에서 큰 관심사가 되어 왔다. 본 연구에서는 어휘 학습에 영향을 미치는 다양한 변인 가운데 통제 가능한 두 가지 변인인 과업관여도와 단어노출빈도가 한국 중학교 영어 학습자의 제2언어 어휘 학습에 미치는 영향을 연구하였다. 지금까지 과업관여도와 단어노출빈도 두 변인을 결합한 연구가 드물었고, 두 변인을 함께 다룬 연구조차 두 변인 중 무엇이 더 중요한지에 대해 상반된 결론을 내렸다. 또한 단어노출빈도도 유의미한 단어 학습이 일어나기 위한 최소한의 노출 요구치인 6 번을 충족하지 못한 연구가 대다수였다는 한계점이 있다. 본 연구는 60 명 (43 명의 상급 학습자와 17 명의 중급 학습자)의 한국 중학생 3 학년을 대상으로 6 주간 진행되었다. 두 가지 어휘 과업은 다른 횟수로 시행되었는데, 과업관여도가 낮은 주석 달린 읽기는 3 번, 과업관여도가 높은 쓰기 과업은 1 번 진행되었다. 모든 참여자들은 각각의 과업을 두 세션에서 번갈아 가며 수행하였다. 읽기 과업에서는 한 단어당 최대 12 번의 목표 단어 노출이, 쓰기 과업에서는 7 번의 단어 반복이 되었다. 각 세션의 마지막 시간에는 목표 단어에 대한 즉시 사후 평가가 시행되었다. 사후 평가는 적극적 단어 시험과 소극적 단어 시험으로 구성되었다. 이원반복분산분석을 실시한 결과, 과업관여도와 단어노출빈도 중 단어노출빈도가 단어 습득에 미치는 영향이 더 큰 것으로 나타났다. 최소 6 번 이상의 충분한 단어 노출 조건이 충족된다면 세 번의 읽기 과업이 한 번의 쓰기 과업보다 더 많은 단어 습득을 가져왔다. 또한 전체 시험과 적극적 단어 시험의 경우에는 과업관여도와 단어노출빈도의 다른 조합이 단어 습득에 유의미한 영향을 준 반면에, 소극적 단어 시험에서는 유의미한 영향이 나타나지 않았다. 한편 학습자의 수준과 관련하여 상급 학습자는 중급 학습자보다 모든 시험 유형에서 높은 단어 습득을 보였으며, 학습자의 수준에 관계없이 모든 참여자가 세 번의 읽기 과업에서 유의미하게 보다 높은 단어 습득의 경향을 보였다. 이와 같은 일관된 결과는 교사 및 교재개발자에게 학습자의 수준과 관계없이 효율적인 외국어 단어 지도 방안에 대한 시사점을 제공한다.CHAPTER 1. INTRODUCTION 1 1.1 The Purpose of the Study 1 1.2 Research Questions 3 1.3 Organization of the Thesis 4 CHAPTER 2. LITERATURE REVIEW 5 2.1 L2 Vocabulary Learning 5 2.2 Quantity of Vocabulary Learning: Frequency of Exposure to Words 10 2.3 Quality of Vocabulary Learning: Vocabulary Tasks with Varying Involvement Loads 12 2.3.1 Depth of Processing 12 2.3.2 The Involvement Load Hypothesis 14 2.3.3 Empirical Studies Concerning the Involvement Load Hypothesis 16 CHAPTER 3. METHODOLOGY 19 3.1 Participants 19 3.2 Instruments 20 3.2.1 Target Words 20 3.2.2 Text 22 3.2.3 Tasks 25 3.3 Assessment 27 3.3.1 Passive Word Learning Test 28 3.3.2 Active Word Learning Test 29 3.4 Procedure 32 3.4.1 Pilot Study 32 3.4.2 Main Study 33 3.5 Data Analysis 36 CHAPTER 4. RESULTS 38 4.1 The Combined Effect of Task-induced Involvement Load and Word Exposure Frequency on L2 Vocabulary Learning 38 4.2 The Combined Effect of Task-induced Involvement Load and Word Exposure Frequency According to Learner Proficiency 41 CHAPTER 5. DISCUSSION 48 5.1 The Combined Effect of Task-induced Involvement Load and Word Exposure Frequency on L2 Vocabulary Learning 48 5.2 The Combined Effect of Task-induced Involvement Load and Word Exposure Frequency According to Learner Proficiency 53 CHAPTER 6. CONCLUSION 57 6.1 Summary of the Findings and Implications 57 6.2 Limitations and Suggestions for Future Research 59 REFERENCES 61 APPENDICES 67 ABSTRACT IN KOREAN 103Maste

Computer network과 virtual reality를 이용한 사이버 식물원 구축에 관한 연구

학위논문(석사)--서울대학교 환경대학원 :환경조경학과,2002.Maste

Self-Labeling Online Learning for Mobile Robot Grasping

동적인 환경에서 물체 파지를 정확하고 견고하게 하는 것은 모바일 조작 로봇이 성공적으로 과업을 수행하는데 필수적이다. 과거 암 로봇의 조작 연구에선 파지 인식을 위해 촉각 센서나 시각 센서를 사용하여 이를 해결하고자 했다. 하지만 이동형 로봇은 변화하는 환경에서 움직임으로 인해 노이즈가 발생함을 고려해야 한다. 최근 파지 인식 연구는 학습 기반 알고리즘에 의존하고 있다. 학습 기반 방법은 데이터를 수집하고 라벨을 입력하는데 많은 시간과 노력이 필요한 제한이 있다. 따라서 본 논문은 로봇의 파지인식학습을 위해, 스스로 라벨링을 수행하며 온라인 학습하는 과정을 자동화하는 종단간(end-to-end) 방법을 제시한다. 셀프 라벨링은 로봇이 물체가 파지 후 사라졌는지 여부를 카메라를 통한 물체 인식으로 확인하여 수행한다. 파지 인식은 멀티모달 파지 인식 네트워크를 통해 학습되며, 이때 입력 데이터는 카메라와 그리퍼의 여러 센서를 통해 얻은 데이터를 활용한다. 제안한 방법을 검증하기 위해 실내 거실 환경에서 정리정돈 과업을 수행하는 실험을 설계하였다. HSR 로봇을 활용해 11개의 물체를 정리정돈하는 두가지 비교실험을 진행하였고, 파지 인식 네트워크를 사용한 실험이 사용하지 않은 실험대비 파지 실패가 3회, 5회 발생했을 때 과업 수행 시간에서 각각 10.7%와 14.7%의 향상을 보여 제안한 방법의 효율성을 입증하였다.In this paper, we proposed a new grasp perception method for mobile manipulation robot that utilizes both self-labeling and online learning. Self-labeling is implemented by using object detection as supervision, and online learning was achieved by training the model with a randomly sampled batch from a queue-based memory. For robust perception, the GPN model is trained by processing four types of sensory data, and shows high accuracy in performance with various objects. To demonstrate our self-labeling online learning framework, we designed a pick-and-place experiment in a real-world environment with everyday objects. We verified the effectiveness of the GPN by a comparative experiment that measured the task performance by comparing time within two demos: one using the GPN-trained model, and the other using a simple logical method. As a result, it was confirmed that using the GPN does contribute in saving time for picking and placing the objects, especially if more failures occur, or the time spent in delivering the objects increases.제 1 장 서 론 1 제 1 절 파지 인식 연구의 필요성 및 연구 동향 1 제 2 절 데이터 라벨링의 자동화 필요성 및 방안 제시 3 제 3 절 연구의 내용 4 제 2 장 배경 연구 6 제 1 절 물체 파지 인식 6 제 2 절 온라인 학습 6 제 3 절 자기지도 학습과 셀프 라벨링 7 제 3 장 셀프 라벨링을 통한 파지 인식 온라인 학습 8 제 1 절 로봇을 이용한 셀프 라벨링 8 제 2 절 메모리 기반 온라인 학습 11 제 3 절 파지 인식 네트워크 12 제 4 장 실험 설정 13 제 1 절 로봇 플랫폼 13 제 2 절 파지 작업을 위한 물체 목록 15 제 3 절 RGB-D 카메라 기반 거리 계산 18 제 4 절 실험 방법 20 제 5 장 실험 결과 22 제 1 절 온라인 학습을 통한 파지 인식 네트워크 학습 22 제 2 절 파지 인식 네트워크 사용에 따른 성능 비교 25 제 6 장 고찰 및 결론 28 제 1 절 연구의 정리 28 제 2 절 연구의 고찰 29 참고문헌 31 Abstract 38석

냉간압연에 의한 Ag/Cu/Ag 적충제의 접합에 관한 연구

학위논문(석사)--아주대학교 대학원 :재료공학과,2000textMaste