Prediction on Physical Properties of Soil based on Deep Learning using Digital Image Processing

학위논문 (박사) -- 서울대학교 대학원 : 농업생명과학대학 생태조경.지역시스템공학부(지역시스템공학전공), 2020. 8. 손영환.최근 다양한 연구가 진행되고 있는 딥러닝 기법은 기존 분석 알고리즘들의 이미지 분류 및 분석 정확도가 낮은 한계점을 극복한 기술로 이를 이용한 토양 특성 예측 모델 구축 시 기존의 실험적 방법에 비해 낮은 비용으로 신속하게 현장 토양 관리를 수행할 수 있을 것으로 기대된다. 본 연구에서는 딥러닝 기법을 통해 토양의 이미지로 물리적 특성중 흙의 분류, 함수비, 건조 밀도를 예측하는 방법을 개발하였다. 토양의 물리적 특성 예측에 적합한 모델 개발을 위해 딥러닝 기법 중 심층신경망을 이용하여 이미지 특성값의 회귀분석을 진행하였고 합성곱신경망을 이용하여 이미지 분류 모델을 개발하였다. 이때 딥러닝 모델의 입력자료 구축을 위한 이미지 처리 방법으로 디지털 이미지 프로세싱 (Digital image processing)을 적용하였다. 국내 토양 환경에 적합한 모델 개발을 위해 사양토, 양토, 미사질양토, 미사질식양토의 4종의 토양을 대상으로 연구를 진행하였으며 다양한 함수비, 건조밀도 조건에서 토양 별 60장의 디지털 이미지를 획득하였다. 디지털 이미지 프로세싱 기법을 통해 토양 이미지를 처리하여 R, G, B 3종의 색상정보와 이미지의 간극면적에 대한 정보를 획득하였다. 이때 이미지의 임계값 (threshold) 별 간극면적을 획득하여 간극면적곡선이라 명명하였다. 간극면적곡선은 곡선의 기울기가 함수비, 밀도에 따라 변화하는 특징이 있기 때문에 토양의 함수비, 밀도 변화에 따른 간극 분포 변화를 대표할 수 있는 자료로 확인되었으며 토양의 색상정보와 함께 심층신경망 모델의 입력자료로 활용되었다. 심층신경망 모델을 이용한 토양 4종의 물리적 특성 예측 결과 토양 분류 정확도 96.25%, 함수비 예측 RMSE 0.2 ~ 1.0%, 건조밀도 예측의 RMSE는 0.061 ~ 0.101t/m3으로 나타났다. 개발된 심층신경망 모델을 다른 토양에 적용할 시 필요한 보정 방법을 제안하였으며 보정을 수행하면 모델이 구축되지 않은 지역에서도 기존의 실험적 방법과 유사한 수준으로 예측 가능함을 확인하였다. 합성곱신경망을 이용한 토양 특성 예측 결과 학습 이미지의 개수가 많은 216 x 216 해상도 모델의 분류 정확도가 가장 높았다. 본 연구에서 개발한 심층신경망, 합성곱신경망 두 가지 모델의 결과를 비교하면 토양분류, 함수비 예측은 유사한 수준의 정확도를 나타내었으나 건조 밀도 예측의 정확도가 심층신경망 모델이 더욱 우수한 것으로 나타났으며 이에따라 본 연구에서 제안한 간극면적곡선은 토양 표층 간극의 특징을 잘 나타내 주는 인자로 판단된다. 개발된 토양 특성 예측 방법의 현장 적용성 평가를 위해 토양 3종에 대해 토양분류, 함수비, 건조밀도 예측을 수행하였다. 현장 토양 이미지를 사용하여 모델 개발 시 함수비 예측의 RMSE는 0.93 ~ 1.39%, 건조밀도 예측의 RMSE는 0.022 ~ 0.079 t/m3로 나타났으며, 기존에 개발된 모델 적용 시 함수비 예측 RMSE는 2.01 ~ 2.89%, 건조밀도 예측 RMSE는 0.040 ~ 0.051t/m3으로 나타나 현장 적용성을 확인하였다. 또한 딥러닝 모델은 기존 시험방법에 비해 동일 지점에 대한 반복 시험이 매우 신속하고 간편하다는 장점이 있으며 반복 촬영 결과 모델의 정확도를 높일 수 있음을 확인하였다. 이에 따라 본 연구에서 개발된 DIP와 딥러닝을 이용한 흙의 물리적 특성 예측 방법의 적용 시 기존 토양 관리 방법에 비해 신속하고 경제적인 토양 특성 모니터링을 수행하는데 기여할 수 있을 것으로 판단된다.Deep learning has dramatically improved the accuracy of existing image analysis algorithms, and accordingly, various studies on deep learning have been conducted. It is expected that the development of a soil properties prediction model based on deep learning will enable quicker in-situ soil management at a lower cost than existing experimental methods. In this study, a prediction method on physical properties of soil based on deep learning of soil images using digital image processing was developed. A regression model using Deep neural network (DNN) and an image classification model using Convolutional neural network (CNN) was developed. Digital image processing (DIP) was applied as an image processing method for constructing input data of a deep learning model. Digital images were obtained for each soil under various water content and dry density conditions. Soil color and void area were obtained through DIP. Since the void area of the soil depends on the threshold value in binarization of the soil image, in this study, the void area values were extracted for each threshold and named this as the Voia area curve (VAC). VAC has a characteristic that the shape of the curve changes according to the change in the water content and density of the soil. As a result of DNN model, the soil texture classification accuracy was 96.25%, and the RMSEs when predicting the water content and dry density were 0.2 to 1.0% and 0.061 to 0.101 t/m3, respectively. As a result of CNN model, the more the number of training images, the higher the accuracy of the model. The accuracy of the dry density prediction using DNN model was superior. Accordingly, the VAC is considered to be a main factor that shows the characteristics of void of soils. To evaluate the applicability of the developed soil property prediction method to in-situ situation, prediction on soil properties was performed for three types of in-situ soil. The deep learning model has the advantage that it is very quick and easy to repeat the test at the same point compared to the existing test method, and it was confirmed that the accuracy of the model can be improved as a result of repeated soil image shooting. Accordingly, it is considered that the application of prediction method on physical properties of soil based on deep learning using DIP can contribute to performing soil property monitoring faster and more economically than conventional soil management methods.제 1 장 서 론 1 1.1 연구배경 및 필요성 1 1.2 연구 목적 4 1.3 연구 내용 4 제 2 장 연구사 7 2.1 기계학습을 이용한 이미지 분류 7 2.2 디지털 이미지 처리를 통한 토양 특성 예측 10 2.3 기계학습을 이용한 토양 특성 예측 13 제 3 장 이론적 배경 17 3.1 디지털 이미지 해석 17 3.1.1 디지털 이미지 17 3.1.2 히스토그램 19 3.1.3 임계치 20 3.1.4 이진 영상 변환 23 3.2 기계학습 25 3.2.1 비지도학습 25 3.2.2 지도학습 26 3.3 딥러닝 28 3.3.1 심층신경망 29 3.3.2 합성곱신경망 35 제 4 장 연구 대상 및 적용 방법 43 4.1 대상 토양 특성 및 시험방법 43 4.2 연구대상지 49 4.3 토양 이미지 획득 과정 52 4.3.1 실내 토양 이미지 획득 52 4.3.2 현장 토양 이미지 획득 59 4.4 토양 이미지의 디지털 이미지 프로세싱 61 4.4.1 DIP를 이용한 토양 이미지 내 정보 추출 61 4.4.2 DIP를 이용한 토양 이미지의 전처리 69 제 5 장 DIP를 이용한 토양 이미지 처리 71 5.1 토양 특성에 따른 토양 이미지의 색상 변화 71 5.2 딥러닝을 위한 학습 이미지 증강 78 5.3 토양 이미지의 간극면적곡선 (VAC) 84 제 6 장 토양 이미지의 딥러닝을 통한 토양 특성 예측 91 6.1 딥러닝 모델의 개발 환경 91 6.2 DNN모델을 이용한 토양 물리성 예측 93 6.3 CNN모델을 이용한 토양 물리성 예측 116 제 7 장 DIP와 딥러닝을 이용한 흙의 물리적 특성 예측 방법의 현장적용 137 7.1 딥러닝 모델의 적용 방법 137 7.2 현장 촬영 조건 선정 140 7.3 현장 조건 및 딥러닝 모델 적용 결과 144 7.4 현장 적용성 향상을 위한 딥러닝 모델의 적용 방안 156 7.5 DIP와 딥러닝을 이용한 흙의 물리적 특성 예측 방법의 개선 및 활용 158 제 8 장 결론 161 참고 문헌 165 Appendix A. Result of CNN model 175 A.1 토양 분류 예측 결과 175 A.2 함수비 예측 결과 187 A.3 건조 밀도 예측 결과 199Docto

Analysis of Settling Characteristic of Landfill Soil using Digital Image Processing

학위논문 (석사)-- 서울대학교 대학원 : 생태조경·지역시스템공학부 지역시스템공학전공, 2016. 2. 손영환.준설 매립을 수행함에 있어 가장 중요한 것은 목표한 위치에 정확한 수량을 투하하는 것이다. 투하된 토사는 물의 흐름 또는 투기된 토사 자체의 움직임으로 인해 유실이 발생하며 이에 대한 기준으로 항만 및 어항설계 기준 및 해설에서는 입경에 따른 개략적인 유실율만을 제시하고 있다. 하지만 실제 유실율은 매립 토사의 입경 및 형상에 따른 침강특성의 차이로 인해 예측과 다소 상이하게 나타나며 또한 입경이 1.2mm이상인 경우 유실율을 0%로 제시하고 있으나 실제로 유실이 발생하므로 1.2mm이상의 입경을 가지는 입자의 침강거동을 파악하는 연구가 필요하다. 본 연구에서는 디지털 이미지 해석(Digital Image Processing)기법을 적용하여 입자의 형상 특징, 침강궤적 및 침강속도 산정을 실시하여 입자의 형상과 침강거동과의 관계를 분석하였다. 화강풍화토 중 평균 1~10mm의 입경을 가진 입자들을 대상으로 실험을 수행하였으며 입자의 형상 및 침강속도 측정을 수행하였다. 입자의 형상 측정은 개별 입자를 대상으로 수직방향에서 촬영한 디지털 이미지를 이용하였으며 침강실험을 위해 높이 100cm, 폭 30cm, 두께 8cm의 직사각형 수조를 이용하였다. 획득한 디지털 이미지는 그레이스케일화 후 최적의 임계값을 기준으로 흑/백 이진화를 수행하였으며, 추적 입자의 위치정보를 통해 개별 입자의 침강궤적 및 침강속도를 산정하였다. 입자의 형상 측정 결과, 원마도는 평균 0.72로 크게 모나지 않은 형태이며 종횡비는 평균 2.24로 긴 형태의 입자가 다수 존재하는 것으로 나타났다. 침강궤적 분석 결과 입자는 침강 시 수평방향으로 유동하거나 불규칙하게 운동하며 침강하는 것으로 나타났다. 침강속도는 입경이 작을수록 감소하였으며 평균직경이 같은 경우에도 침강속도 간에 최대 3배의 차이를 보였다. 이는 평균직경이 같은 경우임에도 불구하고 입자의 형상이 상이하기 때문이며, 입자 형상과의 비교 결과 입자의 종횡비가 클수록 침강속도가 감소하는 것으로 나타났다. 획득한 결과를 이용하여 회귀분석을 실시하였으며 입자의 크기, 형상을 고려한 침강속도 예측식을 제안하였다. 본 연구를 통해 이미지 해석 기법을 이용하여 모래의 침강속도 측정이 가능함을 확인하였으며, 향후 수중 모래 이동 모델의 기초자료로써 활용될 수 있을 것으로 판단된다.제 1 장 서 론 1 제 2 장 연구사 3 2.1 조립입자의 침강속도 3 2.2 지반 공학 분야에서의 디지털 이미지 해석 관련 연구 5 제 3 장 이론적 배경 7 3.1 유체 내에서의 입자의 침강 7 3.2 토립자의 형상분류 8 3.2.1 형상분류표 8 3.2.2 원마도 9 3.2.3 종횡비 11 3.3 디지털 이미지 해석 11 3.3.1 디지털 이미지 11 3.3.2 히스토그램 13 3.3.3 임계치 15 3.3.4 이진 영상 변환 17 제 4 장 재료 및 방법 19 4.1 실험재료 19 4.2 실험방법 21 4.2.1 디지털 이미지의 획득 21 4.2.2 입자 형상 특성 추출 22 4.2.3 침강궤적 및 침강속도 산정 25 제 5 장 결과 및 고찰 30 5.1 매립 토사의 형상 특성 30 5.1.1 형상분류표를 이용한 매립 토사의 형상 분류 30 5.1.2 DIP를 통해 측정한 매립 토사의 형상 특성 31 5.2 매립 토사의 침강거동 36 5.2.1 매립 토사의 침강궤적 36 5.2.2 매립 토사의 침강속도 40 5.3 형상 특성에 따른 침강거동 41 5.3.1 형상분류에 따른 침강속도 41 5.3.2 DIP를 통해 측정한 형상 특성에 따른 침강속도 42 5.4 형상 특성을 이용한 침강속도 예측식 개발 및 검증 52 5.4.1 형상 특성을 이용한 침강속도 예측식 개발 52 5.4.2 형상 특성을 이용한 침강속도 예측식 검증 53 제 6 장 결론 55 참고 문헌 56Maste

Advanced algorithms of motion estimation for an elder at living room using Principal Component Analysis

Objective: Development of telemedicine for an elder has been an important research area in an aging society, and effective Personal Emergency Response System(PERS) can provide exact medical decision and prompt treatment under emergency conditions. Previous studies have been focused on adapting troublesome sensors or passive calling system to monitor the old in their house. However, these previous systems might have limited applications due to its difficulties in usage and restraints in their daily activities, especially in the emergency. Methods: In this study, the real time algorithms using surveillance camera was developed to monitor their pose change, such as emergency and falling motion. To estimate the motion of elder people, this research use a ratio of eigenvectors of the Principal Component Analysis (PCA) technique. Results: In this system, no additional motion sensors or devices were applied to the object and it can be automatically controlled and monitor the old from a distance. It was found that this system can successfully monitor the old in living room regardless of surveillance camera angles and a silhouette size depending camera distance as using image processing and PCA. Conclusion: This algorithm was validated by experiments in a living room and this technique can be applicable to home monitoring and further applications.ope

Design of Real-time Ambulance Location Monitoring System using Open API and GPS Based on Web 2.0

Objective: The term "Open API" has been recently in use by recent trends in social media and web 2.0. It is currently a heavily sought after solution to interconnect Web sites in a more fluid user-friendly manner. We could have many benefits easily development and high efficiency. In this paper, Real-time ambulance location monitoring system including Integrated Maps was designed by using Maps Open API based on Web 2.0. Methods: Integrated Maps were used by using Google Maps Open API and Naver Maps Open API respectively. GPS Web Browser was implemented to present integrated Maps on the designed system continuously. The development environments of the designed systems were C# and ASP.NET Platform. Results: The designed systems contained three parts composed to Integrated Maps, Ambulance System, and Center Monitoring System respectively. Integrated Maps could offer Satellite, Map and Hybrid typed maps at Real-time Ambulance Location Monitoring System. Conclusion: Real-time Ambulance Location Monitoring System could be developed with low cost using a Open API at available emergency situations. We expect to more using Open API in medical systems.ope

The Transmission Performance Evaluation of Remote Healthcare Data over Secure Satellite Network

Objectives: We have not only examined telemedicine scenario but also applied IPSec(AH, ESP) algorithms under VPN(Virtual Private Network) for performance evaluation of telemedicine system’s security and transmission. Methods: In this study, we applied IPSec(AH, ESP) algorithms under VPN(Virtual Private Network) protocol when transmit healthcare data through Satellite Network. At that time, we evaluated performance of telemedicine system through RTT(Round Trip Time), Jitter, Bandwidth that indicate to QoS(Quality Of Service). Results: It is possible to transfer remote healthcare data over Satellite Network under provided image of 15 frame and bio-signal of 10 kbps and RTT(Round Trip Time) of 774.53ms, Jitter of 25.2ms. But applying IPsec(AH, ESP) under VPN(Virtual Private Network), it is frequently happened distortion of image data affected SHA-1 and 3DES algorithm. Conclusion: In this study, it is possible to use telemedicine system for Secure Satellite Network, but demand to be based QoS(Quality Of Service) limited. We expected that it is possible to use the designed system in the disaster areaope

Optimum operation and chemical cleaning conditions at Rainwater Harvesting-Membrane Filter System (RHMFS)

학위논문 (석사)-- 서울대학교 대학원 : 건설환경공학부, 2011.2. 한무영.Maste

Effects on User's Experience of Multimodal Interaction in Extended Reality Environments

최근, 확장현실(eXtended Reality, XR) 기술의 발전과 함께 사용자 경험을 향상시키기 위한 멀티모달 상호작용 연구가 중요해지고 있다. 그러나 현재의 많은 콘텐츠는 사용자 경험에 필요한 핵심 상호작용 요소를 제대로 반영하지 못하거나, 이러한 요소가 무엇인지 명확히 파악하지 못해 몰입감과 실감형 경험을 충분히 제공하지 못하는 한계가 있다. 본 논문은 이러한 문제를 해결하기 위해, 가상 반려동물 콘텐츠를 활용하여 시각적 및 촉각적 상호작용 요소가 사용자 경험에 미치는 영향을 분석하고, 멀티모달 상호작용의 효과성을 평가하고자 했다. 본 논문에서는 확장현실 환경에서 감각별 상호작용 요소를 추출한 뒤, 사용자 경험 효과성을 분석하는 기법을 제안한다. 제안된 기법을 활용해 촉각적 상호작용 요소를 분석하였고, 패시브 햅틱(Passive Haptic)을 통한 실험으로 멀티모달 상호작용 상황에서 사용자 효과를 평가하였다. 직관적인 시각-촉각적 기법에 대한 추가 실험도 진행하였으며, 스냅(Snap) 상호작용을 단계별로 시각화하여 멀티모달 상호작용에 관한 사용자 효과를 평가하였다. 실험 결과, 촉각적 상호작용 요소는 사용자에게 더욱 현실감 있는 피드백을 제공하여 상호작용의 공존감과 친근감을 증대시키는 데 중요한 역할을 했으며, 특히 사실적인 촉각 피드백이 사용자 경험을 향상시키는 것으로 나타났다. 또한, Snap 기능을 활용한 시각-촉각적 상호작용 기법이 가까운 거리에서 적용될 때 사용자와 가상 객체 간의 상호작용이 사용자 경험을 효과적으로 향상시키는 것으로 나타났다. 본 논문은 확장현실 환경에서 멀티모달 상호작용 요소의 설계 가이드라인을 제공할 수 있으며, 다양한 실감형 콘텐츠 개발에 기여할 수 있을 것으로 기대된다. Keywords : eXtended Reality, Virtual Pet, Multimodal Interaction, Immersive Content, User Experience, Passive Haptic, Animation, Co-PresenceMaste

Ecaluation of Web based Real-Time Telemedicine Application using ActiveX Controls Technology for Medical Moving Pict

의료정보전공/석사[한글] 본 연구에서는 의료 동영상의 압축 전송 시스템과 원격화상회의 시스템이 통합된 웹 기반 원격 진료 시스템인 WEBRETA를 구현하였다. WEBRETA에서 압축된 의료 동영상의 객관적인 품질 평가를 위해 PSNR을 측정하였고 이와 병행하여 전문의들로부터 직접 영상을 판독하게 한 후 평가 점수를 기록하는 주관적 평가 방법을 수행하여 의료 동영상의 임상적인 판독 및 진단의 수준을 연구하였다. 또한 WEBRETA를 LAN를 비롯하여 VDSL,ADSL,CableModem등과 같이 저렴하고 값싼 통신망에서 MPEG-4 압축률을 가지고 실시간으로 전송하여 원격 진료 시스템으로써의 성능과 앞으로 원격 진료 시스템이 가정 재책 진료의 목적으로 또한 원거리의 의원급 원격 진료의 목적으로 병원내에서는 진찰실,수술실 판독실 등의 장소적인 제약을 넘어서는 고품질의 편리한 의료 동영상 전송을 목적으로 두고 실험 평가하였다. 한국에서 사용되고 있는 다양한 상용 통신망에서 WEBRETA를 실제적으로 전송 실험하여 실시간으로 MPEG4 기반의 의료 동영상 데이터를 압축하고 전송하여 출력되는 영상의 품질이 압축률과 프레임율을 변경했을 때 주관적 기준과 객관적 수치에 따른 임상적으로 결과를 바탕으로 전체적인 WEBRETA시스템의 품질을 평가하여 우수한 결과를 얻었다. 이러한 결과는 웹 기반 원격 진료 시스템이 가정으로 보급되어 사용할 수 있는 가능성을 충분히 뒷받침 하고 있다. WEBRETA는 웹 기반 시스템이기 때문에 인터넷이 연결된 어느 곳에서나 사용가능하다.실험을 통해 WEBRETA의 전체적인 만족도와 원격 진료 시스템의 필요성은 만족하게 평가되었고 WEBRETA를 통하여 전문의가 실시간으로 환자의 상태를 진단하는데 원격 진료 시스템으로써의 역할을 충분히 가진다. 본 연구에서는 유선 기반의 원격 진료 시스템을 구현하고 실험 평가하였으나 앞으로는 무선 인터넷 (Wireless Network)환경이나, 모바일 , 개인휴대용단말기 (PDA) 등의 무선 기반의 원격진료 시스템의 연구가 필요하며 그 필요성 또한 무궁무진 할 것이다. [영문] Telemedicine is described as combination of topics from the fields of telecommunication, medicine, and informatics and literally telemedicine means medicine at a distance. In this study, we present a web based telemedicine real-time telemedicine application (WEBRETA) that was designed for patients who needs diagnosis on the Internet. The WEBRETA system is supporting transmitting of MPEG-4 video format (640 * 480) that was appropriate for Internet and designed with ActiveX technology that is also suitable for ADSL . VDSL and Cable Modem which are very popular communication networks in Korea. To improve the reliability and the usefulness of this prototype we involved the PSNR method and method of measuring subjective score from specialist. Furthermore, we will evaluate the WEBRETA with various communication network environment to improve how this system can contribute the diagnosis of patients and to analysis the needs of users on this application in hospitals.ope