Haptic Augmented Reality: Modulating Real Object Stiffness

Doctor햅틱증강현실이란 가상과 실제의 촉각정보를 혼합하여 사용자에게 제공함으로써 증강된 실제 환경을 만들어 내는 기술이다. 예를 들어, 햅틱증강현실은 의학도들의 암 진단 훈련을 위해 실제 마네킹 내부에 가상의 종기를 만들어 낼 수 있고, 학생들이 시간적 공간적 제약 없이 이를 촉진하면서 훈련을 수행할 수 있게 한다. 그러나 햅틱 증강현실의 큰 가능성에도 불구하고 지금까지 이러한 기능을 수행하기 위한 일반적이고 체계적인 방법론은 거의 제시되지 않았다. 본 연구는 햅틱증강현실을 위한 일반적이고 체계적인 방법론, 즉 ``햅틱 AR Toolkit'', 을 개발하는 것을 최종 목표로 삼는다. 본 연구에서는 우선 아직 개념조차 정립되지 않은 햅틱증강현실 연구 분야를 명확히 하고 햅틱증강현실 시스템의 분류를 위한 분류법을 제안하였다. Milgram이 제안한 시각을 위한 실제-가상 수직선 (Reality-Virtuality Continuum)을 촉각으로 확장하여 시-촉각 수직선을 만들고, 이를 이용해 기존의 햅틱증강현실 관련 문헌 및 시스템을 분류, 분석하고 관련 연구 이슈들을 도출하였다. 분석 결과, 햅틱증강현실을 현실화하기 가장 필요한 기능은 가상의 햅틱 피드백을 이용해 실제 물체의 햅틱속성(강도, 마찰력 등)을 변경해 주는 기능이라는 것을 알 수 있었다. 이 개념의 실현가능성을 보기 위해 우선 본 연구에서는 가장 중요한 촉감속성중의 하나인 강도 (Stiffness)를 선택하고 실제물체의 강도를 변경시키는 방법을 개발하였다. 이를 위해 상용 햅틱 장치에 힘 측정 장치를 달고, 실제물체와 햅틱장치 끝단과의 충돌검사, 실체물체의 기하학적인 정보 없이 물체 변형정도 추정, 원하는 강도를 렌더링 하기 위해 햅틱장치가 내야 하는 힘 계산 및 햅틱장치의 제어 등을 위한 알고리즘들을 개발하였다. 각각은 난이도에 따라 단계적으로 개발되었는데, 우선 간단한 1차원 두드리기 동작을 위한 알고리즘을 개발하고 이를 긁기, 윤곽 따라가기 등의 3차원 동작을 지원하는 시스템으로 확장하였다. 특히, 모든 알고리즘들은 증강현실 시스템의 적용 가능성을 높이기 위해 실제 환경 모델링을 위한 전처리 과정을 최소화 하는 방향으로 설계되었다. 다양한 실제 물체에 대해서 각각의 알고리즘들의 물리적인 성능평가가 수행되었고, 전체 시스템의 인지적인 평가를 위해 사용자를 대상으로 한 정신물리학 실험이 수행되었다. 성능평가 결과 본 시스템은 인지적으로 충분히 만족할만한 성능이라는 것이 검증되었다. 다음으로, 햅틱증강현실의 적용 가능성을 알아보기 위해 전술한 의학도를 위한 유방암 검사 훈련에 강도변경 시스템을 적용하였다. 실제 실리콘으로 만들어진 유방 모형 안에 실제 종기모형의 촉감 데이터를 기반으로 렌더링 된 가상의 딱딱한 종기를 제공함으로써 훈련 시스템의 사실성을 높였다. 훈련시스템의 사용성 평가 결과 본 시스템은 실제 연습용 모형을 사용하는 훈련 시스템과 성능 적으로 차이가 없으면서 좀 더 유연한 환경을 사용자에게 제공할 수 있었다. 최종적으로 본 햅틱증강현실 기술은 기존의 시각증강현실 시스템과 통합되어 시-촉각 증강현실 시스템을 구성하고, 이를 위의 가상의 종기모형을 가시화 하는데 응용되었다.Haptic Augmented Reality (AR) enables a user to feel a real environment augmented with synthetic haptic stimuli. For instance, medical students can palpate a virtual tumor inside a real mannequin using a haptic AR system to practice cancer detection. To realize such functionalities, we need to alter the haptic attributes, such as stiffness and friction of a real object by means of virtual haptic feedback. Despite its potential, attempts to develop systematic and general computational algorithms for such functionalities of haptic AR have been scanty. This dissertation aims at developing a systematic and sophisticated methodology for haptic AR, i.e., a ``haptic AR toolKit.'' Towards this goal, the author begins with establishing a new taxonomy for haptic AR based on a composite visuo-haptic reality-virtuality continuum extended from the conventional continuum for vision. Previous studies related to haptic AR are reviewed and classified using the composite continuum, and associated research issues are discussed. Second, the feasibility of haptically modulating the feel of a real object with the aid of virtual force feedback is investigated, with the stiffness as a goal haptic property. A commercial haptic interface is extended with a force sensor, and all required algorithms for contact detection, stiffness modulation, and force control are developed for 1D interaction of tapping. Their individual performances are thoroughly evaluated. The resulting haptic AR system is also assessed in a psychophysical experiment, demonstrating its competent perceptual performance for stiffness modulation. Third, the initial system is extended so that a user can interact with a real object in any 3D exploratory patterns while perceiving its augmented stiffness. A series of new algorithms for 3D interaction of tapping, stroking, and contour following are developed for contact detection, deformation estimation, force rendering, and force control. A particular focus has been on minimizing the amount of preprocessing such as geometry modeling while preserving reasonable perceptual performance. The physical and perceptual performances of algorithms are also thoroughly evaluated with real samples. Our haptic AR system can provide convincing stiffness modulation for real objects of relatively homogeneous deformation properties. Fourth, to demonstrate the potential of haptic AR, a case study is presented for physical training of breast cancer palpation. A real breast model made of soft silicone is augmented with a virtual tumor rendered inside. Haptic stimuli for the virtual tumor are generated based on a contact dynamics model identified via real measurements. A subjective evaluation confirmed the realism and fidelity of our palpation system. Finally, the haptic AR system is combined to the state-of-the-art visual AR framework, enabling the augmentation of both the real visual and haptic environment seamlessly with virtual information

Development of a Novel Model for the Prediction of Stress-range Distribution and Fatigue Damage under Gaussian Wide-Band Responses

본 연구에서는 스펙트럼 데이터 처리, 시계열 데이터 추출, 회귀분석, 파라메트릭 해석 등을 이용하여 정규 광대역 응답에서 응력범위분포 및 피로손상 예측에 적용할 수 있는 새로운 피로손상모델 개발이 시도되었다. 고부가가치 선박 및 해양구조물의 주요 피로민감구역에 적용되는 스펙트럴피로해석은 주파수영역해석 기반이며 운동해석과 더불어 방대한 양의 구조해석이 요구되고 비선형 문제를 동반하기 때문에 상당량의 계산시간이 요구된다. 스펙트럴 피로해석은 통상 일봉형 (uni modal) 파랑하중에 의해 유발되는 응력응답 스펙트럼이 정규 협대역 분포라면 변동응력의 확률밀도함수는 레일리 분포를 따른다는 가정하에 Miner 규칙과 S-N 선도를 고려하여 피로손상을 평가하고 있다. 최근까지 상당량 FPSO가 설치된 서아프리카 해역은 풍파와 너울이 동반된 다봉형 파스펙트럼 분포를 보인다. 또한 계류라인과 연결되는 FPSO 선체 지지부 그리고 텐던과 연결되는 TLP 하부 지지부는 이러한 세장체로부터 파주파수 하중뿐만 아니라 저주파수 표류력, 고주파수 와유기진동 및 스프링잉 등 비선형 동적하중을 받고 있다. 이러한 다중 독립하중들에 의해 구조물 지지부에 유발되는 응력응답 스펙트럼은 정규 광대역 분포를 보이며 변동응력의 확률밀도함수는 더 이상 레일리 분포를 따르지 않는다. 광대역 응력응답 스펙트럼에 레일리 분포를 적용하면 피로손상이 과대평가되므로 선급규칙 및 API 등 해양산업규격에서는 이러한 문제를 극복하기 위해서 사이클 카운팅, 경험식, 해석해 등 3가지 방법을 추천하고 있다. 사이클 카운팅에는 레인플로우 카운팅을 권고하고 있다. 경험식은 Wirsching-Light 모델, Dirlik 모델, Single Moment 모델을 제안하고 있다. 해석해로는 협대역 이봉형분포에 적용할 수 있는 Jiao-Moan 모델을 추천하고 있다. 많은 학자들에 의해 정규 광대역 응력응답 스펙트럼에 적합한 근사 모델들이 개발되어 왔으나 이들은 정확해라 할 수 있는 레인플로우 카운팅 기반의 피로손상과 비교해 볼 때 정량적으로 피로수명을 과대 또는 과소평가 하고 있다. 본 논문에서는 정확해에 가까운 새로운 피로손상모델 개발을 시도하였다. 레인플로우 카운팅 기반의 확률분포를 구하기 위해서 다양한 응력응답 스펙트럼을 고려하였다. Benasciutti가 제안한 5가지 타입의 스펙트럼을 적정한 범위 내에 있는 밴드폭 파라미터의 조합을 통해서 고려하고, 또한 스펙트럼의 면적비와 주파수비를 바꿔가며 Lutes가 제안한 다양한 이봉형 스펙트럼을 고려하였다. 261개의 스펙트럼 모델로부터 시계열 데이터를 추출한 후, 레인플로우 카운팅을 통해 변동응력과 사이클수를 구하고, 이를 정확해라 할 수 있는 차 레인플로우 카운팅 스펙트럴 모멘트를 기준으로 이와 가장 가까운 근사 스펙트럴 모멘트를 구하고자 파라메트릭 연구를 수행하였다. 본 연구에서는 회귀분석 기반의 다양한 파라메트릭 연구를 통하여 지수형태로 결합된 스펙트럴 밴드폭 파라미터를 정의하고, 또한 스페셜 파라미터를 새롭게 제안하였다. 본 연구에서 개발된 차 근사 스펙트럴 모멘트는 지수 형태를 갖는 밴드폭 파라미터와 스페셜 파라미터 또는 지수형 스페셜 파라미터의 조합으로 정의된다. 본 연구에서 제안한 피로손상모델은 4가지 확률밀도함수의 선형조합으로 정의되며 모델을 구성하는 7개의 미지수는 연립방정식과 제약조건을 이용하여 해결할 수 있다. 더불어 새로운 피로손상모델이 레인플로우 카운팅 피로손상 분포에 최대한 근접하도록 경험식 형태의 보정계수를 새롭게 제안하였다. 밴드폭 파라미터와 상관관계를 결정하고 이로부터 반복적 회귀분석을 통해서 2개의 밴드폭 파라미터와 11개의 미지수를 포함하는 5차 다항식 형태로 제시하였다. 제약조건으로 반마르케 파라미터가 0.3 이하 영역에서 보정계수를 고려치 않고 있다. 새롭게 개발한 피로손상모델은 기존 근사모델 중에서 정확해와 오차가 비교적 작다고 알려져 있고 대부분의 논문에서 비교연구 대상이 되는 몇 가지 대표모델과 상세히 비교, 검증되었다. 모든 응력응답 스펙트럼에 대해서 확률밀도함수분포 및 피로손상분포를 비교하였고 평균제곱근법 및 가중치법을 이용하여 오차를 평가한 바, 본 논문에서 제시한 모델이 가장 정확하고 안정적이며 신뢰할 만한 피로손상을 추정하고 있음을 확인할 수 있었다. 본 연구를 통하여 주파수영역 스펙트럴 피로해석 시 매우 정확한 피로손상을 제공할 수 있는 모델을 개발하였다. 개발모델은 변동응력 및 피로손상 두 가지 측면에서 정확하고 안정적이며 피로수명이 과소 평가되는 문제점을 방지할 수 있는 최적 솔루션이 될 것으로 판단된다. 향후 본 연구에서 개발된 경험식과 해석절차를 토대로 비정규 광대역 스펙트럼으로 확대, 적용하기 위한 연구가 필요하다. 또한 본 연구에서 개발된 피로손상모델을 이용하여 해양구조물의 ECA (Engineering Critical Assessment) 평가에 확대 적용할 필요가 있다.1. 서 론 1 1.1 연구 배경 및 목적 4 1.2 연구 동향 4 1.3 연구 범위 7 2. 통계적 피로해석 10 2.1 확률과정 통계적 특성 10 2.2 피로해석절차 14 3. 기존 피로손상모델 18 3.1 Rayleigh 모델 18 3.2 Wirsching-Light 모델 19 3.3 Dirlik 모델 20 3.4 Benasciutti-Tovo 모델 21 3.5 Zhao-Baker 모델 23 3.6 Jiao-Moan 모델 24 3.7 Sakai-Okamura 모델 25 3.8 Single-Moment 모델 26 3.9 Park 모델 27 4. 선행데이터 처리 29 4.1 응답스펙트럼 생성 29 4.2 시계열데이터 추출 31 4.3 레인플로우 카운팅 프로세스 34 5. 근사 스펙트럴 모멘트 개발 37 5.1 개념 37 5.2 단계 #1 : 밴드폭 파라미터 조합 38 5.3 단계 #2 : 스페셜 파라미터 () 조합 43 5.4 단계 #3 : 와 밴드폭 파라미터 조합 47 5.5 단계 #4 : 와 밴드폭 파라미터 조합 49 5.6 단계 #5 : 근사 스펙트럴 모멘트 54 6. 피로손상모델 개발 60 6.1 확률밀도함수 조합 60 6.2 피로손상모델 65 6.3 최적 모멘트 조합에 따른 적합성 분석 72 6.3.1 3차 & 4차 모멘트 조합 (Case 1 모델) 72 6.3.2 2차 & 4차 모멘트 조합 (Case 2 모델) 76 6.4 확률밀도함수 조합에 따른 적합성 분석 80 6.4.1 조합 #1 : 지수 + 레일리 + 반-정규 (Case 3 모델) 80 6.4.2 조합 #2 : 지수 + 표준레일리 + 반-정규 (Case 4 모델) 86 6.4.3 조합 #3 : 지수 + 레일리 + 표준레일리 (Dirlik 모델) 91 6.4.4 조합 #4 : 레일리 + 표준레일리 + 반-정규 (Park 모델) 94 6.5 보정 전 피로손상평가 97 7. 보정계수 개발 및 사례 비교, 분석 103 7.1 보정계수 103 7.2 확률밀도함수 오차비교 109 7.3 사례 #1: Benasciutti 스펙트럼 적용 및 피로손상 비교 115 7.3.1 단계 #1 비교 115 7.3.2 단계 #2 비교 117 7.3.3 단계 #3 비교 119 7.3.4 단계 #4 비교 121 7.3.5 상세 비교 분석 123 7.4 사례 #2: 이봉형 스펙트럼 적용 및 피로손상 비교 132 7.4.1 단계 #1 비교 132 7.4.2 단계 #2 비교 134 7.4.3 단계 #3 비교 136 7.4.4 단계 #4 비교 138 7.4.5 상세 비교 분석 140 7.5 사례 #1 & #2 분석 149 7.6 사례 #3: 계류 응답스펙트럼 적용 및 피로손상 비교 151 8. 결론 및 향후 연구 156 8.1 결론 156 8.2 향후 연구 159 참고문헌 160 부록: 피로 손상식 유도 172 국문 초록 176Docto

Modulating Real Object Stiffness for Haptic Augmented Reality

1

Haptic Augmented Reality: Modulating Real Object Stiffness

1

햅틱 증강현실을 위한 형태 모델 기반의 비균일 물체의 경도 변형

2

연성 물체의 미끄러짐 접촉을 포함한 데이터 기반 햅틱 모데링 및 렌더링

2

Normal and Tangential Force Decomposition and Augmentation Based on Contact Centroid

1

가상 햅틱 장치를 통한 몰입형 VR/AR 시스템 현황 및 발전 방향

22Nothe