Virtual Garment Resizing and Capturing Based on the Parametrized Draft

학위논문 (박사)-- 서울대학교 대학원 : 전기·컴퓨터공학부, 2016. 2. 고형석.This dissertation presents novel frameworks for virtual garment resizing and capturing. In the clothing industry, ready-to-wear apparel is designed from standard body, and then it is resized to fit specific body. The resizing job is called grading. Grading requires specialized tailoring techniques and extremely time. We suggest fast and simple grading technique for virtual clothing. For generating virtual garment according to real garment, pattern designing and modeling knowledge are demanded. We propose a method which converts from real garment into virtual garment. There are in need of the virtual clothes grading and modeling methods in the animation and game productions, since costume design takes an important component in the process. To perform grading job, we introduced retargeting technique which is widely utilized in the computer graphics field. Retargeting technique demands the mediator and the correspondence function. For the mediator of our method, we got the insight from the process of drawing the pattern-making draft. Noting that the draft can be completely determined by supplying the primary body sizes and the garment type, we implemented a computer module which performs the draft construction process. The module is called the parameterized draft module. Barycentric coordinates system is a reasonable method for making correspondence between garment drafts and panels on 2D. Among others, the Mean Value Coordinates (MVC) would be an excellent choice. We call this grading method Draft-space Warping. The proposed grading method can be performed instantly for any given body without calling for the user intervention. Our approach can minimize designers specialized know-how and save performing time for the grading of real and virtual clothes. Also we suggest compensation techniques to improve the quality of grading. With experimental results, we show that the new grading framework can bring an improvement to garment grading. Also, we investigated a method which can create the virtual garment from a single photograph of a real garment put on to the mannequin. Similar as our resizing method, we used pattern drafting theory in solving this problem. We utilize parameterized draft module which was introduced in draft-space warping. Then the capturing problem is reduced to find out the garment type and primary body sizes. We determine that information by analyzing the silhouette of the garment with respect to the mannequin. The method works robustly and produces practically usable virtual clothes which can be used for the graphical coordination. Both methods are devised based on the pattern-making draft. Since proposed methods perform resizing and modeling jobs on 2D, we reduce computation time for the jobs. Although, we can get the plausible results.Chapter 1 Introduction 1 1.1 Virtual Clothing Techniques 2 1.2 Motivation 5 1.2.1 Garment Resizing 5 1.2.2 Garment Creating from a Photograph 11 1.3 Contribution 14 1.4 Terminology 15 Chapter 2 Previous Work 17 2.1 Garment Resizing 18 2.1.1 Algorithms for Garment Resizing 18 2.1.2 Methods for Draft-space Encoding 19 2.2 Garment Modeling 21 2.2.1 Garment Creating 22 2.2.2 Clothes Classification 24 Chapter 3 Background 27 3.1 Introduction to the Pattern-drafting 27 3.2 Judging the Quality in the Draft-based Method 32 Chapter 4 Garment Resizing 35 4.1 Problem Description 35 4.2 Overview 36 4.3 Draft-Space Encoding and Decoding 40 4.3.1 Triangular Barycentric Coordinates 41 4.3.2 Coordinates Systems for Polygon 42 4.3.3 Comparison 46 4.4 Linear Grading using Base Draft 49 4.5 Dart Compensation 50 4.6 Results 53 4.6.1 Generation of Target Drafts 55 4.6.2 Generation of Panels 56 4.6.3 Primary Body Sizes Analysis 56 4.6.4 Silhouette Analysis 58 4.6.5 Strain Analysis 60 4.6.6 Air-Gap Analysis 63 4.6.7 Redesign using DSW 64 4.7 Discussion 66 4.8 Conclusion 67 Chapter 5 Garment Capture from a Photograph 69 5.1 Overview 69 5.2 Garment Capture 71 5.2.1 Off-line Photographing Set up 72 5.2.2 Obtaining the Garment Silhouette 72 5.2.3 Identifying the Garment Type 73 5.2.4 Identifying the PBSs 74 5.2.5 Texture Extraction 75 5.2.6 Generating the Draft and Panels 77 5.3 Results 78 5.4 Discussion 82 5.5 Conclusion 83 Chapter 6 Conclusion 85 Appendix A Implementing Local Coordinates Systems 89 Bibliography 95 초 록 111Docto

Real-time simulation and visualisation of cloth using edge-based adaptive meshes

Real-time rendering and the animation of realistic virtual environments and characters has progressed at a great pace, following advances in computer graphics hardware in the last decade. The role of cloth simulation is becoming ever more important in the quest to improve the realism of virtual environments. The real-time simulation of cloth and clothing is important for many applications such as virtual reality, crowd simulation, games and software for online clothes shopping. A large number of polygons are necessary to depict the highly exible nature of cloth with wrinkling and frequent changes in its curvature. In combination with the physical calculations which model the deformations, the effort required to simulate cloth in detail is very computationally expensive resulting in much diffculty for its realistic simulation at interactive frame rates. Real-time cloth simulations can lack quality and realism compared to their offline counterparts, since coarse meshes must often be employed for performance reasons. The focus of this thesis is to develop techniques to allow the real-time simulation of realistic cloth and clothing. Adaptive meshes have previously been developed to act as a bridge between low and high polygon meshes, aiming to adaptively exploit variations in the shape of the cloth. The mesh complexity is dynamically increased or refined to balance quality against computational cost during a simulation. A limitation of many approaches is they do not often consider the decimation or coarsening of previously refined areas, or otherwise are not fast enough for real-time applications. A novel edge-based adaptive mesh is developed for the fast incremental refinement and coarsening of a triangular mesh. A mass-spring network is integrated into the mesh permitting the real-time adaptive simulation of cloth, and techniques are developed for the simulation of clothing on an animated character

The application of three-dimensional mass-spring structures in the real-time simulation of sheet materials for computer generated imagery

Despite the resources devoted to computer graphics technology over the last 40 years, there is still a need to increase the realism with which flexible materials are simulated. However, to date reported methods are restricted in their application by their use of two-dimensional structures and implicit integration methods that lend themselves to modelling cloth-like sheets but not stiffer, thicker materials in which bending moments play a significant role. This thesis presents a real-time, computationally efficient environment for simulations of sheet materials. The approach described differs from other techniques principally through its novel use of multilayer sheet structures. In addition to more accurately modelling bending moment effects, it also allows the effects of increased temperature within the environment to be simulated. Limitations of this approach include the increased difficulties of calibrating a realistic and stable simulation compared to implicit based methods. A series of experiments are conducted to establish the effectiveness of the technique, evaluating the suitability of different integration methods, sheet structures, and simulation parameters, before conducting a Human Computer Interaction (HCI) based evaluation to establish the effectiveness with which the technique can produce credible simulations. These results are also compared against a system that utilises an established method for sheet simulation and a hybrid solution that combines the use of 3D (i.e. multilayer) lattice structures with the recognised sheet simulation approach. The results suggest that the use of a three-dimensional structure does provide a level of enhanced realism when simulating stiff laminar materials although the best overall results were achieved through the use of the hybrid model

Surface Deformation Potentials on Meshes for Computer Graphics and Visualization

Shape deformation models have been used in computer graphics primarily to describe the dynamics of physical deformations like cloth draping, collisions of elastic bodies, fracture, or animation of hair. Less frequent is their application to problems not directly related to a physical process. In this thesis we apply deformations to three problems in computer graphics that do not correspond to physical deformations. To this end, we generalize the physical model by modifying the energy potential. Originally, the energy potential amounts to the physical work needed to deform a body from its rest state into a given configuration and relates material strain to internal restoring forces that act to restore the original shape. For each of the three problems considered, this potential is adapted to reflect an application specific notion of shape. Under the influence of further constraints, our generalized deformation results in shapes that balance preservation of certain shape properties and application specific objectives similar to physical equilibrium states. The applications discussed in this thesis are surface parameterization, interactive shape editing and automatic design of panorama maps. For surface parameterization, we interpret parameterizations over a planar domain as deformations from a flat initial configuration onto a given surface. In this setting, we review existing parameterization methods by analyzing properties of their potential functions and derive potentials accounting for distortion of geometric properties. Interactive shape editing allows an untrained user to modify complex surfaces, be simply grabbing and moving parts of interest. A deformation model interactively extrapolates the transformation from those parts to the rest of the surface. This thesis proposes a differential shape representation for triangle meshes leading to a potential that can be optimized interactively with a simple, tailored algorithm. Although the potential is not physically accurate, it results in intuitive deformation behavior and can be parameterized to account for different material properties. Panorama maps are blends between landscape illustrations and geographic maps that are traditionally painted by an artist to convey geographic surveyknowledge on public places like ski resorts or national parks. While panorama maps are not drawn to scale, the shown landscape remains recognizable and the observer can easily recover details necessary for self location and orientation. At the same time, important features as trails or ski slopes appear not occluded and well visible. This thesis proposes the first automatic panorama generation method. Its basis is again a surface deformation, that establishes the necessary compromise between shape preservation and feature visibility.Potentiale zur Flächendeformation auf Dreiecksnetzen für Anwendungen in der Computergrafik und Visualisierung Deformationsmodelle werden in der Computergrafik bislang hauptsächlich eingesetzt, um die Dynamik physikalischer Deformationsprozesse zu modellieren. Gängige Beispiele sind Bekleidungssimulationen, Kollisionen elastischer Körper oder Animation von Haaren und Frisuren. Deutlich seltener ist ihre Anwendung auf Probleme, die nicht direkt physikalischen Prozessen entsprechen. In der vorliegenden Arbeit werden Deformationsmodelle auf drei Probleme der Computergrafik angewandt, die nicht unmittelbar einem physikalischen Deformationsprozess entsprechen. Zu diesem Zweck wird das physikalische Modell durch eine passende Änderung der potentiellen Energie verallgemeinert. Die potentielle Energie entspricht normalerweise der physikalischen Arbeit, die aufgewendet werden muss, um einen Körper aus dem Ruhezustand in eine bestimmte Konfiguration zu verformen. Darüber hinaus setzt sie die aktuelle Verformung in Beziehung zu internen Spannungskräften, die wirken um die ursprüngliche Form wiederherzustellen. In dieser Arbeit passen wir für jedes der drei betrachteten Problemfelder die potentielle Energie jeweils so an, dass sie eine anwendungsspezifische Definition von Form widerspiegelt. Unter dem Einfluss weiterer Randbedingungen führt die so verallgemeinerte Deformation zu einer Fläche, die eine Balance zwischen der Erhaltung gewisser Formeigenschaften und Zielvorgaben der Anwendung findet. Diese Balance entspricht dem Equilibrium einer physikalischen Deformation. Die drei in dieser Arbeit diskutierten Anwendungen sind Oberflächenparameterisierung, interaktives Bearbeiten von Flächen und das vollautomatische Erzeugen von Panoramakarten im Stile von Heinrich Berann. Zur Oberflächenparameterisierung interpretieren wir Parameterisierungen über einem flachen Parametergebiet als Deformationen, die ein ursprünglich ebenes Flächenstück in eine gegebene Oberfläche verformen. Innerhalb dieses Szenarios vergleichen wir dann existierende Methoden zur planaren Parameterisierung, indem wir die resultierenden potentiellen Energien analysieren, und leiten weitere Potentiale her, die die Störung geometrischer Eigenschaften wie Fläche und Winkel erfassen. Verfahren zur interaktiven Flächenbearbeitung ermöglichen schnelle und intuitive Änderungen an einer komplexen Oberfläche. Dazu wählt der Benutzer Teile der Fläche und bewegt diese durch den Raum. Ein Deformationsmodell extrapoliert interaktiv die Transformation der gewählten Teile auf die restliche Fläche. Diese Arbeit stellt eine neue differentielle Flächenrepräsentation für diskrete Flächen vor, die zu einem einfach und interaktiv zu optimierendem Potential führt. Obwohl das vorgeschlagene Potential nicht physikalisch korrekt ist, sind die resultierenden Deformationen intuitiv. Mittels eines Parameters lassen sich außerdem bestimmte Materialeigenschaften einstellen. Panoramakarten im Stile von Heinrich Berann sind eine Verschmelzung von Landschaftsillustration und geographischer Karte. Traditionell werden sie so von Hand gezeichnet, dass bestimmt Merkmale wie beispielsweise Skipisten oder Wanderwege in einem Gebiet unverdeckt und gut sichtbar bleiben, was große Kunstfertigkeit verlangt. Obwohl diese Art der Darstellung nicht maßstabsgetreu ist, sind Abweichungen auf den ersten Blick meistens nicht zu erkennen. Dadurch kann der Betrachter markante Details schnell wiederfinden und sich so innerhalb des Gebietes orientieren. Diese Arbeit stellt das erste, vollautomatische Verfahren zur Erzeugung von Panoramakarten vor. Grundlage ist wiederum eine verallgemeinerte Oberflächendeformation, die sowohl auf Formerhaltung als auch auf die Sichtbarkeit vorgegebener geographischer Merkmale abzielt

Template based shape processing

As computers can only represent and process discrete data, information gathered from the real world always has to be sampled. While it is nowadays possible to sample many signals accurately and thus generate high-quality reconstructions (for example of images and audio data), accurately and densely sampling 3D geometry is still a challenge. The signal samples may be corrupted by noise and outliers, and contain large holes due to occlusions. These issues become even more pronounced when also considering the temporal domain. Because of this, developing methods for accurate reconstruction of shapes from a sparse set of discrete data is an important aspect of the computer graphics processing pipeline. In this thesis we propose novel approaches to including semantic knowledge into reconstruction processes using template based shape processing. We formulate shape reconstruction as a deformable template fitting process, where we try to fit a given template model to the sampled data. This approach allows us to present novel solutions to several fundamental problems in the area of shape reconstruction. We address static problems like constrained texture mapping and semantically meaningful hole-filling in surface reconstruction from 3D scans, temporal problems such as mesh based performance capture, and finally dynamic problems like the estimation of physically based material parameters of animated templates.Analoge Signale müssen digitalisiert werden um sie auf modernen Computern speichern und verarbeiten zu können. Für viele Signale, wie zum Beispiel Bilder oder Tondaten, existieren heutzutage effektive und effiziente Digitalisierungstechniken. Aus den so gewonnenen Daten können die ursprünglichen Signale hinreichend akkurat wiederhergestellt werden. Im Gegensatz dazu stellt das präzise und effiziente Digitalisieren und Rekonstruieren von 3D- oder gar 4D-Geometrie immer noch eine Herausforderung dar. So führen Verdeckungen und Fehler während der Digitalisierung zu Löchern und verrauschten Meßdaten. Die Erforschung von akkuraten Rekonstruktionsmethoden für diese groben digitalen Daten ist daher ein entscheidender Schritt in der Entwicklung moderner Verarbeitungsmethoden in der Computergrafik. In dieser Dissertation wird veranschaulicht, wie deformierbare geometrische Modelle als Vorlage genutzt werden können, um semantische Informationen in die robuste Rekonstruktion von 3D- und 4D Geometrie einfließen zu lassen. Dadurch wird es möglich, neue Lösungsansätze für mehrere grundlegenden Probleme der Computergrafik zu entwickeln. So können mit dieser Technik Löcher in digitalisierten 3D Modellen semantisch sinnvoll aufgefüllt, oder detailgetreue virtuelle Kopien von Darstellern und ihrer dynamischen Kleidung zu erzeugt werden

Multiscale simulation methodology for the forming behavior of biaxial weft-knitted fabrics

Trotz der guten Drapierbarkeit ist das Formen von flachen Mehrlagen-Gestricken (MLG) zu 3D-Preforms für schalenartige Faser-Kunststoff-Verbund (FKV) Bauteile immer noch eine Herausforderung, da einige Defekte wie Falten, Gassenbildung oder Faserschäden nicht vollständig vermieden werden können. Daher ist vor der Massenproduktion eine Optimierung erforderlich. Die virtuelle Optimierung des Umformprozesses mit Hilfe von Finite-Element-Methode (FEM) Modellen ist ein attraktiver Ansatz, da die Rechenkosten immer geringer werden. Dazu wurde ein auf Kontinuumsmechanik basierendes Makromodell erfolgreich für MLG implementiert. Der makroskalige Modellierungsansatz bietet angemessene Rechenkosten und kann gängige Defekte wie Faltenbildung vorhersagen. Weitere Defekte wie Faserversatz, ondulierte Fasern, Knicken von Fasern, Faserschädigung und Gassenbildung können jedoch mit dem Makromodell nicht vorhergesagt werden. Da die Komplexität von Bauteilen aus FKV und die Qualitätsanforderungen an die 3D-Preforms zunehmen, sind FEM-Modelle mit höherem Darstellungsgrad erforderlich. Im am weitesten entwickelten mesoskaligen FEM-Modell für MLG verhindert die zu starke Vereinfachung des Strickfadensystems mit Federelementen jedoch die Fähigkeit dieses FEM-Modells, Faserverschiebungen und Gassenbildung bei großer Verformung zu beschreiben, wobei das Gleiten zwischen den Fäden berücksichtigt werden muss. Ziel ist daher die Entwicklung, Validierung und Anwendung eines mesoskaligen FEM-Modells für MLG, um die derzeitigen Einschränkungen zu überwinden. Es werden neue Modellierungsstrategien für biaxiale MLG auf der Mesoskala entwickelt. Die mechanischen Eigenschaften von MLG werden durch eine Reihe von textilphysikalischen Prüfungen charakterisiert und analysiert, die alle notwendigen Daten für den Aufbau sowie die Validierung der FEM-Modelle liefern. Es sollen zwei Ansätze zur Modellierung des Verstärkungsgarns implementiert und verglichen werden: durch Balken- und durch Schalenelemente. Die validierten Modelle können für die Umformsimulation verwendet werden. Es folgt eine Benchmark-Studie über die Kapazität und Zuverlässigkeit der verfügbaren Makromodelle und der entwickelten Mesomodelle durch Umformsimulation. Als Grundlage für die Benchmark-Studie werden Umformversuche durchgeführt. Das zweite Ziel der Arbeit ist die Modellierung von FKV auf verschiedenen Skalen. Die Modellierung von FKV auf der Makroebene wird mit den Daten der Faserorientierung durchgeführt, die aus der Umformsimulation gewonnen werden. Eine Mapping-Methode hilft dabei, die vorhergesagte Faserorientierung aus der Umformsimulation von dem MLG Mesomodell auf das FKV-Makromodell zu übertragen. Um den FKV zu charakterisieren und die Parameter für das FKV Modell vorzubereiten, werden Versuche mit FKV durchgeführt und ausgewertet. Basierend auf dem Mesomodell des MLG wird eine weiteres FKV-Modell vorgeschlagen, wobei Garn und Matrix getrennt modelliert werden. Dieses mesoskalige FKV-Modell enthält auch eine Kontaktformulierung, mit der die Delamination im FKV-Bauteil vorhergesagt werden kann. Prüfungen von Schale-Rippen Strukturen dienen als Grundlage für die Modellvalidierung. Das validierte Modell wird erfolgreich zur Vorhersage des mechanischen Verhaltens weiterer Schale-Rippen Strukturen mit unterschiedlicher Höhe und Anordnung der Rippen verwendet.:Kapitel 1 stellt die Einleitung und Problemstellung von dem Thema FKV vor. Kapitel 2 gibt eine Übersicht über Stand-der-Technik von den Hochleistungsfasern, Herstellung von textilen Verstärkungen und Halbzeugen, Fertigung von FKV sowie von Prüftechnik für Textilien und FKV. Zunächst wurden in Kapitel 3 eine Einführung in die Modellierung mit FEM allgemein und Stand-der-Technik der Modellierung von technische Textilien gegeben. In Kapitel 4 wurden die Zielsetzung und das Forschungsprogramm festgelegt. Die experimentellen Arbeiten werden in Kapitel 5 vorgestellt. Der erste Schritt ist die Auswahl des Materials und der Konfiguration für die MLG. Sowohl das Ausgangsmaterial als auch die produzierten MLG sollten systematisch getestet werden. Als Referenz wird auch ein Leinwandgewebe in die Prüfprogramme aufgenommen. Neben der Charakterisierung von textilen Flächengebilden sollen auch deren gleichwertige FKV geprüft werden. Das erste Ziel des Forschungsprogramms wird in Kapitel 6 erreicht, wobei verschiedene Ansätze zur Modellierung von MLG vorgestellt und validiert werden. Die entwickelten und validierten FEM-Modelle werden für die Benchmark-Studie der Umformsimulation in Kapitel 7 verwendet. Kapitel 8 befasst sich mit der Modellierung von FKV in verschiedenen Skalen. Zunächst wird das Mapping-Verfahren vorgestellt. Es wird ein Mapping für ein schalenförmiges T-Napf-Bauteil durchgeführt. Die trukturanalyse für das T-Napf-Bauteil erfolgt für übliche Lastfälle. Zweitens wird ein mesoskaliges FEM Modell für MLG-verstärkte FKV vorgeschlagen. Dieses Modell wird auf der Grundlage der Prüfdaten aus Kapitel 5 validiert. Das validierte Modell wird dann zur Vorhersage des mechanischen Verhaltens eines Schale-Rippen-FKV-Bauteils unter Biegebelastung verwendet. Kapitel 9 gibt eine Zusammenfassung von den Forschungsergebnissen und Vorschlägen für mögliche weitere Forschungen rund um dem Thema MLG als Verstärkung für FKV. Die Kombination von vorhandenen Makro-und Mesomodellen in einer einzigen Simulation kann die Berechnungskosten senken, ohne die Vorhersagenfähigkeiten des Modelles kompromittiert zu werden

Essential techniques for improving visual realism of laparoscopic surgery simulation.

With the prevalence of laparoscopic surgery, the request for reliable training and assessment is becoming increasingly important. The traditional way of training is both time consuming and cost intensive, and may cause ethical or moral issues. With the development of computer technologies, virtual reality has entered the world of consumer electronics as a new way to enhance tactile and visual sensory experiences. Virtual reality based surgical skill training gradually becomes an effective supplementary to the traditional laparoscopic skill training in many surgical theatres. To provide high fidelity virtual surgery training experiences, the presentation of the virtual world should have the same level of realism as what surgeons see and feel during real operations. However, the weak computing power limits the potential level of details on the graphics presentation and physical behaviour of virtual objects, which will further influence the fidelity of tactile interaction. Achieving visual realism (realistic graphics presentation and accurate physical behaviour) and good user experience using limited computing resources is the main challenge for laparoscopic surgery simulation. The topic of visual realism in laparoscopic surgery simulation has not been well researched. This topic mainly relates to the area of 3D anatomy modeling, soft body simulation and rendering. Current researches in computer graphics and game communities are not tailored for laparoscopic surgery simulation. The direct use of those techniques in developing surgery simulators will often result in poor quality anatomy model, inaccurate simulation, low fidelity visual effect, poor user experience and inefficient production pipeline, which significantly influence the visual realism of the virtual world. The development of laparoscopic surgery simulator is an interdiscipline of computer graphics, computational physics and haptics. However, current researches barely focus on the study of tailored techniques and efficient production pipeline which often result in the long term research cycle and daunting cost for simulator development. This research is aiming at improving the visual realism of laparoscopic surgery simulation from the perspective of computer graphics. In this research, a set of tailor techniques have been proposed to improve the visual realism for laparoscopic surgery simulation. For anatomy modeling, an automatic and efficient 3D anatomy conversion pipeline is proposed which can convert bad quality 3D anatomy into simulation ready state while preserving the original model’s surface parameterization property. For simulation, a soft tissue simulation pipeline is pro- posed which can provide multi-layer heterogeneous soft tissue modeling and intuitive physically editable simulation based on uniform polynomial based hyperelastic material representation. For interaction, a collision detection and interaction system based on adaptive circumphere structure is proposed which supports robust and efficient sliding con- tact, energized dissection and clip. For rendering, a multi-layer soft tissue rendering pipeline is proposed which decomposed the multi-layer structure of soft tissue into corresponding material asset required by state-of-art rendering techniques. Based on this research, a system framework for building a laparoscopic surgery simulator is also proposed to test the feasibility of those tailored techniques