Hemispherical confocal imaging using turtleback reflector

We propose a new imaging method called hemispherical confocal imaging to clearly visualize a particular depth in a 3-D scene. The key optical component is a turtleback reflector which is a specially designed polyhedral mirror. By combining the turtleback reflector with a coaxial pair of a camera and a projector, many virtual cameras and projectors are produced on a hemisphere with uniform density to synthesize a hemispherical aperture. In such an optical device, high frequency illumination can be focused at a particular depth in the scene to visualize only the depth with descattering. Then, the observed views are factorized into masking, attenuation, and texture terms to enhance visualization when obstacles are present. Experiments using a prototype system show that only the particular depth is effectively illuminated and hazes by scattering and attenuation can be recovered even when obstacles exist.Microsoft ResearchJapan Society for the Promotion of Science (Grants-in-Aid For Scientific Research 21680017)Japan Society for the Promotion of Science (Grants-in-Aid For Scientific Research 21650038

Obtención de mapas 2.5D mediante RTI (Reflectance Transformation Imaging) para su aplicación en el Patrimonio Escultórico, Arqueológico, Arquitectónico y Urbano.

Desde los orígenes, el ser humano ha tratado de encontrar métodos que mejoren o posibiliten alcanzar objetivos que el cuerpo humano es incapaz. Aunque éste es altamente complejo, no es perfecto y el ojo humano es limitado en términos de profundidad (visión estereo) y color. Por ello se crea el método de trabajo conocido como Flujo Clásico para RTI, que posibilita extraer información oculta de objetos con mínima variación de cota. 1. Realidad Objeto 2. Toma de Fotos Domo con Luces en determinadas posiciones y Cámara Cenital 3. Generación PTM RTIBuilder (X, Y, Normal Vector) 4. Visor RTIViewer (SnapShot) Este flujo de trabajo parte de un objeto de tamaño pequeño. Al cual se le aplica, junto a un par de esferas reflectivas, una serie de fotografías mediante una cámara cenital y diferentes posiciones de proyección de luz inscritas en un Domo geométrico para mantener las equidistancias a la superficie de análisis. Tras ello se pasa al trabajo en ordenador donde se genera un archivo de superficies de normales (*.ptm o *.hsh) mediante los algoritmos de Polynomial Texture Mapping o Hemispherical Harmonics en RTIBuilder. El cual puede ser analizado mediante el Visor que presenta el RTIViewer. Este Flujo de Trabajo Clásico no puede afrontar factores como la luz natural, transforma las direcciones de la proyección de la iluminación, o las dimensiones del objeto/edificación/terreno a trabajar. Es por ello que se propone el Nuevo Flujo de Trabajo RTI-DPh, la virtualización del Clásico Flujo de Trabajo RTI.Departamento de Urbanismo y Representación de la ArquitecturaMáster en Geotecnologías Cartográficas en Ingeniería y Arquitectur

Rapid Synchronous Acquisition of Geometry and Appearance of Cultural Heritage Artefacts

In order to produce visually appealing digital models of cultural heritage artefacts, a meticulous reconstruction of the 3D geometry alone is often not sufficient, as colour and reflectance information give essential clues of the object’s material. Standard texturing methods are often only able to overcome this fact under strict material and lighting condition limitations. The realistic reconstruction of complex yet frequently encountered materials such as fabric, leather, wood or metal is still a challenge. In this paper, we describe a novel system to acquire the 3Dgeometry of an object using its visual hull, recorded in multiple 2D images with a multi-camera array. At the same time, the material properties of the object are measured into Bidirectional Texture Functions (BTF), that faithfully capture the mesostructure of the surface and reconstruct the look-and-feel of its material. The high rendering fidelity of the acquired BTF texture data with respect to reflectance and self-shadowing also alleviates the limited precision of the visual hull approach for 3D geometry acquisition

Methods for 3D Geometry Processing in the Cultural Heritage Domain

This thesis presents methods for 3D geometry processing under the aspects of cultural heritage applications. After a short overview over the relevant basics in 3D geometry processing, the present thesis investigates the digital acquisition of 3D models. A particular challenge in this context are on the one hand difficult surface or material properties of the model to be captured. On the other hand, the fully automatic reconstruction of models even with suitable surface properties that can be captured with Laser range scanners is not yet completely solved. This thesis presents two approaches to tackle these challenges. One exploits a thorough capture of the object’s appearance and a coarse reconstruction for a concise and realistic object representation even for objects with problematic surface properties like reflectivity and transparency. The other method concentrates on digitisation via Laser-range scanners and exploits 2D colour images that are typically recorded with the range images for a fully automatic registration technique. After reconstruction, the captured models are often still incomplete, exhibit holes and/or regions of insufficient sampling. In addition to that, holes are often deliberately introduced into a registered model to remove some undesired or defective surface part. In order to produce a visually appealing model, for instance for visualisation purposes, for prototype or replica production, these holes have to be detected and filled. Although completion is a well-established research field in 2D image processing and many approaches do exist for image completion, surface completion in 3D is a fairly new field of research. This thesis presents a hierarchical completion approach that employs and extends successful exemplar-based 2D image processing approaches to 3D and fills in detail-equipped surface patches into missing surface regions. In order to identify and construct suitable surface patches, selfsimilarity and coherence properties of the surface context of the hole are exploited. In addition to the reconstruction and repair, the present thesis also investigates methods for a modification of captured models via interactive modelling. In this context, modelling is regarded as a creative process, for instance for animation purposes. On the other hand, it is also demonstrated how this creative process can be used to introduce human expertise into the otherwise automatic completion process. This way, reconstructions are feasible even of objects where already the data source, the object itself, is incomplete due to corrosion, demolition, or decay.Methoden zur 3D-Geometrieverarbeitung im Kulturerbesektor In dieser Arbeit werden Methoden zur Bearbeitung von digitaler 3D-Geometrie unter besonderer Berücksichtigung des Anwendungsbereichs im Kulturerbesektor vorgestellt. Nach einem kurzen Überblick über die relevanten Grundlagen der dreidimensionalen Geometriebehandlung wird zunächst die digitale Akquise von dreidimensionalen Objekten untersucht. Eine besondere Herausforderung stellen bei der Erfassung einerseits ungünstige Oberflächen- oder Materialeigenschaften der Objekte dar (wie z.B. Reflexivität oder Transparenz), andererseits ist auch die vollautomatische Rekonstruktion von solchen Modellen, die sich verhältnismäßig problemlos mit Laser-Range Scannern erfassen lassen, immer noch nicht vollständig gelöst. Daher bilden zwei neuartige Verfahren, die diesen Herausforderungen begegnen, den Anfang. Auch nach der Registrierung sind die erfassten Datensätze in vielen Fällen unvollständig, weisen Löcher oder nicht ausreichend abgetastete Regionen auf. Darüber hinaus werden in vielen Anwendungen auch, z.B. durch Entfernen unerwünschter Oberflächenregionen, Löcher gewollt hinzugefügt. Für eine optisch ansprechende Rekonstruktion, vor allem zu Visualisierungszwecken, im Bildungs- oder Unterhaltungssektor oder zur Prototyp- und Replik-Erzeugung müssen diese Löcher zunächst automatisch detektiert und anschließend geschlossen werden. Obwohl dies im zweidimensionalen Fall der Bildbearbeitung bereits ein gut untersuchtes Forschungsfeld darstellt und vielfältige Ansätze zur automatischen Bildvervollständigung existieren, ist die Lage im dreidimensionalen Fall anders, und die Übertragung von zweidimensionalen Ansätzen in den 3D stellt vielfach eine große Herausforderung dar, die bislang keine zufriedenstellenden Lösungen erlaubt hat. Nichtsdestoweniger wird in dieser Arbeit ein hierarchisches Verfahren vorgestellt, das beispielbasierte Konzepte aus dem 2D aufgreift und Löcher in Oberflächen im 3D unter Ausnutzung von Selbstähnlichkeiten und Kohärenzeigenschaften des Oberflächenkontextes schließt. Um plausible Oberflächen zu erzeugen werden die Löcher dabei nicht nur glatt gefüllt, sondern auch feinere Details aus dem Kontext rekonstruiert. Abschließend untersucht die vorliegende Arbeit noch die Modifikation der vervollständigten Objekte durch Freiformmodellierung. Dies wird dabei zum einen als kreativer Prozess z.B. zu Animationszwecken betrachtet. Zum anderen wird aber auch untersucht, wie dieser kreative Prozess benutzt werden kann, um etwaig vorhandenes Expertenwissen in die ansonsten automatische Vervollständigung mit einfließen zu lassen. Auf diese Weise werden auch Rekonstruktionen ermöglicht von Objekten, bei denen schon die Datenquelle, also das Objekt selbst z.B. durch Korrosion oder mutwillige Zerstörung unvollständig ist

Interdisziplinäre Kooperation bei der Erstellung virtueller geschichtswissenschaftlicher 3D-Rekonstruktionen

Virtuelle 3D-Modelle finden in den historischen Disziplinen in zweierlei Art Verwendung. Zum einen dienen diese zur Erfassung und Digitalisierung existierender historischer Objekte. Daneben dient die Erstellung von virtuellen 3D-Rekonstruktionen der Nachbildung nicht mehr existierender Objekte und Strukturen. Während technische Abläufe beider Ansätze ebenso wie methodische und wissenschaftstheoretische Aspekte in der Fachliteratur häufig und umfassend thematisiert werden, ist eine Frage nach sozialen Aspekten und sozialer Interaktion im Kontext derartiger Vorhaben bisher unbeleuchtet geblieben. Ziel der Arbeit stellt dar, eine Bandbreite und Relevanz von Aspekten der Kooperation als „Zusammenarbeit mit gemeinsamem Ziel, gegenseitiger Abstimmung, planvollem Vorgehen sowie Vorteilen für alle Akteure“ (Hagenhoff, 2004) im Kontext derartiger geschichtswissenschaftlicher 3D-Modellierungsvorhaben mittels sozialwissenschaftlicher Methoden zu beleuchten. Dabei zielt eine Darlegung auf unterschiedliche Skalierungen von Kooperation ab – angefangen bei einer Wissenschaftslandschaft über Kooperationsstrukturen bis hin zu einer Betrachtung von spezifischen Kooperationsphänomenen und -strategien innerhalb von Arbeits- und Erstellungsprozessen