MoSART: Mobile Spatial Augmented Reality for 3D Interaction With Tangible Objects

In this paper we introduce MoSART, a novel approach for Mobile Spatial Augmented Reality on Tangible objects. MoSART is dedicated to mobile interaction with tangible objects in single or collaborative situations. It is based on a novel “all-in-one” Head-Mounted Display (AMD) including a projector (for the SAR display) and cameras (for the scene registration). Equipped with the HMD the user is able to move freely around tangible objects and manipulate them at will. The system tracks the position and orientation of the tangible 3D objects and projects virtual content over them. The tracking is a feature-based stereo optical tracking providing high accuracy and low latency. A projection mapping technique is used for the projection on the tangible objects which can have a complex 3D geometry. Several interaction tools have also been designed to interact with the tangible and augmented content, such as a control panel and a pointer metaphor, which can benefit as well from the MoSART projection mapping and tracking features. The possibilities offered by our novel approach are illustrated in several use cases, in single or collaborative situations, such as for virtual prototyping, training or medical visualization

Kamera-basierte Oberflächenanalyse zur Erkennung von geeigneten Projektionsflächen

Die visuelle Aufbereitung von Informationen begleitet uns durch unseren Alltag, dabei werden vermehrt Projektoren eingesetzt, beispielsweise an U-Bahnhaltestellen. Früher waren Projektoren auf Grund ihrer Größe, Kosten und dem Einsatz in abgedunkelten Räumen nur beruflichen oder öffentlichen Organisation vorbehalten. Durch die Weiterentwicklung der verbauten Technologie passen solche Geräte bereits in Hosentaschen oder sind in Handys verbaut, damit eignen sie sich auch für den privaten Gebrauch. Ein großes Manko dieser Projektor bleiben die statisch, definierten Projektionsflächen in qualitativer Abhängigkeit zum Hintergrund. Aus diesem Grund werden in der vorliegenden Arbeit Flächen auf Projektionen untersucht. Hierfür wird zunächst ein System zu Erfassung von Gegenständen, Freiräumen und Metadaten der Oberflächen entwickelt. Dabei kommt eine duale Abtastung der Fläche durch eine RGB-Kamera und einen 3D-Tiefensensor zum Einsatz. Mittels einer Benutzerstudie werden verschiedene Oberflächen auf ihr Projektionsfähigkeit hin eingestuft. Durch diese Informationen in Verbindung mit den Metadaten der Oberflächen wird ein Modell, zur Echtzeitklassifizierung, entworfen. Ziel dieser Arbeit ist die Klassifizierung von Oberflächen in Abhängigkeit von ihrer Projizierbarkeit.The visual presentation of information accompanies us through our daily lives, although projectors are increasingly used, for example at subway stations. In the past, projectors were reserved for professional or public organization, because of their size, cost and use in darkened rooms. Through the further development of the technology such devices already fit in pockets or are installed in mobile phones, so they are also suitable for home use. A major shortcoming of this projector are the static, defined projection in qualitative dependence to the background. For this reason, surfaces are tested on projections in the present work. For this purpose, a system for detection of objects, open spaces and metadata of the surfaces were developed. The scanning of the surfaces used a RGB camera and a 3D detph sensor. By means of a user study different surfaces are graded on their ability towards projection. With this informations and the metadata of the surfaces a model fpr classification were design. The aim of this work is to develop a system for the classification of surfaces, depending on their projectability

Context cubes: a context-aware projected augmented reality helmet

Die Kommissionierung ist einer der größten Kostenpunkte in modernen Lagerhäusern. Obwohl die Technologie heutzutage bereits vorhanden ist, wird die Kommissionierung in den meisten Lager- häusern überwiegend ohne den Einsatz von technischen Hilfsmitteln ausgeübt. Die Gründe sind vielfältig. Sie beginnen bei den Kosten und enden bei bisher gemachten eigenen Erfahrungen. Als Beispiel ist die Pick-by-Paper Methode anzuführen, bei der die Kommissionierung über eine Packliste ausgeführt wird. Die Kosten hierfür sind äußerst gering, die Methode ist flexibel und skalierbar. Es sind zwar Defizite in der Fehlerrate und benötigten Zeit vorhanden, dies wird jedoch im Hinblick bezüglich der Vorteile als weniger gravierend eingestuft. Aus diesem Grund ist es lohnenswert, For- schungszeit in dieses Themengebiet zu investieren. In dieser Diplomarbeit soll gezeigt werden, wie heutige Technologien zu Verbesserungen beim Ablauf der Kommissionierung führen können. Der Begriff Augmented Reality gewinnt in immer mehr unterschiedlichen Gebieten Einzug, inzwischen auch bei der Kommissionierung. Die bereits existierende Pick-by-Vision Kommissioniermethode benutzt im Standardfall ein Head-Mounted-Display. Es existieren hier jedoch einige Defizite. Aus diesem Grund wurde ein Projektorhelm konstruiert, welcher für die Pick-by-Vision Methode einen alternativen Ansatz aufzeigen soll. Er hat die Aufgabe den Nutzer zu den Entnahme- und Ablageorten zu führen. Für den Projektorhelm wurde ein Prototyp entwickelt. Die Interaktion mit dem System erfolgt über ein Floor-Display. Um die optimale Anzahl an Interaktionszonen zu ermitteln, wurde eine Benutzerstudie durchgeführt. In einer zweiten Benutzerstudie wurde der Projektorhelm mit der Pick-by-Paper Methode verglichen. Die Ergebnisse zeigen, dass die Anforderungen des Projektorhelms an den Benutzer deutlich geringer sind.Order picking tasks are one of the largest costs in modern warehouses. Although the technology already exists, order picking tasks in most warehouses are done mainly without the usage of technical aid. There are various reasons. It starts with the higher costs and ends with own achieved experiences. A good example is the Pick-by-Paper method. Here, the order picking task is executed with a simple piece of paper. The costs are extremely low, the method is flexible and scalable. But the error rate is quite high. In comparision to the benefits, the disadvantages are meant to be lower. For this reason, it is useful to invest time in research of this topic. This thesis will show how today's technologies can lead to improvements for order picking tasks. The term Augmented Reality got more and more important in a lot of different fields, even for order picking. The existing Pick-by-Vision method,in the default case, is using a head-mounted display, but there are several disadvantages. For this reason, a projector helmet was constructed, which has the intention to show an alternative approach for the Pick-by-Vision method. The prototype guides the user to the removal or storage location. For the communication with the system a Floor-Display is used. A user study was conducted to reveal the optimal number of interaction areas. A second user study was also conducted in which the developed system was compared with the Pick-by-Paper method. The results show that the mental requirements for the projector helmet are much lower for the user

ISAR: Ein Autorensystem für Interaktive Tische

Developing augmented reality systems involves several challenges, that prevent end users and experts from non-technical domains, such as education, to experiment with this technology. In this research we introduce ISAR, an authoring system for augmented reality tabletops targeting users from non-technical domains. ISAR allows non-technical users to create their own interactive tabletop applications and experiment with the use of this technology in domains such as educations, industrial training, and medical rehabilitation.Die Entwicklung von Augmented-Reality-Systemen ist mit mehreren Herausforderungen verbunden, die Endbenutzer und Experten aus nicht-technischen Bereichen, wie z.B. dem Bildungswesen, daran hindern, mit dieser Technologie zu experimentieren. In dieser Forschung stellen wir ISAR vor, ein Autorensystem für Augmented-Reality-Tabletops, das sich an Benutzer aus nicht-technischen Bereichen richtet. ISAR ermöglicht es nicht-technischen Anwendern, ihre eigenen interaktiven Tabletop-Anwendungen zu erstellen und mit dem Einsatz dieser Technologie in Bereichen wie Bildung, industrieller Ausbildung und medizinischer Rehabilitation zu experimentieren

博物館情報資源の機能的活用のための画像技術と著作権法の連携議論

博物館は文化財及び歴史資料のみならず，写真，書籍，調査研究報告書，論文等に至るまで，多種多様な資料を有している。後世に永く伝えられるべきこれらの資料は，それ自体が情報であるだけでなく，新たな情報を獲得するための情報資源である。近年では博物館情報資源の多くがデジタル化されており，その有効活用のためには情報機器や各種技術が必要となっている。高性能かつ安価な情報機器と高度な関連技術を用いることによって，従来では実現困難であった博物館情報資源の活用方法が見出されている一方で，技術的に可能なことが適法であるとは限らない状況が生じうる。したがって，博物館情報資源を活用するためには，技術的な課題と法律的な対処方法との両立が求められる。そこで本論文では，両者を比較対比することで相互の関連性について理解を深め，さらに博物館情報資源を機能的に活用する手法について議論する。本論文では，画像技術と著作権法に着目し，博物館情報資源の活用における具体例を提示しながら議論を進める。画像情報の果たす役割は多岐に及び，その実現手段は多様となるが，入力，処理，出力という三要素と，その連携である保存・活用の段階に分類することで情報資源の活用手段を構造化することは有用である。デジタル情報の活用においてはコピーの作製が重要であり，コピーと改変に関し著作者の権利として定めている著作権法の理解が不可欠である。博物館情報資源活用の具体例を通して，技術と著作権に関する個別問題に対処するだけでなく，技術と著作権法の構造的理解を踏まえた総合的判断力の醸成に寄与するための考察を行う。Museums hold a wide variety of cultural properties, historical materials, photographs, literatures, investigation reports, and research papers. Those are not only information but also information resources that provide new information from investigation and researches. Nowadays, most of the information resources are converted into digital form. In usages of the digital information resources, skills and knowledge on the information devices and related technologies are getting more important. Novel methods enable us sophisticated utilization of the information resources in museums are developed based on the high performance and low cost devices. However, consideration as a matter of law is required in the usages of the technologies together with related technologies. In this paper, integrated considerations between related technologies and regal issues are examined to activate the usages of the information resources in museums.In this paper, the imaging technology and the Copyright Act are focused on as a key technology and law to use the information resources. The relationships between them are discussed to improve the usages of the information resources in museums. The flow of the information usage can be divided into three elements that are acquisition, processing, and output, and, one application that is preservations and applications as a combination of the elements. Concrete issues in museum activities are investigated, and discussions for further applications will be done to make it possible to improve ability for using the information resources in museums

Proceedings of the 8th international conference on disability, virtual reality and associated technologies (ICDVRAT 2010)

The proceedings of the conferenc