A Tracking Method for 2D canvas in MR-based interactive painting system

ABSTRACT We have proposed a mixed reality (MR) based painting system. In this paper, we tackle a problem that exists in the conventional method that fully relies on magnetic sensor that is attached on the canvas; the users needed to detach and attach a sensor on the canvas during painting when they want to switch the canvas. Therefore, we aim to automatically detect the shape of the canvas for registration purpose using vision-based tracking method. Using a region detection method such as MSER, we detect and track the shape on the canvas. We then compute the camera pose for virtually overlaying the painting result. Finally, we can generate equivalent results compared to the result of using the sensor

A Tracking Method for 2D canvas in MR-based interactive painting system

Abstract-We have proposed a mixed reality based painting system. In this paper, we tackle a problem in our previous painting system that fully relies on magnetic sensor that is attached on the canvas; the users needed to detach and attach a sensor on the canvas during painting when they want to switch the canvas. Instead of that, in this paper, we aim to automatically detect the shape of the canvas for registration purpose. Using the shape or region detection method such as MSER (maximally stable extremal regions), we detect and track the shape on the canvas on the captured camera image. We then compute the camera pose for virtually overlay the painting result. Using the brush device, we can draw and paint freely on the tracked canvases. We show that using visual based tracking method, we can generate the equivalent result compared to the result of using the sensor

Η επαυξημένη πραγματικότητα και τομείς εφαρμογής της με έμφαση στη ψυχολογική διάσταση της χρήσης συστημάτων Ε.Π.

Η επαυξημένη πραγματικότητα έχει δημιουργήσει μεγάλη αναταραχή και πολλοί καταναλωτές αναρωτιούνται πώς αυτή η τελευταία λέξη της τεχνολογίας στην πραγματικότητα θα έχει αντίκτυπο σε αυτά, καθώς θα αρχίσει να χρησιμοποιείται ευρύτερα. Καθένας μας που χρησιμοποιεί κινητή συσκευή για καθημερινές δραστηριότητες , επαυξημένης πραγματικότητας αποτελεί το μέλλον που θα επιτρέπει στους καταναλωτές να βιώσουν μια πραγματικότητα που βασίζεται στις προσωπικές ανάγκες και επιθυμίες . Η επαυξημένη πραγματικότητα θα έχει επίσης ισχυρό αντίκτυπο στην κοινωνία. Τα πεδία μάρκετινγκ και διαφήμισης θα εξελιχθούν υπερβολικά με την βοήθεια της επαυξημένης πραγματικότητας που ενσωματώνονται στις συσκευές. Οι mobile εφαρμογές που αναπτύσσονται θα προσφέρουν λογισμικό αναγνώρισης προσώπου που θα αποτελέσει μία τάση γρήγορα. Χαρακτηριστικό παράδειγμα αποτελεί το snapchat που κάνει χρήση αναγνώρισης προσώπου με augmented reality και αποτελεί το τελευταίο social media trend το 2016. Για αυτούς που μετακινούνται καθημερινά και τους οδηγούς, συσκευές πλοήγησης θα κατασκευαστούν για τα αυτοκίνητα και τις κινητές συσκευές. Ένα σημαντικό πεδίο στο οποίο η επαυξημένη πραγματικότητα θα έχει τεράστιο αντίκτυπο είναι στον ιατρικό τομέα . Ήδη χρησιμοποιείται για πρακτικούς λόγους και η τεχνολογία θα διαδραματίσει σημαντικό ρόλο στο μέλλον της ιατρικής. Στην πραγματικότητα, το 2013 , μια χειρουργική επέμβαση πραγματοποιήθηκε με τη χρήση του Google Glass και VIPAAR, μια εικονική εφαρμογή AR. Οι δυνατότητες της τεχνολογίας αυτής θα επιτρέψουν στις χειρουργικές επεμβάσεις να απλοποιηθούν, προσφέροντας ένα ασφαλές περιβάλλον και εμπειρία στους ασθενείς και συγχρόνως μειώνοντας τις πιθανότητες των ιατρικών προβλημάτων που προκύπτουν μετά από μία χειρουργική επέμβαση. Υπάρχει μια ποικιλία από συσκευές που μπορεί ήδη να χρησιμοποιηθούν στο ιατρικό πεδίο πέρα από το Google Glass Οι επιδράσεις της επαυξημένης πραγματικότητας μπορεί να είναι ατελείωτες και η τεχνολογία να επηρεάσει κάθε τομέα. Δεν θα χρησιμοποιηθεί μόνο από επαγγελματίες και από τους καταναλωτές, αλλά θα γίνει επίσης ένα βασικό εργαλείο για εκπαιδευτικούς σκοπούς σε αίθουσες διδασκαλίας σε όλο τον κόσμο. Συμπερασματικά, η Επαυξημένη πραγματικότητα βρίσκει εφαρμογή σε πολλούς τομείς και για αυτό το λόγο επηρεάζει κοινωνικά καθώς υπάρχει μία αλληλεπίδραση ως προς την κοινωνία. Είτε όταν αφορά την ψυχαγωγία καθιστώντας τον καταναλωτή πιο ενεργό μέσω των νέων εφαρμογών που χρησιμοποιεί για να λανσάρει τα προϊόντα της, είτε όταν αφορά ζητήματα υγείας που μπορεί να πραγματοποιηθεί μια επέμβαση πιο ανώδυνα αλλά και με μεγαλύτερη ακρίβεια λειτουργώντας πάντοτε επικουρικά χωρίς να καταργείται ο ρόλος του γιατρού. Η Ε.Π όπως θα δούμε μπορεί να βοηθήσει και στην προσπάθεια αντιμετώπισης φοβιών ή να ανακαλυφθούν φοβίες που δεν γνωρίζαμε ότι είχαμε και να τις αντιμετωπίσουμε.Augmented reality has created quite a stir and many consumers are wondering how this latest technology will actually have an impact on them as it becomes more widely used. For anyone that uses a mobile device for daily activities, augmented reality is the future that will allow consumers to experience a reality that is based on personal needs and desires. Augmented reality will also have a strong impact on the society. The marketing and advertising fields will evolve too with the help of augmented reality embedded devices. The mobile applications that are being developed will offer facial recognition software that will mainstream quickly. A typical example is the snapchat that uses facial recognition with augmented reality and is the latest social media trend in 2016. For everyday commuters and drivers, navigation devices will be built into the cars and mobile devices. One major field in which augmented reality will have a huge impact is the medical field. It is already being used for practical purposes and the technology will play an important role in the future of medicine. In fact, in 2013, a surgery was performed using Google Glass and VIPAAR, a virtual AR app. The capabilities of this technology will allow for surgeries to be simplified, offering a safe environment and experience to patients and reducing the chances of medical problems arising after surgery is performed. There are a variety of devices that can already be used in the medical field aside from Google Glass. The impacts that augmented reality can have, are endless and the technology will affect every field. Not only will it be used by professionals and consumers, but it will also become a key tool for educational purposes in classrooms around the world. Το conclude, the Augmented reality finds implication in many areas. And it affects social factors as there is an interaction towards society. Either when it concerns the entertainment field that makes the consumer more inter-active through the new augmented reality applications that are launched, or when there is an operation performed with greater accuracy and safety thanks to the AR system. At this point we have to underline the importance of the doctor and explain that the AR system can always have a supporting role without ruling out the role of doctor. The AR also can help in tackling and facing phobias or fears discovered