Realtime tracking and grasping of a moving object from range video

In this paper we present an automated system that is able to track and grasp a moving object within the workspace of a manipulator using range images acquired with a Microsoft Kinect sensor. Realtime tracking is achieved by a geometric particle filter on the affine group. Based on the tracked output, the pose of a 7-DoF WAM robotic arm is continuously updated using dynamic motor primitives until a distance measure between the tracked object and the gripper mounted on the arm is below a threshold. Then, it closes its three fingers and grasps the object. The tracker works in real-time and is robust to noise and partial occlusions. Using only the depth data makes our tracker independent of texture which is one of the key design goals in our approach. An experimental evaluation is provided along with a comparison of the proposed tracker with state-of-the-art approaches, including the OpenNI-tracker. The developed system is integrated with ROS and made available as part of IRI's ROS stack.Peer ReviewedPostprint (author’s final draft

Ανάδραση θέσης μικροβελόνας με χρήση βιντεομικροσκοπίου σε πραγματικό χρόνο

127 σ.Μεταπτυχιακή Εργασία -- Εθνικό Μετσόβιο Πολυτεχνείο. Διεπιστημονικό - Διατμηματικό Πρόγραμμα Μεταπτυχιακών Σπουδών "Μικροσυσήματα και Νανοδιατάξεις"Η παρούσα εργασία έγινε στα πλαίσια της ερευνητικής δραστηριότητας που αναπτύσσεται στο Εργαστήριο Αυτομάτου Ελέγχου της Σχολής Μηχανολόγων Μηχανικών του ΕΜΠ σχετικά με μικρορομποτικά συστήματα. Αναλύεται η ανάδραση θέσης μικροβελόνας η οποία είναι προσαρμοσμένη σε ένα μικρορομποτικό σύστημα. Η πληροφορία ανακτάται μέσω οπτικού μικροσκοπίου και βιντεοκάμερας τοποθετημένης επάνω από το χώρο δράσης του πειράματος. Η εργασία πραγματεύεται θέματα τεχνολογίας λήψης εικόνας με οπτικό μικροσκόπιο, τεχνολογίας οπτικών αισθητήρων, ψηφιακής επεξεργασίας εικόνας και λειτουργικών συστημάτων πραγματικού χρόνου. Το οπτικό μικροσκόπιο που χρησιμοποιείται έχει τη δυνατότητα μεταβολής οπτικής μεγέθυνσης (zoom) και εστίασης. Στη μία άκρη του οπτικού σωλήνα υπάρχει ισχυρός αντικειμενικός φακός ενώ στην άλλη προσαρμόστηκε η βιντεοκάμερα. Το μικροσκόπιο μεγεθύνει την άκρη της μικροβελόνας και στη συνέχεια συλλαμβάνεται η κίνησή της από τη βιντεοκάμερα. Τα στιγμιότυπα στέλνονται σε ηλεκτρονικό υπολογιστή όπου με κατάλληλους αλγόριθμους επεξεργασίας εικόνας προσδιορίζεται σε πραγματικό χρόνο η θέση και η διεύθυνση. Για να γίνει αυτό θα πρέπει η μικροβελόνα να είναι διακριτή σε σχέση με το υπόβαθρο, δηλαδή να υπάρχει εμφανής διαχωριστική γραμμή. Για να το επιτύχουμε αυτό χρωματίσαμε την μικροβελόνα με μαύρο χρώμα οπότε καταφέραμε να έχουμε μεγάλη αντίθεση ανάμεσα σε αυτή και στο φωτισμένο υπόβαθρο. Η μικροβελόνα απέχει από το επίπεδο κίνησης του μικρορομπότ περίπου 2 cm. Η απόσταση αυτή είναι ικανοποιητική έτσι ώστε το υπόβαθρο να παρουσιάζει ενιαία χαρακτηριστικά φωτός χωρίς να προσφέρει θόρυβο από τις ατέλειες της επιφάνειάς του. Για την εύρεση θέσης και διεύθυνσης της μικροβελόνας γίνεται επεξεργασία της εικόνας ανά στιγμιότυπο. Κομβικό σημείο στην επεξεργασία είναι η επιλογή κατάλληλης τεχνικής για την εξαγωγή της ζητούμενης πληροφορίας. Δοκιμάστηκαν διαφορετικές τεχνικές αλλά τελικά επιλέχθηκε ο μετασχηματισμός Hough (κυκλικός και γραμμικός) με την βοήθεια του οποίου ανιχνεύονται κύκλοι και γραμμές. Με κατάλληλη επεξεργασία των εξαγόμενων κύκλων και γραμμών υπολογίζουμε τη θέση και τη διεύθυνση της μικροβελόνας. Η εφαρμογή επιλέχθηκε να αναπτυχθεί σε περιβάλλον simulink, για την απλοποίησή της σχεδίασης, αλλά αυτό δημιούργησε προβλήματα σχετικά με την υλοποίηση της σε πραγματικό χρόνο, τα οποία αναλύονται στη συνέχεια. Η σχεδίαση του αλγόριθμου επεξεργασίας της εικόνας παράγει ικανοποιητικά αποτελέσματα (σε πραγματικό χρόνο).The present work became in the frames of inquiring activity that are developed in the Laboratory of Automatic Control of Faculty of Mechanical Engineering of NTUA with regard to microrobotic systems. Is analyzed the position and direction feedback of a micro-needle which is adapted in a microrobotic system. The information is recovered via optical microscope and video camera placed above the space of action of experiment. The work is discussed subjects of technology of reception of picture with optical microscope, technology of optical sensors, digital treatment of picture and real time operating systems. The optical microscope that is used has the possibility of change of optical enlargement (zoom) and focus. In one end of the optical pipe exists powerful objective lens while in the other was adapted the video camera. The microscope enlarges the edge of the micro-needle and afterwards is arrested her movement from the video camera. The snapshots are sent in computer where with suitable algorithms of treatment of picture is determined in real time the position and the direction. In order to becomes this it will be supposed that micro-needle is distinguishable in combination the background, that is to say exists obvious bisector line. In order to achieve this we colored micro-needle with black colour therefore we accomplished to have big opposition between this and in the litted up background. Micro-needle abstains from the level of movement of the microrobot roughly 2 cm. This distance is satisfactory so the background presents single characteristics of light without it offers noise from the imperfections of his surface. For the finding of position and direction of micro-needle becomes treatment of picture per snapshot. Nodal point in the treatment is the choice of suitable technique for the export of asked information. We're finally tried different techniques but were selected the Hough transformation (circular and linear) with the help of which are detected circles and lines. With suitable treatment of exported circles and lines we calculate the position and the direction of micro-needle. The application was selected is developed in environment simulink, for her simplification of designing, but this created problems with regard to her realization in real time, which are analyzed afterwards. The designing of algorithm of treatment of picture produces satisfactory results (in real time).Ιωάννης Δ. Τσουκαράκη

A Shape Tracking Algorithm for Visual Servoing

The paper contributes to presenting both an accurate and robust shape tracking algorithm and a novel visual servoing method. Two steps are involved in the tracking algorithm. Firstly the object shape is assumed to vary under an afne model, and the edge detection is performed along the normal lines to the contour. As a result it is possible to use a Kalman filter to perform efficient tracking. The second step concerns image matching based on perspective model, which is achieved iteratively by searching locally along the normal lines also. As to visual servoing we propose to control the translations of the robot with the normalized zeroth and first order image moments, and to control the orientation with rotation axis and angle extracted from a Homography matrix. Two experiments demonstrate that the tracking algorithm is accurate and robust enough to be used in visual servoing, and the novel visual servoing method is superior to traditional ones