Combination of Accumulated Motion and Color Segmentation for Human Activity Analysis

The automated analysis of activity in digital multimedia, and especially video, is gaining more and more importance due to the evolution of higher-level video processing systems and the development of relevant applications such as surveillance and sports. This paper presents a novel algorithm for the recognition and classification of human activities, which employs motion and color characteristics in a complementary manner, so as to extract the most information from both sources, and overcome their individual limitations. The proposed method accumulates the flow estimates in a video, and extracts “regions of activity†by processing their higher-order statistics. The shape of these activity areas can be used for the classification of the human activities and events taking place in a video and the subsequent extraction of higher-level semantics. Color segmentation of the active and static areas of each video frame is performed to complement this information. The color layers in the activity and background areas are compared using the earth mover's distance, in order to achieve accurate object segmentation. Thus, unlike much existing work on human activity analysis, the proposed approach is based on general color and motion processing methods, and not on specific models of the human body and its kinematics. The combined use of color and motion information increases the method robustness to illumination variations and measurement noise. Consequently, the proposed approach can lead to higher-level information about human activities, but its applicability is not limited to specific human actions. We present experiments with various real video sequences, from sports and surveillance domains, to demonstrate the effectiveness of our approach

Στατιστική επεξεργασία video για χαρακτηρισμό και ανίχνευση ανθρώπινης κίνησης

Τα τελευταία χρόνια η ανάλυση ψηφιακών πολυμέσων γίνεται συνεχώς όλο και πιο σημαντική καθώς χρησιμοποιείται σε όλο και περισσότερες εφαρμογές της καθημερινής ζωής. Ενδεικτικά αναφέρουμε τα συστήματα παρακολούθησης χώρων, την αυτόματη παρακολούθηση ηλικιωμένων ανθρώπων, την υποστήριξη ατόμων με ειδικές ανάγκες (π.χ. κατανόηση της νοηματικής γλώσσας), την επικοινωνία ανθρώπου-μηχανής, τον σημασιολογικό ιστό, τον έλεγχο του κυκλοφοριακού συστήματος και την διαιτησία αθλημάτων. Ιδιαίτερα κρίσιμη στην ανάλυση ψηφιακών πολυμέσων κρίνεται η αναγνώριση και ανίχνευση ανθρώπινης κίνησης σε ακολουθίες εικόνων (video), με την οποία και θα ασχοληθούμε στην παρούσα εργασία. Αρχικά γίνεται μια εισαγωγή στο αντικείμενο της αναγνώρισης και ανίχνευσης ανθρώπινης κίνησης και παρουσιάζεται συνοπτικά η δομή ενός συστήματος ανάλυσης video, οι δυσκολίες που καλείται να αντιμετωπίσει καθώς και μια συνοπτική περιγραφή των mo κλασικών μεθόδων αναγνώρισης κίνησης. Στο δεύτερο κεφάλαιο παρουσιάζονται αναλυτικά μερικές από τις mo πρόσφατες μεθόδους στο πεδίο της αναγνώρισης ανθρώπινης κίνησης σε ακολουθίες εικόνων. Στο τρίτο κεφάλαιο ορίζεται η έννοια του στιγμιότυπου πλήρους κίνησης και προτείνεται μια αποδοτική μέθοδος για την αποτελεσματική ανίχνευση στιγμιοτύπων πλήρους κίνησης. Στο τέταρτο κεφάλαιο εξετάζεται η περίπτωση της αναγνώρισης κίνησης απευθείας σε ένα στιγμιότυπο πλήρους κίνησης και διατυπώνονται ορισμένα συμπεράσματα σχετικά με την αποτελεσματικότητά αυτής της πρακτικής. Τέλος, διατυπώνονται κάποια γενικά συμπεράσματα και καθορίζονται κάποιοι στόχοι μελλοντικής εργασίας μας