Οπτική αντίληψη επαναλαμβανόμενων ανθρώπινων κινήσεων: χρονικός εντοπισμός, ομαδοποίηση και μέτρηση επαναλήψεων

Abstract

Τα επαναλαμβανόμενα μοτίβα είναι παρόντα παντού στην καθημερινότητά μας και παίζουν καθοριστικό ρόλο σε διάφορους τομείς. Η αναγνώριση και ο εντοπισμός τους, καθώς και η ποσοτικοποίηση του αριθμού των επαναλήψεών τους, θα ήταν εξαιρετικά ωφέλιμα για πολυάριθμες εφαρμογές. Δεδομένου ενός αριθμού χρονοσειρών που μπορεί να παρουσιάζουν επαναληψιμότητα σε αυθαίρετες χρονικές περιοχές, εντοπίζουμε τα ακόλουθα σημαντικά προβλήματα: (1) ομαδοποίηση βασισμένη στην επαναληψιμότητα, δηλαδή, ομαδοποίηση χρονοσειρών στη βάση παρόμοιων επαναλαμβανόμενων μοτίβων, (2) εντοπισμός της χρονικής επαναληψιμότητας, δηλαδή, ανίχνευση της αρχής και του τέλους του επαναλαμβανόμενου μοτίβου σε κάθε ομάδα χρονοσειρών, και (3) μέτρηση επαναλήψεων, δηλαδή, εκτίμηση του αριθμού των επαναλήψεων. Οι τρέχουσες μέθοδοι ασχολούνται κυρίως με το τρίτο πρόβλημα (μέτρηση επαναλήψεων). Μόνο λίγες μέθοδοι ασχολούνται με τον χρονικό εντοπισμό και την ομαδοποίηση με βάση την επαναληψιμότητα. Σε αυτή την εργασία, προτείνουμε μια νέα μέθοδο ικανή να αντιμετωπίσει ταυτόχρονα και τα τρία προαναφερθέντα προβλήματα. Ως συγκεκριμένη περίπτωση χρήσης, διερευνούμε την ομαδοποίηση, τον χρονικό εντοπισμό και τον χαρακτηρισμό πολλαπλών συνυπάρχουσων επαναλαμβανόμενων ανθρώπινων κινήσεων σε βίντεο. Η προσέγγισή μας ξεκινά μετατρέποντας ένα βίντεο σε πολλαπλές χρονοσειρές, καθεμία από τις οποίες αντιπροσωπεύει τη συμπεριφορά στο χρόνο μιας άρθρωσης του ανθρώπινου σώματος. Στη συνέχεια, η μέθοδός μας ομαδοποιεί τα χαρακτηριστικά που έχουν εξαχθεί από τις αρθρώσεις με βάση την περιοδικότητα των επαναλαμβανόμενων κινήσεων που αντιπροσωπεύουν, εντοπίζει τα χρονικά όρια των επαναλαμβανόμενων τμημάτων και εκτιμά τον αριθμό των επαναλήψεων που υπάρχουν σε κάθε ομάδα. Εξ όσων γνωρίζουμε, αυτή είναι η πρώτη μέθοδος στη βιβλιογραφία που είναι σε θέση να ομαδοποιήσει, να εντοπίσει χρονικά και να χαρακτηρίσει πολλαπλές συνυπάρχουσες επαναλαμβανόμενες κινήσεις. Αξιολογούμε την απόδοσή μας σε καθιερωμένα σύνολα δεδομένων, έναντι μεθόδων που έχουν προταθεί πρρόσφατα στη βιβλιογραφία. Εισάγουμε επίσης κατάλληλες παραλλαγές υπαρχόντων συνόλων δεδομένων για την αξιολόγηση της απόδοσης για επιμέρους προβλήματα, καθώς και ένα νέο σύνολο δεδομένων που χρησιμεύει για την αποτίμηση μεθόδων ως προς όλα τα υποπροβλήματα που μελετούμε. Τα πειράματά μας καταδεικνύουν την αποτελεσματικότητα της μεθόδου μας σε όλα τα υποπροβλήματα. Συγκεκριμένα, δείχνουμε ότι η μέθοδός μας χειρίζεται την ομαδοποίηση πολλαπλών επαναλαμβανόμενων κινήσεων με αξιόπιστο τρόπο και, ταυτόχρονα, επιτυγχάνει απόδοση συγκρίσιμη με αυτή των καλύτερων μεθόδων για τον χρονικό εντοπισμό επαναληψιμότητας και τη μέτρηση επαναλήψεων. Παρόλο που η μέθοδός μας έχει αξιολογηθεί στην ανίχνευση και ομαδοποίηση επαναλαμβανόμενων ανθρώπινων κινήσεων, έχει ευρύτερη εφαρμογή σε μια ποικιλία εφαρμογών και τύπων χρονικών δεδομένων. Η μελλοντική έρευνα θα επικεντρωθεί προς αυτή την κατεύθυνση.Recurrent patterns are prevalent in our everyday experience and play a key role in various domains. Accurately identifying and localizing them, while also quantifying the number of their repetitions, would be highly beneficial for numerous applications. Given a number of time-series which may exhibit repetitiveness at arbitrary temporal ranges, we identify the following important problems: (1) repetitiveness-based clustering, i.e., time-series clustering based on shared repetitive patterns with similar rhythms, (2) localization of temporal repetitiveness, i.e., detection of the start and the end of the repetitive pattern in each time- series cluster, and (3) repetition counting, i.e., estimation of the number of repetitions. Current methods address mainly the third problem (repetition counting). Only a few methods deal with the tasks of temporal localization and periodicity- based clustering. In this work, we propose a novel method capable of dealing simultaneously with all three aforementioned problems. As a use-case, we explore the clustering, temporal localization, and characterization of multiple co-occurring repetitive human motions in videos. Our approach begins by transforming a video into multiple time series, each representing the temporal behavior of a human body joint. Subsequently, our method groups the extracted joint features according to their repetitive characteristics, identifies the temporal boundaries of the repetitive segments within each group, and estimates the number of repetitions present in each group. To the best of our knowledge, this is the first method in the literature that is able to cluster, temporally localize and characterize multiple co-occurring repetitive motions. We evaluate our performance against state-of-the-art methods on well-established datasets. We also introduce appropriate variants of existing datasets for assessing performance in individual tasks, as well as a novel dataset that serves as a benchmark for all three tasks. Our experiments demonstrate the effectiveness of our method across all tasks. Specifically, we demonstrate that our method handles the grouping of multiple repetitive motions robustly and, at the same time, achieves performance comparable to current state-of-the-art methods on temporal repetitiveness localization and repetition counting. Although our method has been evaluated on the use case of human repetitive motion detection and grouping, it has a broader applicability in a variety of domains and types of temporal data. Future research will focus in this direction