Coordination in climbing: effect of skill, practice and constraints manipulation

BACKGROUND: Climbing is a physical activity and sport involving many subdisciplines. Minimization of prolonged pauses, use of a relatively simple path through a route and smooth transitions between movements broadly define skilled coordination in climbing. OBJECTIVES: To provide an overview of the constraints on skilled coordination in climbing and to explore future directions in this emerging field. METHODS: A systematic literature review was conducted in 2014 and retrieved studies reporting perceptual and movement data during climbing tasks. To be eligible for the qualitative synthesis, studies were required to report perceptual or movement data during climbing tasks graded for difficulty. RESULTS: Qualitative synthesis of 42 studies was carried out, showing that skilled coordination in climbing is underpinned by superior perception of climbing opportunities; optimization of spatial-temporal features pertaining to body-to-wall coordination, the climb trajectory and hand-to-hold surface contact; and minimization of exploratory behaviour. Improvements in skilled coordination due to practice are related to task novelty and the difficulty of the climbing route relative to the individual's ability level. CONCLUSION: Perceptual and motor adaptations that improve skilled coordination are highly significant for improving the climbing ability level. Elite climbers exhibit advantages in detection and use of climbing opportunities when visually inspecting a route from the ground and when physically moving though a route. However, the need to provide clear guidelines on how to improve climbing skill arises from uncertainties regarding the impacts of different practice interventions on learning and transfer

Coordination in climbing: effect of skill, practice and constraints manipulation

BACKGROUND: Climbing is a physical activity and sport involving many subdisciplines. Minimization of prolonged pauses, use of a relatively simple path through a route and smooth transitions between movements broadly define skilled coordination in climbing. OBJECTIVES: To provide an overview of the constraints on skilled coordination in climbing and to explore future directions in this emerging field. METHODS: A systematic literature review was conducted in 2014 and retrieved studies reporting perceptual and movement data during climbing tasks. To be eligible for the qualitative synthesis, studies were required to report perceptual or movement data during climbing tasks graded for difficulty. RESULTS: Qualitative synthesis of 42 studies was carried out, showing that skilled coordination in climbing is underpinned by superior perception of climbing opportunities; optimization of spatial-temporal features pertaining to body-to-wall coordination, the climb trajectory and hand-to-hold surface contact; and minimization of exploratory behaviour. Improvements in skilled coordination due to practice are related to task novelty and the difficulty of the climbing route relative to the individual's ability level. CONCLUSION: Perceptual and motor adaptations that improve skilled coordination are highly significant for improving the climbing ability level. Elite climbers exhibit advantages in detection and use of climbing opportunities when visually inspecting a route from the ground and when physically moving though a route. However, the need to provide clear guidelines on how to improve climbing skill arises from uncertainties regarding the impacts of different practice interventions on learning and transfer

Climbing Routes Clustering Using Energy-Efficient Accelerometers Attached to the Quickdraws

One of the challenges for climbing gyms is to find out popular routes for the climbers to improve their services and optimally use their infrastructure. This problem must be addressed preserving both the privacy and convenience of the climbers and the costs of the gyms. To this aim, a hardware prototype is developed to collect data using accelerometer sensors attached to a piece of climbing equipment mounted on the wall, called quickdraw, that connects the climbing rope to the bolt anchors. The corresponding sensors are configured to be energy-efficient, hence becoming practical in terms of expenses and time consumption for replacement when used in large quantities in a climbing gym. This paper describes hardware specifications, studies data measured by the sensors in ultra-low power mode, detect patterns in data during climbing different routes, and develops an unsupervised approach for route clustering

Activity recognition in naturalistic environments using body-worn sensors

Phd ThesisThe research presented in this thesis investigates how deep learning and feature learning can address challenges that arise for activity recognition systems in naturalistic, ecologically valid surroundings such as the private home. One of the main aims of ubiquitous computing is the development of automated recognition systems for human activities and behaviour that are sufficiently robust to be deployed in realistic, in-the-wild environments. In most cases, the targeted application scenarios are people’s daily lives, where systems have to abide by practical usability and privacy constraints. We discuss how these constraints impact data collection and analysis and demonstrate how common approaches to the analysis of movement data effectively limit the practical use of activity recognition systems in every-day surroundings. In light of these issues we develop a novel approach to the representation and modelling of movement data based on a data-driven methodology that has applications in activity recognition, behaviour imaging, and skill assessment in ubiquitous computing. A number of case studies illustrate the suitability of the proposed methods and outline how study design can be adapted to maximise the benefit of these techniques, which show promising performance for clinical applications in particular.SiDE research hu

Real-time 3D hand reconstruction in challenging scenes from a single color or depth camera

Hands are one of the main enabling factors for performing complex tasks and humans naturally use them for interactions with their environment. Reconstruction and digitization of 3D hand motion opens up many possibilities for important applications. Hands gestures can be directly used for human–computer interaction, which is especially relevant for controlling augmented or virtual reality (AR/VR) devices where immersion is of utmost importance. In addition, 3D hand motion capture is a precondition for automatic sign-language translation, activity recognition, or teaching robots. Different approaches for 3D hand motion capture have been actively researched in the past. While being accurate, gloves and markers are intrusive and uncomfortable to wear. Hence, markerless hand reconstruction based on cameras is desirable. Multi-camera setups provide rich input, however, they are hard to calibrate and lack the flexibility for mobile use cases. Thus, the majority of more recent methods uses a single color or depth camera which, however, makes the problem harder due to more ambiguities in the input. For interaction purposes, users need continuous control and immediate feedback. This means the algorithms have to run in real time and be robust in uncontrolled scenes. These requirements, achieving 3D hand reconstruction in real time from a single camera in general scenes, make the problem significantly more challenging. While recent research has shown promising results, current state-of-the-art methods still have strong limitations. Most approaches only track the motion of a single hand in isolation and do not take background-clutter or interactions with arbitrary objects or the other hand into account. The few methods that can handle more general and natural scenarios run far from real time or use complex multi-camera setups. Such requirements make existing methods unusable for many aforementioned applications. This thesis pushes the state of the art for real-time 3D hand tracking and reconstruction in general scenes from a single RGB or depth camera. The presented approaches explore novel combinations of generative hand models, which have been used successfully in the computer vision and graphics community for decades, and powerful cutting-edge machine learning techniques, which have recently emerged with the advent of deep learning. In particular, this thesis proposes a novel method for hand tracking in the presence of strong occlusions and clutter, the first method for full global 3D hand tracking from in-the-wild RGB video, and a method for simultaneous pose and dense shape reconstruction of two interacting hands that, for the first time, combines a set of desirable properties previously unseen in the literature.Hände sind einer der Hauptfaktoren für die Ausführung komplexer Aufgaben, und Menschen verwenden sie auf natürliche Weise für Interaktionen mit ihrer Umgebung. Die Rekonstruktion und Digitalisierung der 3D-Handbewegung eröffnet viele Möglichkeiten für wichtige Anwendungen. Handgesten können direkt als Eingabe für die Mensch-Computer-Interaktion verwendet werden. Dies ist insbesondere für Geräte der erweiterten oder virtuellen Realität (AR / VR) relevant, bei denen die Immersion von größter Bedeutung ist. Darüber hinaus ist die Rekonstruktion der 3D Handbewegung eine Voraussetzung zur automatischen Übersetzung von Gebärdensprache, zur Aktivitätserkennung oder zum Unterrichten von Robotern. In der Vergangenheit wurden verschiedene Ansätze zur 3D-Handbewegungsrekonstruktion aktiv erforscht. Handschuhe und physische Markierungen sind zwar präzise, aber aufdringlich und unangenehm zu tragen. Daher ist eine markierungslose Handrekonstruktion auf der Basis von Kameras wünschenswert. Multi-Kamera-Setups bieten umfangreiche Eingabedaten, sind jedoch schwer zu kalibrieren und haben keine Flexibilität für mobile Anwendungsfälle. Daher verwenden die meisten neueren Methoden eine einzelne Farb- oder Tiefenkamera, was die Aufgabe jedoch schwerer macht, da mehr Ambiguitäten in den Eingabedaten vorhanden sind. Für Interaktionszwecke benötigen Benutzer kontinuierliche Kontrolle und sofortiges Feedback. Dies bedeutet, dass die Algorithmen in Echtzeit ausgeführt werden müssen und robust in unkontrollierten Szenen sein müssen. Diese Anforderungen, 3D-Handrekonstruktion in Echtzeit mit einer einzigen Kamera in allgemeinen Szenen, machen das Problem erheblich schwieriger. Während neuere Forschungsarbeiten vielversprechende Ergebnisse gezeigt haben, weisen aktuelle Methoden immer noch Einschränkungen auf. Die meisten Ansätze verfolgen die Bewegung einer einzelnen Hand nur isoliert und berücksichtigen keine alltäglichen Umgebungen oder Interaktionen mit beliebigen Objekten oder der anderen Hand. Die wenigen Methoden, die allgemeinere und natürlichere Szenarien verarbeiten können, laufen nicht in Echtzeit oder verwenden komplexe Multi-Kamera-Setups. Solche Anforderungen machen bestehende Verfahren für viele der oben genannten Anwendungen unbrauchbar. Diese Dissertation erweitert den Stand der Technik für die Echtzeit-3D-Handverfolgung und -Rekonstruktion in allgemeinen Szenen mit einer einzelnen RGB- oder Tiefenkamera. Die vorgestellten Algorithmen erforschen neue Kombinationen aus generativen Handmodellen, die seit Jahrzehnten erfolgreich in den Bereichen Computer Vision und Grafik eingesetzt werden, und leistungsfähigen innovativen Techniken des maschinellen Lernens, die vor kurzem mit dem Aufkommen neuronaler Netzwerke entstanden sind. In dieser Arbeit werden insbesondere vorgeschlagen: eine neuartige Methode zur Handbewegungsrekonstruktion bei starken Verdeckungen und in unkontrollierten Szenen, die erste Methode zur Rekonstruktion der globalen 3D Handbewegung aus RGB-Videos in freier Wildbahn und die erste Methode zur gleichzeitigen Rekonstruktion von Handpose und -form zweier interagierender Hände, die eine Reihe wünschenwerter Eigenschaften komibiniert

Lernen von robotischer Wahrnehmung durch Vorwissen

Intelligent robots must be able to learn; they must be able to adapt their behavior based on experience. But generalization from past experience is only possible based on assumptions or prior knowledge (priors for short) about how the world works. I study the role of these priors for learning perception. Although priors play a central role in machine learning, they are often hidden in the details of learning algorithms. By making these priors explicit, we can see that currently used priors describe the world from the perspective of a passive disinterested observer. Such generic AI priors are useful because they apply to perception scenarios where there is no robot, such as image classification. These priors are still useful for learning robotic perception, but they miss an important aspect of the problem: the robot. Robots are neither disinterested nor passive. They are trying to achieve tasks by interacting with the world around them, which adds structure to the problem and affords new kinds of priors, which I call robotic priors. The questions are: What are the right robotic priors and how can they be used to enable learning? I investigate these questions in three different perception problems based on raw visual input: 1. learning object segmentation for picking up objects in the Amazon picking challenge, 2. learning state estimation for localization and tracking, and 3. unsupervised learning of state representations that facilitate reinforcement learning. To solve these problems, I propose three sources of prior knowledge---1. the robot's task, 2. robotic algorithms, and 3. physics---and develop ways to encode these priors for the corresponding learning problems. Some of these priors are best encoded as hard constraints that restrict the space of hypotheses considered during learning. Other priors are more suitable to be encoded as preferences for certain hypotheses in the form of learning objectives. My experiments across these problems consistently show that robotic-specific prior knowledge leads to more efficient learning and improved generalization. Based on these results, I propose to take a prior-centric perspective on machine learning, from which follows that we need robotics-specific machine learning methods that incorporate appropriate priors.Intelligente Roboter müssen in der Lage sein zu lernen, um ihr Verhalten auf Basis von Erfahrung anzupassen. Um aus spezifischen Erfahrungen allgemeine Schlüsse zu ziehen, bedarf es jedoch Annahmen oder Vorwissen über die Welt. Ich untersuche die Bedeutung dieses Vorwissens für das Lernen von Wahrnehmung. Obwohl Vorwissen eine zentrale Rolle im maschinellen Lernen spielt, ist es oft in den Details der Lernalgorithmen verborgen. Wenn wir dieses Vorwissen explizit machen, wird deutlich, dass aktuell benutztes Vorwissen die Welt aus der Sicht eines passiven ziellos Beobachters beschreibt. Solche allgemeinen KI-Annahmen sind hilfreich, weil sie auf Wahrnehmungsprobleme wie Bildklassifizierung anwendbar sind, bei denen es keinen Roboter gibt. Solche Annahmen sind auch für das Lernen robotischer Wahrnehmung hilfreich, aber sie übersehen einen wichtigen Aspekt des Problems: den Roboter. Roboter sind weder ziellos noch passiv. Sie versuchen bestimmte Aufgaben zu lösen, indem sie mit der Welt interagieren. Dadurch ergibt sich zusätzliche Problemstruktur, die in anderen Arten von Vorwissen genutzten werden kann. Es stellen sich daher die Fragen was die richtigen Robotik-Annahmen sind und wie diese genutzt werden können, um Lernen zu ermöglichen. Ich beschäftige mich mit diesen Fragen in drei unterschiedlichen Wahrnehmungsproblemen auf Basis von visuellen Eingaben: 1. Lernen von Objektsegmentierung die es ermöglicht bestimmte Objekte in der Amazon Picking Challenge zu greifen, 2. Lernen von Zustandsschätzung für Lokalisierung und Nachführung und 3. unüberwachtes Lernen von Zustandsrepräsentationen, die bestärkendes Lernen ermöglichen. Um diese Probleme zu lösen, schlage ich drei Quellen für Vorwissen vor -- 1. die Aufgabe des Roboters, 2. Algorithmen aus der Robotik, 3. physikalische Gesetze -- und entwickle Möglichkeiten Annahmen aus diesen Quellen in den entsprechenden Lernproblemen zu nutzen. Manche dieser Annahmen lassen sich am besten als harte Bedingungen kodieren, die den Raum der möglichen Hypothesen einschränken die beim Lernen in Betracht gezogen werden. Andere Annahmen sind besser dazu geeignet mit ihnen konsistente Hypothesen zu bevorzugen, indem diese Annahmen als Lernzielen implementiert werden. Meine Experimente in den drei untersuchten Problemen stimmen darin überein, dass robotikspezifische Annahmen Lernen effizienter machen und Generalisierung verbessern. Aufgrund dieser Ergebnisse argumentiere ich für eine Sicht auf maschinelles Lernen, die Vorwissen ins Zentrum der Untersuchung stellt. Aus dieser Sicht folgt, dass wir robotikspezifische Lernmethoden mit entsprechenden Annahmen benötigen.DFG, 329426068, Maschinelles Lernen für Probleme in der Roboti

Static pose reconstruction with an instrumented bouldering wall

As the level of realism required by modern video games and movies increases, so does the need for natural-looking simulations. Reproducing the physical behaviour of humans has been one of the pillars of modern research in the field of computer animation. This is a challenging problem because it is difficult to describe what constitutes a natural pose or motion. This problem can be addressed through optimizations that build on assumptions and approximations about properties such as energy, head orientation, or centre of mass position. Alternatively, instead of attempting to create realistic models for humans, motion capture can be used to record (and replay) the pose and motion of human subjects. Most existing approaches rely on some form of combination of physics-based optimization and motion capture. Additionally, some approaches augment and/or attempt to replace motion capture data with contact force measurements. The contributions of this thesis impact many of the above. First, we introduce a setup and a calibration technique for synchronously recording the pose as well as the contact forces in the special case of climbing. Our setup consists of an instrumented bouldering wall that records contact forces and an array of motion capture cameras that record posture. Our calibration technique uses an iterative and alternating least-squares optimization to reconcile force measurements and captured poses in a single space and time frame. Second, we study the relationship between captured motion and forces in an effort to fully describe poses from contact forces. Eliminating the need for motion capture is especially desirable in the context of climbing because of occlusions. To estimate static poses from forces, we use a physics-based optimization. The optimal solution for our objective function is the pose with the highest physical plausibility given the forces and additional constraints such as climber anatomy and hold positions. To eliminate local minima and speed up our optimization, a simpler "hint objective" is used to guide our solver toward a promising region. Comparison between poses reconstructed from forces and the corresponding poses obtained via motion capture shows that our objective function is a good model for human posture.Le réalisme toujours plus accru des films et des jeux vidéo modernes nécessite des simulations paraissant de plus en plus naturelles. La reproduction des comportements physiques d'êtres humains est l'un des piliers de la recherche moderne dans le domaine de l'animation. C'est un problème complexe parce qu'il est difficile de décrire en quoi consiste une pose ou un mouvement naturel. Pour adresser ce problème, il est possible d'utiliser des optimisations portant sur des hypothèses et approximations de propriétés telles que l'énergie du système, l'orientation de la tête, ou la position du centre de masse. Plutôt que de tenter de modéliser des êtres humains de manière réaliste, la capture de mouvement peut être utilisée pour enregistrer (et rejouer) la pose ou le mouvement de sujets capturés. La plupart des approches existantes proposent une certaine combinaison d'optimisation basée sur la physique et de capture de mouvement. Certaines approches complémentent et/ou tentent de remplacer la capture de mouvement via des mesures de force de contact. Les contributions de cette thèse sont pertinentes pour bon nombre de ces approches. En premier lieu, nous introduisons un système et une technique de calibration pour mesurer de manière synchrone des poses et des forces de contact dans le cas particulier de l'escalade. Notre système est constitué d'un mur d'escalade équipé de capteurs qui mesurent les forces de contact, ainsi que d'un ensemble de caméras qui enregistrent la pose du grimpeur via capture de mouvement. Pour notre technique de calibration, nous utilisons une optimisation des moindres carrés qui agit de manière itérative et alternante pour exprimer les forces et les poses capturées dans un même repère spatio-temporel. En second lieu, nous étudions la relation entre le mouvement et les forces capturées dans le but d'exprimer des poses exclusivement en terme des forces de contact mesurées par les capteurs. Éliminer ainsi la capture de mouvement est particulièrement avantageux dans le contexte de l'escalade en raison des occlusions. Nous utilisons une optimisation basée sur la physique afin d'estimer des poses statiques à partir de forces de contact. La solution optimale pour notre fonction objectif est la pose la plus plausible pour les forces de contact et autres contraintes physiques prises en compte, telles que l'anatomie du grimpeur et l'emplacement des prises. Pour éliminer les minima locaux et pour accélérer l'optimisation, nous utilisons une fonction objectif simple qui guide notre résolveur vers une région prometteuse. En comparant des poses reconstruites à partir des forces de contact avec des poses mesurées via capture de mouvement, nous montrons que notre fonction objectif permet de modéliser de manière adéquate le choix de posture d'êtres humains