Unified Behavior Framework for Reactive Robot Control in Real-Time Systems

Endeavors in mobile robotics focus on developing autonomous vehicles that operate in dynamic and uncertain environments. By reducing the need for human-in- the-loop control, unmanned vehicles are utilized to achieve tasks considered dull or dangerous by humans. Because unexpected latency can adversely affect the quality of an autonomous system\u27s operations, which in turn can affect lives and property in the real-world, their ability to detect and handle external events is paramount to providing safe and dependable operation. Behavior-based systems form the basis of autonomous control for many robots. This thesis presents the unified behavior framework, a new and novel approach which incorporates the critical ideas and concepts of the existing reactive controllers in an effort to simplify development without locking the system developer into using any single behavior system. The modular design of the framework is based on modern software engineering principles and only specifies a functional interface for components, leaving the implementation details to the developers. In addition to its use of industry standard techniques in the design of reactive controllers, the unified behavior framework guarantees the responsiveness of routines that are critical to the vehicle\u27s safe operation by allowing individual behaviors to be scheduled by a real-time process controller. The experiments in this thesis demonstrate the ability of the framework to: 1) interchange behavioral components during execution to generate various global behavior attributes; 2) apply genetic programming techniques to automate the discovery of effective structures for a domain that are up to 122 percent better than those crafted by an expert; and 3) leverage real-time scheduling technologies to guarantee the responsiveness of time critical routines regardless of the system\u27s computational load

DEVELOPMENT OF AN AUTONOMOUS NAVIGATION SYSTEM FOR THE SHUTTLE CAR IN UNDERGROUND ROOM & PILLAR COAL MINES

In recent years, autonomous solutions in the multi-disciplinary field of the mining engineering have been an extremely popular applied research topic. The growing demand for mineral supplies combined with the steady decline in the available surface reserves has driven the mining industry to mine deeper underground deposits. These deposits are difficult to access, and the environment may be hazardous to mine personnel (e.g., increased heat, difficult ventilation conditions, etc.). Moreover, current mining methods expose the miners to numerous occupational hazards such as working in the proximity of heavy mining equipment, possible roof falls, as well as noise and dust. As a result, the mining industry, in its efforts to modernize and advance its methods and techniques, is one of the many industries that has turned to autonomous systems. Vehicle automation in such complex working environments can play a critical role in improving worker safety and mine productivity. One of the most time-consuming tasks of the mining cycle is the transportation of the extracted ore from the face to the main haulage facility or to surface processing facilities. Although conveyor belts have long been the autonomous transportation means of choice, there are still many cases where a discrete transportation system is needed to transport materials from the face to the main haulage system. The current dissertation presents the development of a navigation system for an autonomous shuttle car (ASC) in underground room and pillar coal mines. By introducing autonomous shuttle cars, the operator can be relocated from the dusty, noisy, and potentially dangerous environment of the underground mine to the safer location of a control room. This dissertation focuses on the development and testing of an autonomous navigation system for an underground room and pillar coal mine. A simplified relative localization system which determines the location of the vehicle relatively to salient features derived from on-board 2D LiDAR scans was developed for a semi-autonomous laboratory-scale shuttle car prototype. This simplified relative localization system is heavily dependent on and at the same time leverages the room and pillar geometry. Instead of keeping track of a global position of the vehicle relatively to a fixed coordinates frame, the proposed custom localization technique requires information regarding only the immediate surroundings. The followed approach enables the prototype to navigate around the pillars in real-time using a deterministic Finite-State Machine which models the behavior of the vehicle in the room and pillar mine with only a few states. Also, a user centered GUI has been developed that allows for a human user to control and monitor the autonomous vehicle by implementing the proposed navigation system. Experimental tests have been conducted in a mock mine in order to evaluate the performance of the developed system. A number of different scenarios simulating common missions that a shuttle car needs to undertake in a room and pillar mine. The results show a minimum success ratio of 70%

User-centered design of an interactive social service concept for elderly people

The population is greying rapidly. Technologies are booming to maintain independence and wellbeing of the elderly people. Many designs and researches are particularly focused on physiological and safety needs of the elderly people. Though technologies have capabilities to affect the social aspects of the elderly people in a positive way, there are fewer researches commenced to date. The main purpose of this thesis work is to find out the needs of the elderly people and design appropriate technological solution for the elderly people addressing those needs using User Centered Design Approach. Various data collection methods such as semi-structured thematic interviews, observation and diary method were utilized to collect user needs. Then user data were consolidated using affinity diagram and the needs were classified using Maslow’s Hierarchy of Needs. Based on the user studies and the literature review of existing technologies, the need for social technology was figured out and the design phase involved the development of Social TV prototype. The design process was iterative in terms of creating scenarios and storyboards as well as User Environment Design to attain simplicity in design. Then the mid-fidelity prototype of social TV named ElderTV was developed to demonstrate the concept. The evaluation of the prototype was conducted utilizing sociability heuristics for social TV where the designed prototype was compared against each heuristics rules and these rules served as design guidelines during the design phase of the prototype. The resulted social TV concept for elderly people is designed to address elderly peoples’ needs to strengthen the existing social ties. The concept is expected to extend TV viewing activity of the elderly people into shared experience by allowing them to communicate with a circle of friends and families. The prototype is intended to illustrate how elderly people can share feeling of togetherness while watching television and alleviate the loneliness and isolation of the elderly

Synaptic Learning for Neuromorphic Vision - Processing Address Events with Spiking Neural Networks

Das Gehirn übertrifft herkömmliche Computerarchitekturen in Bezug auf Energieeffizienz, Robustheit und Anpassungsfähigkeit. Diese Aspekte sind auch für neue Technologien wichtig. Es lohnt sich daher, zu untersuchen, welche biologischen Prozesse das Gehirn zu Berechnungen befähigen und wie sie in Silizium umgesetzt werden können. Um sich davon inspirieren zu lassen, wie das Gehirn Berechnungen durchführt, ist ein Paradigmenwechsel im Vergleich zu herkömmlichen Computerarchitekturen erforderlich. Tatsächlich besteht das Gehirn aus Nervenzellen, Neuronen genannt, die über Synapsen miteinander verbunden sind und selbstorganisierte Netzwerke bilden. Neuronen und Synapsen sind komplexe dynamische Systeme, die durch biochemische und elektrische Reaktionen gesteuert werden. Infolgedessen können sie ihre Berechnungen nur auf lokale Informationen stützen. Zusätzlich kommunizieren Neuronen untereinander mit kurzen elektrischen Impulsen, den so genannten Spikes, die sich über Synapsen bewegen. Computational Neuroscientists versuchen, diese Berechnungen mit spikenden neuronalen Netzen zu modellieren. Wenn sie auf dedizierter neuromorpher Hardware implementiert werden, können spikende neuronale Netze wie das Gehirn schnelle, energieeffiziente Berechnungen durchführen. Bis vor kurzem waren die Vorteile dieser Technologie aufgrund des Mangels an funktionellen Methoden zur Programmierung von spikenden neuronalen Netzen begrenzt. Lernen ist ein Paradigma für die Programmierung von spikenden neuronalen Netzen, bei dem sich Neuronen selbst zu funktionalen Netzen organisieren. Wie im Gehirn basiert das Lernen in neuromorpher Hardware auf synaptischer Plastizität. Synaptische Plastizitätsregeln charakterisieren Gewichtsaktualisierungen im Hinblick auf Informationen, die lokal an der Synapse anliegen. Das Lernen geschieht also kontinuierlich und online, während sensorischer Input in das Netzwerk gestreamt wird. Herkömmliche tiefe neuronale Netze werden üblicherweise durch Gradientenabstieg trainiert. Die durch die biologische Lerndynamik auferlegten Einschränkungen verhindern jedoch die Verwendung der konventionellen Backpropagation zur Berechnung der Gradienten. Beispielsweise behindern kontinuierliche Aktualisierungen den synchronen Wechsel zwischen Vorwärts- und Rückwärtsphasen. Darüber hinaus verhindern Gedächtnisbeschränkungen, dass die Geschichte der neuronalen Aktivität im Neuron gespeichert wird, so dass Verfahren wie Backpropagation-Through-Time nicht möglich sind. Neuartige Lösungen für diese Probleme wurden von Computational Neuroscientists innerhalb des Zeitrahmens dieser Arbeit vorgeschlagen. In dieser Arbeit werden spikende neuronaler Netzwerke entwickelt, um Aufgaben der visuomotorischen Neurorobotik zu lösen. In der Tat entwickelten sich biologische neuronale Netze ursprünglich zur Steuerung des Körpers. Die Robotik stellt also den künstlichen Körper für das künstliche Gehirn zur Verfügung. Auf der einen Seite trägt diese Arbeit zu den gegenwärtigen Bemühungen um das Verständnis des Gehirns bei, indem sie schwierige Closed-Loop-Benchmarks liefert, ähnlich dem, was dem biologischen Gehirn widerfährt. Auf der anderen Seite werden neue Wege zur Lösung traditioneller Robotik Probleme vorgestellt, die auf vom Gehirn inspirierten Paradigmen basieren. Die Forschung wird in zwei Schritten durchgeführt. Zunächst werden vielversprechende synaptische Plastizitätsregeln identifiziert und mit ereignisbasierten Vision-Benchmarks aus der realen Welt verglichen. Zweitens werden neuartige Methoden zur Abbildung visueller Repräsentationen auf motorische Befehle vorgestellt. Neuromorphe visuelle Sensoren stellen einen wichtigen Schritt auf dem Weg zu hirninspirierten Paradigmen dar. Im Gegensatz zu herkömmlichen Kameras senden diese Sensoren Adressereignisse aus, die lokalen Änderungen der Lichtintensität entsprechen. Das ereignisbasierte Paradigma ermöglicht eine energieeffiziente und schnelle Bildverarbeitung, erfordert aber die Ableitung neuer asynchroner Algorithmen. Spikende neuronale Netze stellen eine Untergruppe von asynchronen Algorithmen dar, die vom Gehirn inspiriert und für neuromorphe Hardwaretechnologie geeignet sind. In enger Zusammenarbeit mit Computational Neuroscientists werden erfolgreiche Methoden zum Erlernen räumlich-zeitlicher Abstraktionen aus der Adressereignisdarstellung berichtet. Es wird gezeigt, dass Top-Down-Regeln der synaptischen Plastizität, die zur Optimierung einer objektiven Funktion abgeleitet wurden, die Bottom-Up-Regeln übertreffen, die allein auf Beobachtungen im Gehirn basieren. Mit dieser Einsicht wird eine neue synaptische Plastizitätsregel namens "Deep Continuous Local Learning" eingeführt, die derzeit den neuesten Stand der Technik bei ereignisbasierten Vision-Benchmarks erreicht. Diese Regel wurde während eines Aufenthalts an der Universität von Kalifornien, Irvine, gemeinsam abgeleitet, implementiert und evaluiert. Im zweiten Teil dieser Arbeit wird der visuomotorische Kreis geschlossen, indem die gelernten visuellen Repräsentationen auf motorische Befehle abgebildet werden. Drei Ansätze werden diskutiert, um ein visuomotorisches Mapping zu erhalten: manuelle Kopplung, Belohnungs-Kopplung und Minimierung des Vorhersagefehlers. Es wird gezeigt, wie diese Ansätze, welche als synaptische Plastizitätsregeln implementiert sind, verwendet werden können, um einfache Strategien und Bewegungen zu lernen. Diese Arbeit ebnet den Weg zur Integration von hirninspirierten Berechnungsparadigmen in das Gebiet der Robotik. Es wird sogar prognostiziert, dass Fortschritte in den neuromorphen Technologien und bei den Plastizitätsregeln die Entwicklung von Hochleistungs-Lernrobotern mit geringem Energieverbrauch ermöglicht