End to End Learning in Autonomous Driving Systems

Convolutional neural networks have advanced visual perception significantly in recent years. Two major ingredients that enable such a success are the composition of simple modules into a complex network and the end to end optimization. However, such success has not yet revolutionized robotics as much as vision, even if robotics suffer from similar problems as traditional computer vision, i.e. imperfectness of the manual pipeline design of the system. This thesis investigates using end-to-end learning for the autonomous driving system, a concrete robotic application. End to end learning can produce reasonable driving behaviors, even in the complex urban driving scenarios. Representation learning in end-to-end driving models is crucial, and auxiliary vision tasks such as semantic segmentation can help to form a more informative driving representation especially when training data is limited. Naive convolutional neural networks are usually only capable of doing reactive control and can not involve complex reasoning in a particular scenario. This thesis also studies how to handle scene conditioned driving behavior, which goes beyond the capability of reactive control. Alongside the end-to-end structure, learning methods also play a critical role. Imitation learning methods will acquire meaningful behaviors but usually, the robot can not master the skill. Reinforcement learning, on the contrary, either barely learns anything if the environment is too complex, or it can master the skill otherwise. To get the best of both worlds, this thesis proposes an algorithmically unified method to learn from both demonstration data and the environment

Rehabilitation Outcome Following Acute Stroke: Considering Ideomotor Apraxia

Stroke is a leading cause of death and the leading cause of adult disability in the United States affecting approximately 795,000 people yearly. Stroke sequelae often span multiple domains, including motor, cognitive, and sensory subsystems. Impairments can contribute to difficulty participating in activities of daily living (ADLs) and translate into disability - a concern for patients and occupational therapists alike. The role of ideomotor apraxia (IMA) in stroke rehabilitation is unclear. Thus, the purpose of these two studies is to investigate stroke rehabilitation outcome while considering the presence of ideomotor apraxia. Stroke causes dysfunctional movement patterns arising from an array of potential etiologies. Agreement exists that understanding the patient's functioning serves as the basis for the rehabilitation process and it is insufficient for clinicians simply to determine functional movement problems without knowing how underlying impairments contribute. Stroke-induced paresis is a prevalent impairment and frequent target of traditional rehabilitation. Stroke rehabilitation often addresses paresis narrowly with little consideration for other stroke consequences. Ideomotor apraxia is one such disorder after stroke that could conceivably limit rehabilitation benefit of otherwise efficacious treatment interventions aimed at remediating paresis. This led us to an initial study of a subject who experienced a single left, ischemic stroke with paresis of his right upper extremity and comorbid ideomotor apraxia. The subject participated in combined physical and mental practice for six consecutive weeks to improve use of his right arm. After intervention, the subject demonstrated clinically significant improvements in functional performance of his more-affected right upper extremity and reported greater self-perception of performance. The subject continued to demonstrate improvements after four weeks with no intervention and despite persistent IMA. This single case report highlights the importance of recognizing that ideomotor apraxia does present after stroke, and traditional stroke rehabilitation efforts directed at paresis can be efficacious for subjects with IMA. Traditional beliefs suggested that ideomotor apraxia does not translate to disability in everyday life and that IMA resolves spontaneously. Despite accumulating evidence of the influence of IMA on functional ability, this topic remains relatively neglected. It is unclear how ideomotor apraxia affects the rehabilitation process. The second study reports rehabilitation outcomes of a group of subjects following acute stroke. The Florida Apraxia Battery gesture-to-verbal command test was used to detect IMA in subjects. Level of independence with a set of ADLs and motor impairment of the more-affected upper extremity was documented at admission and discharge. Study subjects participated in standard of care stroke rehabilitation in the inpatient rehabilitation units. A total of fifteen subjects who sustained a left hemisphere stroke participated in this study - ten with IMA and five without IMA. After rehabilitation, subjects with IMA improved ADL independence and displayed decreased motor impairment of their right upper extremity. Subjects with and without IMA exhibited comparable improvements in ADL independence, but subjects with IMA exhibited less ADL independence upon when compared to subjects without IMA. Additional findings suggested that subjects with IMA were not different with respect to motor impairments and length of stay; however, additional studies with larger sample sizes are needed. In summary, these two studies aid to elucidate the implications of ideomotor apraxia on traditional stroke rehabilitation efforts. Study subjects with ideomotor apraxia after acute stroke still derive benefit from traditional rehabilitation. Because traditional rehabilitation interventions narrowly target motor impairment, these findings support the need for considering IMA as a factor in developing interventions tailored to patients with IMA and possibly as a specific focus for interventions. A step toward addressing this need is to assess whether IMA is present after stroke on a regular basis. This work provides a framework for researchers and clinicians to investigate further how ideomotor apraxia translates into disability. These findings are important since consideration of ideomotor apraxia could influence selection and design of rehabilitation interventions to optimize patient daily functioning after stroke

Situational Awareness in Operational Police Encounters : How is it formed, what factors influence it and how it can be trained

Taitoa ja kykyä muodostaa tilannetietoisuus voidaan pitää kaikkein tärkeimpänä ja kriittisempiä taitona poliisin ammatissa, sillä kaikki poliisitoiminta kuten päätösten tekeminen, taktiikan valinta ja voimakeinojen käyttämisen arviointi ja keinot perustuvat tai niiden tulisi perustua tilannetietoisuuteen. Tässä väitöskirjassa määritellään poliisin operatiivisessa toiminnassa vaadittava tilannetietoisuus; miten tilannetietoisuus muodostuu, mitä se sisältää ja mitkä tekijät vaikuttavat siihen sekä miten poliisitoimintaan liittyvää tilannetietoisuuden opetusta voidaan kehittää. Tämä väitöskirja sisältää neljä osatutkimusta, joissa jokaisessa poliisityöhön liittyvää tilannetietoisuutta pyritään selvittämään erilaisilla tutkimuskysymyksillä ja menetelmillä. Ensimmäisessä teoreettisessa tutkimuksessa keskitytään selvittämään sitä, mitä poliisin operatiiviseen toimintaan liittyvästä tilannetietoisuudesta on aikaisemmin tiedetty ja sitä mitä pitäisi edelleen tutkia, sekä selvitetään motoristen taitojen oppimisen ja tilannetietoisuuden oppimisen välistä yhteyttä. Toisessa osatutkimuksessa tutkitaan tilannetietoisuuteen liittyvää toimintaa ja käyttäytymistä empiirisen tutkimusasetelman avulla sekä selvitetään tutkimuksessa määriteltyjen käyttäytymisen ulottuvuuksien ja yksilöllisen persoonallisuuden piirteiden välistä yhteyttä. Väitöskirjan toisessa empiirisessä tutkimusasetelmassa selvitetään katseen käyttäytymistä sekä käsitteellistetään nimenomaan poliisitoimintaan liittyvä tilannetietoisuus käyttämällä kvalitatiivisia menetelmiä. Väitöskirjan tulokset käsittelevät poliisin tilannetietoisuuden kouluttamiseen ja käytäntöihin liittyviä poliisin koulutuksen maailmanlaajuisia haasteita; poliisityöhön liittyvää tilannetietoisuutta ei ole koskaan aikaisemmin määritelty tai operationalisoitu, ja se on ollut merkittävä rajoitus tilannetietoisuuden ja operatiivisen poliisitoiminnan opetukselle ja koulutukselle sekä niiden kehittämiselle. Tämä väitöstutkimus osoittaa, että poliisin tilannetietoisuuteen liittyvät elementit voidaan tunnistaa, määritellä ja niitä on mahdollista opettaa. Väitöskirja paljastaa ja määrittelee kuusi käyttäytymisen ulottuvuutta, jotka vaikuttavat tilannetietoisuuteen ja/tai poliisin toimintaan joko positiivisesti tai negatiivisesti sekä näiden ulottuvuuksien ja persoonallisuuden piirteiden välisiä yhteyksiä. Väitöskirjassa selvitetään millä tavoin kokeneet poliisit pyrkivät keräämään tietoa erilaisissa kohtaamisissa. Lopuksi väitöskirjassa tunnistetaan ja määritellään kokeneiden poliisien, eksperttien käyttämät seitsemän erityistä teemaa/elementtiä, joiden avulla voidaan muodostaa operatiivisen poliisitoiminnan edellyttämä tilannetietoisuus.The formation of situational awareness can be seen as the most critical and important skill in the police profession, as all other activities of the police, such as decision-making, tactics, and the use of force, are or should be based on situational awareness. This dissertation defines the situational awareness required in the operational work situations of police, what it consists of and is formed by, what factors affect it, and how its teaching can be developed. The dissertation consists of four sub-studies, each of which examined the situational awareness of the police through a variety of research questions and settings. Some of the sub-studies examined what was previously known about situational awareness specific to the police, what should be investigated, and the link between the learning of police situational awareness and other motor skills. The dissertation also studied behaviour and activity related to situational awareness in simulated training tasks and examined the relationship between newly defined behavioural dimensions and individual personality traits. The second empirical study design in this dissertation examined gaze behaviour and used qualitative methods to conceptualize police-specific situational awareness. The results of the dissertation address global challenges of police education relating to the training and practices of police situational awareness, which has so far not been defined or operationalized and is a major limitation for teaching and training. This research shows that elements related to police situational awareness can be identified, defined, and taught. The dissertation revealed and defined six behavioural dimensions that affect situational awareness and/or police activity either positively or negatively, as well as the relationship between these dimensions and personality traits. The dissertation identified the ways in which officers try to collect information in various encounters. Finally, the dissertation identified and defined seven specific themes that when taken into account can form the specific situational awareness of the police

Improving passive driver fatigue, sitting health risk factors and user experience in automobiles. Conception, development and evaluation of a novel interactive seating system

Lange Fahrten in Automobilen werden oftmals von monotoniebedingter Ermüdung durch mangelnde Stimulation sowie körperlichen Gesundheitsrisiken durch langanhaltendes Sitzen begleitet. In der Literatur werden kognitive Zusatzaufgaben als Maßnahme gegen monotoniebedingte Ermüdung vorgeschlagen. Der Stand der Technik um gesundheitliche Risiken durch langanhaltendes Sitzen im Fahrzeug zu reduzieren, beschränkt sich hauptsächlich auf Sitzsysteme, welche die Passagiere passiv mobilisieren. Mit dem Ziel die Fahrsicherheit zu erhöhen und gleichzeitig Gesundheitsrisiken zu reduzieren, wurde ein neuartiges interaktives Sitzsystem (IASS) konzipiert, entwickelt und evaluiert. Das IASS soll den Fahrer/die Fahrerin oder die Passagiere dazu motivieren mit dem Sitz zu interagieren und dabei aktive Bewegungen gegen die Sitzfläche auszuführen. Im Gegensatz zu aktuellen interaktiven Sitzsystemen erfolgt die grundlegende Interaktion nicht über ein Display. Stattdessen werden auditive Einsprachen, Luftblasen in der Lehne, Vibrationsmotoren sowie die Ambientebeleuchtung genutzt. Ein Display kommt lediglich bei der Einführung in die Nutzung des Systems oder ergänzend für die Passagiere zum Einsatz. Das ermöglicht, dass der Fahrer/die Fahrerin den Blick und damit auch die Aufmerksamkeit auf der Straße behalten kann. Dadurch soll das System, im Gegensatz zum Stand der Technik, nicht nur für die Passagiere, sondern auch für den Fahrer/die Fahrerin geeignet sein. Das wiederum eröffnet die Möglichkeit das IASS als Zusatzaufgabe neben dem Fahren zu nutzen, um einer momotoniebedingten Reduktion der Aufmerksamkeit entgegenzuwirken. Dabei ist anzumerken, dass die erhöhte Fahrsicherheit durch eine verbesserte Aufmerksamkeit nicht nur den Insassen, sondern auch den anderen Verkehrsteilnehmern dient. Gleichzeitig haben alle Passagiere die Möglichkeit, durch die physiologisch sinnvollen Bewegungen gegen den Sitz, die Gesundheitsrisiken durch langanhaltendes Sitzen zu reduzieren. Insgesamt wurden drei Probandenstudien durchgeführt, um das IASS zu entwickeln und zu evaluieren. Die erste Probandenstudie diente der Entwicklung des IASS. Um die Bewegungen des Passagiers/der Passagierin bei der Interaktion zu detektieren, wurden Drucksensoren in der Sitzlehne integriert. Zur Gewährleistung einer zuverlässigen Bewegungserkennung von Passagieren mit unterschiedlichen anthropometrischen Merkmalen, war es entscheidend, die Sensoren an optimalen Positionen in der Lehne zu platzieren. Daher war der erste Schritt im Entwicklungsprozess des IASS die Durchführung einer Probandenstudie, um diese optimalen Positionen festzulegen. Im Rahmen der Studie wurden Sitzdruckverteilungsbilder erfasst und anschließend mit einer Methode, dem Statistical Parametric Mapping ausgewertet, die für gewöhnlich bei der funktionellen Magnetresonanztomographie eingesetzt wird. In der vorliegenden Arbeit wurde diese Methode erstmalig zur Auswertung von Sitzdruckverteilungen herangezogen. Der Vorteil gegenüber herkömmlichen Methoden ist die hohe örtliche Auflösung. Damit war es möglich, die Sensoranbringungspunkte sehr präzise zu definieren. Anschließend wurde das IASS auf Basis der in der ersten Studie gewonnenen Information aufgebaut und anschließend in zwei weiteren Probandenstudien mit einem aktuellen Sitzmassagesystem (MS) hinsichtlich Wirksamkeit verglichen. In der zweiten Probandestudie sollte das Potential des IASS für die Fahrsicherheit bewertet werden. Die im Fahrsimulator durchgeführte Studie zeigte, dass das IASS die monotoniebedingte Ermüdung reduzierte, während dieser Effekt bei Nutzung des MS nicht auftrat. Das IASS wurde ebenfalls bezüglich des Nutzererlebnisses sowie der emotionalen Wahrnehmung gegenüber dem MS bevorzugt. Außerdem bewerteten die Probanden und Probandinnen, dass das IASS im Vergleich zum MS, sowohl Komfort wesentlich stärker erhöhte als auch Diskomfort stärker reduzierte. In der dritten und abschließenden Probandenstudie wurde untersucht, ob das IASS den körperlichen Gesundheitsrisiken durch langanhaltendes Sitzen besser entgegen wirkt als das MS. Hierfür wurden beide Sitzsysteme in einem Serienfahrzeug verbaut. Um die Effekte beider Sitzsysteme zu vergleichen, wurden gesundheitsrelevante Parameter erfasst. Damit fahrtbedingte Signalstörungen ausgeschlossen werden konnten, wurde die Studie im stehenden Fahrzeug durchgeführt. Das Elektrokardiogramm zeigte, dass ausschließlich das IASS die Herzfrequenz erhöhte. Elektromyographische Messungen zeigten außerdem, dass das IASS die Aktivität in den sechs erfassten Muskeln erhöhte, während beim MS lediglich ein Muskel eine Tendenz zur Aktivitätserhöhung zeigte. Entsprechend sind die gesundheitsfördernden Effekte des IASS im Vergleich zum MS als wesentlich stärker einzustufen. Nach dem Kenntnisstand des Autors, ist dies die erste wissenschaftliche Publikation welche eine motorische Zusatzaufgabe als Maßnahme gegen monotoniebedingte Ermüdung im Fahrzeug untersucht. Darüber hinaus wurde erstmalig direkt verglichen, ob ein automobiles Sitzsystem welches zu aktiven Bewegungen animiert, einem System das die Passagiere passiv bewegt, hinsichtlich der Reduktion der negativen körperlichen Effekte des Sitzens überlegen ist