A Semi-Markov Decision Model for Recognizing the Destination of a Maneuvering Agent in Real Time Strategy Games

Recognizing destinations of a maneuvering agent is important in real time strategy games. Because finding path in an uncertain environment is essentially a sequential decision problem, we can model the maneuvering process by the Markov decision process (MDP). However, the MDP does not define an action duration. In this paper, we propose a novel semi-Markov decision model (SMDM). In the SMDM, the destination is regarded as a hidden state, which affects selection of an action; the action is affiliated with a duration variable, which indicates whether the action is completed. We also exploit a Rao-Blackwellised particle filter (RBPF) for inference under the dynamic Bayesian network structure of the SMDM. In experiments, we simulate agents’ maneuvering in a combat field and employ agents’ traces to evaluate the performance of our method. The results show that the SMDM outperforms another extension of the MDP in terms of precision, recall, and F-measure. Destinations are recognized efficiently by our method no matter whether they are changed or not. Additionally, the RBPF infer destinations with smaller variance and less time than the SPF. The average failure rates of the RBPF are lower when the number of particles is not enough

An Overview on Study of Identification of Driver Behavior Characteristics for Automotive Control

Driver characteristics have been the research focus for automotive control. Study on identification of driver characteristics is provided in this paper in terms of its relevant research directions and key technologies involved. This paper discusses the driver characteristics based on driver’s operation behavior, or the driver behavior characteristics. Following the presentation of the fundamental of the driver behavior characteristics, the key technologies of the driver behavior characteristics are reviewed in detail, including classification and identification methods of the driver behavior characteristics, experimental design and data acquisition, and model adaptation. Moreover, this paper discusses applications of the identification of the driver behavior characteristics which has been applied to the intelligent driver advisory system, the driver safety warning system, and the vehicle dynamics control system. At last, some ideas about the future work are concluded

Estudio en tecnologías de conducción autónoma centrados en factores humanos

La implantación de los vehículos autónomos en nuestras carreteras parece estar cada vez más cerca. Sin embargo, numerosos retos quedan por resolver para conseguir una implantación eficiente y segura en el entorno actual del transporte rodado. El despliegue ideal debe ser progresivo y manteniendo, e incluso mejorando la seguridad de las carreteras. Asumiendo el alcance de la técnica en la tecnología que dotará a los vehículos de una autonomía en mayor o menor media, existen desafíos de interacción entre los distintos tipos de vehículos (según su nivel de autonomía) que aún no han sido resueltos. El comportamiento de los conductores es un factor significativo cuando se trata de la seguridad del tráfico, además de la interacción con otros usuarios vulnerables existentes como los peatones. Las principales contribuciones de esta investigación se centran en factores humanos dentro de estas tecnologías, tanto en la fase híbrida de conducción manual con sistemas de ayuda a la conducción, como de una fase avanzada donde la interacción entre el vehículo autónomo y el resto de los usuarios de la vía será clave de cara a lograr la implantación de estas tecnologías. Primero, se presenta un sistema de ayuda a la conducción desarrollado para monitorizar y detectar el comportamiento de los conductores. La mayoría de los conductores que conducen con un comportamiento inoportuno requieren sólo información para cambiar su comportamiento y adecuarse a la vía, con ello, se obtendrá un entorno con conductores más seguros y eficientes. Conocer el comportamiento de los actuales conductores ayudará a resolver las incógnitas en cuanto a la interacción con vehículos autónomos. El segundo ámbito presentado es relativo al conocimiento del entorno, con la intención de progresar en el desarrollo del conocimiento del entorno sin necesidad de equipos complejos de procesado, únicamente los actualmente comunes smartphones; ayudarán en la seguridad vial aportando más información al vehículo (sea o no autónomo). Por último, tras la detección del entorno y en concreto de los peatones, se realiza un estudio pormenorizado de la interacción peatón-vehículo, pieza clave para alcanzar el objetivo de seguridad en un futuro autónomo. Se profundiza en la cuestión específica de la interacción entre peatones y vehículos automatizados, evaluando los recientes avances en las interfaces externas hombre-máquina (eHMI), que permiten transmitir información sobre el estado y la intención del vehículo al resto de los participantes en el tráfico. Se explorarán los últimos avances y se presentarán y contextualizarán estudios que analicen su eficacia a partir de datos de retroalimentación de los peatones. Como resultado de ello, pretendemos dibujar una amplia perspectiva sobre el estado actual y las técnicas recientes del eHMI y algunas directrices que fomenten la investigación y el desarrollo futuros de estos sistemas. El objetivo final de esta tesis es conectar el presente con el futuro de la conducción autónoma. Realizado un estudio del comportamiento del conductor, podemos conocer cómo interactúa con otros vehículos no autónomos (presente), para definir cómo lo hará en un futuro con vehículos autónomos. Además de conocer su entorno e interacción para establecer los canales de comunicación más eficientes con los peatones, que darán como resultado un entorno más seguro, eficiente y accesible.Programa de Doctorado en Ingeniería Eléctrica, Electrónica y Automática por la Universidad Carlos III de MadridPresidente: Andrés Iborra García.- Secretario: Agapito Ismael Ledezma Espino.- Vocal: Jesús Salido Tercer

Fahrerverhaltensvorhersage an Kreisverkehren

Roundabouts are considered important because converting an intersection into a roundabout has been proven to improve safety. However, the absolute number of crashes at roundabouts is still high. Many crashes occur because car drivers fail to yield. Intelligent systems can increase safety if they can prevent crashes by precisely predicting driver maneuvers. Therefore, a reliable and trustworthy predictive model of driver maneuvers is needed. A few studies analyze human behavior at roundabouts. However, they focus on an operational timescale rather than on maneuvers on a tactical timescale. Tactical maneuvers have mostly been investigated in scenarios about typical intersections and overtaking. Thus, there is still a lack of research on driver maneuver prediction at roundabouts. To fill this gap, the objective of this thesis is to develop a model that can predict driver maneuvers at single-lane roundabouts. Two types of driver maneuvers are possible in front of each exit of a roundabout: exiting the roundabout and staying in the roundabout. To predict which maneuver a driver will execute in front of an exit, a driver maneuver predictive model was developed on the basis of an analysis of driver behavior data acquired from a field study and a simulator study. Soft-classification algorithms were proposed to train the predictive model. The model consisted of four sub-models for four different scenarios, which were defined by the correlation between roundabout layouts and drivers' steering behavior. The sub-models make it possible to predict the exiting or staying maneuvers executed in the corresponding scenarios. Furthermore, a personalized predictive model was developed to adapt to individual drivers because different drivers have different driving styles. The driver maneuver predictive model shows excellent predictability: In the scenarios without traffic, the model reported prediction results for more than 97.60% of test drives at the position 10 m from the exits of the roundabouts. Of these drives, more than 97.10% were predicted correctly. The personalized predictive model provided even better prediction results for individual drivers with significantly different driving styles. Moreover, the driver maneuver predictive model also successfully predicts drivers' maneuvers in most scenarios with cyclists. The prediction results show that steering angle, steering angle speed, velocity, and acceleration of the ego car provide the most important information. With this information, the model can predict the maneuver of a driver with any type of driving style at a single-lane roundabout with any type of layout.Kreisverkehre gelten als ein wichtiger Bestandteil der Verkehrsinfrastruktur, da ihre Verwendung anstelle von traditionellen Kreuzungen einen wesentlichen Beitrag zur Verkehrssicherheit leistet. Die absolute Anzahl von Unfällen bleibt jedoch auch an Kreisverkehren noch hoch. Viele Kollisionen werden dabei durch Missachtung der Vorfahrt verursacht. Intelligente Fahrzeugassistenzsysteme könnten hier eingreifen, vorausgesetzt sie verfügen über eine zuverlässige Vorhersage des Fahrerverhaltens. Hierfür wird ein robustes und präzises Modell für die Vorhersage von Fahrmanövern im Kreisverkehr benötigt. Empirische Studien zu menschlichem Verhalten an Kreisverkehren fokussieren in der Regel auf die operationale Ebene der Fahraufgabe, also auf eine zeitlich hoch aufgelöste Zeitskala. Die taktische Ebene, auf der Manöver wie "Verlassen des Kreisverkehr" stattfinden, wurde dabei jedoch nicht ausreichend analysiert. Insbesondere fehlen Modelle, die Fahrmanöver im Kreisverkehr vorhersagen. Ziel dieser Arbeit ist es daher, ein solches Modell für einspurige Kreisverkehre zu entwickeln. Zwei Arten von Manövern sind innerhalb eines einspurigen Kreisverkehrs möglich: Im Kreisel zu bleiben, oder ihn zu verlassen. Um möglichst früh eines der beiden Manöver vorherzusagen wurden im Rahmen dieser Arbeit verschiedene Modelle entwickelt, welche auf Fahrdaten aus dem Realverkehr sowie Simulationsstudien basieren. Für das Training der jeweiligen Modelle werden Soft-Klassifikationsalgorithmen vorgeschlagen, die auf einem Quasi-Hidden-Markov-Modell basieren. Dieses Modell besteht aus vier Teilmodellen für jeweils vier verschiedene Szenarien, die durch die Korrelation zwischen Kreisverkehrlayouts und Lenkverhalten von Fahrern definiert wurden. Mit den Teilmodellen können die in den entsprechenden Szenarien ausgeführten Manöver "Verlassen" oder "Bleiben" vorhergesagt werden. Des Weiteren wurde ein personalisiertes Vorhersagemodell entwickelt, um sich an den individuellen Fahrer anzupassen, da verschiedene Fahrer unterschiedliche Fahrstile aufweisen. Das Fahrmanöver-Vorhersagemodell zeigt eine ausgezeichnete Performanz: In den Szenarien ohne Verkehr lieferte das Modell in einem Abstand von 10 m vor der Kreisverkehrsausfahrt Vorhersagen für mindestens 97,60% aller Testfahrten. Von diesen Fahrten wurden wiederum über 97,10% korrekt vorhergesagt. Personalisierte Modelle erreichen noch bessere Vorhersageergebnisse. Sind weitere Verkehrsteilnehmer in den analysierten Szenarien anwesend liegt die Vorhersagegüte etwas darunter. Die Ergebnisse zeigen, dass Lenkwinkel, Lenkwinkelgeschwindigkeit sowie Eigengeschwindigkeit und -beschleunigung die wichtigsten Informationen liefern. Hiermit kann das Modell das Manöver eines Fahrers mit jeder Art von Fahrstil an einem Kreisverkehr mit jeder Art von Layout vorhersagen

HUMAN-ROBOT COLLABORATION IN ROBOTIC-ASSISTED SURGICAL TRAINING

Ph.DDOCTOR OF PHILOSOPH