Moving objects and removing obstacles with two robotic hands

This work deals with the problem of planning the movements of a two-hand system in order to grasp an object with one hand and using the other to remove potential obstacles. The approach is based on a Probabilistic Road Map that does not rule out samples with collisions with removable objects but instead classifies them according to the collided obstacle(s), and allows the search of free paths with the indication of which objects must be removed from the work-space to make the path be valid. The approach has been implemented and some examples are presented in this work

Flight Deck Centered Cost Efficient 4d Trajectory Planning

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2015Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2015Hava trafik yönetimi teknolojilerindeki mevcut sistemlerin dönüşümü göz önüne alındığında, gelecek uçuş operasyonlarının ve kokpit içi sistemlerin yeni aviyonik sistemlere ve operasyonel prosedürlere ihtiyaç duyacağını söylemek mümkündür. Özellikle adaptif algoritmalar ve gelişmiş karar destek sistemleri bu ihtiyaçların temelini oluşturmaktadır. Bu konseptlerin hayata geçirilmesi Hava Trafik Yönetimi kapsamında görevlerin ve sorumlulukların değişmesinde büyük rol oynayacaktır. En iyi karar yeri, en iyi karar zamanı ve en iyi karar veren bu bağlamda temel faktörlerdir. Örneğin; kontrolcüler hava trafiğini yönetmede yüksek derecede rol sahibi olacak ve bireysel rotalara müdahale sayısını azaltacaklardır. Pilotlar uçuş esnasında daha aktif olacak; çevreyi gözlemleme ve yönetme, seçenekleri analiz ete veya gerektiği durumda ayırma manevrası uygulama gibi önemli görevlerde daha çok görev alacaktır. Uçuş ekibinin rolündeki bu değişimler mevcut görevlerin yeniden tanımlanmasına gidilmesinin yanı sıra insan faktörü performansını da etkileyecektir. Geleceğin kokpit içi sistemlerinde uçuş ekibinin bu yeni görevleri başarıyla gerçekleştirmesini sağlayan yeni nesil cihazlar ve algoritmalar gerekecektir.  Bu tez kapsamında yapılan ilk çalışma, yeni nesil sentetik vizyon ve artırılmış gerçeklik tabanlı görselleştirme teknolojileri kullanılarak görsel kokpit içi karar destek araçları ve arayüzleri tasarımıdır. Dizayn edilen bu araçların NextGen ve SESAR 2020+ programlarında tanımlanmış gelecek uçuş operasyonlarının gereksinimlerini karşılaması amaçlanmaktadır. Bu aviyonik sistemler ile pilotların niyet paylaşımı/pazarlığı ile işbirlikçi taktiksel planlama, çözümleri alternatifleri ile birlikte tam olarak anlama/analiz etme/yorumlama ve yeni çözüm önerme gibi uçuş operasyonlarında desteklenmesi vizyonlanmıştır. Ek olarak, gerekli cevabın farkında olma, uygulama veya çarpışma önleyici sisteme otomasyon yetkisi verme gibi görevlerde de karar destek sağlanması hedeflenmiştir. Görsel karar destek sistemleri uçuş ekibinin yeni otonom sistemler ile etkileşimini ve tüm taktiksel veriyi görselleştirerek içinde bulunulan durumu veya gelişmekte olan uçuş operasyonunu anlaşılır olmasını mümkün kılmaktadır. Bu proje kapsamında iki farklı görsel yapı sunulmaktadır. Kokpitin Primary Flight Display bölgesinde yer alan sentetik vizyon ekran çifti pilotların 4D ortamda durum farkındalığı ile düşük ve yüksek seviyede taktiksel görevleri yönetmesini sağlamaktadır. SVD kısmı pilota yapay görsellik sağlamakla beraber gerekli güdüm, uçuş ve kısıtlı seviyede operasyonel bilgileri içermektedir. Tunnel-in-the-sky konsepti ile pilot, odaklanılan veya karar verilen rotayı tüneller aracılığıyla manuel olarak takip edebilir. Bununla beraber standart sentetik vizyon (sanal gerçeklik) ekranı fonksiyonlarını da kullanabilir. İrtifa ve hız bilgileri, radar frekans değerleri, harita ve yükselti bilgisi, hava koşulları gibi temel uçuş operasyonu verisi bu ekranda gösterilmektedir. 4D Operasyonel Ekranı (4DOD) operasyon durumu ile ilgili farkındalığı artırmak ve uçuş niyeti üzerindeki modifikasyonları göstermek üzere yüksek seviyede operasyonel bilgileri sağlamaktadır. Pilot, hem kendi yörüngesini kontrol edebilmekte hem de trafikteki uçaklara ait rotaları izleyebilmektedir. Aynı zamanda ileriye dönük hızlandırılmış simulasyon fonksiyonu da bulunmaktadır. Kokpitin veri bağlantısı üzerinden yer ile rota ve uçuş planı paylaşımı sürecinin yönetilmesi bu ekran aracılığıyla olmaktadır. Haptik arayüzler ile uçuş ekibi gösterilen bilgileri ve görselleri 2D+zaman ve 3D+zaman boyutunda yönetebilmektedir. Sentetik vizyon ve 4DOD ekran çiftine paralel olarak pilotun görüş hizası üzerine inşa edilmiş Head-up Display (HUD)bulunmaktadır. HUD aracılığıyla pilot benzer şekilde temel uçuş durum bilgilerini aşağıya bakma gereği duymadan izleyebilmekte, tunnel-in-the-sky konsepti sayesinde hedef yörüngeyi tüneller arasından uçmaya çalışarak takip edebilmektedir. Bu görsel karar destek sistemleri ve algoritmalarının donanım olarak entegrasyonu, Boeing 737-800 uçuş simulatörü üzerinde gerçekleşmiştir. Sentetik vizyon ve 4DOD ekran çifti Primary Flight Display (PFD) monitörleri üzerinde çizdirilmiştir. Head-up Display (HUD), kaptan pilot ile ön cam arasına yerleştirilmiştir. Özel bir film kullanılarak görüntü arkadan mini-projeksiyon cihazı aracılığıyla yansıtılmıştır. Her bir görsel karar destek sistemi simulatörün ağına bağlanmış olup veri akışını kontrol eden ve yöneten algoritmalar düzenlenmiştir. Uçuş simulatörü, Hava Trafik Kontrolü test ortamı ile birleştirilerek geliştirilen yeni nesil aviyonik konseptlerinin uçuş operasyonları üzerindeki etkileri resmedilmiştir. Hava Trafik Kontrolü test ortamı trafik ve hava durumu tasarlayıcı, Hava Trafik Kontrol ekranları ve kontrolörün davranışının benzetim çalışmalarını yapan modellerden oluşmaktadır. Test ortamı aynı zamanda ALLFT+ tabanlı geçmiş uçuşlara ait gerçek veri kullanarak önceden belirlenmiş veya düzenlenebilen senaryoların oynatılmasını sağlamaktadır. Trafik ve hava durumu tasarlayıcı modül Demand Data Repository veritabanı üzerinden beslenen havaalanı ve hava sahası kapasite bilgilerini ve Aeronautical Information Publication'dan gelen operasyonel bilgileri içermektedir. Benzer şekilde, modifiye edilmiş senaryolar veya geçmiş hava durumu bilgileri METAR verisi üzerinden aktarılmaktadır. Test ortamı günümüz hava trafik kontrol ekranları, ses ile iletişim, otonom veya karar destekli kontrol operasyonlarını ifade eden modeller aracılığı ile hem günümüz operasyonlara hem de geleceğe yönelik çalışmalara ait senaryoları koşabilmektedir.  Projenin ikinci aşaması ve ana amacı ise taktiksel 4D yörünge planlaması ve otomasyon araçları ile donatılmış uçak için "conflict resolution", ya da potansiyel çarpışma önleyici ve bunu otonom olarak yapan sistemler için teorik çerçeve tasarlanmasıdır. Yoğun trafik ortamında veya yeni rota hesaplanması gibi durumlarda yerden bağımsız, uçak üzerinde ve otonom olarak hem gerçeklenebilir, hem de maliyeti düşük rotaların üretilmesi istenmektedir. Önerilen 4D yörünge planlama metodu hem olasılıksal hem de deterministik algoritmaların yeni özelliklerini içermekle beraber iki yöntemin de başarılı taraflarını birleştirmektedir. Uçak performans modeli ise yörünge tayini için gerekli bir bileşen olup BADA 4 üzerinden sağlanmaktadır. Uçağın kinodinamik modellemesinde standart yörünge uygulamalarında kullanılan 3-serbestlik dereceli veya diğer adıyla nokta kütle hareket modeli kullanılmıştır. Bu modelde uçağın hali hazırda kendi içerisinde kararlı ve kontrol edilebilir olduğu kabul edilip, takip ettiği yörünge ile ilgilenilmektedir. Uçağa etkiyen kuvvetlerin veya uçak performansının modellenmesi EUROCONTROL'ün bir ürünü olan Base of Aircraft Data (BADA) aracılığıyla yapılmıştır. Projede son sürüm olan BADA 4 kullanılmıştır. Bu versiyon, öncekilerden farklı olarak uçağa etkiyen kuvvetleri uçağın durumları ve atmosfer koşullarına bağlı olarak parametrik ifade etmektedir. Teknik altyapısını Boeing'in sağladığı bu veritabanı, gelişmiş modellemeleri sayesinde nominal değerlerin üzerine çıkarak parametre öngörmesi ve optimizasyon gibi işlemleri yapılabilir kılmaktadır. Oluşturulan bu performans modeli yüksek-seviye hibrid uçuş kalıpları otomatları ve alçak-seviye manevra otomatlarını kapsamaktadır. Bu modellemedeki amaç, uçak hareketini tırmanma, seyir ve alçalma şeklinde üç farklı kalıp altında toplamaktır. Her bir uçuş kalıbı kendine özel manevra sekansı içermektedir. BADA 4 matematiksel modelleri aracılığıyla her bir uçuş kalıbı için tanımlı manevra sekansını düşük maliyet ile gerçekleştiren parametreler öngörülmüştür. Esasında bu problem, bir uçağın başlangıç ve bitiş olarak verilen iki nokta arasında en düşük maliyetli rotayı takip etmesi problemidir. Uçak denklemlerinin ve kısıtlamaların lineer olarak ifade edilememesi, bu problemin tek bir seferde global olarak çözülmesini zorlaştırmaktadır. Ek olarak bu modülün uçak üzerinde çalışacağı düşünülecek olursa bu hesaplamaların çok kısa zaman aralıklarında gerçekleşmesi beklenmektedir. Çok-modlu yaklaşım sayesinde kompleks olan yörünge planlama problemini global olarak çözmek yerine lokal ve düşük maliyetli yörüngeler tayin edilmektedir. Bu noktadaki dezavantaj ise yaklaşımın verdiği çözümün optimum değerden uzaklaşmasıdır.  Daha üst seviyede ise hesaplanan düşük maliyetli lokal rota parçaları oluşturan ve uzayı tarayan RRT* algoritması kullanılmıştır. RRT*,örnekleme tabanlı bir hareket planlama algoritması olup hava sahasını keşfetmeye çalışarak lokal yörünge segmentleri üzerinden ayırma yapmaktadır. İlk adım olarak uzayda bir konum örnekleyip, ardından uçuş kalıpları ve gelişmiş performans modelini kullanarak uçağı bu noktaya düşük maliyet ile getirmeye çalışmaktadır. Örneklenen konuma, mesafe olarak ağaçta hali hazırda bulunan en yakın konumdan bağlanmaya çalışılır. Bu, arama uzayının hızlı ve ilerleyerek keşfedilmesinin temelidir. Lokal maliyetlerin yanında başlangıç konumundan itibaren harcanan maliyet de hesaba katıldığı için ağaç sürekli olarak toplam maliyeti düşük olan uçuş segmenti sekanslarını üreterek büyür. Önceden belirlenmiş örnekleme sayısına ulaşıldığında algoritma durur. Kullanılan algoritma aynı zamanda belirli koşullar altında asimptotik optimalliği sağlamaktadır. Asimptotik optimallik, örnekleme sayısı sonsuza yaklaştıkça problemin optimal çözüme yakınsama özelliğidir. RRT* aynı zamanda olasılıksal bütünlüğü sağlamaktadır: Örnekleme sayısı sonsuza yaklaştıkça çözüm bulma olasılığı 1'e yakınsamaktadır. Bunlara ek olarak, örnekleme için cross-entropy yöntemi kullanılmıştır. Bu yöntem ile örnekleme problemi stokastik optimizasyon problemine dönüştürülerek hızlı bir şekilde minimum maliyetli yörünge sekansı oluşturulmuştur. Akıllı örnekleme yapılırken halihazırdaki uçuş planları kullanılmış, dolayısıyla örnekleme sayısının düşük tutulabilmesi sağlanmıştır. Standart rastgele örnekler almak yerine daha akıllı örnekleme yapmak, optimum sonuca daha çabuk ulaşılmasını sağlamıştır. Ancak, her adımda oluşturulan küme içinden ağırlıklandırması yüksek olan elit set çekildiği için hesaplama yükü artmıştır.  Proje kapsamında hem Avrupa'nın hem Amerika'nın hava trafik yönetimi konusunda yaptığı kapsamlı araştırmalar incelenmiş ve buradaki trendler takip edilmiştir. Hava trafik yönetiminde kapasiteyi artırmak üzere yer kontrolcülerinin görevlerini daha çok genel akışı yönetmesi vizyonlanmış; pilotların ise daha çok aktif rol aldığı bir dünya çizilmiştir. Pilotlara karar vermelerinde destek olacak görsel sistemler tasarlanmış, yer ile uçağın aynı anda işbirlikçi bir biçimde uçuş operasyonunu yönettiği konseptler eklenmiştir. Bunların yanında çarpışmaları gözleyen ve gerektiği durumda otonom ayırma yapabilen sistemler için algoritma tasarlanmıştır. Geleceğin hava trafik koşullaru vizyonlanarak göz önünde bulundurulmuş, önerilen yöntemin hem bugünün hem de geleceğin hava trafik yönetim sistemine katkı sağlaması amaçlanmıştır.Considering the transformation in roles of existing air traffic management technologies, future flight operations and flight deck systems will need additional avionics and operational procedures that involve adaptive algorithms and advanced decision support tools.  The first part of the thesis presents novel visual flight deck decision support tools and interfaces utilizing next generation synthetic vision and augmented reality based visualisation technologies in order to meet the requirements of the future flight operations defined in NextGen and SESAR 2020+ visions. These avionics are envisioned to aid pilots for conducting their new in-flight tasks such as; collaborative tactical planning with intent negotiation/sharing; fully understanding/analysing/interpreting solution with their alternatives and proposing modification on the solution subject to negotiation; and aware of required response, execute it or allow collision avoidance module to perform its automated response. Visual Decision Support Tools allow the flight crew to interact with new autonomous systems and provide with visual understanding on the evolving flight operation by fusing all tactical level data and visualising them. In this work, two groups of display structure have been proposed. A split head-down \textit{Synthetic Vision} screen pair aims to support the pilots in managing both low level and high level tactical tasks with fully understanding the situation in 4D. Synthetic Vision Display (SVD) side provides the pilots synthetic vision and also incorporates required additional guidance and limited operational information. 4D Operational Display (4DOD) provides higher level operational information giving building enhanced understanding on the states of the operation and results of any modification on processing flight intent. Haptic interfaces allow the flight crew to change demonstrated detail levels in both 2D+time and 3D+time. The other display, which is \textit{Head-Up-Display (HUD)}, provides pilot to efficiently operate flight operation by eliminating the need of looking to head-down screen; and aims to present all essential flight information in the pilot's forward field through augmented reality implementations. For hardware integration and experimental purposes, an integrated testbed including full replica B737-800 Flight Deck Testbed and ATM Testbed has been modified as enabling operational tests and validations of these new tools. The main purpose of this study is to provide a theoretical framework for tactical 4D-trajectory planning and conflict resolution of an aircraft equipped with novel automation tools. The proposed 4D-trajectory-planning method uses recent algorithmic advances in both probabilistic and deterministic methods to fully benefit from both approaches. We have constructed an aircraft performance model based on BADA 4 with high-level hybrid flight template automatons and low-level flight maneuver automatons. This multi-modal flight trajectory approach is utilized to generate cost-efficient local trajectory segments instead of solving complex trajectory-generation problems globally. The proposed sampling-based trajectory planning algorithm spatially explores the airspace and provides proper separation through local trajectory segments and guarantees asymptotic optimality under certain conditions. Moreover, we have integrated the cross-entropy method, which transforms the sampling problem into a stochastic optimization problem, rapidly converges on the minimum cost trajectory sequence by utilizing available flight plans, and reduces the amount of sampling. The integration of the proposed strategies lets us solve challenging, real-time in-tactical 4D-trajectory planning problems within the current and the envisioned future realm of air traffic management systems.Yüksek LisansM.Sc

Motion Planning under Uncertainty for Autonomous Navigation of Mobile Robots and UAVs

This thesis presents a reliable and efficient motion planning approach based on state lattices for the autonomous navigation of mobile robots and UAVs. The proposal retrieves optimal paths in terms of safety and traversal time, and deals with the kinematic constraints and the motion and sensing uncertainty at planning time. The efficiency is improved by a novel graduated fidelity state lattice which adapts to the obstacles in the map and the maneuverability of the robot, and by a new multi-resolution heuristic which reduces the computational complexity. The motion planner also includes a novel method to reliably estimate the probability of collision of the paths considering the uncertainty in heading and the robot dimensions

ADAPTIVE PROBABILISTIC ROADMAP CONSTRUCTION WITH MULTI-HEURISTIC LOCAL PLANNING

The motion planning problem means the computation of a collision-free motion for a movable object among obstacles from the given initial placement to the given end placement. Efficient motion planning methods have many applications in many fields, such as robotics, computer aided design, and pharmacology. The problem is known to be PSPACE-hard. Because of the computational complexity, practical applications often use heuristic or incomplete algorithms. Probabilistic roadmap is a probabilistically complete motion planning method that has been an object of intensive study over the past years. The method is known to be susceptible to the problem of “narrow passages”: Finding a motion that passes a narrow, winding tunnel can be very expensive. This thesis presents a probabilistic roadmap method that addresses the narrow passage problem with a local planner based on heuristic search. The algorithm is suitable for planning motions for rigid bodies and articulated robots including multirobot systems with many degrees-of-freedom. Variants of the algorithm are describe

A robust motion planning approach for autonomous driving in urban areas

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Aeronautics and Astronautics, 2008.Includes bibliographical references (p. 161-167).This thesis presents an improved sampling-based motion planning algorithm, Robust RRT, that is designed specifically for large robotic vehicles and uncertain, dynamic environments. Five main extensions have been made to the original RRT algorithm to improve performance in this type of applications. The closed-loop system is used for state propagation, enabling easy handling of complex, nonlinear, and unstable dynamics. The environment structure is exploited during the sampling process, increasing the probability that a given sample will be reachable. Efficient heuristics are employed in the expansion of the tree and a risk penalty is incorporated to capture uncertainty in the environment and keep the vehicle a safe distance away from hazards. The safety of the vehicle is guaranteed with the assumption of no unexpected changes in the environment, which is achieved by requiring that every trajectory sent for execution ends in a state with the vehicle stopped. Finally, risk evaluation follows a lazy evaluation strategy, allowing the algorithm to spend most of the computation time in the expansion step. The effectiveness of the Robust RRT algorithm for planning in an urban environment is demonstrated through numerous simulated scenarios and real data corresponding to its implementation in MIT's robotic vehicle that competed in the DARPA Urban Challenge.by Gaston A. Fiore.S.M

Planning under uncertainty for dynamic collision avoidance

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2011.This electronic version was submitted by the student author. The certified thesis is available in the Institute Archives and Special Collections.Cataloged from student submitted PDF version of thesis.Includes bibliographical references (p. 157-169).We approach dynamic collision avoidance problem from the perspective of designing collision avoidance systems for unmanned aerial vehicles. Before unmanned aircraft can fly safely in civil airspace, robust airborne collision avoidance systems must be developed. Instead of hand-crafting a collision avoidance algorithm for every combination of sensor and aircraft configurations, we investigate automatic generation of collision avoidance algorithms given models of aircraft dynamics, sensor performance, and intruder behavior. We first formulate the problem within the Partially Observable Markov Decision Process (POMDP) framework, and use generic MDP/POMDP solvers offline to compute vertical-only avoidance strategies that optimize a cost function to balance flight-plan deviation with risk of collision. We then describe a second framework that performs online planning and allows for 3-D escape maneuvers by starting with possibly dangerous initial flight plans and improving them iteratively. Experimental results with four different sensor modalities and a parametric aircraft performance model demonstrate the suitability of both approaches.by Selim Temizer.Ph.D

Apport des méthodes de planification automatique dans les simulations interactives d'industrialisation et de maintenance en réalité virtuelle

Ce document explore l'utilisation de méthodes de planification automatique dans des simulations interactives. Lors de simulations de montage et de démontage de composants industriels en environnement virtuel, l'utilisateur peut nécessiter une assistance. Cette assistance est réalisée par l'utilisation d'une solution de planification de trajectoire en temps réel. Cette solution permet la construction interactive d'une chemin par la combinaison de l'avis de l'utilisateur avec la performance de planificateurs automatiques. ABSTRACT : This PhD thesis explores the use of motion planning methods in interactive simulations. In the context of assembling and disassembling simulations of industrial components using haptic devices, the user may require assistance to find collision free paths. This assistance can be provided using real time interactive path planning methods. Our solution allows an interactive construction of free paths by combining the opinion of the user with the performance of fast modified automatic path planners

Steps Toward Derandomizing RRTs

We present two motion planning algorithms, based on the Rapidly Exploring Random Tree (RRT) family of algorithms. These algorithms represent the first work in the direction of derandomizing RRTs; this is a very challenging problem due to the way randomization is used in RRTs. In RRTs, randomization is used to create Voronoi bias, which causes the search trees to rapidly explore the state space. Our algorithms take steps to increase the Voronoi bias and to retain this property without the use of randomization. Studying these and related algorithms will improve our understanding of how efficient exploration can be accomplished, and will hopefully lead to improved planners. We give experimental results that illustrate how the new algorithms explore the state space and how they compare with existing RRT algorithms

Using trails to improve map generation for virtual agents in large scale, online environments

This thesis looks at improving the generation of maps for intelligent virtual agents in large scale environments. Virtual environments are growing larger in size and becoming more complex. There is a major challenge in providing agents that are able to autonomously generate their own map representations of the environment for use in navigation. Currently, map generation for agents in large scale virtual environments is performed either by hand or requires a lengthy pre-processing step where the map is built online. We are interested in environments where this process is not possible, such as those that encourage user generated content. We look at improving map generation in these environments by using trails. Trails are a set of observations of how a user navigates an environment over time. By observing trails an agent is able to identify free space in an environment and how to navigate between points without needing to perform any collision checking. We found that trails in a virtual environments are a useful source of information for an agent's map building process. Trails can be used to improve rapidly exploring randomised tree and probabilistic roadmap generation, as well as being used as a source of information for segmenting maps in very large scale environments