Aircraft collision avoidance using Monte Carlo Real-Time Belief Space Search

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Aeronautics and Astronautics, 2009.This electronic version was submitted by the student author. The certified thesis is available in the Institute Archives and Special Collections.Cataloged from student submitted PDF version of thesis.Includes bibliographical references (p. 93-95).This thesis presents the Monte Carlo Real-Time Belief Space Search (MC-RTBSS) algorithm, a novel, online planning algorithm for partially observable Markov decision processes (POMDPs). MC-RTBSS combines a sample-based belief state representation with a branch and bound pruning method to search through the belief space for the optimal policy. The algorithm is applied to the problem of aircraft collision avoidance and its performance is compared to the Trac Alert and Collision Avoidance System (TCAS) in simulated encounter scenarios. The simulations are generated using an encounter model formulated as a dynamic Bayesian network that is based on radar feeds covering U.S. airspace. MC-RTBSS leverages statistical information from the airspace model to predict future intruder behavior and inform its maneuvers. Use of the POMDP formulation permits the inclusion of different sensor suites and aircraft dynamic models. The behavior of MC-RTBSS is demonstrated using encounters generated from an airspace model and comparing the results to TCAS simulation results. In the simulations, both MC-RTBSS and TCAS measure intruder range, bearing, and relative altitude with the same noise parameters. Increasing the penalty of a Near Mid-Air Collision (NMAC) in the MC-RTBSS reward function reduces the number of NMACs, although the algorithm is limited by the number of particles used for belief state projections. Increasing the number of particles and observations used during belief state projection increases performance.(cont.) Increasing these parameter values also increases computation time, which needs to be mitigated using a more efficient implementation of MC-RTBSS to permit real-time use.by Travis Benjamin Wolf.S.M

Planning under uncertainty for dynamic collision avoidance

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2011.This electronic version was submitted by the student author. The certified thesis is available in the Institute Archives and Special Collections.Cataloged from student submitted PDF version of thesis.Includes bibliographical references (p. 157-169).We approach dynamic collision avoidance problem from the perspective of designing collision avoidance systems for unmanned aerial vehicles. Before unmanned aircraft can fly safely in civil airspace, robust airborne collision avoidance systems must be developed. Instead of hand-crafting a collision avoidance algorithm for every combination of sensor and aircraft configurations, we investigate automatic generation of collision avoidance algorithms given models of aircraft dynamics, sensor performance, and intruder behavior. We first formulate the problem within the Partially Observable Markov Decision Process (POMDP) framework, and use generic MDP/POMDP solvers offline to compute vertical-only avoidance strategies that optimize a cost function to balance flight-plan deviation with risk of collision. We then describe a second framework that performs online planning and allows for 3-D escape maneuvers by starting with possibly dangerous initial flight plans and improving them iteratively. Experimental results with four different sensor modalities and a parametric aircraft performance model demonstrate the suitability of both approaches.by Selim Temizer.Ph.D

Airborne collision avoidance in mixed equipage environments

Thesis (S.M.)--Massachusetts Institute of Technology, Dept. of Aeronautics and Astronautics, 2013.This electronic version was submitted and approved by the author's academic department as part of an electronic thesis pilot project. The certified thesis is available in the Institute Archives and Special Collections."June 2013." Cataloged from department-submitted PDF version of thesisIncludes bibliographical references (p. 93-98).Over the past few years, research has focused on the use of a computational method known as dynamic programming for producing an optimized decision logic for airborne collision avoidance. There have been a series of technical reports, conference papers, and journal articles summarizing the research, but they have primarily investigated two-aircraft encounters with only one aircraft equipped with a collision avoidance system. This thesis looks at recent research on coordination, interoperability, and multiple-threat encounters. In situations where an aircraft encounters another aircraft with a collision avoidance system, it is important that the resolution advisories provided to the pilots be coordinated so that both aircraft are not instructed to maneuver in the same direction. Interoperability is a related consideration since new collision avoidance systems will be occupying the same airspace as legacy systems. Resolving encounters with multiple intruders poses computational challenges that will be addressed in this thesis. The methodology presented in this thesis results in logic that is safer and performs better than the legacy Traffic Alert and Collision Avoidance System (TCAS). To assess the performance of the system, this thesis uses U.S. airspace encounter models. The results indicate that the proposed methodology can bring significant benefit to the current airspace and can support the need for safe, non-disruptive collision protection as the airspace continues to evolve.by Dylan M. Asmar.S.M

Flight Deck Centered Cost Efficient 4d Trajectory Planning

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2015Thesis (M.Sc.) -- İstanbul Technical University, Institute of Science and Technology, 2015Hava trafik yönetimi teknolojilerindeki mevcut sistemlerin dönüşümü göz önüne alındığında, gelecek uçuş operasyonlarının ve kokpit içi sistemlerin yeni aviyonik sistemlere ve operasyonel prosedürlere ihtiyaç duyacağını söylemek mümkündür. Özellikle adaptif algoritmalar ve gelişmiş karar destek sistemleri bu ihtiyaçların temelini oluşturmaktadır. Bu konseptlerin hayata geçirilmesi Hava Trafik Yönetimi kapsamında görevlerin ve sorumlulukların değişmesinde büyük rol oynayacaktır. En iyi karar yeri, en iyi karar zamanı ve en iyi karar veren bu bağlamda temel faktörlerdir. Örneğin; kontrolcüler hava trafiğini yönetmede yüksek derecede rol sahibi olacak ve bireysel rotalara müdahale sayısını azaltacaklardır. Pilotlar uçuş esnasında daha aktif olacak; çevreyi gözlemleme ve yönetme, seçenekleri analiz ete veya gerektiği durumda ayırma manevrası uygulama gibi önemli görevlerde daha çok görev alacaktır. Uçuş ekibinin rolündeki bu değişimler mevcut görevlerin yeniden tanımlanmasına gidilmesinin yanı sıra insan faktörü performansını da etkileyecektir. Geleceğin kokpit içi sistemlerinde uçuş ekibinin bu yeni görevleri başarıyla gerçekleştirmesini sağlayan yeni nesil cihazlar ve algoritmalar gerekecektir.  Bu tez kapsamında yapılan ilk çalışma, yeni nesil sentetik vizyon ve artırılmış gerçeklik tabanlı görselleştirme teknolojileri kullanılarak görsel kokpit içi karar destek araçları ve arayüzleri tasarımıdır. Dizayn edilen bu araçların NextGen ve SESAR 2020+ programlarında tanımlanmış gelecek uçuş operasyonlarının gereksinimlerini karşılaması amaçlanmaktadır. Bu aviyonik sistemler ile pilotların niyet paylaşımı/pazarlığı ile işbirlikçi taktiksel planlama, çözümleri alternatifleri ile birlikte tam olarak anlama/analiz etme/yorumlama ve yeni çözüm önerme gibi uçuş operasyonlarında desteklenmesi vizyonlanmıştır. Ek olarak, gerekli cevabın farkında olma, uygulama veya çarpışma önleyici sisteme otomasyon yetkisi verme gibi görevlerde de karar destek sağlanması hedeflenmiştir. Görsel karar destek sistemleri uçuş ekibinin yeni otonom sistemler ile etkileşimini ve tüm taktiksel veriyi görselleştirerek içinde bulunulan durumu veya gelişmekte olan uçuş operasyonunu anlaşılır olmasını mümkün kılmaktadır. Bu proje kapsamında iki farklı görsel yapı sunulmaktadır. Kokpitin Primary Flight Display bölgesinde yer alan sentetik vizyon ekran çifti pilotların 4D ortamda durum farkındalığı ile düşük ve yüksek seviyede taktiksel görevleri yönetmesini sağlamaktadır. SVD kısmı pilota yapay görsellik sağlamakla beraber gerekli güdüm, uçuş ve kısıtlı seviyede operasyonel bilgileri içermektedir. Tunnel-in-the-sky konsepti ile pilot, odaklanılan veya karar verilen rotayı tüneller aracılığıyla manuel olarak takip edebilir. Bununla beraber standart sentetik vizyon (sanal gerçeklik) ekranı fonksiyonlarını da kullanabilir. İrtifa ve hız bilgileri, radar frekans değerleri, harita ve yükselti bilgisi, hava koşulları gibi temel uçuş operasyonu verisi bu ekranda gösterilmektedir. 4D Operasyonel Ekranı (4DOD) operasyon durumu ile ilgili farkındalığı artırmak ve uçuş niyeti üzerindeki modifikasyonları göstermek üzere yüksek seviyede operasyonel bilgileri sağlamaktadır. Pilot, hem kendi yörüngesini kontrol edebilmekte hem de trafikteki uçaklara ait rotaları izleyebilmektedir. Aynı zamanda ileriye dönük hızlandırılmış simulasyon fonksiyonu da bulunmaktadır. Kokpitin veri bağlantısı üzerinden yer ile rota ve uçuş planı paylaşımı sürecinin yönetilmesi bu ekran aracılığıyla olmaktadır. Haptik arayüzler ile uçuş ekibi gösterilen bilgileri ve görselleri 2D+zaman ve 3D+zaman boyutunda yönetebilmektedir. Sentetik vizyon ve 4DOD ekran çiftine paralel olarak pilotun görüş hizası üzerine inşa edilmiş Head-up Display (HUD)bulunmaktadır. HUD aracılığıyla pilot benzer şekilde temel uçuş durum bilgilerini aşağıya bakma gereği duymadan izleyebilmekte, tunnel-in-the-sky konsepti sayesinde hedef yörüngeyi tüneller arasından uçmaya çalışarak takip edebilmektedir. Bu görsel karar destek sistemleri ve algoritmalarının donanım olarak entegrasyonu, Boeing 737-800 uçuş simulatörü üzerinde gerçekleşmiştir. Sentetik vizyon ve 4DOD ekran çifti Primary Flight Display (PFD) monitörleri üzerinde çizdirilmiştir. Head-up Display (HUD), kaptan pilot ile ön cam arasına yerleştirilmiştir. Özel bir film kullanılarak görüntü arkadan mini-projeksiyon cihazı aracılığıyla yansıtılmıştır. Her bir görsel karar destek sistemi simulatörün ağına bağlanmış olup veri akışını kontrol eden ve yöneten algoritmalar düzenlenmiştir. Uçuş simulatörü, Hava Trafik Kontrolü test ortamı ile birleştirilerek geliştirilen yeni nesil aviyonik konseptlerinin uçuş operasyonları üzerindeki etkileri resmedilmiştir. Hava Trafik Kontrolü test ortamı trafik ve hava durumu tasarlayıcı, Hava Trafik Kontrol ekranları ve kontrolörün davranışının benzetim çalışmalarını yapan modellerden oluşmaktadır. Test ortamı aynı zamanda ALLFT+ tabanlı geçmiş uçuşlara ait gerçek veri kullanarak önceden belirlenmiş veya düzenlenebilen senaryoların oynatılmasını sağlamaktadır. Trafik ve hava durumu tasarlayıcı modül Demand Data Repository veritabanı üzerinden beslenen havaalanı ve hava sahası kapasite bilgilerini ve Aeronautical Information Publication'dan gelen operasyonel bilgileri içermektedir. Benzer şekilde, modifiye edilmiş senaryolar veya geçmiş hava durumu bilgileri METAR verisi üzerinden aktarılmaktadır. Test ortamı günümüz hava trafik kontrol ekranları, ses ile iletişim, otonom veya karar destekli kontrol operasyonlarını ifade eden modeller aracılığı ile hem günümüz operasyonlara hem de geleceğe yönelik çalışmalara ait senaryoları koşabilmektedir.  Projenin ikinci aşaması ve ana amacı ise taktiksel 4D yörünge planlaması ve otomasyon araçları ile donatılmış uçak için "conflict resolution", ya da potansiyel çarpışma önleyici ve bunu otonom olarak yapan sistemler için teorik çerçeve tasarlanmasıdır. Yoğun trafik ortamında veya yeni rota hesaplanması gibi durumlarda yerden bağımsız, uçak üzerinde ve otonom olarak hem gerçeklenebilir, hem de maliyeti düşük rotaların üretilmesi istenmektedir. Önerilen 4D yörünge planlama metodu hem olasılıksal hem de deterministik algoritmaların yeni özelliklerini içermekle beraber iki yöntemin de başarılı taraflarını birleştirmektedir. Uçak performans modeli ise yörünge tayini için gerekli bir bileşen olup BADA 4 üzerinden sağlanmaktadır. Uçağın kinodinamik modellemesinde standart yörünge uygulamalarında kullanılan 3-serbestlik dereceli veya diğer adıyla nokta kütle hareket modeli kullanılmıştır. Bu modelde uçağın hali hazırda kendi içerisinde kararlı ve kontrol edilebilir olduğu kabul edilip, takip ettiği yörünge ile ilgilenilmektedir. Uçağa etkiyen kuvvetlerin veya uçak performansının modellenmesi EUROCONTROL'ün bir ürünü olan Base of Aircraft Data (BADA) aracılığıyla yapılmıştır. Projede son sürüm olan BADA 4 kullanılmıştır. Bu versiyon, öncekilerden farklı olarak uçağa etkiyen kuvvetleri uçağın durumları ve atmosfer koşullarına bağlı olarak parametrik ifade etmektedir. Teknik altyapısını Boeing'in sağladığı bu veritabanı, gelişmiş modellemeleri sayesinde nominal değerlerin üzerine çıkarak parametre öngörmesi ve optimizasyon gibi işlemleri yapılabilir kılmaktadır. Oluşturulan bu performans modeli yüksek-seviye hibrid uçuş kalıpları otomatları ve alçak-seviye manevra otomatlarını kapsamaktadır. Bu modellemedeki amaç, uçak hareketini tırmanma, seyir ve alçalma şeklinde üç farklı kalıp altında toplamaktır. Her bir uçuş kalıbı kendine özel manevra sekansı içermektedir. BADA 4 matematiksel modelleri aracılığıyla her bir uçuş kalıbı için tanımlı manevra sekansını düşük maliyet ile gerçekleştiren parametreler öngörülmüştür. Esasında bu problem, bir uçağın başlangıç ve bitiş olarak verilen iki nokta arasında en düşük maliyetli rotayı takip etmesi problemidir. Uçak denklemlerinin ve kısıtlamaların lineer olarak ifade edilememesi, bu problemin tek bir seferde global olarak çözülmesini zorlaştırmaktadır. Ek olarak bu modülün uçak üzerinde çalışacağı düşünülecek olursa bu hesaplamaların çok kısa zaman aralıklarında gerçekleşmesi beklenmektedir. Çok-modlu yaklaşım sayesinde kompleks olan yörünge planlama problemini global olarak çözmek yerine lokal ve düşük maliyetli yörüngeler tayin edilmektedir. Bu noktadaki dezavantaj ise yaklaşımın verdiği çözümün optimum değerden uzaklaşmasıdır.  Daha üst seviyede ise hesaplanan düşük maliyetli lokal rota parçaları oluşturan ve uzayı tarayan RRT* algoritması kullanılmıştır. RRT*,örnekleme tabanlı bir hareket planlama algoritması olup hava sahasını keşfetmeye çalışarak lokal yörünge segmentleri üzerinden ayırma yapmaktadır. İlk adım olarak uzayda bir konum örnekleyip, ardından uçuş kalıpları ve gelişmiş performans modelini kullanarak uçağı bu noktaya düşük maliyet ile getirmeye çalışmaktadır. Örneklenen konuma, mesafe olarak ağaçta hali hazırda bulunan en yakın konumdan bağlanmaya çalışılır. Bu, arama uzayının hızlı ve ilerleyerek keşfedilmesinin temelidir. Lokal maliyetlerin yanında başlangıç konumundan itibaren harcanan maliyet de hesaba katıldığı için ağaç sürekli olarak toplam maliyeti düşük olan uçuş segmenti sekanslarını üreterek büyür. Önceden belirlenmiş örnekleme sayısına ulaşıldığında algoritma durur. Kullanılan algoritma aynı zamanda belirli koşullar altında asimptotik optimalliği sağlamaktadır. Asimptotik optimallik, örnekleme sayısı sonsuza yaklaştıkça problemin optimal çözüme yakınsama özelliğidir. RRT* aynı zamanda olasılıksal bütünlüğü sağlamaktadır: Örnekleme sayısı sonsuza yaklaştıkça çözüm bulma olasılığı 1'e yakınsamaktadır. Bunlara ek olarak, örnekleme için cross-entropy yöntemi kullanılmıştır. Bu yöntem ile örnekleme problemi stokastik optimizasyon problemine dönüştürülerek hızlı bir şekilde minimum maliyetli yörünge sekansı oluşturulmuştur. Akıllı örnekleme yapılırken halihazırdaki uçuş planları kullanılmış, dolayısıyla örnekleme sayısının düşük tutulabilmesi sağlanmıştır. Standart rastgele örnekler almak yerine daha akıllı örnekleme yapmak, optimum sonuca daha çabuk ulaşılmasını sağlamıştır. Ancak, her adımda oluşturulan küme içinden ağırlıklandırması yüksek olan elit set çekildiği için hesaplama yükü artmıştır.  Proje kapsamında hem Avrupa'nın hem Amerika'nın hava trafik yönetimi konusunda yaptığı kapsamlı araştırmalar incelenmiş ve buradaki trendler takip edilmiştir. Hava trafik yönetiminde kapasiteyi artırmak üzere yer kontrolcülerinin görevlerini daha çok genel akışı yönetmesi vizyonlanmış; pilotların ise daha çok aktif rol aldığı bir dünya çizilmiştir. Pilotlara karar vermelerinde destek olacak görsel sistemler tasarlanmış, yer ile uçağın aynı anda işbirlikçi bir biçimde uçuş operasyonunu yönettiği konseptler eklenmiştir. Bunların yanında çarpışmaları gözleyen ve gerektiği durumda otonom ayırma yapabilen sistemler için algoritma tasarlanmıştır. Geleceğin hava trafik koşullaru vizyonlanarak göz önünde bulundurulmuş, önerilen yöntemin hem bugünün hem de geleceğin hava trafik yönetim sistemine katkı sağlaması amaçlanmıştır.Considering the transformation in roles of existing air traffic management technologies, future flight operations and flight deck systems will need additional avionics and operational procedures that involve adaptive algorithms and advanced decision support tools.  The first part of the thesis presents novel visual flight deck decision support tools and interfaces utilizing next generation synthetic vision and augmented reality based visualisation technologies in order to meet the requirements of the future flight operations defined in NextGen and SESAR 2020+ visions. These avionics are envisioned to aid pilots for conducting their new in-flight tasks such as; collaborative tactical planning with intent negotiation/sharing; fully understanding/analysing/interpreting solution with their alternatives and proposing modification on the solution subject to negotiation; and aware of required response, execute it or allow collision avoidance module to perform its automated response. Visual Decision Support Tools allow the flight crew to interact with new autonomous systems and provide with visual understanding on the evolving flight operation by fusing all tactical level data and visualising them. In this work, two groups of display structure have been proposed. A split head-down \textit{Synthetic Vision} screen pair aims to support the pilots in managing both low level and high level tactical tasks with fully understanding the situation in 4D. Synthetic Vision Display (SVD) side provides the pilots synthetic vision and also incorporates required additional guidance and limited operational information. 4D Operational Display (4DOD) provides higher level operational information giving building enhanced understanding on the states of the operation and results of any modification on processing flight intent. Haptic interfaces allow the flight crew to change demonstrated detail levels in both 2D+time and 3D+time. The other display, which is \textit{Head-Up-Display (HUD)}, provides pilot to efficiently operate flight operation by eliminating the need of looking to head-down screen; and aims to present all essential flight information in the pilot's forward field through augmented reality implementations. For hardware integration and experimental purposes, an integrated testbed including full replica B737-800 Flight Deck Testbed and ATM Testbed has been modified as enabling operational tests and validations of these new tools. The main purpose of this study is to provide a theoretical framework for tactical 4D-trajectory planning and conflict resolution of an aircraft equipped with novel automation tools. The proposed 4D-trajectory-planning method uses recent algorithmic advances in both probabilistic and deterministic methods to fully benefit from both approaches. We have constructed an aircraft performance model based on BADA 4 with high-level hybrid flight template automatons and low-level flight maneuver automatons. This multi-modal flight trajectory approach is utilized to generate cost-efficient local trajectory segments instead of solving complex trajectory-generation problems globally. The proposed sampling-based trajectory planning algorithm spatially explores the airspace and provides proper separation through local trajectory segments and guarantees asymptotic optimality under certain conditions. Moreover, we have integrated the cross-entropy method, which transforms the sampling problem into a stochastic optimization problem, rapidly converges on the minimum cost trajectory sequence by utilizing available flight plans, and reduces the amount of sampling. The integration of the proposed strategies lets us solve challenging, real-time in-tactical 4D-trajectory planning problems within the current and the envisioned future realm of air traffic management systems.Yüksek LisansM.Sc

Learning-based perception and control with adaptive stress testing for safe autonomous air mobility

The use of electrical vertical takeoff and landing (eVTOL) aircraft to provide efficient, high-speed, on-demand air transportation within a metropolitan area is a topic of increasing interest, which is expected to bring fundamental changes to the city infrastructures and daily commutes. NASA, Uber, and Airbus have been exploring this exciting concept of Urban Air Mobility (UAM), which has the potential to provide meaningful door-to-door trip time savings compared with automobiles. However, successfully bringing such vehicles and airspace operations to fruition will require introducing orders-of-magnitude more aircraft to a given airspace volume, and the ability to manage many of these eVTOL aircraft safely in a congested urban area presents a challenge unprecedented in air traffic management. Although there are existing solutions for communication technology, onboard computing capability, and sensor technology, the computation guidance algorithm to enable safe, efficient, and scalable flight operations for dense self-organizing air traffic still remains an open question. In order to enable safe and efficient autonomous on-demand free flight operations in this UAM concept, a suite of tools in learning-based perception and control systems with stress testing for safe autonomous air mobility is proposed in this dissertation. First, a key component for the safe autonomous operation of unmanned aircraft is an effective onboard perception system, which will support sense-and-avoid functions. For example, in a package delivery mission, or an emergency landing event, pedestrian detection could help unmanned aircraft with safe landing zone identification. In this dissertation, we developed a deep-learning-based onboard computer vision algorithm on unmanned aircraft for pedestrian detection and tracking. In contrast with existing research with ground-level pedestrian detection, the developed algorithm achieves highly accurate multiple pedestrian detection from a bird-eye view, when both the pedestrians and the aircraft platform are moving. Second, for the aircraft guidance, a message-based decentralized computational guidance algorithm with separation assurance capability for single aircraft case and multiple cooperative aircraft case is designed and analyzed in this dissertation. The algorithm proposed in this work is to formulate this problem as a Markov Decision Process (MDP) and solve it using an online algorithm Monte Carlo Tree Search (MCTS). For the multiple cooperative aircraft case, a novel coordination strategy is introduced by using the logit level-$k$ model in behavioral game theory. To achieve higher scalability, we introduce the airspace sector concept into the UAM environment by dividing the airspace into sectors, so that each aircraft only needs to coordinate with aircraft in the same sector. At each decision step, all of the aircraft will run the proposed computational guidance algorithm onboard, which can guide all the aircraft to their respective destinations while avoiding potential conflicts among them. In addition, to make the proposed algorithm more practical, we also consider the communication constraints and communication loss among the aircraft by modifying our computational guidance algorithms given certain communication constraints (time, bandwidth, and communication loss) and designing air-to-air and air-to-ground communication frameworks to facilitate the computational guidance algorithm. To demonstrate the performance of the proposed computational guidance algorithm, a free-flight airspace simulator that incorporates environment uncertainty is built in an OpenAI Gym environment. Numerical experiment results over several case studies including the roundabout test problem show that the proposed computational guidance algorithm has promising performance even with the high-density air traffic case. Third, to ensure the developed autonomous systems meet the high safety standards of aviation, we propose a novel, simulation driven approach for validation that can automatically discover the failure modes of a decision-making system, and optimize the parameters that configure the system to improve its safety performance. Using simulation, we demonstrate that the proposed validation algorithm is able to discover failure modes in the system that would be challenging for humans to find and fix, and we show how the algorithm can learn from these failure modes to improve the performance of the decision-making system under test

Barrier Functions and Model Free Safety With Applications to Fixed Wing Collision Avoidance

Robotics is now being applied to a diversity of real-world applications and in many areas such as industrial, medical, and mobile robotics, safety is a critical consideration for continued adoption. In this thesis we therefore investigate how to develop algorithms that improve the safety of autonomous systems using both a model-based and model-free framework. To begin, we make a variety of assumptions (e.g., that a model is known, there is a single safety constraint, there are no communication limits, and that the state can be sensed everywhere), and show how to guarantee the safety of the system. The contribution of the initial approach is a generalization of an existing method for creating a barrier function, which is a function similar to a Lyapunov function that can be used to make safety guarantees. We then investigate relaxing these initial assumptions. In some cases, new additional assumptions are required, performance may be reduced, or safety guarantees may no longer be available. We motivate the thesis with collision avoidance for fixed wing aircraft which can be viewed as a pairwise constraint on each pair of aircraft. This introduces the need for considering multiple safety factors simultaneously, and we show that an additional assumption is needed in this case. We then relax the assumption that the vehicles have unlimited communication and find that safety can still be guaranteed. However, it is possible in this case that the overriding safety controller may be more invasive than if more communication is allowed. When we then further relax the assumption that the state can be sensed at all times, safety can still be guaranteed in some specified situations but the system may be more permissive in approaching safety boundaries. We finally remove the assumption of a known model for dynamics. Although removing this assumption means the system is no longer guaranteed to be safe, the benefit is that it allows a safety designer to build a far less invasive override to get more performance out of the system.Ph.D

Performance Analysis and Learning Algorithms in Advanced Wireless Networks

Over the past decade, wireless data traffic has experienced an exponential growth, especially with multimedia traffic becoming the dominant traffic, and such growth is expected to continue in the near future. This unprecedented growth has led to an increasing demand for high-rate wireless communications.Key solutions for addressing such demand include extreme network densification with more small-cells, the utilization of high frequency bands, such as the millimeter wave (mmWave) bands and terahertz (THz) bands, where more bandwidth is available, and unmanned aerial vehicle (UAV)-enabled cellular networks. With this motivation, different types of advanced wireless networks are considered in this thesis. In particular, mmWave cellular networks, networks with hybrid THz, mmWave and microwave transmissions, and UAV-enabled networks are studied, and performance metrics such as the signal-to-interference-plus-noise ratio (SINR) coverage, energy coverage, and area spectral efficiency are analyzed. In addition, UAV path planning in cellular networks are investigated, and deep reinforcement learning (DRL) based algorithms are proposed to find collision-free UAV trajectory to accomplish different missions. In the first part of this thesis, mmWave cellular networks are considered. First, K-tier heterogeneous mmWave cellular networks with user-centric small-cell deployments are studied. Particularly, a heterogeneous network model with user equipments (UEs) being distributed according to Poisson cluster processes (PCPs) is considered. Distinguishing features of mmWave communications including directional beamforming and a detailed path loss model are taken into account. General expressions for the association probabilities of different tier base stations (BSs) are determined. Using tools from stochastic geometry, the Laplace transform of the interference is characterized and general expressions for the SINR coverage probability and area spectral efficiency are derived. Second, a distributed multi-agent learning-based algorithm for beamforming in mmWave multiple input multiple output (MIMO) networks is proposed to maximize the sum-rate of all UEs. Following the analysis of mmWave cellular networks, a three-tier heterogeneous network is considered, where access points (APs), small-cell BSs (SBSs) and macrocell BSs (MBSs) transmit in THz, mmWave, microwave frequency bands, respectively. By using tools from stochastic geometry, the complementary cumulative distribution function (CCDF) of the received signal power, the Laplace transform of the aggregate interference, and the SINR coverage probability are determined. Next, system-level performance of UAV-enabled cellular networks is studied. More specifically, in the first part, UAV-assisted mmWave cellular networks are addressed, in which the UE locations are modeled using PCPs. In the downlink phase, simultaneous wireless information and power transfer (SWIPT) technique is considered. The association probability, energy coverages and a successful transmission probability to jointly determine the energy and SINR coverages are derived. In the uplink phase, a scenario that each UAV receives information from its own cluster member UEs is taken into account. The Laplace transform of the interference components and the uplink SINR coverage are characterized. In the second part, cellular-connected UAV networks is investigated, in which the UAVs are aerial UEs served by the ground base stations (GBSs). 3D antenna radiation combing the vertical and horizontal patterns is taken into account. In the final part of this thesis, deep reinforcement learning based algorithms are proposed for UAV path planning in cellular networks. Particularly, in the first part, multi-UAV non-cooperative scenarios is considered, where multiple UAVs need to fly from initial locations to destinations, while satisfying collision avoidance, wireless connectivity and kinematic constraints. The goal is to find trajectories for the cellular-connected UAVs to minimize their mission completion time. The multi-UAV trajectory optimization problem is formulated as a sequential decision making problem, and a decentralized DRL approach is proposed to solve the problem. Moreover, multiple UAV trajectory design in cellular networks with a dynamic jammer is studied, and a learning-based algorithm is proposed. Subsequently, a UAV trajectory optimization problem is considered to maximize the collected data from multiple Internet of things (IoT) nodes under realistic constraints. The problem is translated into a Markov decision process (MDP) and dueling double deep Q-network (D3QN) is proposed to learn the decision making policy