Event-based Vision: A Survey

Event cameras are bio-inspired sensors that differ from conventional frame cameras: Instead of capturing images at a fixed rate, they asynchronously measure per-pixel brightness changes, and output a stream of events that encode the time, location and sign of the brightness changes. Event cameras offer attractive properties compared to traditional cameras: high temporal resolution (in the order of microseconds), very high dynamic range (140 dB vs. 60 dB), low power consumption, and high pixel bandwidth (on the order of kHz) resulting in reduced motion blur. Hence, event cameras have a large potential for robotics and computer vision in challenging scenarios for traditional cameras, such as low-latency, high speed, and high dynamic range. However, novel methods are required to process the unconventional output of these sensors in order to unlock their potential. This paper provides a comprehensive overview of the emerging field of event-based vision, with a focus on the applications and the algorithms developed to unlock the outstanding properties of event cameras. We present event cameras from their working principle, the actual sensors that are available and the tasks that they have been used for, from low-level vision (feature detection and tracking, optic flow, etc.) to high-level vision (reconstruction, segmentation, recognition). We also discuss the techniques developed to process events, including learning-based techniques, as well as specialized processors for these novel sensors, such as spiking neural networks. Additionally, we highlight the challenges that remain to be tackled and the opportunities that lie ahead in the search for a more efficient, bio-inspired way for machines to perceive and interact with the world

Deep Learning-Based Robotic Perception for Adaptive Facility Disinfection

Hospitals, schools, airports, and other environments built for mass gatherings can become hot spots for microbial pathogen colonization, transmission, and exposure, greatly accelerating the spread of infectious diseases across communities, cities, nations, and the world. Outbreaks of infectious diseases impose huge burdens on our society. Mitigating the spread of infectious pathogens within mass-gathering facilities requires routine cleaning and disinfection, which are primarily performed by cleaning staff under current practice. However, manual disinfection is limited in terms of both effectiveness and efficiency, as it is labor-intensive, time-consuming, and health-undermining. While existing studies have developed a variety of robotic systems for disinfecting contaminated surfaces, those systems are not adequate for intelligent, precise, and environmentally adaptive disinfection. They are also difficult to deploy in mass-gathering infrastructure facilities, given the high volume of occupants. Therefore, there is a critical need to develop an adaptive robot system capable of complete and efficient indoor disinfection. The overarching goal of this research is to develop an artificial intelligence (AI)-enabled robotic system that adapts to ambient environments and social contexts for precise and efficient disinfection. This would maintain environmental hygiene and health, reduce unnecessary labor costs for cleaning, and mitigate opportunity costs incurred from infections. To these ends, this dissertation first develops a multi-classifier decision fusion method, which integrates scene graph and visual information, in order to recognize patterns in human activity in infrastructure facilities. Next, a deep-learning-based method is proposed for detecting and classifying indoor objects, and a new mechanism is developed to map detected objects in 3D maps. A novel framework is then developed to detect and segment object affordance and to project them into a 3D semantic map for precise disinfection. Subsequently, a novel deep-learning network, which integrates multi-scale features and multi-level features, and an encoder network are developed to recognize the materials of surfaces requiring disinfection. Finally, a novel computational method is developed to link the recognition of object surface information to robot disinfection actions with optimal disinfection parameters

Pre-Trained Driving in Localized Surroundings with Semantic Radar Information and Machine Learning

Entlang der Signalverarbeitungskette von Radar Detektionen bis zur Fahrzeugansteuerung, diskutiert diese Arbeit eine semantischen Radar Segmentierung, einen darauf aufbauenden Radar SLAM, sowie eine im Verbund realisierte autonome Parkfunktion. Die Radarsegmentierung der (statischen) Umgebung wird durch ein Radar-spezifisches neuronales Netzwerk RadarNet erreicht. Diese Segmentierung ermöglicht die Entwicklung des semantischen Radar Graph-SLAM SERALOC. Auf der Grundlage der semantischen Radar SLAM Karte wird eine beispielhafte autonome Parkfunktionalität in einem realen Versuchsträger umgesetzt. Entlang eines aufgezeichneten Referenzfades parkt die Funktion ausschließlich auf Basis der Radar Wahrnehmung mit bisher unerreichter Positioniergenauigkeit. Im ersten Schritt wird ein Datensatz von 8.2 · 10^6 punktweise semantisch gelabelten Radarpunktwolken über eine Strecke von 2507.35m generiert. Es sind keine vergleichbaren Datensätze dieser Annotationsebene und Radarspezifikation öffentlich verfügbar. Das überwachte Training der semantischen Segmentierung RadarNet erreicht 28.97% mIoU auf sechs Klassen. Außerdem wird ein automatisiertes Radar-Labeling-Framework SeRaLF vorgestellt, welches das Radarlabeling multimodal mittels Referenzkameras und LiDAR unterstützt. Für die kohärente Kartierung wird ein Radarsignal-Vorfilter auf der Grundlage einer Aktivierungskarte entworfen, welcher Rauschen und andere dynamische Mehrwegreflektionen unterdrückt. Ein speziell für Radar angepasstes Graph-SLAM-Frontend mit Radar-Odometrie Kanten zwischen Teil-Karten und semantisch separater NDT Registrierung setzt die vorgefilterten semantischen Radarscans zu einer konsistenten metrischen Karte zusammen. Die Kartierungsgenauigkeit und die Datenassoziation werden somit erhöht und der erste semantische Radar Graph-SLAM für beliebige statische Umgebungen realisiert. Integriert in ein reales Testfahrzeug, wird das Zusammenspiel der live RadarNet Segmentierung und des semantischen Radar Graph-SLAM anhand einer rein Radar-basierten autonomen Parkfunktionalität evaluiert. Im Durchschnitt über 42 autonome Parkmanöver (∅3.73 km/h) bei durchschnittlicher Manöverlänge von ∅172.75m wird ein Median absoluter Posenfehler von 0.235m und End-Posenfehler von 0.2443m erreicht, der vergleichbare Radar-Lokalisierungsergebnisse um ≈ 50% übertrifft. Die Kartengenauigkeit von veränderlichen, neukartierten Orten über eine Kartierungsdistanz von ∅165m ergibt eine ≈ 56%-ige Kartenkonsistenz bei einer Abweichung von ∅0.163m. Für das autonome Parken wurde ein gegebener Trajektorienplaner und Regleransatz verwendet

公共空間における移動サービスの実現に向けた知能化移動プラットフォームの開発

本研究は，自律移動パーソナルヴィークルによる多様な移動サービス研究を行うための移動プラットフォーム開発に関するものである．現在，多くの研究機関で自律移動システムの研究が行われているが，それが送迎サービス等の実用的な移動サービスアプリケーションの研究開発まで至った例は多くない．これは，それらの研究で利用されている市販の移動プラットフォームや研究用プラットフォームでは，移動サービスアプリケーションの研究開発が容易でないことが要因の一つとなっている．また個々のパーソナルヴィークルのロボット化技術やナビゲーション機能の研究成果が共有できていない面が有り，移動サービス研究に耐えうる移動プラットフォームが構築できていないことも一つの要因であると考えられる．本研究では，上記の問題を解決するため，様々な移動サービスアプリケーション開発が行え，様々な移動サービスに関する研究成果を利用することが可能な仕組みを持ち，さらに基本的なナビゲーション機能を備える「知能化移動プラットフォーム」のシステム構成を文献調査や事例研究により明らかにした．またそれに基づき実際に知能化移動プラットフォームを構築し，その有用性を実証するとともにその構築方法についても明示した．第二章では，知能化移動プラットフォームに求められるシステム要件を設定し，関連研究・文献調査(829件)・「つくばチャレンジ」などの実証実験の事例観察からシステム要件を満たす知能化移動プラットフォームのシステム構成を明らかにした．第三章では，提案したシステム構成について，背景で述べた問題点を解決する評価指標を設定し，関連する研究事例や市販の移動プラットフォームと比較することで優位性を示した．第四章では，提案したシステム構成に基づき，使用場面に応じた二つの知能化移動プラットフォームを開発した．一つ目として屋外での移動サービスを想定し，所属研究室でこれまで開発されてきた走行性能が高い電動カートをベースとしたプラットフォーム開発を行った．基本ナビゲーション機能には当研究室での共同研究成果を搭載した．動作検証を学内及びつくばロボット特区で行い約1㎞以上の自律走行能力を有していることを確認し，提案したシステム構成が有効であることを確認した．二つ目として屋内外でシームレスな移動サービスを想定して，屋内における移動性能を重視した車椅子ベースの知能化移動プラットフォームを開発した．上記と同様のコンセプトで開発し学内において同様の動作検証を行いその自律走行能力を確認した．第五章では，開発した知能化移動プラットフォームを用いた移動サービスに関する研究成果（文献11件）に関して，設定したシステム要件を満たす実装がどのようにそれらの研究実績に繋がった考察を行い，設定したシステム要件と提案したシステム構成が有効であることを確認した．本研究の成果は，様々な移動サービス研究に用いることのできる移動プラットフォームのシステム要件を明らかにし，その構築に有効なシステム構成を示したこと，および実際に移動プラットフォームを開発し，その有用性を実際に示したことである．またその開発過程で述べたハードウェア及びソフトウェアのそれぞれに関する実装そのものも有効な知見として述べた．上記の成果は，多くの研究機関が移動サービス研究に従事するにあたり移動プラットフォーム開発の指針とすることができ，今後，移動サービス実現に向けて該当分野の研究がより推進されることが期待できる．電気通信大学201