A One Stop 3D Target Reconstruction and multilevel Segmentation Method

3D object reconstruction and multilevel segmentation are fundamental to computer vision research. Existing algorithms usually perform 3D scene reconstruction and target objects segmentation independently, and the performance is not fully guaranteed due to the challenge of the 3D segmentation. Here we propose an open-source one stop 3D target reconstruction and multilevel segmentation framework (OSTRA), which performs segmentation on 2D images, tracks multiple instances with segmentation labels in the image sequence, and then reconstructs labelled 3D objects or multiple parts with Multi-View Stereo (MVS) or RGBD-based 3D reconstruction methods. We extend object tracking and 3D reconstruction algorithms to support continuous segmentation labels to leverage the advances in the 2D image segmentation, especially the Segment-Anything Model (SAM) which uses the pretrained neural network without additional training for new scenes, for 3D object segmentation. OSTRA supports most popular 3D object models including point cloud, mesh and voxel, and achieves high performance for semantic segmentation, instance segmentation and part segmentation on several 3D datasets. It even surpasses the manual segmentation in scenes with complex structures and occlusions. Our method opens up a new avenue for reconstructing 3D targets embedded with rich multi-scale segmentation information in complex scenes. OSTRA is available from https://github.com/ganlab/OSTRA

Deep Learning Assisted Visual Odometry

The capabilities to autonomously explore and interact with the environmenthas always been a greatly demanded capability for robots. Varioussensor based SLAM methods were investigated and served for this purposein the past decades. Vision intuitively provides 3D understanding of the surroundingand contains a vast amount of information that require high levelintelligence to interpret. Sensors like LIDAR, returns the range measurementdirectly. The motion estimation and scene reconstruction using camera is aharder problem. In this thesis, we are in particular interested in the trackingfrond-end of vision based SLAM, i.e. Visual Odometry (VO), with afocus on deep learning approaches. Recently, learning based methods havedominated most of the vision applications and gradually appears in our dailylife and real-world applications. Different to classical methods, deep learningbased methods can potentially tackle some of the intrinsic problems inmulti-view geometry and straightforwardly improve the performance of crucialprocedures of VO. For example, the correspondences estimation, densereconstruction and semantic representation. In this work, we propose novel learning schemes for assisting both directand in-direct visual odometry methods. For the direct approaches, weinvestigate mainly the monocular setup. The lack of the baseline that providesscale as in stereo has been one of the well-known intrinsic problems inthis case. We propose a coupled single view depth and normal estimationmethod to reduce the scale drift and address the issue of lacking observationsof the absolute scale. It is achieved by providing priors for the depthoptimization. Moreover, we utilize higher-order geometrical information toguide the dense reconstruction in a sparse-to-dense manner. For the in-directmethods, we propose novel feature learning based methods which noticeablyimprove the feature matching performance in comparison with common classicalfeature detectors and descriptors. Finally, we discuss potential ways tomake the training self-supervised. This is accomplished by incorporating thedifferential motion estimation into the training while performing multi-viewadaptation to maximize the repeatability and matching performance. We alsoinvestigate using a different type of supervisory signal for the training. Weadd a higher-level proxy task and show that it is possible to train a featureextraction network even without the explicit loss for it. In summary, this thesis presents successful examples of incorporating deeplearning techniques to assist a classical visual odometry system. The resultsare promising and have been extensively evaluated on challenging benchmarks,real robot and handheld cameras. The problem we investigate is stillin an early stage, but is attracting more and more interest from researcher inrelated fields.Förmågan att självständigt utforska och interagera med en miljö har alltidvarit önskvärd hos robotar. Olika sensorbaserade SLAM-metoder har utvecklatsoch använts för detta ändamål under de senaste decennierna. Datorseendekan intuitivt används för 3D-förståelse men bygger på en enorm mängd informationsom kräver en hög nivå av intelligens för att tolka. Sensorer somLIDAR returnerar avståndet för varje mätpunkt direkt vilket gör rörelseuppskattningoch scenrekonstruktion mer rättframt än med en kamera. I den häravhandlingen är vi särskilt intresserade av kamerabaserad SLAM och merspecifikt den första delen av ett sådan system, dvs det som normalt kallasvisuell odometri (VO). Vi fokuserar på strategier baserade på djupinlärning.Nyligen har inlärningsbaserade metoder kommit att dominera de flesta avkameratillämpningarna och dyker gradvis upp i vårt dagliga liv. Till skillnadfrån klassiska metoder kan djupinlärningsbaserade metoder potentielltta itu med några av de inneboende problemen i kamerabaserade system ochförbättra prestandan för viktiga delar i VO. Till exempel uppskattningar avkorrespondenser, tät rekonstruktion och semantisk representation. I detta arbeteföreslår vi nya inlärningssystem för att stödja både direkta och indirektavisuella odometrimetoder. För de direkta metoder undersöker vi huvudsakligenfallet med endast en kamera. Bristen på baslinje, som i stereo, somger skalan i en scen har varit ett av de välkända problemen i detta fall. Viföreslår en metod som kopplar skattningen av djup och normaler, baseradpå endast en bild. För att adressera problemen med att skatta den absolutaskalan och drift i dessa skattningar, används det predikterade djupet somstartgissningar för avståndsoptimeringen. Dessutom använder vi geometriskinformation för att vägleda den täta rekonstruktionen på ett glest-till-tättsätt. För de indirekta metoderna föreslår vi nya nyckelpunktsbaserade metodersom märkbart förbättrar matchningsprestanda jämfört med klassiskametoder. Slutligen diskuterar vi potentiella sätt att göra inlärningen självkontrollerad.Detta åstadkoms genom att integrera skattningen av den inkrementellarörelsen i träningen. Vi undersöker också hur man kan använda enså kallad proxy-uppgift för att generera en implicit kontrollsignal och visaratt vi kan träna ett nyckelpunktgenererande nätverk på detta sätt. Sammanfattningsvis presenterar denna avhandling flera fungerade exempelpå att hur djupinlärningstekniker kan hjälpa ett klassiskt visuellt odometrisystem.Resultaten är lovande och har utvärderats i omfattande ochutmanande scenarier, från dataset, på riktiga robotar så väl som handhållnakameror. Problemet vi undersöker befinner sig fortfarande i ett tidigt skedeforskningsmässigt, men intresserar nu också forskare från närliggande områden.QC 20200527</p

Deep Learning Assisted Visual Odometry

The capabilities to autonomously explore and interact with the environmenthas always been a greatly demanded capability for robots. Varioussensor based SLAM methods were investigated and served for this purposein the past decades. Vision intuitively provides 3D understanding of the surroundingand contains a vast amount of information that require high levelintelligence to interpret. Sensors like LIDAR, returns the range measurementdirectly. The motion estimation and scene reconstruction using camera is aharder problem. In this thesis, we are in particular interested in the trackingfrond-end of vision based SLAM, i.e. Visual Odometry (VO), with afocus on deep learning approaches. Recently, learning based methods havedominated most of the vision applications and gradually appears in our dailylife and real-world applications. Different to classical methods, deep learningbased methods can potentially tackle some of the intrinsic problems inmulti-view geometry and straightforwardly improve the performance of crucialprocedures of VO. For example, the correspondences estimation, densereconstruction and semantic representation. In this work, we propose novel learning schemes for assisting both directand in-direct visual odometry methods. For the direct approaches, weinvestigate mainly the monocular setup. The lack of the baseline that providesscale as in stereo has been one of the well-known intrinsic problems inthis case. We propose a coupled single view depth and normal estimationmethod to reduce the scale drift and address the issue of lacking observationsof the absolute scale. It is achieved by providing priors for the depthoptimization. Moreover, we utilize higher-order geometrical information toguide the dense reconstruction in a sparse-to-dense manner. For the in-directmethods, we propose novel feature learning based methods which noticeablyimprove the feature matching performance in comparison with common classicalfeature detectors and descriptors. Finally, we discuss potential ways tomake the training self-supervised. This is accomplished by incorporating thedifferential motion estimation into the training while performing multi-viewadaptation to maximize the repeatability and matching performance. We alsoinvestigate using a different type of supervisory signal for the training. Weadd a higher-level proxy task and show that it is possible to train a featureextraction network even without the explicit loss for it. In summary, this thesis presents successful examples of incorporating deeplearning techniques to assist a classical visual odometry system. The resultsare promising and have been extensively evaluated on challenging benchmarks,real robot and handheld cameras. The problem we investigate is stillin an early stage, but is attracting more and more interest from researcher inrelated fields.Förmågan att självständigt utforska och interagera med en miljö har alltidvarit önskvärd hos robotar. Olika sensorbaserade SLAM-metoder har utvecklatsoch använts för detta ändamål under de senaste decennierna. Datorseendekan intuitivt används för 3D-förståelse men bygger på en enorm mängd informationsom kräver en hög nivå av intelligens för att tolka. Sensorer somLIDAR returnerar avståndet för varje mätpunkt direkt vilket gör rörelseuppskattningoch scenrekonstruktion mer rättframt än med en kamera. I den häravhandlingen är vi särskilt intresserade av kamerabaserad SLAM och merspecifikt den första delen av ett sådan system, dvs det som normalt kallasvisuell odometri (VO). Vi fokuserar på strategier baserade på djupinlärning.Nyligen har inlärningsbaserade metoder kommit att dominera de flesta avkameratillämpningarna och dyker gradvis upp i vårt dagliga liv. Till skillnadfrån klassiska metoder kan djupinlärningsbaserade metoder potentielltta itu med några av de inneboende problemen i kamerabaserade system ochförbättra prestandan för viktiga delar i VO. Till exempel uppskattningar avkorrespondenser, tät rekonstruktion och semantisk representation. I detta arbeteföreslår vi nya inlärningssystem för att stödja både direkta och indirektavisuella odometrimetoder. För de direkta metoder undersöker vi huvudsakligenfallet med endast en kamera. Bristen på baslinje, som i stereo, somger skalan i en scen har varit ett av de välkända problemen i detta fall. Viföreslår en metod som kopplar skattningen av djup och normaler, baseradpå endast en bild. För att adressera problemen med att skatta den absolutaskalan och drift i dessa skattningar, används det predikterade djupet somstartgissningar för avståndsoptimeringen. Dessutom använder vi geometriskinformation för att vägleda den täta rekonstruktionen på ett glest-till-tättsätt. För de indirekta metoderna föreslår vi nya nyckelpunktsbaserade metodersom märkbart förbättrar matchningsprestanda jämfört med klassiskametoder. Slutligen diskuterar vi potentiella sätt att göra inlärningen självkontrollerad.Detta åstadkoms genom att integrera skattningen av den inkrementellarörelsen i träningen. Vi undersöker också hur man kan använda enså kallad proxy-uppgift för att generera en implicit kontrollsignal och visaratt vi kan träna ett nyckelpunktgenererande nätverk på detta sätt. Sammanfattningsvis presenterar denna avhandling flera fungerade exempelpå att hur djupinlärningstekniker kan hjälpa ett klassiskt visuellt odometrisystem.Resultaten är lovande och har utvärderats i omfattande ochutmanande scenarier, från dataset, på riktiga robotar så väl som handhållnakameror. Problemet vi undersöker befinner sig fortfarande i ett tidigt skedeforskningsmässigt, men intresserar nu också forskare från närliggande områden.QC 20200527</p

Deep Learning Assisted Visual Odometry

The capabilities to autonomously explore and interact with the environmenthas always been a greatly demanded capability for robots. Varioussensor based SLAM methods were investigated and served for this purposein the past decades. Vision intuitively provides 3D understanding of the surroundingand contains a vast amount of information that require high levelintelligence to interpret. Sensors like LIDAR, returns the range measurementdirectly. The motion estimation and scene reconstruction using camera is aharder problem. In this thesis, we are in particular interested in the trackingfrond-end of vision based SLAM, i.e. Visual Odometry (VO), with afocus on deep learning approaches. Recently, learning based methods havedominated most of the vision applications and gradually appears in our dailylife and real-world applications. Different to classical methods, deep learningbased methods can potentially tackle some of the intrinsic problems inmulti-view geometry and straightforwardly improve the performance of crucialprocedures of VO. For example, the correspondences estimation, densereconstruction and semantic representation. In this work, we propose novel learning schemes for assisting both directand in-direct visual odometry methods. For the direct approaches, weinvestigate mainly the monocular setup. The lack of the baseline that providesscale as in stereo has been one of the well-known intrinsic problems inthis case. We propose a coupled single view depth and normal estimationmethod to reduce the scale drift and address the issue of lacking observationsof the absolute scale. It is achieved by providing priors for the depthoptimization. Moreover, we utilize higher-order geometrical information toguide the dense reconstruction in a sparse-to-dense manner. For the in-directmethods, we propose novel feature learning based methods which noticeablyimprove the feature matching performance in comparison with common classicalfeature detectors and descriptors. Finally, we discuss potential ways tomake the training self-supervised. This is accomplished by incorporating thedifferential motion estimation into the training while performing multi-viewadaptation to maximize the repeatability and matching performance. We alsoinvestigate using a different type of supervisory signal for the training. Weadd a higher-level proxy task and show that it is possible to train a featureextraction network even without the explicit loss for it. In summary, this thesis presents successful examples of incorporating deeplearning techniques to assist a classical visual odometry system. The resultsare promising and have been extensively evaluated on challenging benchmarks,real robot and handheld cameras. The problem we investigate is stillin an early stage, but is attracting more and more interest from researcher inrelated fields.Förmågan att självständigt utforska och interagera med en miljö har alltidvarit önskvärd hos robotar. Olika sensorbaserade SLAM-metoder har utvecklatsoch använts för detta ändamål under de senaste decennierna. Datorseendekan intuitivt används för 3D-förståelse men bygger på en enorm mängd informationsom kräver en hög nivå av intelligens för att tolka. Sensorer somLIDAR returnerar avståndet för varje mätpunkt direkt vilket gör rörelseuppskattningoch scenrekonstruktion mer rättframt än med en kamera. I den häravhandlingen är vi särskilt intresserade av kamerabaserad SLAM och merspecifikt den första delen av ett sådan system, dvs det som normalt kallasvisuell odometri (VO). Vi fokuserar på strategier baserade på djupinlärning.Nyligen har inlärningsbaserade metoder kommit att dominera de flesta avkameratillämpningarna och dyker gradvis upp i vårt dagliga liv. Till skillnadfrån klassiska metoder kan djupinlärningsbaserade metoder potentielltta itu med några av de inneboende problemen i kamerabaserade system ochförbättra prestandan för viktiga delar i VO. Till exempel uppskattningar avkorrespondenser, tät rekonstruktion och semantisk representation. I detta arbeteföreslår vi nya inlärningssystem för att stödja både direkta och indirektavisuella odometrimetoder. För de direkta metoder undersöker vi huvudsakligenfallet med endast en kamera. Bristen på baslinje, som i stereo, somger skalan i en scen har varit ett av de välkända problemen i detta fall. Viföreslår en metod som kopplar skattningen av djup och normaler, baseradpå endast en bild. För att adressera problemen med att skatta den absolutaskalan och drift i dessa skattningar, används det predikterade djupet somstartgissningar för avståndsoptimeringen. Dessutom använder vi geometriskinformation för att vägleda den täta rekonstruktionen på ett glest-till-tättsätt. För de indirekta metoderna föreslår vi nya nyckelpunktsbaserade metodersom märkbart förbättrar matchningsprestanda jämfört med klassiskametoder. Slutligen diskuterar vi potentiella sätt att göra inlärningen självkontrollerad.Detta åstadkoms genom att integrera skattningen av den inkrementellarörelsen i träningen. Vi undersöker också hur man kan använda enså kallad proxy-uppgift för att generera en implicit kontrollsignal och visaratt vi kan träna ett nyckelpunktgenererande nätverk på detta sätt. Sammanfattningsvis presenterar denna avhandling flera fungerade exempelpå att hur djupinlärningstekniker kan hjälpa ett klassiskt visuellt odometrisystem.Resultaten är lovande och har utvärderats i omfattande ochutmanande scenarier, från dataset, på riktiga robotar så väl som handhållnakameror. Problemet vi undersöker befinner sig fortfarande i ett tidigt skedeforskningsmässigt, men intresserar nu också forskare från närliggande områden.QC 20200527</p

Regulating the Polarization of Macrophages: A Promising Approach to Vascular Dermatosis

Macrophages, a kind of innate immune cells, derive from monocytes in circulation and play a crucial role in the innate and adaptive immunity. Under the stimulation of the signals from local microenvironment, macrophages generally tend to differentiate into two main functional phenotypes depending on their high plasticity and heterogeneity, namely, classically activated macrophage (M1) and alternatively activated macrophage (M2). This phenomenon is often called macrophage polarization. In pathological conditions, chronic persistent inflammation could induce an aberrant response of macrophage and cause a shift in their phenotypes. Moreover, this shift would result in the alteration of macrophage polarization in some vascular dermatoses; e.g., an increase in proinflammatory M1 emerges from Behcet’s disease (BD), psoriasis, and systemic lupus erythematosus (SLE), whereas an enhancement in anti-inflammatory M2 appears in infantile hemangioma (IH). Individual polarized phenotypes and their complicated cytokine networks may crucially mediate in the pathological processes of some vascular diseases (vascular dermatosis in particular) by activation of T cell subsets (such as Th1, Th2, Th17, and Treg cells), deterioration of oxidative stress damage, and induction of angiogenesis, but the specific mechanism remains ambiguous. Therefore, in this review, we discuss the possible role of macrophage polarization in the pathological processes of vascular skin diseases. In addition, it is proposed that regulation of macrophage polarization may become a potential strategy for controlling these disorders