Low-cost polarimetric imaging for surveillance

The surveillance industry has traditionally focused on the use of colour intensity images and then used computer vision methods to extract information. Deep learning methods have been demonstrated successfully but require significant computational resources. Fog and rain still present a problem to these methods. Other non-optical imaging technologies are available but the applications can be cost sensitive. Polarimetric cameras offer a solution to some of these problems. This paper presents a practical and low cost design that uses between two and four HD cameras with a wide field of view. This system has an automatic calibration stage that ensures the video frames are synchronised in time. To produce the Stoke parameters each pixel from one camera must be mapped to the others. To perform this, a homography matrix for each camera is automatically discovered and maps each video stream into the correct spatial coordinates. This attempts to use SIFT keypoint mapping but since each input image is a different polarisation state there are potentially a low number of keypoints so an additional check stage is introduced. Calibration results are presented along with example images, post process methods and feature extraction results

Комп’ютерно-інтегрований метод виявлення об’єктів поляризаційним тепловізором

Introduction. A simplified mathematical model of infrared radiation transformation and analysis in thermal imagers for different degrees of polarization target environment has been studied. Theoretic results. Monochromatic radiation, which contains natural and linearly polarized components, is considered. The polarized optical signal model is additive. The state of radiation polarization is described by Stokes vectors. The principles of polarization image formation and their analysis using a rotating polarizer and a phase plate are considered. A matrix radiation detector is installed at the output of the optical system. It converts two-dimensional distribution of radiation intensity into an electrical video signal. This combination of polarimetric and video channels forms a polarimetric thermal imager, which has formed a new promising niche of technical means for remote sensing. An algorithm for signal processing in polarimetric thermal imagers is proposed. It is suposed, that linearly polarized component is more pronounced in the target radiation than in the background radiation. At the stage of analysis of the polarization of the total signal coming from the target environment, the direction of the predominant polarization of the whole image is determined. In the case of observing small targets, this direction coincides with the direction of background polarization. Due to the optical means of cutting the specified polarization component of the signal from the total mixture, most of the background image is eliminated, and the fully polarized component of the target radiation remains largely preserved.Conclusions. The contrast of the final image of the target on the background increases significantly, the probability of correct detection of the target increases.Исследована упрощенная математическая модель преобразования и анализа инфракрасного излучения фоно-целевой обстановки разной степени поляризации в тепловизорах. Рассматривается монохроматическое излучение, которое содержит естественную и линейно поляризованную компоненты. Модель поляризованного оптического сигнала является аддитивной. Состояние поляризации объектов описывается параметрами вектора Стокса. Рассмотрены принципы формирования поляризационных изображений и их анализа с использованием вращающихся поляризатора и фазовой пластинки. На выходе оптической системы установлен матричный приемник излучения. Он превращает двумерное распределение интенсивности излучения в электрический видеосигнал. Такое сочетание поляриметрического и видео каналов образует поляризационный тепловизор, который сформировал новую перспективную нишу технических средств дистанционного зондирования. Предложен алгоритм обработки сигналов в поляризационных тепловизорах при условии, что в излучении цели линейно поляризованная компонента является более выраженной, чем в излучении фона. На этапе анализа поляризации суммарного сигнала, поступающего от фоно-целевой обстановки, определяется преобладающее направление поляризации всего изображения. В случае наблюдения малоразмерных целей оно совпадает с направлением поляризации фона. За счет вырезания оптическими средствами указанной поляризационной компоненты сигнала из общей смеси, большая часть фонового изображения устраняется, а полностью поляризована компонента излучения цели остается в значительной степени сохранной. Контрастность конечного изображения цели на фоне существенно возрастает, увеличивается вероятность правильного обнаружения цели.Досліджено спрощену математичну модель перетворення і аналізу інфрачервоного випромінювання фоно-цільової обстановки різного ступеня поляризації в тепловізорах. Розглядається монохроматичне випромінювання, яке містить природню та лінійно поляризовану компоненти. Модель поляризованого оптичного сигналу є адитивною. Стан поляризації об’єктів описується параметрами вектора Стокса. Розглянуто принципи формування поляризаційних зображень та їх аналізу з використанням обертових поляризатора і фазової пластинки. На виході оптичної системи встановлено матричний приймач випромінювання. Він перетворює двовимірний розподіл інтенсивності випромінювання в електричний відеосигнал. Таке поєднання поляриметричного та відео каналів утворює поляризаційний тепловізор, який сформував нову перспективну нішу технічних засобів дистанційного зондування. Запропоновано алгоритм обробки сигналів в поляризаційних тепловізорах за умови того, що у випромінюванні цілі лінійно поляризована компонента є більш вираженою, ніж у випромінюванні фону. На етапі аналізу поляризації сумарного сигналу, що надходить від фоно-цільової обстановки, визначається напрям переважної поляризації всього зображення. У випадку спостереження малорозмірних цілей він співпадає з напрямом поляризації фону. За рахунок вирізання оптичними засобами вказаної поляризаційної компоненти сигналу із загальної суміші, велика частина фонового зображення усувається, а повністю поляризована компонента випромінювання цілі залишається значною мірою збереженою. Контраст кінцевого зображення цілі на фоні суттєво зростає, збільшується ймовірність правильного виявлення цілі

Enhancing Detection of Marine Debris with Polarimetric Imagery

Marine debris is a chronic and increasingly pervasive problem for coastal regions around the world. Debris poses environmental risks, threats to wildlife, and degradation of the natural environment. Recent research has shown the advantages of uncrewed aircraft systems (UAS) for detection and recognition of marine debris, including the ability to efficiently collect data over large stretches of coast. To date, most UAS imagery acquisition is performed with red-green-blue (“natural color”) imagery only. Polarimetric imaging, which captures information on the polarization state of electromagnetic radiation received at the camera, in addition to purely spectral information, has been shown beneficial in detection of human-made objects. This thesis investigates the ability to improve detection of marine debris using polarimetric imagery (PI). It is shown that PI bands increase the information content above and beyond spectral (RGB) bands and aid in visual detection and recognition of marine debris. Additionally, results of supervised classification revealed that classification accuracy improves through inclusion of image bands derived from the polarimetric information. While commercially available PI cameras are still very new and not quite operationally ready for installation on UAS, follow-on research using PI cameras on UAS is anticipated to greatly facilitate operational use of this new technology for marine debris mapping and management

Hyperspectral image denoising via minimizing the partial sum of singular values and superpixel segmentation

Hyperspectral images (HSIs) are often corrupted by noise during the acquisition process, thus degrading the HSI's discriminative capability significantly. Therefore, HSI denoising becomes an essential preprocess step before application. This paper proposes a new HSI denoising approach connecting Partial Sum of Singular Values (PSSV) and superpixels segmentation named as SS-PSSV, which can remove the noise effectively. Based on the fact that there is a high correlation between different bands of the same signal, it is easy to know the property of low rank between distinct bands. To this end, PSSV is utilized, and in order to better tap the low-rank attribute of pixels, we introduce the superpixels segmentation method, which allows pixels in HSI with high similarity to be grouped in the same sub-block as much as possible. Extensive experiments display that the proposed algorithm outperforms the state-of-the-art. © 2018 Elsevier B.V

Combining omnidirectional vision with polarization vision for robot navigation

La polarisation est le phénomène qui décrit les orientations des oscillations des ondes lumineuses qui sont limitées en direction. La lumière polarisée est largement utilisée dans le règne animal,à partir de la recherche de nourriture, la défense et la communication et la navigation. Le chapitre (1) aborde brièvement certains aspects importants de la polarisation et explique notre problématique de recherche. Nous visons à utiliser un capteur polarimétrique-catadioptrique car il existe de nombreuses applications qui peuvent bénéficier d'une telle combinaison en vision par ordinateur et en robotique, en particulier pour l'estimation d'attitude et les applications de navigation. Le chapitre (2) couvre essentiellement l'état de l'art de l'estimation d'attitude basée sur la vision.Quand la lumière non-polarisée du soleil pénètre dans l'atmosphère, l'air entraine une diffusion de Rayleigh, et la lumière devient partiellement linéairement polarisée. Le chapitre (3) présente les motifs de polarisation de la lumière naturelle et couvre l'état de l'art des méthodes d'acquisition des motifs de polarisation de la lumière naturelle utilisant des capteurs omnidirectionnels (par exemple fisheye et capteurs catadioptriques). Nous expliquons également les caractéristiques de polarisation de la lumière naturelle et donnons une nouvelle dérivation théorique de son angle de polarisation.Notre objectif est d'obtenir une vue omnidirectionnelle à 360 associée aux caractéristiques de polarisation. Pour ce faire, ce travail est basé sur des capteurs catadioptriques qui sont composées de surfaces réfléchissantes et de lentilles. Généralement, la surface réfléchissante est métallique et donc l'état de polarisation de la lumière incidente, qui est le plus souvent partiellement linéairement polarisée, est modifiée pour être polarisée elliptiquement après réflexion. A partir de la mesure de l'état de polarisation de la lumière réfléchie, nous voulons obtenir l'état de polarisation incident. Le chapitre (4) propose une nouvelle méthode pour mesurer les paramètres de polarisation de la lumière en utilisant un capteur catadioptrique. La possibilité de mesurer le vecteur de Stokes du rayon incident est démontré à partir de trois composants du vecteur de Stokes du rayon réfléchi sur les quatre existants.Lorsque les motifs de polarisation incidents sont disponibles, les angles zénithal et azimutal du soleil peuvent être directement estimés à l'aide de ces modèles. Le chapitre (5) traite de l'orientation et de la navigation de robot basées sur la polarisation et différents algorithmes sont proposés pour estimer ces angles dans ce chapitre. A notre connaissance, l'angle zénithal du soleil est pour la première fois estimé dans ce travail à partir des schémas de polarisation incidents. Nous proposons également d'estimer l'orientation d'un véhicule à partir de ces motifs de polarisation.Enfin, le travail est conclu et les possibles perspectives de recherche sont discutées dans le chapitre (6). D'autres exemples de schémas de polarisation de la lumière naturelle, leur calibrage et des applications sont proposées en annexe (B).Notre travail pourrait ouvrir un accès au monde de la vision polarimétrique omnidirectionnelle en plus des approches conventionnelles. Cela inclut l'orientation bio-inspirée des robots, des applications de navigation, ou bien la localisation en plein air pour laquelle les motifs de polarisation de la lumière naturelle associés à l'orientation du soleil à une heure précise peuvent aboutir à la localisation géographique d'un véhiculePolarization is the phenomenon that describes the oscillations orientations of the light waves which are restricted in direction. Polarized light has multiple uses in the animal kingdom ranging from foraging, defense and communication to orientation and navigation. Chapter (1) briefly covers some important aspects of polarization and explains our research problem. We are aiming to use a polarimetric-catadioptric sensor since there are many applications which can benefit from such combination in computer vision and robotics specially robot orientation (attitude estimation) and navigation applications. Chapter (2) mainly covers the state of art of visual based attitude estimation.As the unpolarized sunlight enters the Earth s atmosphere, it is Rayleigh-scattered by air, and it becomes partially linearly polarized. This skylight polarization provides a signi cant clue to understanding the environment. Its state conveys the information for obtaining the sun orientation. Robot navigation, sensor planning, and many other applications may bene t from using this navigation clue. Chapter (3) covers the state of art in capturing the skylight polarization patterns using omnidirectional sensors (e.g fisheye and catadioptric sensors). It also explains the skylight polarization characteristics and gives a new theoretical derivation of the skylight angle of polarization pattern. Our aim is to obtain an omnidirectional 360 view combined with polarization characteristics. Hence, this work is based on catadioptric sensors which are composed of reflective surfaces and lenses. Usually the reflective surface is metallic and hence the incident skylight polarization state, which is mostly partially linearly polarized, is changed to be elliptically polarized after reflection. Given the measured reflected polarization state, we want to obtain the incident polarization state. Chapter (4) proposes a method to measure the light polarization parameters using a catadioptric sensor. The possibility to measure the incident Stokes is proved given three Stokes out of the four reflected Stokes. Once the incident polarization patterns are available, the solar angles can be directly estimated using these patterns. Chapter (5) discusses polarization based robot orientation and navigation and proposes new algorithms to estimate these solar angles where, to the best of our knowledge, the sun zenith angle is firstly estimated in this work given these incident polarization patterns. We also propose to estimate any vehicle orientation given these polarization patterns. Finally the work is concluded and possible future research directions are discussed in chapter (6). More examples of skylight polarization patterns, their calibration, and the proposed applications are given in appendix (B). Our work may pave the way to move from the conventional polarization vision world to the omnidirectional one. It enables bio-inspired robot orientation and navigation applications and possible outdoor localization based on the skylight polarization patterns where given the solar angles at a certain date and instant of time may infer the current vehicle geographical location.DIJON-BU Doc.électronique (212319901) / SudocSudocFranceF