REVIEW OF METHODS FOR DETERMINING THE SPATIAL RESOLUTION OF UAV SENSORS

The ground resolved distance (GRD) of an imaging sensor, i.e. the size of the smallest element distinguishable on acquired imagery, is one of the most important sensor quality assessment factors, as it is directly linked to the amount of information that can be derived from the end product. The paper is a review of a wide variety of calibration targets used for determining the spatial resolution of remote sensing sensors. The author provides a description of calibration targets used historically and then moves on to high-frequency targets used for high-resolution remote sensing imaging equipment. As analysis is made which of these types of targets are best suited for UAV sensors, taking into account parameters very specific to UAVs: frame size, small GSD values and low flight stability

The methodology of conducting visual analysis of digital imagery when determining the minimal height above ground level for Open Skies missions

Traktat Open Skies jest międzynarodowym porozumieniem umożliwiającym jego sygnatariuszom wykonywanie nieuzbrojonych lotów obserwacyjnych nad terytorium innych państw - stron. Traktat dokładnie określa, jakie samoloty, sensory oraz filmy mogą być wykorzystywane podczas lotów obserwacyjnych. Każda konfiguracja kamery musi przejść proces certyfikacji zanim będzie mogła być wykorzystana podczas misji. Ma to na celu zapewnienie, że za pomocą konfiguracji kamery nie będzie możliwe uzyskanie zobrazowań o rozdzielczości lepszej niż ta określona przez traktat. Ponieważ terenowa zdolność rozdzielcza zależna jest od wysokości lotu, podczas certyfikacji należy określić minimalną dopuszczalną wysokość lotu, przy której nie zostanie przekroczona minimalna dopuszczalna terenowa zdolność rozdzielcza (Hmin) dla każdej konfiguracji kamery. Proces ten wykonywany jest poprzez analizę zobrazowań specjalnie skonstruowanych celów kalibracyjnych. Dotychczas traktat zezwalał jedynie na wykorzystywanie sensorów analogowych podczas misji obserwacyjnych. Wraz z pojawieniem się na rynku nowoczesnych rozwiązań cyfrowych rozpoczęto prace nad umożliwieniem wykorzystania tych nowych sensorów podczas misji Open Skies. Zobrazowania cyfrowe nie mogą być jednak rozpatrywane w ten sam sposób co tradycyjne zobrazowania analogowe. Sensory cyfrowe mogą spowodować występowanie pewnych artefaktów na zobrazowaniach. Te artefakty mogą spowodować niezgodne i niejednoznaczne odczyty i analizy, a co za tym idzie, niepoprawne wyznaczenie wartości Hmin. Dodatkowo, wpływ na wyznaczanie tej wartości może mieć sposób, w jaki obraz jest przetwarzany i wyświetlany. Zespół badawczy Wojskowej Akademii Technicznej wykonał serię testów w celu zbadania wpływu tych czynników.The Treaty on Open Skies is an international agreement, which enables its signatories to perform unarmed observation flights over the territory of other State-Parties. The Treaty states very clearly what aircraft, sensors and films can be used during an observation flight. All camera configurations must pass a certification process before they are allowed to be used during observation missions. This is to ensure, that the camera configuration will not enable the Observing Party to obtain imagery which is of better resolution than that stated by the Treaty. According to the Treaty, frame and video sensors registering imagery in the visible and close infrared regions of the electromagnetic spectrum, can acquire imagery with a ground resolution no better than 30 cm. Because ground resolution is dependend on the height of the flight, a minimal allowed flying height (Hmin) at which the minimal resolution will not be exceeded must be determined for each configuration during certification. This is done by analyzing a series of images of specially constructed calibration targets. Up till now, the Treaty has only allowed for analogue sensors to be used during such observation flights. The 21st century has seen an extremely dynamic development in modern technologies. Traditional techniques which have been used to acquire imagery are now being pushed out by more modern solutions. The appearance of the DMC-2001 sensor in 2001 has opened new doors in the image acquisition and interpretation world. Such new sensors are now being considered by State-Parties, signatories of the Open Skies Treaty. However, imagery obtained from digital sensors cannot be regarded in the same way as traditional analogue imagery. Digital sensors can cause certain artifacts to appear on imagery. These artifacts can lead to inconsistent and ambiguous readings and analyses, in turn leading to incorrect determining of the Hmin value. Additionally, it has to be tested, whether the way in which an image is processed and displayed, can have any effect on the determination of this very important value. A research team at the Military University of Technology in Warsaw has performed a number of tests in order to analyze the affect of some of these factors

Concept of a digital aerial platform for conducting observation flights under the Open Skies Ttreaty

The Treaty on Open Skies, to which Poland is a signatory from the very beginning, was signed in 1992 in Helsinki. The main principle of the Treaty is increasing the openness of military activities conducted by the States-Parties and control over respecting disarmament agreements. Responsibilities given by the Treaty are fulfilled by conducting and receiving a given number of observation flights over the territories of the Treaty signatories. Among the 34 countries currently actively taking part in this Treaty only some own certified airplanes and observation sensors. Poland is within the group of countries who do not own their own platform and therefore fulfills Treaty requirements using the Ukrainian An-30b. Primarily, the Treaty only enabled the use of analogue sensors for the acquisition of imagery data. Together with the development of digital techniques, a rise in the need for digital imagery products had been noted. Currently digital photography is being used in almost ass fields of studies and everyday life. This has lead to very rapid developments in digital sensor technologies, employing the newest and most innovative solutions. Digital imagery products have many advantages and have now almost fully replaced traditional film sensors. Digital technologies have given rise to a new era in Open Skies. The Open Skies Consultative Commission, having conducted many series of tests, signed a new Decision to the Treaty, which allows for digital aerial sensors to be used during observation flights. The main aim of this article is to design a concept of choosing digital sensors and selecting an airplane, therefore a digital aerial platform, which could be used by Poland for Open Skies purposes. A thorough analysis of airplanes currently used by the Polish Air force was conducted in terms of their specifications and the possibility of their employment for Open Skies Treaty missions. Next, an analysis was conducted of the latest aerial digital sensors offered by leading commercial manufacturers. The sensors were analyzed in terms of the accordance of their specifications with the technical requirements of the Treaty.W 1992 r. w Helsinkach został podpisany Traktat o Otwartych Przestworzach (Treaty on Open Skies), w którym Polska uczestniczy od samego początku. Do zadań Traktatu należy przede wszystkim zwiększenie otwartości działań militarnych podejmowanych przez Państwa-Strony i nadzór nad przestrzeganiem postanowień porozumień rozbrojeniowych. Zobowiązania podpisane w Traktacie wypełnia się poprzez wykonywanie oraz przyjmowanie określonej liczby lotów obserwacyjnych nad terytorium sygnatariuszy Traktatu. Spośród 34 państw obecnie uczestniczących w porozumieniu tylko niektóre dokonały certyfikacji samolotu i zainstalowanej aparatury obserwacyjnej. Strona Polska należy do grona państw, które nie posiadają własnej platformy i w celu wywiązywania się z ustalonych postanowień Traktatu, wynajmuje samolot AN-30B od Strony Ukraińskiej. Wstępnie Traktat określał możliwość wykorzystania jedynie analogowych sensorów do pozyskiwania danych obrazowych. Wraz z rozwojem techniki cyfrowej zanotowano wzrost zapotrzebowania na produkty bazujące na tego typu technologii. Obecnie fotografia cyfrowa jest wykorzystywana w wielu dziedzinach życia i nauki. Przyczyniło się to do większego rozwoju aparatury cyfrowej, wykorzystującej coraz to nowsze, bardziej innowacyjne rozwiązania. Cyfrowe produkty cechuje wiele zalet i obecnie prawie całkowicie wyparły one tradycyjne aparaty na film. Cyfrowa technika zapoczątkowała nową erę w Open Skies. Idąc z duchem czasu Komisja Konsultacyjna do spraw Traktatu, po przeprowadzeniu badań, podpisała nową Decyzję, będącą załącznikiem do Traktatu, zezwalającą na wykorzystanie cyfrowych aparatów lotniczych podczas realizacji misji. Głównym celem artykułu jest opracowanie koncepcji zastosowania cyfrowych sensorów oraz wyboru statku powietrznego, czyli cyfrowej platformy lotniczej, która mogłaby być wykorzystywana przez Polskę na potrzeby realizacji misji Open Skies. Dokonano analizy statków powietrznych będących na uzbrojeniu Sił Powietrznych Rzeczpospolitej Polskiej, pod kątem ich przydatności i możliwości adaptacji jednego z nich w celu wykorzystania podczas misji Open Skies. Następnie dokonano przeglądu nowoczesnych lotniczych sensorów cyfrowych oferowanych przez wiodących producentów rynku komercyjnego, oraz dodatkowo przeanalizowano zgodność parametrów tych sensorów z postanowieniami Traktatu i jego decyzjami

Selected problems with determination of resolving power of sensors used during Open Skies missions

Precyzyjne wyznaczanie terenowej zdolności rozdzielczej sensorów jest kluczowym problemem przy pozyskiwaniu zobrazowań z pułapu lotniczego, zwłaszcza w ramach traktatu Open Skies. Ustalono w nim minimalną, dopuszczalną, terenową zdolność rozdzielczą dla poszczególnych rodzajów sensorów. Ponieważ rozdzielczość terenowa większości rodzajów sensorów jest uzależniona od ich wysokości nad odwzorowywanym terenem, konieczne jest wyznaczenie minimalnej wysokości lotu obserwacyjnego, na której dozwolona rozdzielczość terenowa nie zostanie przekroczona. W tym celu wykonuje się przeloty i pozyskuje zobrazowania nad specjalnie skonstruowanymi celami kalibracyjnymi. Na pozyskanych zobrazowaniach mogą występować pewne błędy, artefakty, mające wpływ na poprawność wyznaczania zdolności rozdzielczej. W przypadku badań w zakresie widzialnym błędy spowodowane są przeważnie pracą sensora oraz sposobem rejestracji danych. W przypadku sensorów termalnych, dodatkowym elementem mogącym wprowadzać błędy są same cele kalibracyjne. W Zakładzie Teledetekcji i Fotogrametrii WAT prowadzone są obecnie prace nad stworzeniem nowych celów kalibracyjnych, których konstrukcja będzie minimalizowała te błędy.The precise determination of resolving power of sensors is a key problem especially when establishing which sensors can be used for Open Skies missions. The Treaty on Open Skies dictates the lowest acceptable resolving power of sensors which can be used during observation flights. Because the resolving power of most sensors differs with the height of the sensor above the terrain, it is essential to determine the minimal flying altitude, at which the permitted spatial resolution will not be exceeded. A series of test flights above especially constructed calibration targets is conducted in order to acquire imagery of these tests at different altitudes. The spatial resolution of these images is determined by evaluating the visibility of each of the components of these calibration targets. In theory, such a methodology would allow for the precise calculation of the resolving power. In reality, however, the acquired images can be burdened with a number of artifacts, or deformities, which can have a negative effect on accuracy of our calculations. When acquiring imagery in the visible range, these errors are usually caused by the detector itself or by the method by which the data is registered. However, imagery in the thermal range can additionally contain errors caused by the design of the calibration targets used. In recent years, at the Department of Remote Sensing and Photogrammetry at the Military University of Technology in Warsaw, we have designed and constructed a number of calibration targets used during Open Skies missions. One such target had been recently laid out during a Ukrainian observation flight over Polish territories. The aim of the experiment was to establish the resolving power of a new Ukrainian film. A series of images had been acquired by means of the AFA-41/7.5 analogue frame camera from a height of 1100 m. This height is the theoretical Hmin for this film, meaning the spatial resolution of imagery acquired from this altitude, will be close to 30 cm. Based on imagery acquired during this flight, it had been established that the spatial resolution of the resultant imagery is much worse than 30 cm, which means that the chosen Hmin value had been too high. We are currently in the process of constructing a new set of calibration targets, whose design will minimize the aforementioned errors. Additionally, the targets have been designed in such a way, that they will be used for determining the spatial resolution of both thermal and optical sensors. The effectiveness of these new targets will be tested shortly

Selection of materials for the development of passive calibration targets and the methodology used in determining the spatial resolution of thermal cameras and scanner

Precyzyjne wyznaczenie terenowej zdolności rozdzielczej sensorów termalnych jest problemem niezwykle istotnym przy pozyskiwaniu zobrazowań z pułapu lotniczego. Artykuł przedstawia możliwości wyznaczania terenowej zdolności rozdzielczej sensorów termalnych w oparciu o specjalnie do tego celu zaprojektowane testy kalibracyjne. Przedstawiono rodzaje istniejących termalnych celów kalibracyjnych. W artykule zostały omówione i przeanalizowane dwie podstawowe metody wyznaczania rozdzielczości terenowej na podstawie zobrazowań celów kalibracyjnych – metoda subiektywna oraz metoda obiektywna. Dokonano analizy istniejących pasywnych celów termalnych wykorzystywanych przez międzynarodowe zespoły Traktatu Open Skies. Cele, które spełniają rygorystyczne wymogi Traktatu są jednak przeważnie mało mobilne. Dlatego też prowadzone są dalsze prace nad doborem odpowiednich materiałów do wytworzenia pasywnych celów kalibracyjnych. W wyniku analizy danych pozyskanych z pomiarów Open Skies oraz własnych opracowań, można stwierdzić, że najwygodniejszym rozwiązaniem jest wykorzystanie materiałów tekstylnych do wykonania termalnych celów kalibracyjnych. Cele kalibracyjne wykorzystywane przez uczestników Traktatu Open Skies uniemożliwiają określenia zdolności rozdzielczej sensora dla dowolnej wysokości lotu. W artykule przedstawiono metodykę obiektywnego określania zdolności rozdzielczej sensora termalnego na dowolnym pułapie lotu na podstawie tkaninowych testów Siemmensa i przekoszkonej krawędzi wykorzystując do tego celu funkcję przenoszenia modulacji.Precise determination of the resolving power of thermal sensors is of a key importance when acquiring imagery from the air. The resolving power defines the value of such imagery in many applications. The paper describes possibilities of determining the resolving power of thermal sensors based on especially designed calibration tests. The existing thermal calibration targets are presented. The paper describes and analyses two basic methods of determining the resolving power based on calibration targets: a subjective method of multiple observations and an objective method, which uses the modulation transfer function (MTF). The existing passive thermal targets used by international Open Skies Treaty groups were analysed. The targets, which comply to the rigorous requirements of the Treaty, are usually made of large metal panels, which makes them difficult to transport. Therefore research is in progress on the selection of adequate materials for the production of calibration targets. In the experimental section, a large array of materials such as textiles as well as panels made out of wood, steel and aluminium of different finishes and covered with paints of different emissivities, were examined in the thermal range. Analysis of the authors' own measurements as well as those taken by Open Skies groups allows to conclude that the use of textiles is the most convenient solution for developing a thermal calibration target. Such a target is easy to transport and very convenient to experiment with in the field. Furthermore, development of such a target is simple and does not require any complex, specialised production methods. Calibration targets used by the Open Skies Treaty members make it possible to only subjectively establish the flight altitude, for which the resolving power of the sensor will not exceed 40, 50 or 60cm. They do not, however, allow to determine the resolving power of the sensor for any given flight altitude. The paper presents also an objective method for determining the resolving power of thermal sensors for any flight altitude based on the modulation transfer function used on two textile targets: a Siemmens star and slanted edge test

Examining the possibility of correcting imagery acquired for the purpose of obtaining spectral reflectance coefficients in the infrared range using photometric measurements

The purpose of this paper is to determine the possibility of using photometric measurements in order to correct imagery acquired in the 900–1700 nm range. This imagery is acquired for the purpose of acquiring spectral reflectance coefficients in variable lighting conditions. This paper will present a series of experiments, the problems encountered and obtained results. The main aim of this research was to determine a link between these two quantities (luminance and irradiance) in order to be able to eliminate the need of using such a spectroradiometer (a large, heavy and costly instrument) when acquiring spectral reflectance data from a XEVA XS-1.7.320 camera mounted on an UAV without using a reference panel

Recognition of artificial objects against a natural background with the use of hyperspectral imagery and vegetation indices

Wyróżnienie i identyfikacja obiektów wojskowych maskowanych i nie maskowanych jest głównym celem wojskowego rozpoznania obrazowego. Rozpoznanie obiektów może odbywać się przy wykorzystaniu technik hiperspektralnych, które umożliwiają tworzenie stycznych, nierozłącznych i bardzo wąskich zakresów rejestracji. Pozyskane w ten sposób zobrazowania w zakresie VIS oraz NIR, mogą być wykorzystane w celach rozpoznania na różnych poziomach szczegółowości. W dobie rozwijających się technik rozpoznawczych pojawiła się potrzeba prowadzenia rozpoznania w czasie rzeczywistym, dlatego też prowadzono badania nad wykorzystaniem wskaźników wegetacyjnych (jak np. NDVI) w celu wyróżnienia obiektów sztucznych z naturalnego tła. W artykule przedstawiono prace doświadczalne związanie z doborem odpowiednich scen hiperspektralnych dla wybranego wskaźnika wegetacyjnego. Analizy dokonano na podstawie obrazów hiperspektralnych roślin naturalnych i sztucznych. Istnieje potrzeba prowadzenia dalszych prac badawczych nad doborem optymalnego zakresu, w którym występują największe różnice pomiędzy charakterystykami odbiciowymi wyróżnianego obiektu i tła. Jednocześnie zastosowanie filtru elektrooptycznego VIS ograniczyło zakres badań do 400-720nm.As part of this study, the authors have created a set and provided the methodology for acquiring hyperspectral data in terrestrial conditions. The set is based on a monochromatic digital camera with an optoelectronic tuneable filter. In the era of developing reconnaissance techniques, there is a need for conducting such surveys in real time. The systems used to capture imagery in real time (or close to real time) should assure a shortest possible time of hyperspectral image acquisition as well as its digital processing. For the European theatre of operations vegetation is usually the typical natural background. Therefore studies were carried out on the use of vegetation indices (e.g. NDVI) in object recognition from a natural background. The article presents research regarding the process of selecting appropriate hyperspectral scenes for a given vegetation index. The analyses were carried out based on hyperspectral images of real and artificial plants. The imagery was acquired at the Military University of Technology in Warsaw, with the use of the hyperspectral system created. Based on the results described in this paper, it is safe to say that it is possible to acquire and process images which can be used in the recognition of artificial objects against a natural background in almost real time, with the use of a hyperspectral technique. There is a need to continue research into the selection of a most appropriate band in which the difference between the object sought and its background are maximised. The use of an electrooptical tuneable VIS filter has limited the analysed range to 400-720nm. Using a NIR tuneable filter instead of the VIS filter would broaden the analysed range to 650-1000nm

Initial selection of spectral bands used in a process of image reconnaissance

Ciągłe ulepszanie metod kamuflażu przyczynia się do poszukiwania malejących różnic w odbiciu spektralnym pomiędzy obiektami a tłem naturalnym. Główne problemy wynikające z natury tła i materiałów wykorzystywanych do kamuflażu to sposób prowadzenia rozpoznania, wybór kanałów spektralnych, dobór algorytmów umożliwiających przetworzenie zdjęć i poprawę kontrastu oraz metody wizualizacji wyników. W przeprowadzonych badaniach zastosowano algorytm do sprawdzania kontrastu na zobrazowaniach hiperspektralnych. Poddano analizie porównawczej metody wykrywania obiektów oparte na pojedynczych zobrazowaniach, dwóch kanałach spektralnych oraz metodę automatycznego tworzenia kompozycji hiperspektralnej. Dodatkowo sklasyfikowano metody pod kątem wyróżnienia obiektów o znanej i nieznanej charakterystyce odbiciowej. Zastosowana metodyka badań jest oparta na "odległości Mahalanobisa" i wskazuje na potrzebę prowadzenia rozpoznania wielokanałowego w celu sprawnego wykrycia obiektów.Constant advances in methods of camouflage are responsible for the progress in image reconnaissance and the distinguishing between objects and their natural background. The main problems attributable to the nature of the background and materials used to camouflage the object are: the way in which image reconnaissance should be conducted, the choice of spectral bands used, the choice of algorithms used to process the images and methods of visualizing the results. In our studies we have applied an algorithm to evaluate the contrast of the acquired hyperspectral images. We carried out a comparative analysis of methods used to recognize objects based on single images, on two spectral bands and using an automated method of creating hyperspectral compositions. Additionally, the methods had been classified in terms of their ability to recognize objects with a known and unknown spectral curve. This methodology is based on the "Mahalanobis distance". It proves that there is a need to acquire multiband imagery information in order to make the process of object recognition more efficient

Initial detection of the condition of building facades using hyperspectral imagery

Istnieje wiele czynników powodujących niszczenie zewnętrznej części elewacji budynków. Należą do nich mchy, szkodniki, wilgoć czy grzyby, które często powodują uszkodzenia materiałów kamieniarskich, zewnętrznych części tynków i tym samym ich kruszenie i odpadanie. Czynnikiem, któremu zespół z Zakładu Teledetekcji i Fotogrametrii WAT poświęcił szereg badań i analiz, jest wilgotność. Wywołuje ona gnicie drewna, murszenie cegły, korozję stali, jak również może spowodować mikropęknięcia i odpadanie tynku. Ponadto zawilgocone elementy budowlane powodują wzrost zapotrzebowania na energię grzewczą. Wzrost wilgotności powietrza wewnętrznego budynku staje się również początkiem rozwoju szkodliwych pleśni i grzybów. Zagadnieniem poruszonym w opisanej pracy badawczej jest wykrywanie zawilgoconych obszarów elewacji nieinwazyjnymi metodami teledetekcyjnymi.There are a great number of factors and processes which can have a negative effect on the facades of buildings. Such damaging processes include weathering, corrosion, salt blooming and biological changes like moss, lichen, moulds and moisture. Most techniques used nowadays to detect these changes either require us to be in close proximity to the analyzed surface or can themselves have damaging effects on the structure (i.e. when drilling or other forms of extraction of material are needed). The research team at the Department of Remote Sensing and Photogrammetry at the Military University of Technology has developed a system which enables the acquisition of hyperspectral images in the 420-1100 nm range. The system is composed mainly of a monochromatic camera and two optoelectronically tunable filters — one in the visible range of the electromagnetic spectrum (VIS 420-720 nm) and the other in the close infrared region (NIR 650-1100 nm). The hyperspectral imaging system is ideal for the detection of the above mentioned changes occurring on buildings. A sequence of images in the 420-1100 nm range with a 10 nm bandwidth and 10 nm step is acquired. Registered images, especially those in the infrared range, can be very useful for detecting of areas of excess moisture on the building surface. The measurement of moisture content has a particular importance, as most aforementioned damages are caused by, higher than average, levels of moisture. Having acquired a hyperspectral image sequence, it is possible to conduct a simple supervised image classification, which will highlight areas of higher moisture content. These areas can then be more closely monitored and analyzed to determine the nature and extent of the damages caused by moisture. As a result, an image representing areas of heightened moisture content on the surface of the buildings facade is created. The proposed hyperspectral technique is noninvasive and allows for the analysis of the entire facade surface at once. It is also possible to acquire a spectral response curve for any chosen point or area on the acquired hyperspectral images

Pre-processing of Xeva-XS imagery for determining spectral reflectance coefficients in laboratory conditions

There are two different methodologies which can be used to acquire imagery from which it would be possible to obtain spectral reflectance characteristics – the first based on images of a scene in which a reference panel had been included, and the second based on precisely selected exposure parameters. This paper is concerned with the first of these two methods based on experiments conducted using a 14bit XEVA XS-1.7.320 infrared sensor. The paper firstly describes the effect of different exposure settings on the accuracy with which we can later determine the spectral reflectance coefficients. The next step when working with such imagery in laboratory conditions is to eliminate the effect of the uneven distribution of illumination. In the paper we present two proposed methods for eliminating the uneven distribution of illumination – an additive method and a quotient method. After that it is essential to stretch the DN values. Once again we investigated two possible methods of doing this – firstly, by stretching the data using only the white reference panel, adjusting the maxDN value of the image of the surface of the reference panel to 95%. The second method additionally adds a second reference point – a black reference panel which reflects 5% of incident radiation. The spectral reflectance coefficients of chosen samples acquired using all of the above mentioned methods are compared with reference data obtained using a spectroradiometer. Establishing the most optimal methodologies will greatly increase the accuracy of obtained spectral response coefficients, which at the same time will increase the accuracy with which, in this case, water pollutants will be identified