Reconstruction of geo-referenced maize plants using a con-sumer time-of-flight camera in different agricultural envi-ronments

Crop phenotyping is a prerequisite to enable robots doing agricultural tasks, evaluating crop status for farm management, and relating genotypes to phenotypes for crop breeding among others. Optical three dimensional (3-D) sensors have been preferred since they provide more information about the complex plant architecture. The improvement of time-of-flight (TOF) cameras together with their reduced economical costs have provided an appropriate tool for tasks that require detailed information of the agricultural environment. In this paper, 3-D reconstruction of maize is performed in different environments, from controlled greenhouse to the open field, to evaluate the capabilities of a consumer camera

Crop plant reconstruction and feature extraction based on 3-D vision

3-D imaging is increasingly affordable and offers new possibilities for a more efficient agricul-tural practice with the use of highly advances technological devices. Some reasons contrib-uting to this possibility include the continuous increase in computer processing power, the de-crease in cost and size of electronics, the increase in solid state illumination efficiency and the need for greater knowledge and care of the individual crops. The implementation of 3-D im-aging systems in agriculture is impeded by the economic justification of using expensive de-vices for producing relative low-cost seasonal products. However, this may no longer be true since low-cost 3-D sensors, such as the one used in this work, with advance technical capabili-ties are already available. The aim of this cumulative dissertation was to develop new methodologies to reconstruct the 3-D shape of agricultural environment in order to recognized and quantitatively describe struc-tures, in this case: maize plants, for agricultural applications such as plant breeding and preci-sion farming. To fulfil this aim a comprehensive review of the 3-D imaging systems in agricul-tural applications was done to select a sensor that was affordable and has not been fully inves-tigated in agricultural environments. A low-cost TOF sensor was selected to obtain 3-D data of maize plants and a new adaptive methodology was proposed for point cloud rigid registra-tion and stitching. The resulting maize 3-D point clouds were highly dense and generated in a cost-effective manner. The validation of the methodology showed that the plants were recon-structed with high accuracies and the qualitative analysis showed the visual variability of the plants depending on the 3-D perspective view. The generated point cloud was used to obtain information about the plant parameters (stem position and plant height) in order to quantita-tively describe the plant. The resulting plant stem positions were estimated with an average mean error and standard deviation of 27 mm and 14 mm, respectively. Additionally, meaning-ful information about the plant height profile was also provided, with an average overall mean error of 8.7 mm. Since the maize plants considered in this research were highly heterogeneous in height, some of them had folded leaves and were planted with standard deviations that emulate the real performance of a seeder; it can be said that the experimental maize setup was a difficult scenario. Therefore, a better performance, for both, plant stem position and height estimation could be expected for a maize field in better conditions. Finally, having a 3-D re-construction of the maize plants using a cost-effective sensor, mounted on a small electric-motor-driven robotic platform, means that the cost (either economic, energetic or time) of gen-erating every point in the point cloud is greatly reduced compared with previous researches.Die 3D-Bilderfassung ist zunehmend kostengünstiger geworden und bietet neue Möglichkeiten für eine effizientere landwirtschaftliche Praxis durch den Einsatz hochentwickelter technologischer Geräte. Einige Gründe, die diese ermöglichen, ist das kontinuierliche Wachstum der Computerrechenleistung, die Kostenreduktion und Miniaturisierung der Elektronik, die erhöhte Beleuchtungseffizienz und die Notwendigkeit einer besseren Kenntnis und Pflege der einzelnen Pflanzen. Die Implementierung von 3-D-Sensoren in der Landwirtschaft wird durch die wirtschaftliche Rechtfertigung der Verwendung teurer Geräte zur Herstellung von kostengünstigen Saisonprodukten verhindert. Dies ist jedoch nicht mehr länger der Fall, da kostengünstige 3-D-Sensoren, bereits verfügbar sind. Wie derjenige dier in dieser Arbeit verwendet wurde. Das Ziel dieser kumulativen Dissertation war, neue Methoden für die Visualisierung die 3-D-Form der landwirtschaftlichen Umgebung zu entwickeln, um Strukturen quantitativ zu beschreiben: in diesem Fall Maispflanzen für landwirtschaftliche Anwendungen wie Pflanzenzüchtung und Precision Farming zu erkennen. Damit dieses Ziel erreicht wird, wurde eine umfassende Überprüfung der 3D-Bildgebungssysteme in landwirtschaftlichen Anwendungen durchgeführt, um einen Sensor auszuwählen, der erschwinglich und in landwirtschaftlichen Umgebungen noch nicht ausgiebig getestet wurde. Ein kostengünstiger TOF-Sensor wurde ausgewählt, um 3-D-Daten von Maispflanzen zu erhalten und eine neue adaptive Methodik wurde für die Ausrichtung von Punktwolken vorgeschlagen. Die resultierenden Mais-3-D-Punktwolken hatten eine hohe Punktedichte und waren in einer kosteneffektiven Weise erzeugt worden. Die Validierung der Methodik zeigte, dass die Pflanzen mit hoher Genauigkeit rekonstruiert wurden und die qualitative Analyse die visuelle Variabilität der Pflanzen in Abhängigkeit der 3-D-Perspektive zeigte. Die erzeugte Punktwolke wurde verwendet, um Informationen über die Pflanzenparameter (Stammposition und Pflanzenhöhe) zu erhalten, die die Pflanze quantitativ beschreibt. Die resultierenden Pflanzenstammpositionen wurden mit einem durchschnittlichen mittleren Fehler und einer Standardabweichung von 27 mm bzw. 14 mm berechnet. Zusätzlich wurden aussagekräftige Informationen zum Pflanzenhöhenprofil mit einem durchschnittlichen Gesamtfehler von 8,7 mm bereitgestellt. Da die untersuchten Maispflanzen in der Höhe sehr heterogen waren, hatten einige von ihnen gefaltete Blätter und wurden mit Standardabweichungen gepflanzt, die die tatsächliche Genauigkeit einer Sämaschine nachahmen. Man kann sagen, dass der experimentelle Versuch ein schwieriges Szenario war. Daher könnte für ein Maisfeld unter besseren Bedingungen eine besseres Resultat sowohl für die Pflanzenstammposition als auch für die Höhenschätzung erwartet werden. Schließlich bedeutet eine 3D-Rekonstruktion der Maispflanzen mit einem kostengünstigen Sensor, der auf einer kleinen elektrischen, motorbetriebenen Roboterplattform montiert ist, dass die Kosten (entweder wirtschaftlich, energetisch oder zeitlich) für die Erzeugung jedes Punktes in den Punktwolken im Vergleich zu früheren Untersuchungen stark reduziert werden

Perception for context awareness of agricultural robots

Context awareness is one key point for the realisation of robust autonomous systems in unstructured environments like agriculture. Robots need a precise description of their environment so that tasks could be planned and executed correctly. When using a robot system in a controlled, not changing environment, the programmer maybe could model all possible circumstances to get the system reliable. However, the situation gets more complex when the environment and the objects are changing their shape, position or behaviour. Perception for context awareness in agriculture means to detect and classify objects of interest in the environment correctly and react to them. The aim of this cumulative dissertation was to apply different strategies to increase context awareness with perception in mobile robots in agriculture. The objectives of this thesis were to address five aspects of environment perception: (I) test static local sensor communication with a mobile vehicle, (II) detect unstructured objects in a controlled environment, (III) describe the influence of growth stage to algorithm outcomes, (IV) use the gained sensor information to detect single plants and (V) improve the robustness of algorithms under noisy conditions. First, the communication between a static Wireless Sensor Network and a mobile robot was investigated. The wireless sensor nodes were able to send local data from sensors attached to the systems. The sensors were placed in a vineyard and the robot followed automatically the row structure to receive the data. It was possible to localize the single nodes just with the exact robot position and the attenuation model of the received signal strength with triangulation. The precision was 0.6 m and more precise than a provided differential global navigation satellite system signal. The second research area focused on the detection of unstructured objects in point clouds. Therefore, a low-cost sonar sensor was attached to a 3D-frame with millimetre level accuracy to exactly localize the sensor position. With the sensor position and the sensor reading, a 3D point cloud was created. In the workspace, 10 individual plant species were placed. They could be detected automatically with an accuracy of 2.7 cm. An attached valve was able to spray these specific plant positions, which resulted in a liquid saving of 72%, compared to a conventional spraying method, covering the whole crop row area. As plants are dynamic objects, the third objective of describing the plant growth with adequate sensor data, was important to characterise the unstructured agriculture domain. For revering and testing algorithms to the same data, maize rows were planted in a greenhouse. The exact positions of all plants were measured with a total station. Then a robot vehicle was guided through the crop rows and the data of attached sensors were recorded. With the help of the total station, it was possible to track down the vehicle position and to refer all data to the same coordinate frame. The data recording was performed over 7 times over a period of 6 weeks. This created datasets could afterwards be used to assess different algorithms and to test them against different growth changes of the plants. It could be shown that a basic RANSAC line following algorithm could not perform correctly under all growth stages without additional filtering. The fourth paper used this created datasets to search for single plants with a sensor normally used for obstacle avoidance. One tilted laser scanner was used with the exact robot position to create 3D point clouds, where two different methods for single plant detection were applied. Both methods used the spacing to detect single plants. The second method used the fixed plant spacing and row beginning, to resolve the plant positions iteratively. The first method reached detection rates of 73.7% and a root mean square error of 3.6 cm. The iterative second method reached a detection rate of 100% with an accuracy of 2.6 - 3.0 cm. For assessing the robustness of the plant detection, an algorithm was used to detect the plant positions in six different growth stages of the given datasets. A graph-cut based algorithm was used, what improved the results for single plant detection. As the algorithm was not sensitive against overlaying and noisy point clouds, a detection rate of 100% was realised, with an accuracy for the estimated height of the plants with 1.55 cm. The stem position was resolved with an accuracy of 2.05 cm. This thesis showed up different methods of perception for context awareness, which could help to improve the robustness of robots in agriculture. When the objects in the environment are known, it could be possible to react and interact smarter with the environment as it is the case in agricultural robotics. Especially the detection of single plants before the robot reaches them could help to improve the navigation and interaction of agricultural robots.Kontextwahrnehmung ist eine Schlüsselfunktion für die Realisierung von robusten autonomen Systemen in einer unstrukturierten Umgebung wie der Landwirtschaft. Roboter benötigen eine präzise Beschreibung ihrer Umgebung, so dass Aufgaben korrekt geplant und durchgeführt werden können. Wenn ein Roboter System in einer kontrollierten und sich nicht ändernden Umgebung eingesetzt wird, kann der Programmierer möglicherweise ein Modell erstellen, welches alle möglichen Umstände einbindet, um ein zuverlässiges System zu erhalten. Jedoch wird dies komplexer, wenn die Objekte und die Umwelt ihr Erscheinungsbild, Position und Verhalten ändern. Umgebungserkennung für Kontextwahrnehmung in der Landwirtschaft bedeutet relevante Objekte in der Umgebung zu erkennen, zu klassifizieren und auf diese zu reagieren. Ziel dieser kumulativen Dissertation war, verschiedene Strategien anzuwenden, um das Kontextbewusstsein mit Wahrnehmung bei mobilen Robotern in der Landwirtschaft zu erhöhen. Die Ziele dieser Arbeit waren fünf Aspekte von Umgebungserkennung zu adressieren: (I) Statische lokale Sensorkommunikation mit einem mobilen Fahrzeug zu testen, (II) unstrukturierte Objekte in einer kontrollierten Umgebung erkennen, (III) die Einflüsse von Wachstum der Pflanzen auf Algorithmen und ihre Ergebnisse zu beschreiben, (IV) gewonnene Sensorinformation zu benutzen, um Einzelpflanzen zu erkennen und (V) die Robustheit von Algorithmen unter verschiedenen Fehlereinflüssen zu verbessern. Als erstes wurde die Kommunikation zwischen einem statischen drahtlosen Sensor-Netzwerk und einem mobilen Roboter untersucht. Die drahtlosen Sensorknoten konnten Daten von lokal angeschlossenen Sensoren übermitteln. Die Sensoren wurden in einem Weingut verteilt und der Roboter folgte automatisch der Reihenstruktur, um die gesendeten Daten zu empfangen. Es war möglich, die Sendeknoten mithilfe von Triangulation aus der exakten Roboterposition und eines Sendesignal-Dämpfung-Modells zu lokalisieren. Die Genauigkeit war 0.6 m und somit genauer als das verfügbare Positionssignal eines differential global navigation satellite system. Der zweite Forschungsbereich fokussierte sich auf die Entdeckung von unstrukturierten Objekten in Punktewolken. Dafür wurde ein kostengünstiger Ultraschallsensor auf einen 3D Bewegungsrahmen mit einer Millimeter Genauigkeit befestigt, um die genaue Sensorposition bestimmen zu können. Mit der Sensorposition und den Sensordaten wurde eine 3D Punktewolke erstellt. Innerhalb des Arbeitsbereichs des 3D Bewegungsrahmens wurden 10 einzelne Pflanzen platziert. Diese konnten automatisch mit einer Genauigkeit von 2.7 cm erkannt werden. Eine angebaute Pumpe ermöglichte das punktuelle Besprühen der spezifischen Pflanzenpositionen, was zu einer Flüssigkeitsersparnis von 72%, verglichen mit einer konventionellen Methode welche die gesamte Pflanzenfläche benetzt, führte. Da Pflanzen sich ändernde Objekte sind, war das dritte Ziel das Pflanzenwachstum mit geeigneten Sensordaten zu beschreiben, was wichtig ist, um unstrukturierte Umgebung der Landwirtschaft zu charakterisieren. Um Algorithmen mit denselben Daten zu referenzieren und zu testen, wurden Maisreihen in einem Gewächshaus gepflanzt. Die exakte Position jeder einzelnen Pflanze wurde mit einer Totalstation gemessen. Anschließend wurde ein Roboterfahrzeug durch die Reihen gelenkt und die Daten der angebauten Sensoren wurden aufgezeichnet. Mithilfe der Totalstation war es möglich, die Fahrzeugposition zu ermitteln und alle Daten in dasselbe Koordinatensystem zu transformieren. Die Datenaufzeichnungen erfolgten 7-mal über einen Zeitraum von 6 Wochen. Diese generierten Datensätze konnten anschließend benutzt werden, um verschiedene Algorithmen unter verschiedenen Wachstumsstufen der Pflanzen zu testen. Es konnte gezeigt werden, dass ein Standard RANSAC Linien Erkennungsalgorithmus nicht fehlerfrei arbeiten kann, wenn keine zusätzliche Filterung eingesetzt wird. Die vierte Publikation nutzte diese generierten Datensätze, um nach Einzelpflanzen mithilfe eines Sensors zu suchen, der normalerweise für die Hinderniserkennung benutzt wird. Ein gekippter Laserscanner wurde zusammen mit der exakten Roboterposition benutzt, um eine 3D Punktewolke zu generieren. Zwei verschiedene Methoden für Einzelpflanzenerkennung wurden angewendet. Beide Methoden nutzten Abstände, um die Einzelpflanzen zu erkennen. Die zweite Methode nutzte den bekannten Pflanzenabstand und den Reihenanfang, um die Pflanzenpositionen iterativ zu erkennen. Die erste Methode erreichte eine Erkennungsrate von 73.7% und damit einen quadratischen Mittelwertfehler von 3.6 cm. Die iterative zweite Methode erreichte eine Erkennungsrate von bis zu 100% mit einer Genauigkeit von 2.6-3.0 cm. Um die Robustheit der Pflanzenerkennung zu bewerten, wurde ein Algorithmus zur Erkennung von Einzelpflanzen in sechs verschiedenen Wachstumsstufen der Datasets eingesetzt. Hier wurde ein graph-cut basierter Algorithmus benutzt, welcher die Robustheit der Ergebnisse für die Einzelpflanzenerkennung erhöhte. Da der Algorithmus nicht empfindlich gegen ungenaue und fehlerhafte Punktewolken ist, wurde eine Erkennungsrate von 100% mit einer Genauigkeit von 1.55 cm für die Höhe der Pflanzen erreicht. Der Stiel der Pflanzen wurde mit einer Genauigkeit von 2.05 cm erkannt. Diese Arbeit zeigte verschiedene Methoden für die Erkennung von Kontextwahrnehmung, was helfen kann, um die Robustheit von Robotern in der Landwirtschaft zu erhöhen. Wenn die Objekte in der Umwelt bekannt sind, könnte es möglich sein, intelligenter auf die Umwelt zu reagieren und zu interagieren, wie es aktuell der Fall in der Landwirtschaftsrobotik ist. Besonders die Erkennung von Einzelpflanzen bevor der Roboter sie erreicht, könnte helfen die Navigation und Interaktion von Robotern in der Landwirtschaft verbessern

High-throughput phenotyping of large wheat breeding nurseries using unmanned aerial system, remote sensing and GIS techniques

Doctor of PhilosophyDepartment of GeographyDouglas G. GoodinJesse A. PolandKevin PriceWheat breeders are in a race for genetic gain to secure the future nutritional needs of a growing population. Multiple barriers exist in the acceleration of crop improvement. Emerging technologies are reducing these obstacles. Advances in genotyping technologies have significantly decreased the cost of characterizing the genetic make-up of candidate breeding lines. However, this is just part of the equation. Field-based phenotyping informs a breeder’s decision as to which lines move forward in the breeding cycle. This has long been the most expensive and time-consuming, though most critical, aspect of breeding. The grand challenge remains in connecting genetic variants to observed phenotypes followed by predicting phenotypes based on the genetic composition of lines or cultivars. In this context, the current study was undertaken to investigate the utility of UAS in assessment field trials in wheat breeding programs. The major objective was to integrate remotely sensed data with geospatial analysis for high throughput phenotyping of large wheat breeding nurseries. The initial step was to develop and validate a semi-automated high-throughput phenotyping pipeline using a low-cost UAS and NIR camera, image processing, and radiometric calibration to build orthomosaic imagery and 3D models. The relationship between plot-level data (vegetation indices and height) extracted from UAS imagery and manual measurements were examined and found to have a high correlation. Data derived from UAS imagery performed as well as manual measurements while exponentially increasing the amount of data available. The high-resolution, high-temporal HTP data extracted from this pipeline offered the opportunity to develop a within season grain yield prediction model. Due to the variety in genotypes and environmental conditions, breeding trials are inherently spatial in nature and vary non-randomly across the field. This makes geographically weighted regression models a good choice as a geospatial prediction model. Finally, with the addition of georeferenced and spatial data integral in HTP and imagery, we were able to reduce the environmental effect from the data and increase the accuracy of UAS plot-level data. The models developed through this research, when combined with genotyping technologies, increase the volume, accuracy, and reliability of phenotypic data to better inform breeder selections. This increased accuracy with evaluating and predicting grain yield will help breeders to rapidly identify and advance the most promising candidate wheat varieties

Implementation and improvement of an unmanned aircraft system for precision farming purposes

Precision farming (PF) is an agricultural concept that accounts for within-field variability by gathering spatial and temporal information with modern sensing technology and performs variable and targeted treatments on a smaller scale than field scale. PF research quickly recognized the possible benefits unmanned aerial vehicles (UAVs) can add to the site-specific management of farms. As UAVs are flexible carrier platforms, they can be equipped with a range of different sensing devices and used in a variety of close-range remote sensing scenarios. Most frequently, UAVs are utilized to gather actual in-season canopy information with imaging sensors that are sensitive to reflected electro-magnetic radiation in the visual (VIS) and near-infrared (NIR) spectrum. They are generally used to infer the crops biophysical and biochemical parameters to support farm management decisions. A current disadvantage of UAVs is that they are not designed to interact with their attached sensor payload. This leads to the need of intensive data post-processing and prohibits the possibility of real-time scenarios, in which UAVs can directly transfer information to field machinery or robots. In consequence, this thesis focused on the development of a smart unmanned aircraft system (UAS), which in the thesis context was regarded as a combination of a UAV carrier platform, an on-board central processing unit for sensor control and data processing, and a remotely connected ground control station. The ground control station was supposed to feature the possibility of flight mission control and the standardized distribution of sensor data with a sensor data infrastructure, serving as a data basis for a farm management information system (FMIS). The UAS was intended to be operated as a flexible monitoring tool for in-season above-ground biomass and nitrogen content estimation as well as crop yield prediction. Therefore, the selection, development, and validation of appropriate imaging sensors and processing routines were key parts to prove the UAS usability in PF scenarios. The individual objectives were (i) to implement an advanced UAV for PF research, providing the possibilities of remotely-controlled and automatic flight mission execution, (ii) to improve the developed UAV to a UAS by implementing sensor control, data processing and communication functionalities, (iii) to select and develop appropriate sensor systems for yield prediction and nitrogen fertilization strategies, (iv) to integrate the sensor systems into the UAS and to test the performance in example use cases, and (v) to embed the UAS into a standardized sensor data infrastructure for data storage and usage in PF applications. This work demonstrated the successful development of a custom rotary-wing UAV carrier platform with an embedded central processing unit. A modular software framework was developed with the ability to control any kind of sensor payload in real-time. The sensors can be triggered and their measurements are retrieved, fused together with the carriers navigation information, logged and broadcasted to a ground control station. The setup was used as basis for further research, focusing on information generation by sophisticated data processing. For a first application of predicting the grain yield of corn (Zea mays L.), a simple RGB camera was selected to acquire a set of aerial imagery of early- and mid-season corn crops. Orthoimages were processed with different ground resolutions and were computed to simple vegetation indices (VI) for a crop/non-crop classification. In addition to that, crop surface models (CSMs) were generated to estimate the crop heights. Linear regressions were performed with the corn grain yield as dependent variable and crop height and crop coverage as independent variable. The analysis showed the best prediction results of a relative root mean square error (RMSE) of 8.8 % at mid-season growth stages and ground resolutions of 4 cm px −1 . Moreover, the results indicate that with on-going canopy closure and homogeneity accounting for high ground resolutions and crop/non-crop classification becomes less and less important. For the estimation of above-ground biomass and nitrogen content in winter wheat (Triticum aestivum L.) a programmable multispectral camera was developed. It is based on an industrial multi-sensor camera, which was equipped with bandpass filters to measure four narrow wavelength bands in the so-called red-edge region. This region is the transition zone in between the VIS and NIR spectrum and known to be sensitive to leaf chlorophyll content and the structural state of the plant. It is often used to estimate biomass and nitrogen content with the help of the normalized difference vegetation index (NDVI) and the red-edge inflection point (REIP). The camera system was designed to measure ambient light conditions during the flight mission to set appropriate image acquisition times, which guarantee images with high contrast. It is fully programmable and can be further developed to a real-time image processing system. The analysis relies on semi-automatic orthoimage processing. The NDVI orthoimages were analyzed for the correlation with biomass by means of simple linear regression. These models proved to estimate biomass for all measurements with RMSEs of 12.3 % to 17.6 %. The REIP was used to infer nitrogen content and showed good results with RMSEs of 7.6 % to 11.7 %. Both NDVI and REIP were also tested for the in-season grain yield prediction ability (RMSE = 9.012.1 %), whereas grain protein content could be modeled with the REIP, except for low-fertilized wheat plots. The last part of the thesis comprised the development of a standardized sensor data infrastructure as a first step to a holistic farm management. The UAS was integrated into a real-time sensor data acquisition network with standardized data base storage capabilities. The infrastructure was based on open source software and the geo-data standards of the Open Geospatial Consortium (OGC). A prototype implementation was tested for four exemplary sensor systems and proved to be able to acquire, log, visualize and store the sensor data in a standardized data base via a sensor observation service on-the-fly. The setup is scalable to scenarios, where a multitude of sensors, data bases, and web services interact with each other to exchange and process data. This thesis demonstrates the successful prototype implementation of a smart UAS and a sensor data infrastructure, which offers real-time data processing functionality. The UAS is equipped with appropriate sensor systems for agricultural crop monitoring and has the potential to be used in real-world scenarios.Precision farming (PF) ist ein landwirtschaftliches Konzept, das die Variabilität innerhalb eines Feldes berücksichtigt, indem es mit Hilfe moderner Sensortechnologien räumliche und zeitliche Bestandsinformationen sammelt. Dadurch ist PF in der Lage, gezielte teilflächenspezifische Anwendungen innerhalb eines Feldes durchzuführen. Die Forschung im Bereich von PF hat früh die potenziellen Vorzüge von kleinen Luftfahrzeugen, sogenannten unmanned aerial vehicles (UAVs), für die teilflächenspezifische Bewirtschaftung erkannt. Da UAVs flexible Lastenträger darstellen, können sie mit den verschiedensten Sensoren ausgestattet und in einer Vielzahl von fernerkundlichen Anwendungsfällen in der Landwirtschaft genutzt werden. Dabei werden sie am häufigsten mit bildgebenden Sensoren eingesetzt, um aktuelle Informationen über den Pflanzenbestand in der Vegetationsperiode zu liefern. Die eingesetzten Sensoren sind dabei meist zur Messung elektromagnetischer Strahlung im sichtbaren (VIS) und nahen infraroten (NIR) Bereich ausgelegt. Im Allgemeinen werden sie dazu benutzt auf biophysikalische und biochemische Eigenschaften der Nutzpflanzen zu schließen und damit die Entscheidungsprozesse in der Bestandsführung zu unterstützen. Ein aktueller Nachteil der UAVs ist, dass sie nicht dafür gebaut werden um mit ihrer Nutzlast zu interagieren. Das führt zu einem Bedarf an erheblicher Datennachverarbeitung und verhindert Echtzeitszenarios, in denen UAVs Informationen direkt an Feldmaschinen und Roboter senden können. Aus diesem Grund konzentrierte sich diese Dissertation auf die Entwicklung eines intelligenten fliegenden Systems, eines sogenannten unmanned aircraft system (UAS), welches im Kontext dieser Dissertation als eine Kombination aus UAV Trägerplattform, zentralem Computer zur Sensorsteuerung und Datenverarbeitung, sowie einer entfernt verbundenen Bodenstation betrachtet wurde. Die Bodenstation war zur Flugüberwachung und zur standardisierten Verteilung der Sensordaten über eine Sensordateninfrastruktur bestimmt. Die Sensordateninfrastruktur diente als Basis eines sogenannten farm management information system (FMIS), das die Verwaltung und Bewirtschaftung eines landwirtschaftlichen Betriebs mit Methoden der Informatik unterstützt. Das UAS sollte als flexibles Aufklärungswerkzeug eingesetzt werden, um Schätzungen von Biomasse, Stickstoffgehalt und erwartetem Ertrag während der Vegetationsperiode zu liefern. Daher war die Auswahl, Entwicklung und Validierung geeigneter bildgebender Sensoren und zugehöriger Verarbeitungsmethoden ein zentraler Bestandteil, um die Nutzbarkeit von UAS im PF zu belegen. Die einzelnen Ziele waren (i) der Aufbau eines UAVs für das PF, das sich fernsteuern und automatisch nach Wegpunkten fliegen lässt, (ii) die Erweiterung des UAVs zum UAS, durch die Entwicklung einer zentralen Sensorsteuerung, Datenverarbeitung und Kommunikationsfähigkeit, (iii) die Auswahl und Entwicklung geeigneter Sensorsysteme zur Ertragsschätzung und Stickstoffdüngung, (iv) der Einbau der Sensorsysteme in das UAS und deren Validierung in Beispielanwendungen und (v) die Integration des UAS in eine standardisierte Sensordateninfrastruktur um die Daten für PF-Anwendungen abzuspeichern und verfügbar zu machen. Diese Dissertation präsentiert eine erfolgreiche Entwicklung eines Drehflügler-UAVs mit zentraler Steuereinheit. Dazu passend wurde eine modulare Software entwickelt, die jegliche Sensorik in Echtzeit steuern kann. Messungen können ausgelöst, empfangen, mit den Navigationsdaten des UAVs fusioniert, gespeichert und an eine Bodenstation gesendet werden. Das UAV diente als Basis weiterer Forschung, die die Verarbeitung von Sensordaten zur Erzeugung pflanzenbaulicher Information zum Ziel hatte. Eine erste Anwendung war die Ertragsschätzung von Körnermais (Zea mays L.). Eine einfache RGB Kamera wurde dazu benutzt Luftbilder von Maispflanzen in frühen und mittleren Wachstumsstadien aufzunehmen. Daraus wurden Orthophotos mit unterschiedlichen Bodenauflösungen erzeugt und zu einfachen Vegetationsindizes (VIs) zur Klassifizierung der Pixel als Pflanze oder nicht Pflanze weiterverarbeitet. Zusätzlich wurden Oberflächenmodelle des Pflanzenbestands, sogenannte crop surface models (CSMs), erzeugt, um die Pflanzenhöhen abzuschätzen. Mit dem Ertrag als abhängige Variable, sowie Pflanzenhöhe und Bedeckungsgrad als unabhängige Variablen, wurden lineare Regressionen durchgeführt. Die Analyse ergab beste Vorhersagen mit geringsten Standardabweichungen (SD) von 8.8 % für die Messungen in mittleren Wachstumsstadien mit einer Bodenauflösung von 4 cm px −1 . Darüber hinaus zeigten die Ergebnisse, dass hohe Bodenauflösungen und Klassifizierung mit fortschreitendem Reihenschluss und sich angleichendem Pflanzenbestand immer unwichtiger werden. Zur Schätzung von Biomasse und Stickstoffgehalt von Winterweizen (Triticum aestivum L.) wurde eine programmierbare multispektrale Kamera entwickelt. Sie basiert auf einer Industriekamera mit mehreren Sensorköpfen, von denen jeder mit einem Bandpassfilter bestückt wurde. Die Kamera misst vier schmalbandige Wellenlängen im Übergangsbereich vom VIS- zum NIR-Spektrum, der sogenannten roten Kante red-edge. Dieser Bereich ist dafür bekannt Rückschlüsse auf den Chlorophyllgehalt der Blätter und die Pflanzenstruktur zuzulassen. Mit Hilfe der Formeln zur Berechnung des normalized difference vegetation index (NDVI) und des red-edge inflection point (REIP) wird dieser Bereich oft zur Schätzung von Biomasse und Stickstoffgehalt genutzt. Das Kamerasystem wurde darüber hinaus entworfen, die Lichtverhältnisse während des Fluges zu messen und geeignete Belichtungszeiten festzulegen, um Bilder mit hohem Kontrast zu erzeugen. Die Kamera ist komplett programmierbar und kann zur Echtzeitbildverarbeitung weiterentwickelt werden. Die Untersuchung basiert auf der teilautomatisierten Erzeugung von Orthophotos. Die NDVI Orthophotos wurden mit Hilfe einer einfachen linearen Regression auf ihre Korrelation mit Biomasse getestet. Sie zeigten über alle Messzeitpunkte, dass sie Biomasse mit Standardabweichungen von 12.3 % bis 17.6 % schätzen konnten. Der REIP wurde zur Stickstoffgehaltschätzung heran gezogen und zeigte gute Ergebnisse mit Standardabweichungen von 7.6 % bis 11.7 %. Beide, NDVI und REIP, wurden auch auf ihre Vorhersagefähigkeit des Kornertrags getestet (SD = 9.012.1 %). Überdies konnte, außer in gering gedüngten Parzellen, der Proteingehalt im Korn mit dem REIP abgeschätzt werden. Der letzte Teil der Dissertation beinhaltete die Entwicklung einer standardisierten Sensordateninfrastruktur als Schritt hin zu einem umfassenden Bewirtschaftungskonzept, das möglichst viele Faktoren berücksichtigt. Das UAS wurde in ein echtzeitbasiertes Sensordatennetzwerk integriert, das Sensordaten erfassen und standardisiert in Datenbanken ablegen kann. Die Infrastruktur basiert auf quellcodeoffener open source software und den Geodatenstandards des Open Geospatial Consortiums (OGC). Eine erste Umsetzung einer solchen Infrastruktur wurde mit vier Beispielsensoren getestet und zeigte, dass Sensordaten in Echtzeit erfasst, lokal gespeichert, visualisiert und mittels eines Sensordatendienstes (sensor observation service) standardisiert in einer Datenbank gespeichert werden konnten. Die Umsetzung ist auf eine beliebige Anzahl von Sensoren und Diensten erweiterbar und ermöglicht ihnen den Austausch und die Verarbeitung von Daten. Diese Dissertation zeigt eine erfolgreiche Umsetzung eines intelligenten UAS und einer Sensordateninfrastruktur, die Sensordatenverarbeitung in Echtzeit anbietet. Das UAS ist mit Sensoren ausgestattet, die zur landwirtschaftlichen Beurteilung von Pflanzenbeständen geeignet sind und zeigt Potential auch unter realistischen Bedingungen eingesetzt werden zu können

High-throughput phenotyping of yield parameters for modern grapevine breeding

Weinbau wird auf 1% der deutschen Agrarfläche betrieben. Auf dieser vergleichsweise kleinen Anbaufläche wird jedoch ein Drittel aller in der deutschen Landwirtschaft verwendeten Fungizide appliziert, was auf die Einführung von Schaderregern im 19. Jahrhundert zurück zu führen ist. Für einen nachhaltigen Anbau ist eine Reduktion des Pflanzenschutzmittelaufwands dringend notwendig. Dieses Ziel kann durch die Züchtung und den Anbau neuer, pilzwiderstandsfähiger Rebsorten erreicht werden. Die Rebenzüchtung als solche ist sehr zeitaufwendig, da die Entwicklung neuer Rebsorten 20 bis 25 Jahre dauert. Der Einsatz der markergestützten Selektion (MAS) erhöht die Effizienz der Selektion in der Rebenzüchtung fortwährend. Eine weitere Effizienzsteigerung ist mit der andauernden Verbesserung der Hochdurchsatz Genotypisierung zu erwarten. Im Vergleich zu den Methoden der Genotypisierung ist die Qualität, Objektivität und Präzision der traditionellen Phänotypisierungsmethoden begrenzt. Die Effizienz in der Rebenzüchtung soll mit der Entwicklung von Hochdurchsatz Methoden zur Phänotypisierung durch sensorgestützte Selektion weiter gesteigert werden. Hierfür sind bisher vielfältige Sensortechniken auf dem Markt verfügbar. Das Spektrum erstreckt sich von RGB-Kameras über Multispektral-, Hyperspektral-, Wärmebild- und Fluoreszenz- Kameras bis hin zu 3D-Techniken und Laserscananwendungen. Die Phänotypisierung von Pflanzen kann unter kontrollierten Bedingungen in Klimakammern oder Gewächshäusern beziehungsweise im Freiland stattfinden. Die Möglichkeit einer standardisierten Datenaufnahme nimmt jedoch kontinuierlich ab. Bei der Rebe als Dauerkultur erfolgt die Aufnahme äußerer Merkmale, mit Ausnahme junger Sämlinge, deshalb auch überwiegend im Freiland. Variierende Lichtverhältnisse, Ähnlichkeit von Vorder- und Hintergrund sowie Verdeckung des Merkmals stellen aus methodischer Sicht die wichtigsten Herausforderungen in der sensorgestützen Merkmalserfassung dar. Bis heute erfolgt die Aufnahme phänotypischer Merkmale im Feld durch visuelle Abschätzung. Hierbei werden die BBCH Skala oder die OIV Deskriptoren verwendet. Limitierende Faktoren dieser Methoden sind Zeit, Kosten und die Subjektivität bei der Datenerhebung. Innerhalb des Züchtungsprogramms kann daher nur ein reduziertes Set an Genotypen für ausgewählte Merkmale evaluiert werden. Die Automatisierung, Präzisierung und Objektivierung phänotypischer Daten soll dazu führen, dass (1) der bestehende Engpass an phänotypischen Methoden verringert, (2) die Effizienz der Rebenzüchtung gesteigert, und (3) die Grundlage zukünftiger genetischer Studien verbessert wird, sowie (4) eine Optimierung des weinbaulichen Managements stattfindet. Stabile und über die Jahre gleichbleibende Erträge sind für eine Produktion qualitativ hochwertiger Weine notwendig und spielen daher eine Schlüsselrolle in der Rebenzüchtung. Der Fokus dieser Studie liegt daher auf Ertragsmerkmalen wie der Beerengröße, Anzahl der Beeren pro Traube und Menge der Trauben pro Weinstock. Die verwandten Merkmale Traubenarchitektur und das Verhältnis von generativem und vegetativem Wachstum wurden zusätzlich bearbeitet. Die Beurteilung von Ertragsmerkmalen auf Einzelstockniveau ist aufgrund der genotypischen Varianz und der Vielfältigkeit des betrachteten Merkmals komplex und zeitintensiv. Als erster Schritt in Richtung Hochdurchsatz (HT) Phänotypisierung von Ertragsmerkmalen wurden zwei voll automatische Bildinterpretationsverfahren für die Anwendung im Labor entwickelt. Das Cluster Analysis Tool (CAT) ermöglicht die bildgestützte Erfassung der Traubenlänge, -breite und -kompaktheit, sowie der Beerengröße. Informationen über Anzahl, Größe (Länge, Breite) und das Volumen der einzelnen Beeren liefert das Berry Analysis Tool (BAT). Beide Programme ermöglichen eine gleichzeitige Erhebung mehrerer, präziser phänotypischer Merkmale und sind dabei schnell, benutzerfreundlich und kostengünstig. Die Möglichkeit, den Vorder- und Hintergrund in einem Freilandbild zu unterscheiden, ist besonders in einem frühen Entwicklungsstadium der Rebe aufgrund der fehlenden Laubwand schwierig. Eine Möglichkeit, die beiden Ebenen in der Bildanalyse zu trennen, ist daher unerlässlich. Es wurde eine berührungsfreie, schnelle sowie objektive Methode zur Bestimmung des Winterschnittholzgewichts, welches das vegetative Wachstum der Rebe beschreibt, entwickelt. In einem innovativen Ansatz wurde unter Kombination von Tiefenkarten und Bildsegmentierung die sichtbare Winterholzfläche im Bild bestimmt. Im Zuge dieser Arbeit wurde die erste HT Phänotypisierungspipeline für die Rebenzüchtung aufgebaut. Sie umfasst die automatisierte Bildaufnahme im Freiland unter Einsatz des PHENObots, das Datenmanagement mit Datenanalyse sowie die Interpretation des erhaltenen phänotypischen Datensatzes. Die Basis des PHENObots ist ein automatisiert gesteuertes Raupenfahrzeug. Des Weiteren umfasst er ein Multi-Kamera- System, ein RTK-GPS-System und einen Computer zur Datenspeicherung. Eine eigens entwickelte Software verbindet die Bilddaten mit der Standortreferenz. Diese Referenz wird anschließend für das Datenmanagement in einer Datenbank verwendet. Um die Funktionalität der Phänotypisierungspipeline zu demonstrieren, wurden die Merkmale Beerengröße und -farbe im Rebsortiment des Geilweilerhofes unter Verwendung des Berries In Vineyard (BIVcolor) Programms erfasst. Im Durschnitt werden 20 Sekunden pro Weinstock für die Bildaufnahme im Feld benötigt, gefolgt von der Extraktion der Merkmale mittels automatischer, objektiver und präziser Bildauswertung. Im Zuge dieses Versuches konnten mit dem PHENObot 2700 Weinstöcke in 12 Stunden erfasst werden, gefolgt von einer automatischen Bestimmung der Merkmale Beerengröße und -farbe aus den Bildern. Damit konnte die grundsätzliche Machbarkeit bewiesen werden. Diese Pilotpipeline bietet nun die Möglichkeit zur Entwicklung weiterer innovativer Programme zur Erhebung neuer Merkmale sowie die Integration zusätzlicher Sensoren auf dem PHENObot.Grapevine is grown on about 1% of the German agricultural area requiring one third of all fungicides sprayed due to pathogens being introduced within the 19th century. In spite of this requirement for viticulture a reduction is necessary to improve sustainability. This objective can be achieved by growing fungus resistant grapevine cultivars. The development of new cultivars, however, is very time-consuming, taking 20 to 25 years. In recent years the breeding process could be increased considerably by using marker assisted selection (MAS). Further improvements of MAS applications in grapevine breeding will come along with developing of faster and more cost efficient high-throughput (HT) genotyping methods.Complementary to genotyping techniques the quality, objectivity and precision of current phenotyping methods is limited and HT phenotyping methods need to be developed to further increase the efficiency of grapevine breeding through sensor assisted selection. Many different types of sensors technologies are available ranging from visible light sensors (Red Green Blue (RGB) cameras), multispectral, hyperspectral, thermal, and fluorescence cameras to three dimensional (3D) camera and laser scan approaches. Phenotyping can either be done under controlled environments (growth chamber, greenhouse) or can take place in the field, with a decreasing level of standardization. Except for young seedlings, grapevine as a perennial plant needs ultimately to be screened in the field. From a methodological point of view a variety of challenges need to be considered like the variable light conditions, the similarity of fore- and background, and in the canopy hidden traits.The assessment of phenotypic data in grapevine breeding is traditionally done directly in the field by visual estimations. In general the BBCH scale is used to acquire and classify the stages of annual plant development or OIV descriptors are applied to assess the phenotypes into classes. Phenotyping is strongly limited by time, costs and the subjectivity of records. Therefore, only a comparably small set of genotypes is evaluated for certain traits within the breeding process. Due to that limitation, automation, precision and objectivity of phenotypic data evaluation is crucial in order to (1) reduce the existing phenotyping bottleneck, (2) increase the efficiency of grapevine breeding, (3) assist further genetic studies and (4) ensure improved vineyard management. In this theses emphasis was put on the following aspects: Balanced and stable yields are important to ensure a high quality wine production playing a key role in grapevine breeding. Therefore, the main focus of this study is on phenotyping different parameters of yield such as berry size, number of berries per cluster, and number of clusters per vine. Additionally, related traits like cluster architecture and vine balance (relation between vegetative and generative growth) were considered. Quantifying yield parameters on a single vine level is challenging. Complex shapes and slight variations between genotypes make it difficult and very time-consuming.As a first step towards HT phenotyping of yield parameters two fully automatic image interpretation tools have been developed for an application under controlled laboratory conditions to assess individual yield parameters. Using the Cluster Analysis Tool (CAT) four important phenotypic traits can be detected in one image: Cluster length, cluster width, berry size and cluster compactness. The utilization of the Berry Analysis Tool (BAT) provides information on number, size (length and width), and volume of grapevine berries. Both tools offer a fast, user-friendly and cheap procedure to provide several precise phenotypic features of berries and clusters at once with dimensional units in a shorter period of time compared to manual measurements.The similarity of fore- and background in an image captured under field conditions is especially difficult and crucial for image analysis at an early grapevine developmental stage due to the missing canopy. To detect the dormant pruning wood weight, partly determining vine balance, a fast and non-invasive tool for objective data acquisition in the field was developed. In an innovative approach it combines depth map calculation and image segmentation to subtract the background of the vine obtaining the pruning area visible in the image. For the implementation of HT field phenotyping in grapevine breeding a phenotyping pipeline has been set up. It ranges from the automated image acquisition directly in the field using the PHENObot, to data management, data analysis and the interpretation of obtained phenotypic data for grapevine breeding aims. The PHENObot consists of an automated guided tracked vehicle system, a calibrated multi camera system, a Real-Time-Kinematic GPS system and a computer for image data handling. Particularly developed software was applied in order to acquire geo referenced images directly in the vineyard. The geo-reference is afterwards used for the post-processing data management in a database. As phenotypic traits to be analysed within the phenotyping pipeline the detection of berries and the determination of the berry size and colour were considered. The highthroughput phenotyping pipeline was tested in the grapevine repository at Geilweilerhof to extract the characteristics of berry size and berry colour using the Berries In Vineyards (BIVcolor) tool. Image data acquisition took about 20 seconds per vine, which afterwards was followed by the automatic image analysis to extract objective and precise phenotypic data. In was possible to capture images of 2700 vines within 12 hours using the PHENObot and subsequently automatic analysis of the images and extracting berry size and berry colour. With this analysis proof of principle was demonstrated. The pilot pipeline providesthe basis for further development of additional evaluation modules as well as the integration of other sensors

Investigating the Potential of UAV-Based Low-Cost Camera Imagery for Measuring Biophysical Variables in Maize

The potential for improved crop productivity is readily investigated in agronomic field experiments. Frequent measurements of biophysical crop variables are necessary to allow for confident statements on crop performance. Commonly, in-field measurements are tedious, labour-intensive, costly and spatially selective and therefore pose a challenge in field experiments. With the versatile, flexible employment of the platform and the high spatial and temporal resolution of the sensor data, Unmanned Aerial Vehicle (UAV)-based remote sensing offers the possibility to derive variables quickly, contactless and at low cost. This thesis examined if UAV-borne modified low-cost camera imagery allowed for remote estimation of the crop variables green leaf area index (gLAI) and radiation use efficiency (RUE) in a maize field trial under different management influences. For this, a field experiment was established at the university's research station Campus Klein-Altendorf southwest of Bonn in the years 2015 and 2016. In four treatments (two levels of nitrogen fertilisation and two levels of plant density) with five repetitions each, leaf growth of maize plants was supposed to occur differently. gLAI and biomass was measured destructively, UAV-based data was acquired in 14-day intervals over the entire experiment. Three studies were conducted and submitted for peer-review in international journals. In study I, three selected spectral vegetation indices (NDVI, GNDVI, 3BSI) were related to the gLAI measurements. Differing but definite relationships per treatment factor were found. gLAI estimation using the two-band indices (NDVI, GNDVI) yielded good results up to gLAI values of 3. The 3-bands approach (3BSI) did not provide improved accuracies. Comparing gLAI results to the spectral vegetation indices, it was determined that sole reliance on these was insufficient to draw the right conclusions on the impact of management factors on leaf area development in maize canopies. Study II evaluated parametric and non-parametric regression methods on their capability to estimate gLAI in maize, relying on UAV-based low-cost camera imagery with non-plants pixels (i.e. shaded and illuminated soil background) a) included in and b) excluded from the analysis. With regard to the parametric regression methods, all possible band combinations for a selected number of two- and three-band formulations as well as different fitting functions were tested. With regard to non-parametric methods, six regression algorithms (Random Forests Regression, Support Vector Regression, Relevance Vector Machines, Gaussian Process Regression, Kernel Regularized Least Squares, Extreme Learning Machine) were tested. It was found that all non-parametric methods performed better than the parametric methods, and that kernel-based algorithms outperformed the other tested algorithms. Excluding non-plant pixels from the analysis deteriorated models' performances. When using parametric regression methods, signal saturation occurred at gLAI values of about 3, and at values around 4 when employing non-parametric methods. Study III investigated if a) UAV-based low-cost camera imagery allowed estimating RUEs in different experimental plots where maize was cultivated in the growing season of 2016, b) those values were different from the ones previously reported in literature and c) there was a difference between RUEtotal and RUEgreen. Fractional cover and canopy reflectance was determined based on the RS imagery. Our study showed that RUEtotal ranges between 4.05 and 4.59, and RUEgreen between 4.11 and 4.65. These values were higher than those published in other research articles, but not outside the range of plausibility. The difference between RUEtotal and RUEgreen was minimal, possibly due to prolonged canopy greenness induced by the stay-green trait of the cultivar grown. In conclusion, UAV-based low-cost camera imagery allows for estimation of plant variables within a range of limitations

Remote sensing of floral resources for pollinators - new horizons from satellites to drones

This is the final version. Available on open access from Frontiers Media via the DOI in this record. Insect pollinators are affected by the spatio-temporal distribution of floral resources, which are dynamic across time and space, and also influenced heavily by anthropogenic activities. There is a need for spatial data describing the time-varying spatial distribution of flowers, which can be used within behavioral and ecological studies. However, this information is challenging to obtain. Traditional field techniques for mapping flowers are often laborious and limited to relatively small areas, making it difficult to assess how floral resources are perceived by pollinators to guide their behaviors. Conversely, remote sensing of plant traits is a relatively mature technique now, and such technologies have delivered valuable data for identifying and measuring non-floral dynamics in plant systems, particularly leaves, stems and woody biomass in a wide range of ecosystems from local to global scales. However, monitoring the spatial and temporal dynamics of plant floral resources has been notably scarce in remote sensing studies. Recently, lightweight drone technology has been adopted by the ecological community, offering a capability for flexible deployment in the field, and delivery of centimetric resolution data, providing a clear opportunity for capturing fine-grained information on floral resources at key times of the flowering season. In this review, we answer three key questions of relevance to pollination science – can remote sensing deliver information on (a) how isolated are floral resources? (b) What resources are available within a flower patch? And (c) how do floral patches change over time? We explain how such information has potential to deepen ecological understanding of the distribution of floral resources that feed pollinators and the parameters that determine their navigational and foraging choices based on the sensory information they extract at different spatial scales. We provide examples of how such data can be used to generate new insights into pollinator behaviors in distinct landscape types and their resilience to environmental change.South Devon Area of Outstanding Natural Beauty (AONB) UnitBiotechnology and Biological Sciences Research Council (BBSRC