Development and assessment of AI models based on deep learning algorithms to determine agronomic traits in fruit tree orchards and field crops

Abstract

It’s been claimed by the scientific community that we will need fifty percent more food by 2050 for a world population of close to 10 billion, resulting in a global crisis which raises the question of whether the global food production system is prepared for these changes. To face these challenges, new higher yielding crop varieties with resistance or tolerance to a wide spectrum of environmental stresses (e.g., drought) are desirable. But at the same time, crop management practices in actual farming systems also need to be improved. Agricultural stakeholders consider that these new challenges can be addressed, at least partly, by the adoption of new technologies, especially those related with remote sensing and data management (e.g., big data and artificial intelligence). Advanced sensors and algorithms may provide accurate and more consistent predictions on plant status and quality than those provided by the human eye. Implementing autonomous techniques in production systems may provide accurate field data to breeders and growers that can potentially increase yield and quality through well-considered management choices. In this thesis, it was stablished as main objective the development and assessment of AI models based on deep learning algorithms to determine agronomic traits in fruit tree orchards and field crops that can provide support to breeders and growers to meet the abovementioned challenges. Three papers published in scientific journals (Q1) were included as the main part of the research. In Chapter 4, Faster R-CNN, a pre-trained model widely used for object detection (e.g., fruits), was trained over a custom dataset labeled to detect oranges in images acquired from UAV (Unmanned Aerial Vehicle) flights. The evaluation of the model in terms of accuracy showed an average standard error (SE) of 6.59 % between visual counting and the model’s fruit detection. The detected fruits were converted to a binary mask using color thresholding to perform fruit size estimations. The promising results obtained indicate that this size estimation method can be employed for size discrimination prior to harvest. Also, a model based on Long Short-term Memory (LSTM) was trained for yield estimation of individual trees and for orchard yield estimation. The actual and estimated yields per tree were compared, resulting in an approximate standard error of SE = 4.53 % and a standard deviation of SD = 0.97 kg. The actual orchard yield and the orchard yield estimated by the model and by a trained technician were compared. The error in the estimation made by the technician was SE = 13.74 %, while the model errors were SE = 7.22 % and SD = 4083.58 kg. In Chapter 5, a Region-Convolutional Neural Network was trained to detect and count the number of apple fruits on individual trees located on the orthomosaic built from RGB images taken from an UAV. The results obtained with the proposed approach were compared with the apple counts made in situ by an agrotechnician, and an R2 value of 0.86 was obtained (MAE: 10.35 and RMSE: 13.56). As only parts of the tree fruits were visible in the top-view images, linear regression was used to estimate the number of total apples on each tree. An R2 value of 0.80 (MAE: 128.56 and RMSE: 130.56) was achieved. With the number of fruits detected and tree position coordinates two shapefiles were generated using a Python script implemented in Google Colab. The point shapefile layer was used to display two yield maps: one with the number of fruits per tree and another with the total number of fruits per tree row. Finally, in Chapter 6, a novel model based on artificial intelligence algorithms and nadir-view red-green-blue (RGB) images acquired with a terrestrial High-Throughput Field Phenotyping Platform (HTFPP) is presented. The model mixes numerical data collected in a wheat breeding field and visual features extracted from the images to make rapid and accurate leaf area index (LAI) estimations. Model-based LAI estimations were validated against LAI measurements determined non-destructively using an allometric relationship obtained in this study. The model performance was also compared with LAI estimates obtained by other classical indirect method based on bottom up digital hemispheric photographs (DHPs) which performs LAI estimations based on gap fraction theory. Model-based LAI estimations were highly correlated with ground-truth LAI. The model performance was slightly better than that of the hemispherical image based method, which tended to underestimate LAI. The results obtained in the three crops showed great potential in terms of estimating yield, fruit size and LAI. These results allow us to affirm that fruit growers and plant breeders can benefit from the implementation of these technologies in their commercial and experimental fields to maximize outputs via optimized orchard and breeding cycle management.La comunidad científica afirma que para el 2050 se necesitará un 50% más de alimentos para una población mundial que estará cerca de los 10 billones de personas, lo que provocará una crisis global, la cual plantea la cuestión de si el sistema mundial de producción de alimentos está preparado para estos cambios. Para hacer frente a estos desafíos, es deseable contar con nuevas variedades de cultivos de mayor rendimiento con resistencia o tolerancia a un amplio espectro de estreses ambientales (por ejemplo, la sequía). Pero, al mismo tiempo, también es necesario mejorar las prácticas de gestión de los cultivos en los sistemas agrícolas actuales. Los agentes involucrados en el sector agrícola consideran que estos nuevos retos pueden abordarse, al menos en parte, mediante la adopción de las nuevas tecnologías, especialmente las relacionadas con la teledetección y el manejo de datos (por ejemplo, big data e inteligencia artificial (IA)). Los sensores y algoritmos avanzados pueden proporcionar predicciones precisas y más consistentes, sobre el estado y la calidad de las plantas, que las proporcionadas por el ojo humano. Así mismo, la implementación de técnicas autónomas en los sistemas de producción puede proporcionar datos de campo precisos a los agricultores y mejoradores que pueden aumentar potencialmente el rendimiento y la calidad de los cultivos como resultado directo de una una buena toma de decisiones. En esta tesis, se estableció como objetivo principal el desarrollo y la evaluación de modelos de IA basados en algoritmos de aprendizaje profundo para determinar rasgos agronómicos en frutales y cultivos herbáceos que puedan proporcionar apoyo a los mejoradores y agricultores para hacer frente a los desafíos mencionados anteriormente. Se han incluído tres artículos publicados en revistas científicas (Q1) como parte principal de la investigación. En el Capítulo 4, se entrenó Faster R-CNN, un modelo preentrenado ampliamente utilizado para la detección de objetos (por ejemplo, frutas), sobre un conjunto de datos personalizado y etiquetado para detectar naranjas en imágenes adquiridas de vuelos de UAV (del inglés Unmanned Aerial Vehicle). La evaluación del modelo en términos de precisión mostró un error estándar (SE) medio del 6.59 % entre el recuento visual y la detección de frutas del modelo. Los frutos detectados se transformaron en una máscara binaria utilizando un umbral de color con el objetivo de realizar estimaciones del calibre de la fruta. Los resultados obtenidos indican que este método de estimación del calibre puede emplearse para la selección de los calibres antes de la cosecha. Además, se entrenó un modelo de red neuronal de tipo memoria larga-corto plazo (LSTM por sus siglas en inglés) para la estimación del rendimiento a nivel de árboles individuales y en el total de la parcela. Se compararon los rendimientos reales y los estimados para cada árbol, dando como resultado un error estándar aproximado de SE = 4.53 % y una desviación estándar de SD = 0.97 kg. Se compararon el rendimiento real de la parcela, el rendimiento estimado por el modelo y el proporcionado el técnico especializado. El error en la estimación realizada por el técnico fue de SE = 13.74 %, mientras que los errores del modelo fueron de SE = 7.22 % y SD = 4083.58 kg. En el Capítulo 5, se entrenó una Red Neural Region-Convolucional para detectar y contar el número de manzanas en árboles individuales localizados en el ortomosaico construido a partir de imágenes RGB tomadas desde un UAV. Los resultados obtenidos con el enfoque propuesto se compararon con los recuentos de manzanas realizados in situ por un técnico agrícola, y se obtuvo un valor R2 de 0.86 (MAE: 10.35 y RMSE: 13.56). Dado que en las imágenes de vista superior sólo era visible una parte de los frutos del árbol, se utilizó una regresión lineal para estimar el número total de manzanas en cada árbol. Se obtuvo un valor R2 de 0.80 (MAE: 128.56 y RMSE: 130.56). Con el número de frutos detectados y las coordenadas de geolocalización de cada árbol se generaron dos archivos vectoriales mediante un script de Python implementado en Google Colab. La capa vectorial de puntos se utilizó para mostrar dos mapas de rendimiento: uno con el número de frutos por árbol y otro con el número total de frutos por fila de árboles. Por último, en el Capítulo 6, se presenta un nuevo modelo basado en algoritmos de inteligencia artificial e imágenes RGB de vista nadir adquiridas con un HTFPP terrestre. El modelo fusiona datos numéricos acquiridos en un campo de cultivo de trigo y características visuales extraídas de las imágenes para realizar estimaciones rápidas y precisas del índice de área foliar (IAF). Las estimaciones del IAF basadas en el modelo se validaron frente a las mediciones del IAF determinadas de forma no destructiva utilizando una relación alométrica obtenida en este estudio. El rendimiento del modelo también se comparó con las estimaciones del IAF obtenidas por otro método indirecto clásico basado en imágenes hemisféricas tomadas de abajo hacia arriba que realiza estimaciones del IAF basadas en la teoría de la fracción de huecos. Las estimaciones del IAF basadas en el modelo mostraron una fuerte correlación con el IAF real. El rendimiento del modelo fue ligeramente mejor que el del método basado en imágenes hemisféricas, que tendía a subestimar el IAF. Los resultados obtenidos en los tres cultivos mostraron un gran potencial en cuanto a la estimación del rendimiento, el calibre del fruto y el IAF. Estos resultados nos permiten afirmar que los fruticultores y fitomejoradores pueden beneficiarse de la implementación de estas tecnologías en sus campos comerciales y experimentales para maximizar los rendimientos mediante una gestión optimizada del campo decultivo y del ciclo ciclo de mejora