Development of bioinformatics tools for phenotyping with artificial vision

[SPA] El fenotipado de alta resolución mediante visión artificial está en pleno desarrollo, ya que nos permite obtener información de características no apreciables con otros métodos. Además, presenta ventajas como que es una técnica no invasiva, con un bajo impacto en el objeto de estudio. Con ella podríamos conocer el efecto de mutaciones en genes del reloj circadiano sobre la velocidad de crecimiento de los órganos laterales, como hojas, flores y frutos. El principal objetivo de mi doctorado sería el desarrollo de un programa automático de análisis de imagen para el fenotipado vegetal. Para ello se va a trabajar con distintos materiales vegetales (Petunia, Antirrhinum majus, Arabidopsis y Fresa) utilizando las herramientas bioinformáticas adecuadas (lenguajes informáticos como Perl, Python, SQL o R); así como un sistema de visión, que dependerá del objetivo específico del experimento (infrarrojo, RGB e hiperespectrales) con un control de temperatura e iluminación. [ENG] High-throughput phenotyping with artificial vision is becoming central in biology. It provides information about non-appreciable characteristics. Furthermore, it is a non-invasive technique, with a low impact on the subject of study. We could discover the effect of mutations of circadian clock genes affecting growth speed of lateral organs, such as leaves, flowers and fruits. The main aim of my PhD would be the development of an automatic program of image analysis for plant phenotyping. Different plant materials are going to be studied (Petunia, Antirrhinum majus, Arabidopsis and strawberry) using the adequate bioinformatic tools (informatic languages such as as Perl, Python, SQL or R); as well as a vision system, which will depend on the specific object of the experiment ( infrared, RGB and hyperspectral) with a temperature and lightning control.Este trabajo se enmarca dentro del proyecto CDTI 5117/17CTA-P y PROYECTO BFU 2017 88300-C2-1-

A lighting system to increase the early flowering in Fragaria x ananassa

[SPA] La integración de señales ambientales a los sistemas biológicos ocurre en muchos casos a través del reloj circadiano. Hemos llevado a cabo una manipulación del mismo en fresa comercial (Fragaria x ananassa) con condiciones de iluminación divergentes. En comparación con el control sin iluminado hemos obtenido aumentos de hasta un 270% de aumento de floración temprana en uno de los tratamientos luminosos. Los tratamientos no afectaron de forma significativa al tamaño del fruto. Los resultados indican el potencial de las diferentes longitudes de onda para mejorar las producciones tempranas de fresa. [ENG] The integration of environmental signals to biological systems occurs in many cases via the circadian. We have modified it using commercial strawberry (Fragaria x ananassa) with several lighting conditions. We obtained an increase up to 270% in the number of early flowers with a specific light treatment in comparison with non-artificial lighting control. The treatments do not affect the fruit size. The results indicate the importance of different wavelengths in order to improve the early productions of Strawberry.Este trabajo ha sido financiado por el proyecto CDTI-5717/17CTA-P

Development of ground truth dataset with phenotypic data analysis and their application in agriculture and research

[SPA] Actualmente, nuevas técnicas para el fenotipado vegetal, tales como la visión artificial, han permitido mejorar la detección de características. La inteligencia artificial necesita de datos masivos para la generación de algoritmos. Por ello, la creación de ground truth datasets es altamente relevante en investigación. Un dataset fue desarrollado usando 114 flores de Antirrhinum majus (variedad comercial Vilmorin long variee). Además, las características fenotípicas como la longitud, peso, anchura y contenido de antocianinas fueron medidas. Se confirmó que el peso es la mejor característica para determinar el estado de desarrollo floral. Además, este conocimiento permite la creación en un futuro de programas de machine learning utilizando estos datos para un fenotipado automática y no invasivo. [ENG] Currently, new techniques to plant phenotyping, such as computer vision, have enabled to improve the detection of several parameters. Artificial intelligence needs data to train algorithms, so the creation of ground truth datasets is highly relevant to research. A dataset was developed comprising 114 flowers of Antirrhinum majus (commercial variety Vilmorin long variee). Furthermore, several phenotypic features were measured, such as length, width, weight, and anthocyanin content. This study confirms that weight is the best parameter to determine flower development, as well as this knowledge enables to create machine learning algorithms to an automatic and non-invasive phenotyping

A proposed methodology to analyze plant growth and movement from phenomics data

Image analysis of developmental processes in plants reveals both growth and organ movement. This study proposes a methodology to study growth and movement. It includes the standard acquisition of internal and external reference points and coordinates, coordinates transformation, curve fitting and the corresponding statistical analysis. Several species with different growth habits were used including Antirrhinum majus,A. linkianum, Petunia x hybrida and Fragaria x ananassa. Complex growth patterns, including gated growth, could be identified using a generalized additive model. Movement, and in some cases, growth, could not be adjusted to curves due to drastic changes in position. The area under the curve was useful in order to identify the initial stage of growth of an organ, and its growth rate. Organs displayed either continuous movements during the day with gated day/night periods of maxima, or sharp changes in position coinciding with day/night shifts. The movement was dependent on light in petunia and independent in F. ananassa. Petunia showed organ movement in both growing and fully-grown organs, while A. majus and F. ananassa showed both leaf and flower movement patterns linked to growth. The results indicate that different mathematical fits may help quantify growth rate, growth duration and gating. While organ movement may complicate image and data analysis, it may be a surrogate method to determine organ growth potential

Mathematical methods to analyze growth and movement phenotypes

[SPA] El fenotipado con análisis de imagen puede ser útil para medir tanto crecimiento como el movimiento de un órgano vegetal. Este estudio propone un conjunto de herramientas para analizar ambas características. Varias especies con diferentes patrones de crecimientos fueron usadas: Antirrhinum majus, A. linkianum, Petunia x hybrida y Fragaria x ananassa. Los análisis revelaron cómo diferentes interpretaciones pueden hacerse dependiendo del método de análisis. Los resultados indicaron que diferentes ajustes matemáticos deben ser utilizados y no solamente uno, pues podemos obtener una información más completa. [ENG] Phenotyping using image analysis can be useful to measure both growth and organ movement. This study proposes a set of tools to analyse both features. Several species with different growth habits were used including Antirrhinum majus, A. linkianum, Petunia x hybrida and Fragaria x ananassa. These analyses revealed how different interpretations could be made depending on the mathematical method. The results indicated that different mathematical fits should be used and not only one as fits can show different information.Esta investigación fue financiada por el BFU 2017-88300-C2-1-R de J.W. y M.E.C., BFU 2017-88300-C2-2-R de P.J.N., CDTI 5117/17CTA-P de M.E.C., P.J.N. y J.D.S.P

Study of new tools for High-Throughput Phenotyping in plants and their applications in agriculture

[SPA] El fenotipo es el conjunto de características observables producidas como resultado de la interacción entre el genotipo (conjunto de material genético) y el medioambiente. Por lo tanto, el fenotipado es el proceso por el que se determina el fenotipo de un organismo haciendo uso de diferentes tecnologías y herramientas, tales como análisis de imagen, estadística, inteligencia artificial, entre otros. En la antigüedad, el fenotipado era utilizado por los agricultores para obtener variedades mas deseables para la población de esa época al ir seleccionando y cruzando individuos. Hoy en día, sigue siendo una gran herramienta, tanto en laboratorio como en campo, sirviendo como indicador de alteraciones, que pueden ser internas (mutaciones o cruces) o externas (cambios en las condiciones ambientales, principalmente luz y temperatura). Las condiciones externas pueden ser captadas por la planta interviniendo en el desarrollo vegetal. Esto ocurre en ciertas rutas que están controladas por un reloj interno, conocido como reloj circadiano, que regula las respuestas biológicas de un conjunto de genes por señales externas. Estas suelen ser las variaciones de día/noche o los cambios estacionales permitiendo a las plantas adaptarse e, incluso, adelantarse a las nuevas condiciones del entorno. En la actualidad, la existencia de nuevas herramientas, como es la visión por computador, permite el desarrollo de nuevas técnicas para el fenotipado vegetal de una manera más sencilla y rápida. Además, no requieren de expertos en fenotipado, que podrían cometer fallos. Por otra parte, al agricultor o científico le puede resultar económicamente más rentable invertir en cierta maquinaria que la contratación de personal, aumentando los beneficios. En el caso del laboratorio, la visión por computador ha permitido la obtención de datos que antes no se pudieron describir por la carencia de herramientas capaces, como es el caso de la velocidad de movimiento o crecimiento por día o la dinámica de dichos movimientos. De igual forma, la inteligencia artificial ha permitido trabajar con esos datos con el fin de obtener herramientas de fenotipado automáticas. Por ello, ahora se puede obtener una interpretación más precisa de los comportamientos o cambios fenotípicos que suceden. Dentro de las nuevas técnicas que se pueden aplicar en el fenotipado, se puede destacar el uso de nuevos sistemas de iluminación más precisos, la visión artificial y la inteligencia artificial. En primer lugar, la modificación de la iluminación permite alterar los periodos de floración permitiendo obtener frutos fuera de temporada, como las fresas. De igual forma, sabiendo cuál es el mejor fotoperiodo, así como las longitudes de onda involucradas en el proceso o procesos que se quieren activar o reprimir, se puede modificar el comportamiento vegetal. Esto se muestra en el Capítulo I, donde se estudió el efecto de aumentar el fotoperiodo en el cultivo de fresas. Además, se estudiaron dos combinaciones de longitudes de onda distintas para comprobar cuál de ellas producía mejores resultados. La producción de fresas se incrementó al 300% en invernadero de investigación al aumentar la duración del fotoperiodo sin perder calidad. Estos estudios fueron también realizados en un invernadero comercial. En este caso, la producción total no aumentó, pero sí la cantidad de frutos de primera calidad, repercutiendo positivamente sobre el agricultor al tener un mayor beneficio por la misma producción. Por lo tanto, quedó demostrado cómo las condiciones externas son capaces de alterar el comportamiento vegetal y su utilización en agricultura para mejorar los cultivos. Otra herramienta útil es la visión por computador con la que, haciendo uso de distintos tipos de sensores, se permite obtener imágenes que el ojo humano es incapaz de ver, como es el caso de las cámaras hiperespectrales, térmicas o infrarrojas. El uso de estas nos permite visualizar sustancias, pigmentos o comportamientos no descritos previamente en la bibliografía. Estas imágenes se pueden procesar de manera manual, semi-automática o automática. Sin embargo, cuando se estudia el comportamiento vegetal a lo largo del tiempo suelen haber inconvenientes a la hora de crear herramientas automáticas. Esto se muestra en el Capítulo II, donde se expone la problemática de estudiar a lo largo del tiempo el desarrollo vegetal (velocidad de movimiento y crecimiento de distintos órganos), así como las estrategias para resolverlo. Para ello se trabajó con Petunia, Antirrhinum y Fragaria ananassa, tres especies vegetales con distintos patrones de crecimiento, lo que permite observar diferentes formas de abarcar los experimentos. Los parámetros elegidos para cada especie fueron distintos con el objetivo de dar una visión más completa de todas las posibilidades que tiene la visión por computador en el fenotipado. A parte de la velocidad de crecimiento y movimiento estudiadas en el capítulo anterior, en el Capítulo III se realizó un estudio para observar cómo utilizar la visión artificial en la detección de cambios en el comportamiento vegetal. En este caso, en la apertura floral de Petunia silvestre frente a una línea silenciada en el gen EARLY FLOWERING4 (ELF4) (RNAi:PhELF4). En este estudio se halló un comportamiento nunca antes descrito, al que se le ha puesto el nombre de floración en cadena. Este es un suceso que solo ocurre en las plantas silvestres y que podría actuar como un sistema de control para evitar el gasto excesivo de energía que tendría la apertura de varias flores a la misma velocidad y tiempo. Por lo tanto, las flores estarían en contacto entre ellas a través de un mecanismo aún desconocido en el que ELF4 o los genes que son activados por él están envueltos. En estudios previos ya se había comprobado en Arabidopsis cómo la ausencia de ELF4 aumenta la producción de CONSTANS (CO). Además, como esta floración en cadena estaba inhibida en las líneas silenciadas, se confirma la función del locus ELF4 en la floración. Para continuar con esta línea de investigación, se podría crear un programa automático para el análisis de apertura floral, el cual permitiría realizar un cribado en estudios de mutaciones, con el ahorro de tiempo y dinero que esto podría conllevar. Por lo tanto, este estudio muestra la capacidad del fenotipado para otras aplicaciones que no sean la selección de nuevas variedades. Como se ha comentado, la inteligencia artificial puede aplicarse junto a la visión artificial creando herramientas automáticas de fenotipado. Para poder hacerlas, se requiere la presencia de conjuntos de datos previos, como se muestra en el Capítulo IV con la creación de dos ground truth datasets. Un ground truth dataset se refiere a un conjunto de imágenes que están relacionadas con características medidas, en este caso fenotípicas y sirve para ajustar programas de inteligencia artificial, así como paa ayudar en la interpretación de resultados. Por un lado, se obtuvieron imágenes de flores de Antirrhinum, y, por el otro, de bayas de uva de distintas variedades haciendo uso de dos cámaras multiespectrales procurando evitar la presencia de brillos y sombras que hubieran disminuido la calidad de las imágenes. También se obtuvieron distintos datos fenotípicos medidos en laboratorio. En el caso de las flores, se midió la longitud, anchura, peso y contenido de antocianinas y, en las uvas, los grados brix y el contenido en antocianinas con el objetivo de poder hacer programas para hallar la etapa del desarrollo floral en el que la flor se encuentra, lo cual facilitaría y mejoraría la toma de datos en estudios científicos. En las uvas, el poder relacionar las imágenes con el contenido de grados brix y de antocianinas podría ser utilizado para la creación de herramientas automáticas en estudios de calidad, tanto para evitar el fraude alimentario como para ayudar a los agricultores de una manera no invasiva a saber el momento idóneo para la recolección. [ENG] Phenotype is composed by the observable characteristics produced by genotype (set of genetic material) and environment. Phenotyping is the process for determining organism´s phenotype using different technologies and tools, as image analysis with computer vision, statistics, artificial intelligence, among others. Farmers have always used phenotyping to select species and to obtain more desirable varieties according to population´s liking. Currently, it is used in laboratory and in open field for this purpose, but also the knowledge obtained after phenotyping can serve as an indicator of alterations. These may be due to internal (mutations or cross-breedings) or external modifications (changes in environmental conditions, such as light and temperature, mainly). External features affect plants because an internal clock, called circadian clock, regulates gene expression according to environmental signals (for instance, day/night or seasonal cycle) allowing plants to adapt and predict new conditions. As previously mentioned, the presence of new technologies, subsequently mentioned, opens the possibility to develop new systems for a more rapid and easier plant phenotyping. Furthermore, they do not need the use of professionals, who require a previous knowledge. Then, if the decision making is carried out by a machine, human mistake cannot happen. Consequently, investing in these kinds of gadgets can result cheaper than hiring professionals. In scientific research, these new tools allow to obtain data not described because of the impossibility of getting them previously. As a result, plant behaviour and phenotypic alterations can be better understood. Regarding to new techniques, it is worth mentioning the use of new lighting systems, computer vision, and artificial intelligence. Lighting modifications allow to alter flowering periods and, consequently, obtaining fruits out of harvest time. Indeed, knowing which photoperiod and wavelengths are involved in a specific plant process, which wants to be activated or inhibited, allows to use supplementary lighting to modify the normal plant behaviour. This is shown in Chapter I where the effect of increasing the photoperiod was studied. Moreover, two different combinations of wavelengths were analysed in order to test which one produced the best production. Strawberry production was enhanced up to 300% in a research greenhouse increasing daylength without losing fruit quality. These studies were also done in a commercial greenhouse. In this case, total production does not change, but amount of first quality fruits increases. Consequently, farmers can obtain more economic profits with the same crop. Therefore, the ability of external conditions to modify plant behaviour and its subsequent applications in agriculture were confirmed. Another useful tool is computer vision which acquires images that the human eye is unable to detect using different kinds of cameras, such as hyperspectral, thermal or infrared. Some examples are observing substances, pigments or behaviours not described previously. Although the aim is to automatically process these images, there are cases in which this is highly rough and the user prefers to do it manually or semi-automatically. Other drawback happens when plant behaviour is studied in time series, as showed in Chapter II, where this issue is addressed, as well as how to solve it. In the same way, it is showed how to process data from the images acquired for a more detailed analysis. Before doing this kind of experiment, it is also relevant to know the growth habit and which features want to be studied in order to adjust the vision system to these requirements. How to use computer vision to detect changes in plant behaviour is also observed in Chapter III. In this case, flower opening of Wild-type Petunia and Petunia RNAi:PhELF4. It was found a behaviour not described, called flowering in chain, which happened in wild-type organisms. This behaviour seems to be a control system to avoid high energy waste which could be produced by opening lots of flowers at the same speed and time. Therefore, it indicates that flowers should be in contact each others. This mechanism was unknown, so our results uncover a function of ELF4 in coordination of flower opening. Previous studies have already proved that mutants in ELF4 in Arabidopsis produced an increase in production of CONSTANS (CO). Moreover, this behaviour was inhibited in silenced lines confirming ELF4 as a gene involved in flower opening. In addition to this, if an automatic program was created to analyse flower opening, this would allow to do a screening in mutation studies saving time and money. This study also shows the ability of phenotyping in other approaches than selecting new varieties. As previously commented, artificial intelligence could be applied in combination with computer vision creating automatic phenotyping tools. In order to achieve automatic programs to study plant phenotype, the availability of ground truth datasets is crucial for algorithm development and testing. Ground truth datasets are sets of images related to real features enabling to calibrate programs or to help during the interpretation. Thus, Chapter IV describes the obtention of two ground truth datasets. Images from Antirrhinum flowers and grape berries of different varieties were obtained using two multispectral cameras. These images were acquired to avoid the presence of shines or shadows. In addition to the obtention of these images, additional phenotypic parameters were measured in the laboratory. In flowers, length, width, weight and anthocyanin content were measured. Therefore, the flower development stage could be detected with images using this ground truth dataset by creating an artificial intelligence program. In grapes, the features measured were brix degrees and anthocyanin content allowing to create tools to study quality fruit. Thus, new softwares could avoid food fraud or help farmers to know the appropriate moment to harvest in a noninvasive manner.Escuela Internacional de Doctorado de la Universidad Politécnica de CartagenaUniversidad Politécnica de CartagenaPrograma de Doctorado en Técnicas Avanzadas en Investigación y Desarrollo Agrario y Alimentario (TAIDA

A Proposed Methodology to Analyze Plant Growth and Movement from Phenomics Data

Image analysis of developmental processes in plants reveals both growth and organ movement. This study proposes a methodology to study growth and movement. It includes the standard acquisition of internal and external reference points and coordinates, coordinates transformation, curve fitting and the corresponding statistical analysis. Several species with different growth habits were used including Antirrhinum majus, A. linkianum, Petunia x hybrida and Fragaria x ananassa. Complex growth patterns, including gated growth, could be identified using a generalized additive model. Movement, and in some cases, growth, could not be adjusted to curves due to drastic changes in position. The area under the curve was useful in order to identify the initial stage of growth of an organ, and its growth rate. Organs displayed either continuous movements during the day with gated day/night periods of maxima, or sharp changes in position coinciding with day/night shifts. The movement was dependent on light in petunia and independent in F. ananassa. Petunia showed organ movement in both growing and fully-grown organs, while A. majus and F. ananassa showed both leaf and flower movement patterns linked to growth. The results indicate that different mathematical fits may help quantify growth rate, growth duration and gating. While organ movement may complicate image and data analysis, it may be a surrogate method to determine organ growth potential

3DeepM: An Ad Hoc Architecture Based on Deep Learning Methods for Multispectral Image Classification

Current predefined architectures for deep learning are computationally very heavy and use tens of millions of parameters. Thus, computational costs may be prohibitive for many experimental or technological setups. We developed an ad hoc architecture for the classification of multispectral images using deep learning techniques. The architecture, called 3DeepM, is composed of 3D filter banks especially designed for the extraction of spatial-spectral features in multichannel images. The new architecture has been tested on a sample of 12210 multispectral images of seedless table grape varieties: Autumn Royal, Crimson Seedless, Itum4, Itum5 and Itum9. 3DeepM was able to classify 100% of the images and obtained the best overall results in terms of accuracy, number of classes, number of parameters and training time compared to similar work. In addition, this paper presents a flexible and reconfigurable computer vision system designed for the acquisition of multispectral images in the range of 400 nm to 1000 nm. The vision system enabled the creation of the first dataset consisting of 12210 37-channel multispectral images (12 VIS + 25 IR) of five seedless table grape varieties that have been used to validate the 3DeepM architecture. Compared to predefined classification architectures such as AlexNet, ResNet or ad hoc architectures with a very high number of parameters, 3DeepM shows the best classification performance despite using 130-fold fewer parameters than the architecture to which it was compared. 3DeepM can be used in a multitude of applications that use multispectral images, such as remote sensing or medical diagnosis. In addition, the small number of parameters of 3DeepM make it ideal for application in online classification systems aboard autonomous robots or unmanned vehicles

The Petunia CHANEL Gene is a ZEITLUPE Ortholog Coordinating Growth and Scent Profiles

The floral perianth, comprising sepals and petals, conceals the sexual organs and attracts pollinators. The coordination of growth and scent emission is not fully understood. We have analyzed the effect of knocking down CHANEL (PhCHL), the ZEITLUPE ortholog in petunia (PhCHL) by hairpin RNAs. Plants with low PhCHL mRNA had overall decreased size. Growth evaluation using time lapse image analysis showed that early leaf movement was not affected by RNAi:PhCHL, but flower angle movement was modified, moving earlier during the day in knockdown plants than in wild types. Despite differences in stem length, growth rate was not significantly affected by loss of PhCHL. In contrast, petal growth displayed lower growth rate in RNAi:PhCHL. Decreased levels of PhCHL caused strongly modified scent profiles, including changes in composition and timing of emission resulting in volatile profiles highly divergent from the wild type. Our results show a role of PhCHL in controlling growth and development of vegetative and reproductive organs in petunia. The different effects of PhCHL on organ development indicate an organ-specific interpretation of the down regulation of PhCHL. Through the control of both timing and quantitative volatile emissions, PhCHL appears to be a major coordinator of scent profiles.This research was funded by Fundacion Seneca 19398/PI/14, 19895/GERM/15 and MC BFU-2017 88300-C2-1-R and BFU-2017 88300-C2-2-R. We would like to acknowledge María José Roca for technical assistance

PhageCocktail: Dos Apps y cinco algoritmos para el diseño de cócteles de fagos

Resumen del trabajo presentado en la VII Reunión Red Española de Bacteriófagos y Elementos Transductores - RED FAGOMA, celebrada en Trujillo, Cáceres (España), del 26 al 28 de octubre de 202