265 research outputs found
Application of Artificial Intelligence algorithms to support decision-making in agriculture activities
Deep Learning has been successfully applied to image recognition, speech recognition, and
natural language processing in recent years. Therefore, there has been an incentive to apply
it in other fields as well. The field of agriculture is one of the most important in which the
application of artificial intelligence algorithms, and particularly, of deep learning needs to
be explored, as it has a direct impact on human well-being. In particular, there is a need
to explore how deep learning models for decision-making can be used as a tool for optimal
planting, land use, yield improvement, production/disease/pest control, and other activities.
The vast amount of data received from sensors in smart farms makes it possible to use deep
learning as a model for decision-making in this field. In agriculture, no two environments are
exactly alike, which makes testing, validating, and successfully implementing such technologies
much more complex than in most other sectors. Recent scientific developments in the
field of deep learning, applied to agriculture, are reviewed and some challenges and potential
solutions using deep learning algorithms in agriculture are discussed. Higher performance
in terms of accuracy and lower inference time can be achieved, and the models can be made
useful in real-world applications. Finally, some opportunities for future research in this area
are suggested. The ability of artificial neural networks, specifically Long Short-Term Memory
(LSTM) and Bidirectional LSTM (BLSTM), to model daily reference evapotranspiration
and soil water content is investigated. The application of these techniques to predict these
parameters was tested for three sites in Portugal. A single-layer BLSTM with 512 nodes was
selected. Bayesian optimization was used to determine the hyperparameters, such as learning
rate, decay, batch size, and dropout size. The model achieved mean square error (MSE)
values ranging from 0.07 to 0.27 (mm d–1)² for ETo (Reference Evapotranspiration) and
0.014 to 0.056 (m³m–3)² for SWC (Soil Water Content), with R2 values ranging from 0.96
to 0.98. A Convolutional Neural Network (CNN) model was added to the LSTM to investigate
potential performance improvement. Performance dropped in all datasets due to the
complexity of the model. The performance of the models was also compared with CNN, traditional
machine learning algorithms Support Vector Regression, and Random Forest. LSTM
achieved the best performance. Finally, the impact of the loss function on the performance
of the proposed models was investigated. The model with the mean square error (MSE) as
loss function performed better than the model with other loss functions. Afterwards, the
capabilities of these models and their extension, BLSTM and Bidirectional Gated Recurrent
Units (BGRU) to predict end-of-season yields are investigated. The models use historical
data, including climate data, irrigation scheduling, and soil water content, to estimate endof-
season yield. The application of this technique was tested for tomato and potato yields at a
site in Portugal. The BLSTM network outperformed the GRU, the LSTM, and the BGRU networks
on the validation dataset. The model was able to capture the nonlinear relationship
between irrigation amount, climate data, and soil water content and predict yield with an
MSE of 0.017 to 0.039 kg/ha. The performance of the BLSTM in the test was compared with
the most commonly used deep learning method called CNN, and machine learning methods
including a Multi-Layer Perceptrons model and Random Forest regression. The BLSTM out-performed the other models with a R2-score between 0.97 and 0.99. The results show that
analyzing agricultural data with the LSTM model improves the performance of the model in
terms of accuracy. The CNN model achieved the second-best performance. Therefore, the
deep learning model has a remarkable ability to predict the yield at the end of the season. Additionally,
a Deep Q-Network was trained for irrigation scheduling. The agent was trained to
schedule irrigation for a tomato field in Portugal. Two LSTM models trained previously were
used as the agent environment. One predicts the total water in the soil profile on the next
day. The other one was employed to estimate the yield based on the environmental condition
during a season and then measure the net return. The agent uses this information to decide
the following irrigation amount. LSTM and CNN networks were used to estimate the Q-table
during training. Unlike the LSTM model, the ANN and the CNN could not estimate the Qtable,
and the agent’s reward decreased during training. The comparison of the performance
of the model was done with fixed-base irrigation and threshold-based irrigation. The trained
model increased productivity by 11% and decreased water consumption by 20% to 30% compared
to the fixed method. Also, an on-policy model, Advantage Actor–Critic (A2C), was
implemented to compare irrigation scheduling with Deep Q-Network for the same tomato
crop. The results show that the on-policy model A2C reduced water consumption by 20%
compared to Deep Q-Network with a slight change in the net reward. These models can be
developed to be applied to other cultures with high importance in Portugal, such as fruit,
cereals, and grapevines, which also have large water requirements. The models developed
along this thesis can be re-evaluated and trained with historical data from other cultures with
high production in Portugal, such as fruits, cereals, and grapes, which also have high water
demand, to create a decision support and recommendation system that tells farmers when
and how much to irrigate. This system helps farmers avoid wasting water without reducing
productivity. This thesis aims to contribute to the future steps in the development of precision
agriculture and agricultural robotics. The models developed in this thesis are relevant to
support decision-making in agricultural activities, aimed at optimizing resources, reducing
time and costs, and maximizing production.Nos últimos anos, a técnica de aprendizagem profunda (Deep Learning) foi aplicada com
sucesso ao reconhecimento de imagem, reconhecimento de fala e processamento de linguagem
natural. Assim, tem havido um incen tivo para aplicá-la também em outros sectores.
O sector agrícola é um dos mais importantes, em que a aplicação de algoritmos de inteligência
artificial e, em particular, de deep learning, precisa ser explorada, pois tem impacto direto
no bem-estar humano. Em particular, há uma necessidade de explorar como os modelos de
aprendizagem profunda para a tomada de decisão podem ser usados como uma ferramenta
para cultivo ou plantação ideal, uso da terra, melhoria da produtividade, controlo de produção,
de doenças, de pragas e outras atividades. A grande quantidade de dados recebidos
de sensores em explorações agrícolas inteligentes (smart farms) possibilita o uso de deep
learning como modelo para tomada de decisão nesse campo. Na agricultura, não há dois
ambientes iguais, o que torna o teste, a validação e a implementação bem-sucedida dessas
tecnologias muito mais complexas do que na maioria dos outros setores. Desenvolvimentos
científicos recentes no campo da aprendizagem profunda aplicada à agricultura, são revistos
e alguns desafios e potenciais soluções usando algoritmos de aprendizagem profunda na agricultura
são discutidos. Maior desempenho em termos de precisão e menor tempo de inferência
pode ser alcançado, e os modelos podem ser úteis em aplicações do mundo real. Por fim,
são sugeridas algumas oportunidades para futuras pesquisas nesta área. A capacidade de redes
neuronais artificiais, especificamente Long Short-Term Memory (LSTM) e LSTM Bidirecional
(BLSTM), para modelar a evapotranspiração de referência diária e o conteúdo de água
do solo é investigada. A aplicação destas técnicas para prever estes parâmetros foi testada em
três locais em Portugal. Um BLSTM de camada única com 512 nós foi selecionado. A otimização
bayesiana foi usada para determinar os hiperparâmetros, como taxa de aprendizagem,
decaimento, tamanho do lote e tamanho do ”dropout”. O modelo alcançou os valores de erro
quadrático médio na faixa de 0,014 a 0,056 e R2 variando de 0,96 a 0,98. Um modelo de
Rede Neural Convolucional (CNN – Convolutional Neural Network) foi adicionado ao LSTM
para investigar uma potencial melhoria de desempenho. O desempenho decresceu em todos
os conjuntos de dados devido à complexidade do modelo. O desempenho dos modelos
também foi comparado com CNN, algoritmos tradicionais de aprendizagem máquina Support
Vector Regression e Random Forest. O LSTM obteve o melhor desempenho. Por fim,
investigou-se o impacto da função de perda no desempenho dos modelos propostos. O modelo
com o erro quadrático médio (MSE) como função de perda teve um desempenho melhor
do que o modelo com outras funções de perda. Em seguida, são investigadas as capacidades
desses modelos e sua extensão, BLSTM e Bidirectional Gated Recurrent Units (BGRU) para
prever os rendimentos da produção no final da campanha agrícola. Os modelos usam dados
históricos, incluindo dados climáticos, calendário de rega e teor de água do solo, para estimar
a produtividade no final da campanha. A aplicação desta técnica foi testada para os rendimentos
de tomate e batata em um local em Portugal. A rede BLSTM superou as redes GRU,
LSTM e BGRU no conjunto de dados de validação. O modelo foi capaz de captar a relação não
linear entre dotação de rega, dados climáticos e teor de água do solo e prever a produtividade com um MSE variando de 0,07 a 0,27 (mm d–1)² para ETo (Evapotranspiração de Referência)
e de 0,014 a 0,056 (m³m–3)² para SWC (Conteúdo de Água do Solo), com valores de R2
variando de 0,96 a 0,98. O desempenho do BLSTM no teste foi comparado com o método de
aprendizagem profunda CNN, e métodos de aprendizagem máquina, incluindo um modelo
Multi-Layer Perceptrons e regressão Random Forest. O BLSTM superou os outros modelos
com um R2 entre 97% e 99%. Os resultados mostram que a análise de dados agrícolas
com o modelo LSTM melhora o desempenho do modelo em termos de precisão. O modelo
CNN obteve o segundo melhor desempenho. Portanto, o modelo de aprendizagem profunda
tem uma capacidade notável de prever a produtividade no final da campanha. Além disso,
uma Deep Q-Network foi treinada para programação de irrigação para a cultura do tomate.
O agente foi treinado para programar a irrigação de uma plantação de tomate em Portugal.
Dois modelos LSTM treinados anteriormente foram usados como ambiente de agente. Um
prevê a água total no perfil do solo no dia seguinte. O outro foi empregue para estimar a produtividade
com base nas condições ambientais durante uma o ciclo biológico e então medir
o retorno líquido. O agente usa essas informações para decidir a quantidade de irrigação.
As redes LSTM e CNN foram usadas para estimar a Q-table durante o treino. Ao contrário
do modelo LSTM, a RNA e a CNN não conseguiram estimar a tabela Q, e a recompensa do
agente diminuiu durante o treino. A comparação de desempenho do modelo foi realizada
entre a irrigação com base fixa e a irrigação com base em um limiar. A aplicação das doses
de rega preconizadas pelo modelo aumentou a produtividade em 11% e diminuiu o consumo
de água em 20% a 30% em relação ao método fixo. Além disso, um modelo dentro da táctica,
Advantage Actor–Critic (A2C), é foi implementado para comparar a programação de
irrigação com o Deep Q-Network para a mesma cultura de tomate. Os resultados mostram
que o modelo de táctica A2C reduziu o consumo de água consumo em 20% comparado ao
Deep Q-Network com uma pequena mudança na recompensa líquida. Estes modelos podem
ser desenvolvidos para serem aplicados a outras culturas com elevada produção em Portugal,
como a fruta, cereais e vinha, que também têm grandes necessidades hídricas. Os modelos
desenvolvidos ao longo desta tese podem ser reavaliados e treinados com dados históricos
de outras culturas com elevada importância em Portugal, tais como frutas, cereais e uvas,
que também têm elevados consumos de água. Assim, poderão ser desenvolvidos sistemas
de apoio à decisão e de recomendação aos agricultores de quando e quanto irrigar. Estes
sistemas poderão ajudar os agricultores a evitar o desperdício de água sem reduzir a produtividade.
Esta tese visa contribuir para os passos futuros na evolução da agricultura de
precisão e da robótica agrícola. Os modelos desenvolvidos ao longo desta tese são relevantes
para apoiar a tomada de decisões em atividades agrícolas, direcionadas à otimização de recursos,
redução de tempo e custos, e maximização da produção.Centro-01-0145-FEDER000017-EMaDeS-Energy,
Materials, and Sustainable Development, co-funded by the Portugal 2020 Program (PT 2020),
within the Regional Operational Program of the Center (CENTRO 2020) and the EU through
the European Regional Development Fund (ERDF). Fundação para a Ciência e a Tecnologia
(FCT—MCTES) also provided financial support via project UIDB/00151/2020 (C-MAST).
It was also supported by the R&D Project BioDAgro – Sistema operacional inteligente de
informação e suporte á decisão em AgroBiodiversidade, project PD20-00011, promoted by
Fundação La Caixa and Fundação para a Ciência e a Tecnologia, taking place at the C-MAST
- Centre for Mechanical and Aerospace Sciences and Technology, Department of Electromechanical
Engineering of the University of Beira Interior, Covilhã, Portugal
Ubiquitous Technologies for Emotion Recognition
Emotions play a very important role in how we think and behave. As such, the emotions we feel every day can compel us to act and influence the decisions and plans we make about our lives. Being able to measure, analyze, and better comprehend how or why our emotions may change is thus of much relevance to understand human behavior and its consequences. Despite the great efforts made in the past in the study of human emotions, it is only now, with the advent of wearable, mobile, and ubiquitous technologies, that we can aim to sense and recognize emotions, continuously and in real time. This book brings together the latest experiences, findings, and developments regarding ubiquitous sensing, modeling, and the recognition of human emotions
Regularized approximate policy iteration using kernel for on-line reinforcement learning
By using Reinforcement Learning (RL), an autonomous agent interacting with the environment can learn how to take adequate actions for every situation in order to optimally achieve its own goal. RL provides a general methodology able to solve uncertain and complex decision problems which may be present in many real-world applications. RL problems are usually modeled as a Markov Decision Processes (MDPs) deeply studied in the literature. The main peculiarity of a RL algorithm is that the RL agent is assumed to learn the optimal policies from its experiences without knowing the parameters of the MDP. The key element in solving the MDP is learning a value function which gives the expectation of total reward an agent might expect at its current state taking a given action. This value function allows to obtain the optimal policy. In this thesis we study the capacity of SVR using kernel methods to adapt and solve complex RL problems in large or continuous state space. SVR can be studied using a geometrical interpretation in terms of optimal margin or can be seen as a regularization problem given in a Reproducing Kernel Hilbert Space (RKHS) SVR have good properties over the generalization ability and as they are based a on convex optimization problem, they do not suffer from sub-optimality. SVR are non-parametric showing the ability to automatically adapt to the complexity of the problem. Accordingly, applying SVR to approximate value functions sounds to be a good approach. SVR can be solved both in batch mode when the whole set of training sample are at disposal of the learning agents or incrementally which enables the addition or removal of training samples very effectively. Incremental SVR finds the appropriate KKT conditions for new or updated data by modifying their influences into the regression function maintaining consistence in the KKT conditions for the rest of data used for learning. In RL problems an incremental SVR should be able to approximate the action value function leading to the optimal policy. Accordingly, computation load should be lower, learning speed faster and generalization more effective than other existing method The overall contribution coming from of our work is to develop, formalize, implement and study a new RL technique for generalization in discrete and continuous state spaces with finite actions. Our method uses the Approximate Policy Iteration (API) framework with the BRM criterion which allows to represent the action value function using SVR. This approach for RL is the first one we know using SVR compatible to the agent interaction- with-the-environment framework of RL which shows his power by solving a large number of benchmark problems, including very difficult ones, like the bicycle driving and riding control problem. In addition, unlike most RL approaches to generalization, we develop a proof finding theoretical bounds for the convergence of the method to the optimal solution under given conditions.Mediante el uso de aprendizaje por refuerzo (RL), un agente autónomo interactuando con el medio ambiente puede aprender a tomar adecuada acciones para cada situación con el fin de lograr de manera óptima su propia meta. RL proporciona una metodología general capaz de resolver problemas de decisión complejos que pueden estar presentes en muchas aplicaciones del mundo real. Problemas RL usualmente se modelan como una Procesos de Decisión de Markov (MDP) estudiados profundamente en la literatura. La principal peculiaridad de un algoritmo de RL es que el agente es asumido para aprender las políticas óptimas de sus experiencias sin saber los parámetros de la MDP. El elemento clave en resolver el MDP está en el aprender una función de valor que da la expectativa de recompensa total que un agente puede esperar en su estado actual para tomar una acción determinada. Esta función de valor permite obtener la política óptima. En esta tesis se estudia la capacidad del SVR utilizando núcleo métodos para adaptarse y resolver problemas RL complejas en el espacio estado grande o continua. RVS puede ser estudiado mediante un interpretación geométrica en términos de margen óptimo o puede ser visto como un problema de regularización dado en un Reproducing Kernel Hilbert Space (RKHS). SVR tiene buenas propiedades sobre la capacidad de generalización y ya que se basan en una optimización convexa problema, ellos no sufren de sub-optimalidad. SVR son no paramétrico que muestra la capacidad de adaptarse automáticamente a la complejidad del problema. En consecuencia, la aplicación de RVS para aproximar funciones de valor suena para ser un buen enfoque. SVR puede resolver tanto en modo batch cuando todo el conjunto de muestra de entrenamiento están a disposición de los agentes de aprendizaje o incrementalmente que permite la adición o eliminación de muestras de entrenamiento muy eficaz. Incremental SVR encuentra las condiciones adecuadas para KKT nuevas o actualizadas de datos modificando sus influencias en la función de regresión mantener consistencia en las condiciones KKT para el resto de los datos utilizados para el aprendizaje. En los problemas de RL una RVS elemental será capaz de aproximar la función de valor de acción que conduce a la política óptima. En consecuencia, la carga de cálculo debería ser menor, la velocidad de aprendizaje más rápido y generalización más efectivo que el otro método existente La contribución general que viene de nuestro trabajo es desarrollar, formalizar, ejecutar y estudiar una nueva técnica de RL para la generalización en espacio de estados discretos y continuos con acciones finitas. Nuestro método utiliza el marco de la Approximate Policy Iteration (API) con el criterio de BRM que permite representar la función de valor de acción utilizando SVR. Este enfoque de RL es el primero que conocemos usando SVR compatible con el marco de RL con agentes interaccionado con el ambiente que muestra su poder mediante la resolución de un gran número de problemas de referencia, incluyendo los muy difíciles, como la conducción de bicicletas y problema de control de conducción. Además, a diferencia de la mayoría RL se acerca a la generalización, desarrollamos un hallazgo prueba límites teóricos para la convergencia del método a la solución óptima en condiciones dadas.Postprint (published version
Proceedings. 19. Workshop Computational Intelligence, Dortmund, 2. - 4. Dezember 2009
Dieser Tagungsband enthält die Beiträge des 19. Workshops „Computational Intelligence“ des Fachausschusses 5.14 der VDI/VDE-Gesellschaft für Mess- und Automatisierungstechnik (GMA) und der Fachgruppe „Fuzzy-Systeme und Soft-Computing“ der Gesellschaft für Informatik (GI), der vom 2.-4. Dezember 2009 im Haus Bommerholz bei Dortmund stattfindet
Visual attention and swarm cognition for off-road robots
Tese de doutoramento, Informática (Engenharia Informática), Universidade de Lisboa, Faculdade de Ciências, 2011Esta tese aborda o problema da modelação de atenção visual no contexto de robôs autónomos todo-o-terreno. O objectivo de utilizar mecanismos de atenção visual é o de focar a percepção nos aspectos do ambiente mais relevantes à tarefa do robô. Esta tese mostra que, na detecção de obstáculos e de trilhos, esta capacidade promove robustez e parcimónia computacional. Estas são características chave para a rapidez e eficiência dos robôs todo-o-terreno. Um dos maiores desafios na modelação de atenção visual advém da necessidade de gerir o compromisso velocidade-precisão na presença de variações de contexto ou de tarefa. Esta tese mostra que este compromisso é resolvido se o processo de atenção visual for modelado como um processo auto-organizado, cuja operação é modulada pelo módulo de selecção de acção, responsável pelo controlo do robô. Ao fechar a malha entre o processo de selecção de acção e o de percepção, o último é capaz de operar apenas onde é necessário, antecipando as acções do robô. Para fornecer atenção visual com propriedades auto-organizadas, este trabalho obtém inspiração da Natureza. Concretamente, os mecanismos responsáveis pela capacidade que as formigas guerreiras têm de procurar alimento de forma auto-organizada, são usados como metáfora na resolução da tarefa de procurar, também de forma auto-organizada, obstáculos e trilhos no campo visual do robô. A solução proposta nesta tese é a de colocar vários focos de atenção encoberta a operar como um enxame, através de interacções baseadas em feromona. Este trabalho representa a primeira realização corporizada de cognição de enxame. Este é um novo campo de investigação que procura descobrir os princípios básicos da cognição, inspeccionando as propriedades auto-organizadas da inteligência colectiva exibida pelos insectos sociais. Logo, esta tese contribui para a robótica como disciplina de engenharia e para a robótica como disciplina de modelação, capaz de suportar o estudo do comportamento adaptável.Esta tese aborda o problema da modelação de atenção visual no contexto de robôs autónomos
todo-o-terreno. O objectivo de utilizar mecanismos de atenção visual é o de focar a percepção
nos aspectos do ambiente mais relevantes à tarefa do robô. Esta tese mostra que, na detecção de
obstáculos e de trilhos, esta capacidade promove robustez e parcimónia computacional. Estas
são características chave para a rapidez e eficiência dos robôs todo-o-terreno.
Um dos maiores desafios na modelação de atenção visual advém da necessidade de gerir o
compromisso velocidade-precisão na presença de variações de contexto ou de tarefa. Esta tese
mostra que este compromisso é resolvido se o processo de atenção visual for modelado como
um processo auto-organizado, cuja operação é modulada pelo módulo de selecção de acção,
responsável pelo controlo do robô. Ao fechar a malha entre o processo de selecção de acção e
o de percepção, o último é capaz de operar apenas onde é necessário, antecipando as acções do
robô.
Para fornecer atenção visual com propriedades auto-organizadas, este trabalho obtém inspi-
ração da Natureza. Concretamente, os mecanismos responsáveis pela capacidade que as formi-
gas guerreiras têm de procurar alimento de forma auto-organizada, são usados como metáfora
na resolução da tarefa de procurar, também de forma auto-organizada, obstáculos e trilhos no
campo visual do robô. A solução proposta nesta tese é a de colocar vários focos de atenção
encoberta a operar como um enxame, através de interacções baseadas em feromona.
Este trabalho representa a primeira realização corporizada de cognição de enxame. Este é
um novo campo de investigação que procura descobrir os princípios básicos da cognição, ins-
peccionando as propriedades auto-organizadas da inteligência colectiva exibida pelos insectos
sociais. Logo, esta tese contribui para a robótica como disciplina de engenharia e para a robótica
como disciplina de modelação, capaz de suportar o estudo do comportamento adaptável.Fundação para a Ciência e a Tecnologia (FCT,SFRH/BD/27305/2006); Laboratory of Agent Modelling (LabMag
- …