Semantic Segmentation of Weeds and Crops in Multispectral Images by Using a Convolutional Neural Networks Based on U-Net

A first step in the process of automating weed removal in precision agriculture is the semantic segmentation of crops, weeds and soil. Deep learning techniques based on convolutional neural networks are successfully applied today and one of the most popular network architectures in semantic segmentation problems is U-Net. In this article, the variants in the U-Net architecture were evaluated based on the aggregation of residual and recurring blocks to improve their performance. For training and testing, a set of data available on the Internet was used, consisting of 60 multispectral images with unbalanced pixels, so techniques were applied to increase and balance the data. Experimental results show a slight increase in quality metrics compared to the classic U-Net architecture

Real-time Semantic Segmentation of Crop and Weed for Precision Agriculture Robots Leveraging Background Knowledge in CNNs

Precision farming robots, which target to reduce the amount of herbicides that need to be brought out in the fields, must have the ability to identify crops and weeds in real time to trigger weeding actions. In this paper, we address the problem of CNN-based semantic segmentation of crop fields separating sugar beet plants, weeds, and background solely based on RGB data. We propose a CNN that exploits existing vegetation indexes and provides a classification in real time. Furthermore, it can be effectively re-trained to so far unseen fields with a comparably small amount of training data. We implemented and thoroughly evaluated our system on a real agricultural robot operating in different fields in Germany and Switzerland. The results show that our system generalizes well, can operate at around 20Hz, and is suitable for online operation in the fields.Comment: Accepted for publication at IEEE International Conference on Robotics and Automation 2018 (ICRA 2018

Building an Aerial-Ground Robotics System for Precision Farming: An Adaptable Solution

[No abstract available

Сегментація зображень на основі згорткових нейронних мереж

Метою роботи було дослідження застосування згорткових нейронних мереж для розв’язання задачі сегментації на прикладі сегментації бур’янів. Було розглянуто алгоритмічні підходи та архітектури згорткових нейронних мереж призначені для сегментації зображень. Для створення системи було обрано архітектуру U-net. Програмну модель архітектури для сегментації було реалізовано за допомогою мови програмування Python та бібліотеки Keras. Було проведено дослідження поведінки зображення бур’яну у внутрішніх шарах мережі. Результатом роботи стала мережа для сегментації бур’янів на зображеннях з відеокамери наземного робота. Записка містить 70 сторінок, 19 рисунків, 2 таблиці, 5 додатків і 26 посилань.The aim of the work was to investigate the use of convolutional neural networks to solve the segmentation problem by using a weed segmentation example. Algorithmic approaches and architectures of convolutional neural networks were considered for image segmentation. The U-net architecture was chosen to create the system. The software architecture for segmentation was implemented using the Python programming language and the Keras library. We conducted a survey of the behavior of the image of the weed in the inner layers of the network. The result of the work was the network for segmentation of weeds in the images from the video camera of the ground robot. The note contains 70 pages, 19 figures, 2 tables, 5 annexes and 26 references.Целью работы было исследование использования сверточных нейронных сетей для решения проблемы сегментации на примере сегментации сорняков. Были рассмотрены алгоритмические подходы и архитектуры сверточных нейронных сетей для сегментации изображения. Для создания системы была выбрана архитектура U-net. Архитектура программного обеспечения для сегментации была реализована с использованием языка программирования Python и библиотеки Keras. Проведено исследование поведении изображения сорняков во внутренних слоях сети. Результатом работы стала сеть для сегментации сорняков на изображениях с видеокамеры наземного робота