Ontwikkeling en validatie van computer vision technologie ten behoeve van een broccoli oogstrobot

De selectieve en handmatige oogst van broccoli is arbeidsintensief en omvat ongeveer 35% van de totale productiekosten. Dit onderzoek is uitgevoerd om te bepalen of computer vision kan worden gebruikt om broccoli kronen te detecteren, als eerste stap in de ontwikkeling van een autonome selectieve broccoli oogstrobot. Een op textuur en kleur gebaseerde beeld detectie is gebruikt om de broccoli kronen van de achtergrond te scheiden. De computer vision is gevalideerd met een ground truth dataset van 200 afbeeldingen. In deze beelden zijn 228 werkelijke broccoli kronen van verschillende groottes aangewezen door twee menselijke experts gebruikmakend van het GrabCut-algoritme. De broccoli detectie van de computer vision is op twee verschillende manieren beoordeeld. De eerste was een pixel-gebaseerde overlap tussen de computer vision en de werkelijke broccoli objecten, wat resulteerde in een gemiddelde overlap van 93.8%. De tweede waarde was op basis van de detectie van de individuele broccoli kronen. Deze toonde een precisie van 99.5%, met een slechts één onterecht aangemerkte broccoli. De specificiteit was 97.9%, de negative predictive value was 69.7% en de gemiddelde nauwkeurigheid was 92.4%. In het totaal zijn 208 broccoli kronen gedetecteerd door de computer vision, wat wijst op een sensitiviteit van 91.2%. De gemiddelde grootte van de gemiste kronen was kleiner dan de gemiddelde grootte van de gedetecteerde kronen. Indien de broccoli kronen slechter zichtbaar zijn of overschaduwd worden door omringende bladeren is het mogelijk dat de computer vision misclassificaties levert

The effect of data augmentation and network simplification on the image-based detection of broccoli heads with Mask R-CNN

In current practice, broccoli heads are selectively harvested by hand. The goal of our work is to develop a robot that can selectively harvest broccoli heads, thereby reducing labor costs. An essential element of such a robot is an image-processing algorithm that can detect broccoli heads. In this study, we developed a deep learning algorithm for this purpose, using the Mask Region-based Convolutional Neural Network. To be applied on a robot, the algorithm must detect broccoli heads from any cultivar, meaning that it can generalize on the broccoli images. We hypothesized that our algorithm can be generalized through network simplification and data augmentation. We found that network simplification decreased the generalization performance, whereas data augmentation increased the generalization performance. In data augmentation, the geometric transformations (rotation, cropping, and scaling) led to a better image generalization than the photometric transformations (light, color, and texture). Furthermore, the algorithm was generalized on a broccoli cultivar when 5% of the training images were images of that cultivar. Our algorithm detected 229 of the 232 harvestable broccoli heads from three cultivars. We also tested our algorithm on an online broccoli data set, which our algorithm was not previously trained on. On this data set, our algorithm detected 175 of the 176 harvestable broccoli heads, proving that the algorithm was successfully generalized. Finally, we performed a cost-benefit analysis for a robot equipped with our algorithm. We concluded that the robot was more profitable than the human harvest and that our algorithm provided a sufficient basis for robot commercialization.</p