Developing a machine vision system for an autonomous strawberry harvester prototype in open-field conditions

Abstract

Automation is revolutionizing the agricultural sector. At the same time, the novel Coronavirus disease 2019 highlighted Finland's dependence on foreign labour for agricultural harvesting. In light of the current trends, it would be favourable to develop an automated solution for strawberry harvesting.

In this thesis, it was researched whether it is possible to develop a computer vision solution for a strawberry harvesting robot with limited initial dataset. The developed vision system was able to identify ripe, unripe, and mouldy strawberries. The vision system also measured the distance to the strawberries. The strawberry harvesting robot was designed for the Finnish open-field environment, which is a more difficult environment compared to the already automated high-tunnel environment. Challenges in the project were limited dataset and the short strawberry season.

The solution to the problem involved an object detection algorithm called You Only Look Once (YOLO). The algorithm was trained on data collected during the strawberry season. The algorithm achieved a 0.94% F1-score in detecting strawberries. The result indicates the possibility to develop a computer vision system for a strawberry harvesting robot with limited starting data.

This Thesis shows that it is possible to develop a strawberry harvesting robot for the Finnish strawberry growing open-fields without the need to adjust the environment for robotic application. In the future, it is expected that automation of robots in the agricultural sector will accelerate and current impediments for adoption, such as speed and cost of the robot, will be reduced with development.

Koneautomaatio on mullistamassa maataloustuotantoa, ja yhä useampia työtehtäviä halutaan automatisoida. Samaan aikaan koronavirustauti korostaa Suomen huoltovarmuusriippuvuutta ulkomaisista työnvoimasta. Mansikanpoiminnan automatisointi on houkutteleva kehityskohde näistä molemmista näkökulmista.

Tässä opinnäytetyössä tutkittiin mahdollisuutta kehittää toimiva konenäköratkaisu mansikanpoimintarobotille puutteellisella opetusaineistolla. Kehitetty konenäköratkaisu tunnistaa kypsiä, raakoja sekä homeisia mansikoita ja mansikkavarsia. Lisäksi konenäköjärjsetelmä mittaa etäisyyden mansikoihin. Mansikkapoimintarobotti suunniteltiin suomalaisiin pelto-olosuhteisiin, mikä on haastavampi ympäristö konenäölle kuin tyypillisesti robotisoitu kasvutunneliviljely-ympäristö. Haasteena projektissa oli rajoitettu määrä kuva-aineistoa sekä mansikan lyhyt kasvukausi.

Ongelman ratkaisuna käytettiin objektien tunnistamiseen pohjautuvaa You Only Look Once-algoritmia (YOLO). Algoritmi koulutettiin pelto-olosuhteista kerätyllä aineistolla. Mansikan havaitsemistarkkuudessa päästiin 94% tasolle. Tulos osoittaa, että mansikkapoimintarobotin konenäköjärjestelmää on mahdollista kehittää suomalaisiin pelto-olosuhteisiin suppealla opetusaineistolla.

Työssää osoitetaan että olemassa oleville mansikkatiloille on mahdollista kehittää mansikkapoimintarobotteja ilman tarvetta muokata pelto-olosuhteita suotuisammaksi robotin toiminnalle. Tulevaisuudessa on odotettavissa, että robottien automatisointi maataloussektorilla kiihtyy, ja nykyiset käyttöönoton esteet, kuten robotin nopeus ja hinta, tulevat poistumaan kehityksen kulussa.