Developing a machine vision system for an autonomous strawberry harvester prototype in open-field conditions

Thumbnail Image

Files

master_Lemsalu_Madis_2021.pdf (25.2 MB)

URL

Journal Title

Journal ISSN

Volume Title

Sähkötekniikan korkeakoulu | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2021-12-13

Department

Major/Subject

Autonomous Systems

Mcode

ELEC3055

Degree programme

Master's Programme in ICT Innovation

Language

en

Pages

59

Series

Abstract

Automation is revolutionizing the agricultural sector. At the same time, the novel Coronavirus disease 2019 highlighted Finland's dependence on foreign labour for agricultural harvesting. In light of the current trends, it would be favourable to develop an automated solution for strawberry harvesting. In this thesis, it was researched whether it is possible to develop a computer vision solution for a strawberry harvesting robot with limited initial dataset. The developed vision system was able to identify ripe, unripe, and mouldy strawberries. The vision system also measured the distance to the strawberries. The strawberry harvesting robot was designed for the Finnish open-field environment, which is a more difficult environment compared to the already automated high-tunnel environment. Challenges in the project were limited dataset and the short strawberry season. The solution to the problem involved an object detection algorithm called You Only Look Once (YOLO). The algorithm was trained on data collected during the strawberry season. The algorithm achieved a 0.94% F1-score in detecting strawberries. The result indicates the possibility to develop a computer vision system for a strawberry harvesting robot with limited starting data. This Thesis shows that it is possible to develop a strawberry harvesting robot for the Finnish strawberry growing open-fields without the need to adjust the environment for robotic application. In the future, it is expected that automation of robots in the agricultural sector will accelerate and current impediments for adoption, such as speed and cost of the robot, will be reduced with development.

Koneautomaatio on mullistamassa maataloustuotantoa, ja yhä useampia työtehtäviä halutaan automatisoida. Samaan aikaan koronavirustauti korostaa Suomen huoltovarmuusriippuvuutta ulkomaisista työnvoimasta. Mansikanpoiminnan automatisointi on houkutteleva kehityskohde näistä molemmista näkökulmista. Tässä opinnäytetyössä tutkittiin mahdollisuutta kehittää toimiva konenäköratkaisu mansikanpoimintarobotille puutteellisella opetusaineistolla. Kehitetty konenäköratkaisu tunnistaa kypsiä, raakoja sekä homeisia mansikoita ja mansikkavarsia. Lisäksi konenäköjärjsetelmä mittaa etäisyyden mansikoihin. Mansikkapoimintarobotti suunniteltiin suomalaisiin pelto-olosuhteisiin, mikä on haastavampi ympäristö konenäölle kuin tyypillisesti robotisoitu kasvutunneliviljely-ympäristö. Haasteena projektissa oli rajoitettu määrä kuva-aineistoa sekä mansikan lyhyt kasvukausi. Ongelman ratkaisuna käytettiin objektien tunnistamiseen pohjautuvaa You Only Look Once-algoritmia (YOLO). Algoritmi koulutettiin pelto-olosuhteista kerätyllä aineistolla. Mansikan havaitsemistarkkuudessa päästiin 94% tasolle. Tulos osoittaa, että mansikkapoimintarobotin konenäköjärjestelmää on mahdollista kehittää suomalaisiin pelto-olosuhteisiin suppealla opetusaineistolla. Työssää osoitetaan että olemassa oleville mansikkatiloille on mahdollista kehittää mansikkapoimintarobotteja ilman tarvetta muokata pelto-olosuhteita suotuisammaksi robotin toiminnalle. Tulevaisuudessa on odotettavissa, että robottien automatisointi maataloussektorilla kiihtyy, ja nykyiset käyttöönoton esteet, kuten robotin nopeus ja hinta, tulevat poistumaan kehityksen kulussa.

Description

Supervisor

Visala, Arto

Thesis advisor

Kaivosoja, Jere

Keywords

computer vision, object detection, strawberry harvesting, robotics

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-2021121910963

Collections

[dipl] Sähkötekniikan korkeakoulu / ELEC