Nuclei segmentation using computer vision

Thumbnail Image

Files

master_Vuola_Aarno_2019.pdf (25.33 MB)

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2019-01-28

Department

Major/Subject

Machine Learning and Data Mining

Mcode

SCI3044

Degree programme

Master’s Programme in Computer, Communication and Information Sciences

Language

en

Pages

73+11

Series

Abstract

The current widespread use of convolutional neural networks for detection and segmentation tasks from images has significant applications in the medical field, where tasks often laboriously done by researchers can be replaced by automated systems. One such task is segmenting cells or nuclei from microscopy images into separate instances to allow counting, quantitative analysis of their structure, and tracking through time, all of which carry vital information of the system under observation. Performing this segmentation task manually requires expert level knowledge and quickly becomes time consuming as the number of microscopy images to be segmented grows. Automated segmentation methods can reach acceptable levels in quality and process images quickly and they are widely used for the task. Most tools available for researchers at the moment rely on classical computer vision methods. However, modern neural network models should outperform these approaches in most tasks, including object detection and instance segmentation. The task of nuclei segmentation is both an important and in some ways ideal task for modern computer vision methods, e.g. convolutional neural networks, as these methods can reach expert-level quality with sufficient training data and are able to process hundreds of images quickly. While recent developments in theory and open-source software have made these tools easier to implement, expert knowledge is still required to choose the right model architecture and training setup. Two popular segmentation frameworks, U-Net and Mask-RCNN, were compared in the nuclei segmentation task to find that they have different strengths and shortcomings. U-net, an U-shaped convolutional neural network architecture, achieved good segmentation quality but struggled with detection performance. Mask-RCNN, a current state-of-the-art segmentation architecture for natural images, was found to have good detection performance, but lacked in segmentation accuracy. To get the best of both worlds, an ensemble model was developed to combine their predictions that outperformed both models by a large margin and should be considered when aiming for best nuclei segmentation performance.

Nykyisten konvoluutioverkkomallien käytöllä objektien tunnistus- ja segmentointitehtävään on merkittäviä sovelluksia myös lääketieteen ja biologian alalla, jossa tutkijoiden usein käsin tekemät tehtävät voidaan korvata automatisoiduilla systeemeillä. Eräs tärkeä tehtävä on solujen tai solun tumien segmentointi mikroskooppikuvista, mikä mahdollistaa niiden laskemisen, rakenteen analysoimisen sekä ajassa seuraamisen. Kaikki nämä tiedot ovat tärkeää informaatiota tutkittavasta systeemistä, mutta käsin segmentoiminen on sekä aikaa vievää että vaatii ammattilaisen osaamista. Kun kuvien lukumäärä kasvaa, työstä tulee pian mahdotonta, ja niinpä automaattiset menetelmät ovat haluttuja ja laajasti tiedeyhteisön käyttämiä. Tällä hetkellä useimmat segmentoinnin mahdollistavat työkalut tutkijoille käyttävät hyväkseen klassisia konenäkömenetelmiä. Modernit konvoluutioverkkoarkkitehtuurit kuitenkin päihittävät klassiset menetelmät suurella marginaalilla monissa tehtävissä, mukaanlukien segmentoinnissa. Tumien segmentoinnin automatisointi on lähes ideaali ongelma konvoluutiomalleille, sillä ne pystyvät pääsemään asiantuntijatasolle laadussa jos harjoitusdataa on riittävästi ja lisäksi käsittelemään satojakin kuvia nopeasti. Vaikka avoimen lähdekoodin kirjastot ja ohjelmistot ovat tuoneet konvoluutiomallit tiedeyhteisön ulottuville, oikean mallin valinta, käyttöönotto sekä harjoitus vaatii yhä asiantuntijan. Tässä työssä vertaillaan kahta suosittua konvoluutioverkkomallia: U-net– ja Mask-RCNN–arkkitehtuuria. Molemmilla todettiin olevan eri vahvuudet ja heikkoudet: U-net tuotti erinomaisia segmentointituloksia, mutta ei aina pystynyt huomaamaan kaikkia tumia kuvassa tai luuli jotakin muuta rakennetta tumaksi. Mask-RCNN toisaalta pystyi hyvällä tarkkuudella huomaamaan tumat, mutta ei päässyt samaan segmentointitarkkuuteen kuin U-net. Koska malleilla oli käytännössä vastakkaiset vahvuudet ja heikkoudet, niiden ennusteet yhdistettiin puumallilla joka tuotti erinomaisia tuloksia, päihittäen yksittäisten mallien ennusteet selvästi. Tämä johtaa päätelmään, että yhdistelmämallia tulisi käyttää tumien segmentointitehtävässä.

Description

Supervisor

Kannala, Juho

Thesis advisor

Akram, Saad

Keywords

convolutional neural networks, biomedical imaging, deep learning, instance segmentation

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-201902031530

Collections

[dipl] Perustieteiden korkeakoulu / SCI