Fully Convolutional Neural Networks for Nuclei Segmentation and Type Classification

Loading...
Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Date

2021-06-14

Department

Major/Subject

Bioinformatics and Digital Health

Mcode

SCI3092

Degree programme

Master’s Programme in Life Science Technologies

Language

en

Pages

80+7

Series

Abstract

The examination of histological microscopic images is the golden standard in the diagnosis and grading of cancer. The conventional approach to perform diagnosis and grading is a low throughput manual examination of the histological images by a pathologist. This maunal assessment is labor-intensive and suffers from intra- and inter-observer variability which can lead to sub-optimal care for the patients. However, over the past years, advances in digital histopathology and deep learning have enabled the automated digital analysis of histological images. Often, a crucial prequisite in the digital analysis of the histological images is the segmentation and cell type classification of the cell nuclei. The most well known challenge in nuclei segmentation is the separation of clustered nuclei that is especially apparent in cancer cells that often form irregularly bounded clusters of many overlapping cells. Furthermore, the fact that different cell types display extensive intra-class variability complicates the accurate cell type classification of the nuclei that is crucial in the downstream analyses. Many methods have been developed to address nuclei segmentation and cell type classification as two separate problems, but recently a new class of fully convolutional multi-task neural networks have shown great promise in solving both the nuclei segmentation and type classification simultaneously. This thesis introduces a comprehensive benchmarking of the different components that are relevant for multi-task networks that are performing simultaneous nuclei segmentation and type classification. In total, eight ablation studies are conducted for distinct components. For each of these components, several different alternatives are tested to determine the optimal combination that leads to the best end result. The results show that the model performance can be increased over 7\% by choosing the right compnents.

Histologisten mikroskooppikuvien analysointi on vakiintunut menetelmä syövän diagnoosissa ja luokittelussa. Tyypillisesti tämä analyysi toteutetaan manuaalisesti, joka on hidasta ja kärsii eri tekijöiden välillä esiintyvästä vaihtuvuudesta aiheuttaen riskin väärään diagnoosiin ja huonompaan hoitoon. Viime vuosien aikana tapahtunut teknologinen kehitys digitaalisessa patologiassa ja koneoppimisessa on kuitenkin mahdollistanut tämän analyysin digitaalisen automatisoinnin, jolla on potentiaalia pystyä vastaamaan näihin ongelmiin. Usein histologisten kuvien automatisoidun analyysin edellytyksenä on onnistunut solujen tumien segmentointi ja näiden solutyyppien luokittelu. Ongelmia analyysissä aiheuttavat kuitenkin toistensa läheisyyteen kerääntyneiden tumien erottaminen toisistaan. Varsinkin syöpäsolut aiheuttavat haastetta, sillä näillä on tapana muodostaa epäsäännöllisiä syöpäsolukeskittymiä, joiden rajoja on vaikea tunnistaa edes paljaalla silmällä. Tämän lisäksi eri solutyypit voivat usein muistuttaa ulkoisesti toisiaan aiheuttaen haasteita solu tyyppien luokittelussa, joka on ratkaisevassa osassa tulevien analyysien kannalta. Näiden ongelmien ratkaisemiseksi on kehitetty useita eri menetelmiä, mutta nämä usein käsittelevät tumien segmentointia ja solutyyppien luokittelua erillisinä ongelmina. Äskettäin kehitetyt neuroverkkoarkkitehtuurit ovat kuitenkin osoittautuneet lupaaviksi menetelmiksi samanaikaiseen tumien segmentointiin ja näiden solutyyppien luokitteluun. Tässä diplomityössä on tarkoituksena tutkia, mitkä tekijät vaikuttavat näiden neuroverkkojen suorituskykyyn vertailemalla perusteellisesti neuroverkkoarkkitehtuurien yksittäisiä komponentteja. Eri arviointeja toteutetaan yhteensä kahdeksalle erilliselle neuroverkon komponentille, jotka ovat oleellisia neuroverkkojen suorituskyvyn kannalta. Kullekin näistä komponenteista arvioidaan useita eri vaihtoehtoja optimaalisen kombinaation selvittämiseksi. Tuloksien mukaan mallien suorituskykyä voidaan parantaa yli 7\% valitsemalla parhaat mahdolliset komponentit.

Description

Supervisor

Lähdesmäki, Harri

Thesis advisor

Hautaniemi, Sampsa

Keywords

CNN, FCN, segmentation, instance segmentation, semantic segmentation

Other note

Citation