Self-supervised learning for histological image representation
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2023-01-16
Department
Major/Subject
Complex Systems
Mcode
SCI3060
Degree programme
Master’s Programme in Life Science Technologies
Language
en
Pages
44+7
Series
Abstract
Histopathology is a field of science that traditionally examines tissue samples under a microscope. However, the traditional method of using a microscope is rather time-consuming and errorprone. Thus a need for faster and more accurate analysis methods to analyze the samples exists. Converting the tissue samples into digital images that can be viewed on a computer screen has enabled using deep learning based image analysis techniques for analyzing the samples. However, even though deep learning has provided many benefits in the field of computational histopathology, many challenges such as lack of good quality labeled training data and processing the digital images of the tissue samples called whole slide images, remain. A labeled dataset consisting of the whole slide images is commonly required by a fullysupervised learning task in the field of histopathology. However, due to the size of the whole slide images, there are many technical issues related to processing the images in order to use them as input for deep learning applications using supervised learning. Therefore, in order to reduce the need of labeled data and to make processing the available data more efficient, a weakly-supervised learning method called Clustering-constrained Attention Multiple Instance Learning (CLAM) by Lu et al. (2020) was used in this work. The method only uses slide-level labels of the whole slide images instead of more detailed pixel-level labels. In the article by Lu et al. (2020) the workflow is divided into a pretext task of generating feature embeddings of the input images, and to a downstream task that is the actual classification task. Unlike in the original work, to further reduce the need for labelled data, in this Thesis the pretext task using transfer learning is replaced with a pretext task that uses self-supervised learning method called Bootstrap Your Own Latent (BYOL) by Grill et al. (2020). To evaluate and compare the performance of our implementation that uses self-supervised learning in the pretext task to the implementation that uses transfer learning, a renal cell carcinoma subtyping task was executed. To complete the task, first the whole slide images of the tissue samples were divided into smaller instances. The smaller instances, also called patches, were converted into feature embeddings in the pretext task. The feature embeddings were then used as input for the downstream classification task where a prediction of the subtype of renal cell carcinoma was generated for each whole slide image. The accuracy of the predictions in the downstream task using input from differently executed pretext tasks were then compared in order to evaluate the performance between the transfer learning and self-supervised learning methods. Our experiment setting showed that the self-supervised learning method BYOL does not provide as good results in the downstream task regarding the accuracy of the predictions as the transfer learning when using the renal cell carcinoma subtyping task as the benchmark. However, as the BYOL method has shown great results on image data from other domains, in the future research one possible direction could be to focus on making it to work on the histopathological image data by e.g. modifying the image augmentations.Histopatologia on tieteenala, joka perinteisesti tutkii kudosnäytteissä ilmeneviä muutoksia mikroskooppia hyödyntäen. Muutoksiin pohjautuen patologit tuottavat diagnooseja eri sairauksista, kuten syövistä. Diagnoosien tuottaminen kudosnäytteistä mikroskoopin avulla on kuitenkin verrattain hidasta sekä menetelmänä altis virheille ja vaihteleville diagnooseille johtuen eri patologien tekemistä tulkinnoista. Histopatologian alalla jatkuvasti lisääntyvä digitalisaatio ja sen mahdollistama kudosnäytteiden digitalisointi tietokoneen ruudulla esitettäviksi kuviksi on kuitenkin luonut uusia mahdollisuuksia hyödyntää automatisoituja kuva-analyysimenetelmiä digitalisoitujen kudosnäytteiden analysointiin. Nykyaikaiset syväoppivia neuroverkkoja hyödyntävät kuva-analyysimenetelmät mahdollistavat tarkempien ja nopeampien tulosten tuottamisen histopatologisista kudosnäytteistä. Useimmat histopatologian alalla syväoppivia neuroverkkoratkaisuja hyödyntävät kuva-analyysimenetelmät tukeutuvat kuitenkin ohjattuun oppimiseen. Ohjattua oppimista hyödyntävät neuroverkot suorittavat ohjatun tehtävän annotoitua kuvadataa neuroverkon opetuksessa hyödyntäen. Histopatologisten kuvien annotointi on kuitenkin aikaa vievää ja usein kallista, sillä annotointityön suorittaminen vaatii lääketieteen asiantuntijaa. Lisäksi digitaalisten kudosnäytekuvien suuri koko tuottaa teknisiä haasteita ohjattua oppimista hyödyntävissä neuroverkkotehtävissä. Edellä mainituista syistä johtuen uusia vähemmän ohjausta ja annotoitua kuvadataa vaativia neuroverkkoratkaisuja on esitetty. Tässä työssä on toteutettu heikosti ohjattua oppimista ja näytetasolla annotoitua kuvadataa hyödyntävä neuroverkkotehtävä Clustering-constrained Attention Multiple Instance Learning (CLAM), joka on vuonna 2020 Lu et al. julkaisema menetelmä. Kuvien prosessointiin et al. hyödyntävät menetelmässään niin kutsuttua esitehtävää, ja sen toteuttamiseen ohjattua oppimista ja annotoitua kuvadataa hyödyntävää siirto-oppimista. Vähentääksemme entisestään ohjauksen ja annotoidun kuvadatan tarvetta, tässä työssä siirto-oppimista hyödyntävä esitehtävä on korvattu itseohjautuvaa syväoppimista hyödyntävällä esitehtävällä. Työssä hyödynnetty itseohjautuvaa oppimista hyödyntävä neuroverkkoratkaisu ratkaisee ei-ohjatun tehtävän annotoimattoman datan pohjalta. Itseohjautuvaa oppimista hyödyntävään syväoppimismenetelmään on tässä työssä käytetty Grill et al. vuonna 2020 artikkelissaan Bootstrap Your Own Latent (BYOL) julkaisemaa menetelmää. Itseohjautuvan menetelmän toimivuutta tässä työssä tehdyssä toteutuksessa on arvioitu työvirrassa esitehtävää seuraavan luokittelutehtävän tulosten, eli luokittelutarkkuuden, perusteella. Luokittelutehtävässä on luokiteltu munuaissolusyövän eri histologisia alatyyppejä. Tuloksista voidaan päätellä, että tässä työssä tehdyllä toteutuksella itseohjautuvaa oppimista hyödyntävä syväoppiminen ei tuota parempia tuloksia kuin siirto-oppimista hyödyntävä syväoppiminen.Description
Supervisor
Ilin, AlexanderThesis advisor
Tarvainen, AnttiKeywords
deep learning, self-supervised learning, histopathology, digital pathology