Application of Computational Histopathology to Quantify Immune Cells in Clear-cell Renal Cell Carcinoma Tissue

Abstract

Spatial arrangement and number of lymphocytes in biopsy textures have been shown to influence the prognosis and the treatment efficiency in cancers. In particular, the intratumoral lymphocyte infiltration generally correlates positively with prognosis. In the case of renal cell clear cell carcinoma however, the association is ambiguous. Previously infeasible clinical problems, such as the lymphocyte infiltration quantification, may be computationally feasible with the application of modern convolutional neural networks.

This thesis aims to produce a combination of two quantification networks which can recognize the texture and number of lymphocytes in whole slide renal cell clear cell carcinoma nephrectomy samples. Moreover, a preliminary attempt at induction of the immune response phenotypes from the results is made.

An annotated dataset consisting of 36 000 labelled texture images and a regional dataset of 200 images with labelled lymphocytes and general cells were produced from the publicly available renal cell carcinoma hematoxylin-eosin-stained biopsy scans of Cancer Genome Atlas image archive. These datasets were utilized to train two convolutional networks. One to evaluate the tissue texture and one to evaluate the type and counts of cells in an image.

The tissue texture evaluation network achieved total accuracy of 90 % in a collected testing dataset. Often the tissue is a combination of multiple textures and defining a single label for it without a degree of ambiguity is impossible. Taking this into account, the results are more than satisfactory. The cell classification network achieved VOC AUC 0.5 of 62.3 % for non-lymphocytes and 48.7% for lymphocytes. Cell classification suffers considerable from the variance between different images. Localization of the cell matches is satisfactory, but the differentiation of lymphocytes from other cells mainly depends on the size and darkness of the cell in a stain which has an amount of volatility across different staining protocols. Otherwise, the results are comparable to previous studies conducted on the immune cell counts.

This thesis indicates that computational analysis of histopathological images is possible even with consumer grade systems. A set of stain color normalization solutions could be developed to reliably produce uniform images to ease the challenging lymphocyte classification problem.

Lymfosyyttien määrän ja sijainnin eri kudostekstuureissa on osoitettu vaikuttavan syövän ennusteeseen ja hoitovasteeseen. Yleisesti lymfosyyttien korkealla esiintyvyydellä syöpäkudoksessa on yhteys hyvän hoitoennusteen kanssa. Munuaisenkirkassolukarsinooman tapauksessa yhteydestä on kuitenkin ristiriitaisia tuloksia.

Diplomityössä tutkitaan mahdollisuuksia käyttää viime aikoina kehitettyjä moderneja konvoluutioverkkoja lymfosyyttien esiintyvyyden määritykseen munuaisenkirkassolukarsinooman kokopreparaattikuvista eri kudostyypeissä. Työssä luodaan yhdistelmä määritteleviä neuroverkkoja, jotka kykenevät tunnistamaan kudostekstuurin ja siinä esiintyvät lymfosyytit positiivisista hematoksyliini-eosiini värjätyistä munuaisenkirkassolukarsinoomaleikekuvista. Lisäksi diplomityössä kehitettiin alustava menetelmä eri immunologisten fenotyyppien tunnistamiseen luotujen neuroverkkojen tuloksista.

Merkityt 36 000 tekstuurikuvan ja 200 lymfosyyttitunnistuskuvan koulutustietojoukot kerättiin julkisesti saatavilla olevista ”The Cancer Genome Atlas”-tietoarkiston munuaisenkirkassolukarsinoomapositiivisiksi merkityistä biopsiakartoituksista. Näitä koulutusjoukkoja käyttämällä luotiin tekstuuriluokittelija- ja solutunnistuskonvoluutioverkot määrittämään leikkeen lymfosyyttimäärä sekä sen jakautuminen eri kudostekstuureihin.

Tekstuuriluokittelijaverkko saavutti yli 90 % tarkkuuden kerätyssä koetustietojoukossa. Ajoittain kudos on yhdistelmä useampia kudostyyppejä tai rajapintaotos, jolloin yhden luokan määrittäminen kuvalle on vaikeaa. Tekstuuriluokittelijaverkko kuitenkin onnistuu tuottamaan tästä huolimatta lupaavia tuloksia. Soluluokittelija puolestaan tuotti VOC-kilpailun käyrän alaisen alueen koetussuureen arvoksi 62,3 % tavanomaisille soluille ja 48,7 % lymfosyyteille koetustietojoukossa kynnysarvolla 0,5. Solujen luokittelu kärsii kuitenkin suuresti eri kokopreparaattikuvien välisestä värivaihtelusta. Lymfosyyttien tunnistaminen perustuu yleisesti solun koon ja tummuuden vertailuun värjäyksen muiden soluihin kanssa. Värjäysten välinen tekninen värivaihtelu on kuitenkin merkittävästi suurempaa kuin eri solutyyppien yleiset erot ja aiheuttaa osassa värjäyksistä huomattavan määrän vääriä luokitteluita. Muutoin tulokset noudattavat aikaisemmissa tutkimuksissa havaittuja arvoja.

Diplomityö osoittaa, että biopsiakartoitusten piirteiden arviointi koneellisin menetelmin on mahdollista jo kuluttajatason tavanomaisilla tietokoneilla. Kokopreparaattikuvien värinormalisaatioon on syytä löytää tulevaisuudessa uusia ratkaisuja, jotta haastavaksi osoittautunutta lymfosyyttien luokittelua voidaan parantaa.