Active learning and interactive training for retinal image classification

Abstract

The goal of this study is to investigate application of deep learning and human-computer interaction on diagnosing diabetic retinopathy from colour fundus images. We apply deep learning and study the effects of network pretraining, active learning and a personalised annotation on a private dataset. Diabetic retinopathy is a global issue with increasing number of patients and screening cases each year. In the current trend, an increasing amount of fundus images are scanned which in turn require diagnosis of diabetic retinopathy and other eye diseases, constituting in a major expenditure in an ophthalmologist's time. To aid and speed up the increasing diagnosis and annotation tasks, a machine learning solution is suggested for automatic diagnosis of diabetic retinopathy from colour fundus images. The State-of-the-art deep neural network has been demonstrated to achieve the same performance as opthamologists in the diagnosing referable diabetic retinopathy, while trained on tens of thousands of colour fundus images and associated labels. In this work the State-of-the-art model was deployed using smaller dataset. The model was trained from random initialisation and from pretrained weights from training on ImageNet dataset. Fine-tuning the pretrained network was compared to a network trained from scratch on two test sets. Fine-tuned model had area under receiving operator characteristic (ROCAUC) of 0.965 and 0.921, and model trained from random initialisation had ROCAUC of 0.962 and 0.879. Active learning is a well-studied subfield of machine learning and has been applied successfully. However, there is limited literate on applying it to high-dimensional data with deep neural networks. In this work, recent active learning solutions were applied to diabetic retinopathy classification in order to reduce required size of dataset to achieve required opthamologists performance in classifying referable diabetic retinopathy when applied in screening. The solution achieved the threshold with 8700 images compared to randomly sampled requiring 10500 images. A model was developed attempting to learn the user preferences in annotation with the help of pretrained network. The trained model was compared to a reference model with no human feedback and evaluated on subjective and objective performance. Tool was tested anecdotally which showed that it was able to subjective gradability to some extent. However, the tool did not provide additional benefits in subjective classification of retinopathy.

Tämän työn tavoite on tutkia syvää oppimista and ihmis-kone interaktiota liittyen diabeettisen retinopatian diagnosointiin väriretinakuvista. Sovellamme työssä syvää neuroverkkoa ja tutkimme esikoulutuksen vaikutusta, aktiivioppimista ja personoitua annotointia. Diabeettinen retinopatia vaikuttaa on kansainvälisesti ja tautia sairastavan potilaiden sekä seulonnan määrä kasvaa vuosittain. Nykysuunnan mukaisesti silmänpohjakuvia seulonta on kasvussa, mikä johtaa yhä kasvavaan määrään diagnosointitarvetta diabeettiseen retinopatiaan ja muihin silmätauteihin, johtaen kasvavaan silmätautilääkärien aikakustannuksiin. Diagnostiikan ja annotoin avuksi ehdotetaan koneoppimissovellusta, joka pystyy automaattisesti diagnosoimaan diabeettisen retinopatian väriretinakuvista. On osoitettu että parhaimmat syväoppimismallit saavuttavat silmälääkäritasoisen kyvyn luokitella lähetettä tarvitsevaa retinopatiaa terveestä silmästä, kun mallin koulutukseen oli saatavilla kymmeniä tuhansia annotoituja silmänpohjakuvia. Tässä työssä käytettiin huippumallia, jonka parametriarvot oli astetettu lähtötilanteessa vastaamaan ImageNet aineistolla esikoulettua mallia. Esikoulutettua mallia ja satunnaisesti alustettua mallia arvioitiin kahteen aineistoon. Esikoulutetun mallin koulutus saavutti 0.965 alueen ROC-käyrän alla (ROCAUC) ja 0.921. Malli joka koulutettiin alusta lähtien saavutti 0.962 ja 0.879 ROCAUC. Aktiivioppiminen on hyvin tutkittu koneoppimisen osa-alue ja sitä on sovelletut onnistuneesti. Kuitenkin, aktiivioppimisesta on rajatusti tutkimustuloksia korkeauloitteisesta datasta syvillä neuroverkoilla. Työssä käytettiin aktiivioppimisratkaisua anonymisoituun ja yksityiseen aineistoon retinakuva, millä pyrittiin vähentää tarvittavien kuvien määrää saavuuttaa suositusten mukainen silmälääkärin diagnosointitaso seulontatyössä. Sovellus saavutti kynnysarvon n. 8700 kuvalla verrattuna satunnaisesti valittuun aineistoon, joka vaati 10500 kuvaa. Käyttäjämieltymyksiä oppiva malli kehitettiin avustamaan annotointia esikoulutetulla verkolla. Koulutettu mallia verrattiin viitemalliin, joka ei ollut saanut ihmispalautetta. Malleja verrattiin niin subjektiivista sekä obje