Single image super-resolution with ladder network

Abstract

This thesis investigates the use of a novel deep network architecture the Ladder network for a single image super-resolution task. In other words, this work seeks answers to whether Ladder can enhance image details from low-resolution images to high-resolution. Ladder was trained with 40x40 pixel low- resolution and high-resolution pairs. The training data consisted of nature images such as mountains and plants. The performance was evaluated against the state-of-the-art Super-Resolution Convolutional Neural Network (SRCNN) model with the standard literature techniques peak signal-to-noise ratio (PSNR) and structural similarity index (SSIM). As Ladder was trained with images that both were in RGB space and were scaled with the bilinear method, the results are not directly comparable with SRCNN. However, visual inspection and evaluation of performance indicate that Ladder is well capable of learning the super-resolution task.

Tämä työ käsittelee uutta syväverkkoarkkitehtuuri Ladderia ja sen suorituskykyä super-resoluutiotehtävässä. Toisin sanoen työssä tutkitaan, pystyykö Ladder parantamaan kuvien yksityiskohtia matalaresoluutiokuvista korkearesoluutiokuviin. Ladder koulutettiin havainnoimaan 40x40 pikselin kokoisia matala- ja korkearesoluution pareja. Suorituskykyä mitattiin vertaamalla tuloksia Super- Resolution Convolutional Neural Network -malliin (SRCNN) käyttämällä kirjallisuudessa yleisesti käytettyjä peak signal-to-noise ratio (PSNR) ja structural similarity index (SSIM) -tekniikoita. Koska Ladder koulutettiin kuvilla, jotka olivat RGB-avaruudessa ja jotka skaalattiin bilinear-menetelmän avulla, eivät tulokset ole suoraan vertailukelpoisia SRCNN-mallin kanssa. Silmämääräinen tarkastelu ja testitulokset osoittavat kuitenkin, että Ladder kykenee super-resoluutioon.