Liver movement analysis for accurate navigation system in laparoscopic surgery

Abstract

This thesis describes an optical tracking method for liver movement from endoscopic images. Objective was to achieve accurate tracking with fast execution time capable of real-time speeds. For feature detection a STAR detector was chosen, because it could extract image gradient maxima based feature points fast. Optical movement for these points was then calculated using Lukas Kanade pyramidal optical flow algorithm. Forward-Backward-Error measure was chosen for tracking method accuracy qualitative evaluation, as ground truth was not available. Execution speed was evaluated by taking clock pulse register stamp at subroutine call and exit instances, and calculated afterwards. Method was also evaluated visually during runtime. Our method was compared to BRIEF, SURF and SIFT methods using both descriptor matching and optical flow.

As the result, it was found that our method’s accuracy was approximately the same as SURF with Lukas Kanade optical flow, and nearly the same when compared to the best performer: SURF descriptor matching. However, with regard to speed, STAR and Lukas Kanade pyramidal optical flow reached good performance, but it was outperformed by SURF descriptor matching, however these results were inconclusive. Visual evaluation of the method revealed deficiencies in robustness, also in all comparison methods.

It was concluded that combining optical flow and descriptor matching could improve robustness of our method. With certain improvements, STAR feature detector used with Lukas Kanade pyramidal optical flow could be used in surgical navigation systems for laparoscopy.

Tämä diplomityö kuvailee maksan liikkeiden jäljityksen endoskoopin kuvasta käyttäen optista seurantaa. Työn tavoitteena oli kehittää optinen seurantamenetelmä, joka pystyy seuraamaan maksan liikettä tarkasti ja nopeasti reaaliajassa. Algoritmeiksi valittiin STAR ja Lukas Kanade optinen vuo. STAR:lla pystytään nopeasti löytämään kuvan gradienttien maksimeihin perustuvia ominaispisteitä, joiden liike laskettiin tarkasti Lukas Kanade optinen vuo algoritmilla.

Tarkkuuden kvalitatiivinen analyysi perustui Forward-Backward-virheanalyysiin, joka tarkastelee seuratun pisteen poikkeamaa joka syntyy algoritmin seuratessa pistettä videosekvenssin alusta loppuun ja lopusta takaisin alkuun. Suoritusnopeus laskettiin kellopulssirekisterin sisällön erosta alirutiinin kutsuhetkellä ja rutiinin suorituksen jälkeen. Algoritmin käytöstä tarkkailtiin myös visuaalisesti testisekvenssin ajon aikana. Kehitettyä menetelmää verrattiin BRIEF, SURF ja SIFT menetelmiin, joita käytettiin niin deskriptorisovitusmenetelmällä, kuin myös Lukas Kanade optinen vuo-algoritmin kanssa.

Tuloksena havaittiin, että kehitetyn menetelmän tarkkuus on samaa luokkaa kuin SURF + optinen vuo-metodin ja lähes samaa luokkaa kuin vertailun tarkimman SURF-deskriptorisovitusmenetelmän. Suoritusnopeudessa menetelmämme suoriutui hyvin, mutta oli hitaampi kuin SURF- deskriptorisovitusmenetelmä. Suoritusnopeustulokset eivät olleet täysin yksiselitteiset. Visuaalisessa tarkastelussa kaikissa menetelmissä huomattiin puutteita luotettavuuden suhteen.

Loppupäätelmänä todettiin, että metodien yhdisteleminen voisi parantaa ehdotetun menetelmän luotettavuutta. Tietyin parannuksin, tätä menetelmää voitaisiin käyttää kirurgisissa navigointijärjestelmissä.