Joint use of thermal camera and optical camera for respiration measurement
Loading...
URL
Journal Title
Journal ISSN
Volume Title
Sähkötekniikan korkeakoulu |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2021-10-18
Department
Major/Subject
Biosensing and Bioelectronics
Mcode
ELEC3045
Degree programme
LST - Master's Programme in Life Science Technologies (TS2013)
Language
en
Pages
70
Series
Abstract
Thermal imaging is a promising respiration measurement method in health and sports technology. Nostril detection is one of the important parts in thermal imaging based respiration measurement because temperature changes in nostrils correlate with exhalation and inhalation. However, finding the nostrils from thermal images is an intricate process because thermal images do not provide detailed information about facial features. Fortunately, existing computer vision tools do facilitate the nostril detection in visible images. Hence, this work proposes a method that combines the use of thermal camera and optical camera. Optical camera detects the nostrils and thermal camera extracts respiration signal. Following backgrounds are covered: respiratory system, respiration measurement techniques, optical camera and thermal camera, basics of computer vision and camera calibration, and face detection related methods. Camera calibration techniques are also reviewed. Also, a few face detection methods, such as Viola-Jones algorithm and deep learning, and facial landmark detection algorithm are reviewed. The proposed method consists of face detection, nostril detection, and mapping of the nostrils from the visible image to the thermal image. Four pre-trained face detectors are studied in this work. The best detector was pre-trained DNN based face detector from OpenCV library. The proposed nostril detection is based on the facial landmark detection and thresholding. Mapping between the visible image and thermal image is performed by linear mapping with bias and it involves manual selection of respective points. One of the main limitations of the proposed method is the lack of synchronization between the thermal camera and optical camera.Lämpökuvaus on lupaava hengitysmittausmenetelmä terveydenhuollossa ja urheilussa. Sierainten havaitseminen on lämpökuvaukseen perustuvan hengitysmittauksen yksi tärkeistä vaiheista, koska sierainten lämpötilan muutos korreloi ulos- ja sisäänhengityksen kanssa. Sierainten havaitseminen lämpökamerakuvasta on monimutkainen prosessi, koska lämpökamerakuvista ei saada yksityiskohtia kasvojen piirteistä. Kuitenkin olemassa olevat tietokonenäkötyökalut helpottavat sierainten havaitsemista kamerakuvista. Siksi tässä työssä ehdotetaan menetelmää, joka yhdistää lämpökameran ja optisen kameran käytön. Tässä menetelmässä optinen kamera havaitsee sieraimet ja lämpökameran avulla mitataan hengityssignaali. Tässä työssä seuraavat taustatiedot on käyty läpi: hengityselimistö, hengitysmittausmenetelmät, optinen kamera ja lämpökamera, tietokonenäön perusteet ja kamerakalibrointi sekä kasvohavaitsemismenetelmät. Kamerakalibrointimenetelmiä on selostettu yleisellä tasolla. Myös kasvohavaitsemismenetelmiä kuten Viola-Jones -algoritmi ja syväoppiminen sekä kasvojen kiintopisteiden havaitsemisalgoritmi on selostettu tässä työssä. Ehdotettu hengitysmittausmenetelmä koostuu kasvon havaitsemisesta, sierainten havaitsemisesta ja sierainten kuvauksesta kamerakuvasta lämpökamerakuvaan. Neljää opetettua kasvonhavaitsemismenetelmää tutkittiin tässä työssä. Paras havaitsemismenetelmä oli syväneuroverkkoon perustuva kasvojen havaitsemismenetelmä, joka on saatavilla OpenCV -kirjastossa. Ehdotettu sierainten havaitsemismenetelmä perustuu kasvojen kiintopisteiden havaitsemiseen ja kynnystysmenetelmään. Kamerakuvan ja lämpökamerakuvan välinen kuvaus on lineaarinen ja siihen kuuluu manuaalinen vastaavien pisteiden valinta. Optisen kameran ja lämpökameran välisen synkronoinnin puute on yksi ehdotetun hengitysmittausmenetelmän huonoista puolista.Description
Supervisor
Särkkä, SimoThesis advisor
Arvonen, MiikaKeywords
respiration measurement, thermal camera, optical camera, nostril detection