Treatment effect prediction with continuous interventional flows
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Master's thesis
Authors
Date
2023-12-11
Department
Major/Subject
Complex Systems
Mcode
SCI3060
Degree programme
Master’s Programme in Life Science Technologies
Language
en
Pages
65+1
Series
Abstract
Real-world problems in continuously evolving settings, such as predicting the efficacy of medical treatment, often require estimating the causal effects of interventions. Issues such as irregularly-sampled and missing data, unobserved factors, and ethical concerns make such settings especially challenging. The existing methodology relies on low-dimensional embeddings, potentially incurring information loss. We circumvent this limitation with a novel approach "twinning" that augments the partial observations with additional latent variables and appeals to conditional continuous normalizing flows to model the system dynamics, obtaining accurate density estimates. We also introduce a new approach to overcome a key technical challenge, namely, mitigating stiffness of the underlying neural ODE. The model provably benefits from auxiliary non-interventional data during training. We showcase the flexibility of the proposed method with tasks like anomaly detection and counterfactual prediction, and benchmark on standard reinforcement learning (Half-Cheetah) and treatment effect prediction (tumor growth) contexts.Useat tosielämän ilmiöt ovat luonteeltaan dynaamisia, eli ajanmukaan muuttuvia, mutta niiden tilaa mitataan epässäännöllisin aikavälein. Esimerkiksi potilaan kunto kehittyy jatkuvasti, mutta sitä havainnoidaan vain silloin tällöin, lääkärin vastaanotolla. Lisäksi kaikkia systeemiin vaikuttavia muuttujia on käytännössa usein mahdotonta mitata. Lääkäri saattaa perustaa hoitosuunnitelmansa vaikutelmiin joita ei kirjata potilastietoihin, tai lääkärin vireystila päivän mittaan saattaa vaikuttaa hänen päätöksentekoon. Luotettavan syy-seurauspäättelyn saavuttamiseksi on siis kerättävä myös dataa jossa tällaiset sekoittavat muuttujat eivät muokkaa systeemiä välillisesti, kuten vaikuttamalla hoitohenkilökunnan päätöksentekoon. Kokeellisen datan kerääminen on kuitenkin usein kallista tai eettisesti kyseenalaista, siksi saatavilla olevan havainnoidun datan hyödyntäminen on tärkeää. Tässä opinnäytetyössä kehitän menetelmän joka soveltuu luontevasti dynaamisten systeemien mallintamiseen ja huomioi myös mahdolliset sekoittavat muuttujat. Lisäksi työ esittelee niin matemaattiset, kuin kokeelliset perusteet havainnoidun datan ja kokeellisen datan yhdistämisen hyödyistä, sekä ehdotetun metodin monipuolisista eduista esimerkiksi log-uskottavuusfunktion estimoinnissa. Menetelmä perustuu neuroverkkoihin joita käytetaan differentiaaliyhtälön ratkaisussa numeerisin menetelmin, hyödyntäen normalisoivia virtoja (eng. normalizing flow) log-uskottavuusfunktion estimointiin. Ehdottamani menetelmä yhdistää mitatut ja havaitsemattomat muuttujat yhdistetyksi systeemin tilaksi jota mallinnetaan normalisoivalla virralla. Kutsun mallia lyhenteellä TIF (Twinned Interventional Flow). TIF tarjoaa uuden lähestymistavan jatkuva-aikaisten systeemien kausaalisten seurausten mallintamiseen ongelmissa jotka voidaan esittää osittain havaittuina Markovian päätösongelmina (eng. Partially Observable Markov Decision Process).Description
Supervisor
Garg, VikasThesis advisor
Garg, VikasKeywords
counterfactual prediction, normalizing flows, causal reinforcement learning, partially observed MDPs, neural differential equations, causal effects