Causal elicitation for variational mixture structure learning
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Engineering |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-11-18
Department
Major/Subject
Machine Learning, Data Science and Artificial Intelligence
Mcode
Degree programme
Master's programme in Mechanical Engineering
Language
en
Pages
56
Series
Abstract
Bayesian networks are often interpreted as probabilistically encoding causal relationships. In this interpretation, each edge represents the dependency of the distribution of a vertex on its parent. Crucially, the correct causal graph for a system can be used to identify the joint distribution of the system under different environments or experimental conditions---suggesting the identification of causal graphs from data (known as causal discovery) as a potential way to mitigate distribution shift. However, addressing data heterogeneity as well as flexible ways of incorporating domain-expertise in causal discovery remains understudied. In this work, we propose a variational mixture structure learning (VaMSL) method, leveraging a previous differentiable Bayesian structure learning (DiBS) framework, to learn mixtures of graphical models in the heterogeneous setting. We additionally introduce novel graph priors which incorporate elicited causal edge information from both general and component-specific queries. These informative graph priors are constructed using an elicitation strategy based on Bayesian experimental design principles. By combining VaMSL with the queried causal relationships, our method learns mixtures of causal graphs in heterogeneous settings that arise in real-world scenarios. Experiments on synthetic data demonstrate the applicability of our method to heterogeneous data and display its competitiveness with the state-of-the-art method.Bayesiska nätverk har länge använts som sannolikhetsbaserade representationer för kausalförhållandena inom ett system. Enligt denna tolkning representerar varje kant ett kausalt förhållande där startpunkten är en orsak och ändpunkten är en verkan och sannolikhetsfördelningen för varje verkan beror på dess orsaker. Den kausala tolkningen kan användas för att beskriva hur nätverkets gemensamma sannolikhetsfördelning påverkas av diverse utomstående verkningar. Detta har lett till ett forskningsområde som kallas ”kausal upptäckt” inom vilket man undersöker olika sätt att representera godtyckliga kausala förhållanden samt de antaganden under vilka sådana går att bestämma utgående från data. Det kausala ramverket har dessutom använts för att analysera diverse svårigheter som framkommit inom maskininlärningen, exempelvis ett fenomen känt som fördelningsskiftning. Få kausala upptäcktsmetoder beaktar den så kallade heterogena omgivningen, inom vilken data har flera ursprung. Bristerna i antagandet att data är homogent och därmed kan modelleras med hjälp av ett enda ursprung har framkommit då man applicerat dessa metoder till alltmer komplexa datamängder. Man har även betonat att sakkunnigas expertis borde utnyttjas mer inom tillämpad kausal upptäckt. I denna avhandling föreslår vi en metod som utnyttjar variationsinferens för att bestämma mixade grafiska modeller i den heterogena omgivningen. Vi bygger på en tidigare bayesiansk metod för att bestämma grafiska modeller. Därtill föreslår vi en strategi för att framkalla av kausalförhållanden från sakkunniga med avseende på komponenterna av den mixade modellen. Denna kausala framkallningsstrategi baserar sig på de principer som framläggs inom bayesiansk försöksplanering. Genom att kombinera vår metod för att bestämma grafiska mixade modeller med framkallningen av kausalförhållanden kan vi bestämma kausalförhållanden utgående från heterogent data. Vi presenterar resultat på syntetisk data. Resultaten demonstrerar den presenterade metodens effektivet på heterogent data ifrån två dataursprung jämfört med den ursprungliga metoden. Resultaten visar också vilken påverkan användningen av de kausalförhållanden som framkallats med vår framkallningsstategi har.Description
Supervisor
Kaski, SamuelThesis advisor
Wharrie, SophieLoría, Jorge
Keywords
structure learning, probabilistic graphical models, mixture model, knowledge elicitation, causal inference, variational inference