Sampling from scarcely defined distributions: Methods and applications in data mining

Abstract

The importance of data is widely acknowledged in the modern society. Increasing volumes of information and growing interest in data driven decision making are creating new demands for analytical methods. In data mining applications, users are often required to operate with limited background knowledge. Specifically, one needs to analyze data and derived statistics without exact information on underlying statistical distributions. This work introduces the term scarcely defined distributions to describe such statistical distributions.

In traditional statistical testing one often makes assumptions about the source of data, such as those related to normal distribution. If data are produced by a controlled experiment and originate from a well-known source, these assumptions can be justified. In data mining strong presuppositions about the data source typically cannot be made, as the data source is not under the control of the analyst, is not well known or is too complex to understand.

The present research discusses methods and applications of data mining, in which scarcely defined distributions emerge. Several strategies are put forth that allow to analyze the dataset even when distributions are not well known, both in frequentist and information-theoretic statistical frameworks. A recurring theme is how to employ controls at the analysis phase, if the data were not produced in a controlled experiment. In most cases presented, control is achieved by adopting randomization and other empirical sampling methods that rely on large data sizes and computational power.

Data mining applications reviewed in this work are from several fields. Biomedical measurement data are explored in multiple cases, involving both microarray and high-throughput sequencing data types. In ecological and paleontological domains the analysis of presence-absence data of taxa is discussed. A common factor for all of the application areas is the complexity of the underlying processes and the biased error sources of the measurement process.

Finally, the study discusses the future trend of growing data volumes and the relevance of the proposed methods and solutions in that context. It is noted that the growing complexity and the needs for quickly adaptable methods favor the general approach taken in the thesis, while increasing data volumes and computational power makes it practically feasible.

Datan merkittävyys on laajalta tunnustettu nyky-yhteiskunnassa. Kasvavat datavarannot ja lisääntyvä kiinnostus datapohjaista päätöksentekoa kohtaan luovat myös uusia tarpeita data-analytiikan menetelmille. Tiedonlouhinnan sovelluksessa joudutaan usein toimimaan rajallisen taustatiedon varassa. Analysoitavan datan ja siitä johdettujen tilastollisten suureiden tilastollisen piirteet eivät ole kattavasti tiedossa. Tässä työssä käytetään termiä niukasti määritelty jakauma kuvaamaan edellä mainitun tyyppisiä tilastollisia jakaumia.

Perinteisesti tilastollisessa analyysissa tehdään oletuksia datan jakaumasta, kuten esimerkiksi datan oletetaan olevan normaalijakautunutta. Jos data on tuotettu kontrolloidussa kokeessa ja peräisin hyvin tunnetusta lähteestä, niin tällaiset oletukset ovat perusteltuja. Tiedonlouhinnassa vastaavia lähtöoletuksia ei usein voida tehdä, koska datan lähde ei ole analysoijan hallinnassa, se ei ole hyvin tunnettu tai on liian monimutkainen.

Työ käy läpi tiedonlouhinnan eri menetelmiä ja sovelluksia, joissa niukasti määritellyt jakaumat ovat keskeisessä asemassa. Jakaumien kanssa työskentelyyn esitetään erilaisia ratkaisumalleja, pohjautuen sekä frekventistiseen, että informaatioteoreettiseen tilastolliseen päättelyyn. Toistuva teema on tilastollisten kontrollien toteuttaminen analyysivaiheessa, silloin kun dataa ei ole tuotettu kontrolloidussa kokeessa. Useimmissa tapauksessa kontrolli toteutetaan käyttäen satunnaistusta ja muita empiirisen otannan menetelmiä, jotka käyttävät hyväksi suuria datakokoja ja merkittävää laskentatehoa.

Tiedonlouhinnan sovelluksia käsitellään useilta eri alueilta. Biolääketieteellistä mittausdataa käsitellään useissa eri sovelluksissa, pohjautuen sekä mikrosirumittauksiin, että massiivisesti rinnakkaiseen sekvenointiin. Ekologian ja paleontologian alueelta käsitellään lajien löytöpaikkadatan analyysia. Kaikille sovellusalueille yhteinen tekijä on dataa tuottavien prosessien monimutkaisuus ja mittauksien virheiden vahvat tilastolliset vinoumat.

Lopuksi työssä käsitellään tulevaisuuden trendejä ja arvioidaan esitettyjen menetelmien ja ratkaisujen soveltuvuutta nouseviin data-analyysin tarpeisiin. Esitettyjen ratkaisujen sovellettavuus ja muokattavuus havaitaan eduksi kasvavien ja nopeasti muuttuvien tietomassojen käsittelyssä, kun taas kasvavat datamäärät ja lisääntyvä laskentateho tekevät esitytyistä ratkaisuista helposti käytettäviä.