Document classification using machine learning and ontologies

Abstract

This master's thesis explores a way in which documents can be automatically classified based on their contents. Automatic classification of data is one of the main applications of machine learning. With the help of already classified data a model for the most likely class can be learned.

Whether adding background knowledge from ontologies can be added to the model in order to improve the classification accuracy, is also explored in this master's thesis. A new machine learning model is introduced that incorporates ontology information.

The proposed method for learning a classification model and enhancing it with ontology information is used in a case study for the Finnish National Archives and a set of digital documents that have been manually classified.

An RDF schema for representing documents, sentences and words is created in order to prepare the data for the machine learning analysis. The words are put into base form and matched semi-automatically with concepts of the General Finnish Ontology YSO. Then the ontology enhanced model is applied on the data and the most likely classes for documents are learned.

The master's thesis shows that the classification accuracy of the model increases when ontology information is added to it.

Tässä diplomityössä tutkitaan asiakirjojen automaattista luokittelua niiden sisällön pohjalta. Tiedon automaattinen luokittelu on yksi koneoppimisen keskeisiä aihepiirejä. Oppivasta luokittimesta luodaan malli jo valmiiksi luokitetulla esimerkkidatalla.

Tehtävänä on kokeilla ontologisen taustatiedon hyödyntämistä oppivassa luokittimessa ja selvittää parantaako taustatiedon lisääminen mallin luokittelutarkkuutta. Diplomityö esittelee uuden oppivan luokittimen, joka sisällyttää ontologiatiedon analyysiinsa. Luokitinta testataan Suomen Kansallisarkiston sähköisillä asiakirjoilla, jotka ovat kasin luokiteltuja.

Asiakirjojen ja niiden sisältämien lauseiden sekä sanojen esittämistä varten diplomityössä on kehitetty RDF skeema, jota käyttäen sanat voidaan muuttaa perusmuotoon ja yhdistää puoliautomaattisesti Yleisen suomalaisen ontologian käsitteisiin. Skeemaa hyödynnetään datan valmisteluun oppivan luokittimen analyysia varten.

Diplomityössä on osoitettu, että luokittelutarkkuus paranee, kun oppivaan luokittimeen lisätään ontologiatietoa.