From Text to Knowledge: Methods, Tools, and Applications for Digital Humanities Based on Linked Data

Abstract

The digitization of Cultural Heritage collections has enabled the use of computational methods such as Natural Language Processing (NLP) on textual collections. These methods have been used widely in Digital Humanities (DH) to study digitized contents with automated processes. The Semantic Web and linked data technologies have been applied to describe document collections and their metadata in library and museum collections. They provide infrastructure for connecting different collections by linking them using shared vocabularies that describe metadata values and fields. Linked data is also used in Finnish museum and library collections. It is commonly used to modeling document metadata, such as author, or title of a piece of work. Also, the content of a document in a collection is usually described using manually assigned keywords. Other information about the content is often scarce and finding documents related to an actor can be laborious. This thesis studies and presents novel models, methods, and tools for transforming and enriching document collections automatically to linked data. Linked data technology helps to link together documents of a collection based on their metadata, e.g., author, or publisher. It can be also used to link documents based on information extracted about the content, such as actors mentioned in text. The aim of this thesis is to study how the NLP methods and linked data can be used to study digitized document collections, such as biographies. Research in this thesis is conducted by designing, implementing, and evaluating proof-of-concept systems, tools, and data for real life use cases. The research follows the principles of the design science and action research. The thesis presents a toolkit that can be used to model, transform, and enrich biographical text document collections to linked data to improve collection's information retrieval and interoperability internally and with other collections. The data model for describing text document collection's content and features, e.g., keywords and mentioned names, creates a foundation for building intelligent services based on the linked data such as network or linguistic analysis. These services can be used to visualize the interlinked data by showing the relations between themes or actors. In addition, the linked-data-based datasets can be used as an input for NLP tools to create data analytical visualizations and applications. This approach can be also used to evaluate the quality and content of text document collections for DH research. The prototypes created for data transformation, enrichment, and information visualization can be also applied to other document collections.

Kulttuuriperintökokoelmien digitalisointi on avannut tekstiaineistot tietokoneavusteisille menetelmille, kuten luonnollisen kielen käsittelylle. Digitaalisissa ihmistieteissä näitä menetelmiä käytetään laajalti digitoitujen aineistojen ja niiden sisällön tutkimiseen automaattisien prosessien avulla. Semanttisen Webin ja linkitetyn datan teknologiaa hyödynnetään kirjastojen ja museoiden asiakirjakokoelmien sekä niiden metadatan kuvailussa. Ne luovat infrastruktuurin, jonka avulla voidaan yhdistää erilaisia kokoelmia käyttämällä niiden linkityksessä jaettuja sanastoja kuvaamaan aineistojen metadatan arvoja ja kenttiä. Suomessa linkitetyn datan infrastruktuureja hyödynnetään muun muassa museoissa ja kirjastoissa. Useimmiten sitä käytetään mallintamaan asiakirjojen metadataa, kuten tekijä tai teoksen nimi. Tämän lisäksi tekstiaineistokokoelman teosten sisältöä kuvaillaan usein manuaalisesti tuotetuilla asiasanoilla. Muu informaatio sisällöstä voi olla niukkaa ja teosten löytäminen esimerkiksi sisällössä esiintyvän toimijan perusteella voi olla työlästä. Tässä työssä tutkitaan ja esitellään uusia tietomalleja, työkaluja, ja menetelmiä muuntamaan ja rikastamaan tekstiaineistoja linkitetyksi dataksi. Linkitetyn datan avulla voidaan yhdistää tekstikokoelmien asiakirjat toisiinsa metadatan, kuten tekijän tai kustantajan, perusteella. Sen avulla voidaan myös yhdistää asiakirjoja toisiinsa louhimalla informaatiota sisällöstä, kuten siinä mainitut toimijat. Tämän työn tavoitteena on tutkia kuinka luonnollisen kielen käsittelyn menetelmien ja linkitetyn datan periaatteiden avulla voidaan tutkia digitoituja tekstidokumenttikokoelmia, kuten biografioita. Tutkimus toteutetaan suunnittelemalla, toteuttamalla, ja arvioimalla prototyyppisovelluksia, työkaluja, ja data-aineistoja todellisen elämän käyttötapauksille. Tämä tutkimus noudattaa suunnittelutieteiden ja toimintatutkimuksen metodologioiden periaatteita. Tässä työssä esitellään ohjelmistoja, jota voidaan soveltaa biografisten tekstiasiakirjakokoelmien mallinnukseen, muuntamiseen, ja rikastamiseen linkitetyksi dataksi. Näin voidaan parantaa kokoelman teosten keskinäistä linkitystä sekä siihen kohdistuvaa tiedonhakua. Tekstiaineistokokoelman ominaisuuksia ja sisältöä, kuten esimerkiksi asiasanat ja henkilöviittaukset, kuvaava tietomalli luo pohjan linkitettyyn dataan perustuville älykkäille sovelluksille, kuten verkosto- tai kielianalyysille. Näiden sovellusten avulla on mahdollista visualisoida linkitetyn datan muodostama verkosto eri toimijoiden ja teemojen välillä. Tämän lisäksi linkitetyn datan infrastruktuuria voidaan käyttää syötteenä luonnollisen kielen käsittelyn sovelluksille, joita voidaan käyttää luomaan data-analyyttisiä visualisointeja ja sovelluksia. Tätä menetelmää voidaan myös käyttää tekstiaineistokokoelmien laadun ja sisällön arvioimiseen digitaalisten ihmistieteiden tutkimusta varten. Prototyyppisovelluksia, joita on luotu tekstiaineistokokoelmien muuntamista, rikastamista ja tiedon visualisointia varten, voidaan myös soveltaa muihin tekstiaineistokokoelmiin.