Event Processing Using Semantic Web Technologies

Abstract

The massive increase in the availability of event information originating from networked sensors and transactions has lead to a situation, where fast stream processing of large quantities of data is becoming a critical competitive advantage for a wide variety of domains in both business and life in general such as retail, investment market, farming, emergency response and health services. The increasing need to fuse data streams from a variety of sources emphasises the importance of managing heterogeneous ontological approaches. The founding principle of complex event processing is to abstract simple lower-level measurements and observations into more tangible higher-level conclusions, typically smaller in number and therefore easier to archive, present to a human reader or provide as input to the next processing layer. In this study methods for layered processing of event patterns using Semantic Web technologies have been developed. SPARQL Query and Update constructs have been used to build query networks, capable of functioning as event processing applications without extensions to the original syntax of the language. By means of a new ontology design pattern representations for, e.g., composite and complex events have been constructed. Examples of all the different types of event processing agents found in literature have been implemented and tested for performance on a platform developed for this study. The approach has been tested also with a practical application related to pharmaceutical manufacturing. The same application has been implemented on an event processing platform from outside the Semantic Web domain for a performance comparison. Entailment regimes for rule-based reasoning have been built using query networks similar to the ones used for building applications, making it easier for an application developer to improve efficiency through customisation and optimisation of the sets of rules. Good compliance of the implemented regimes has been tested using the official test set. Based on the experiences proposals for future versions of SPARQL to better support event processing applications are made. The program code, query networks, test data and the related documentation are made available with an open license to support independent verifications of the tests and further development of the code and query networks. Based on the implemented query networks and tests it is shown that RDF and SPARQL offer sufficient capabilities to function as the basis of layered complex event processing applications.

Verkkoon kytkettyjen antureiden tuottaman ja muun tapahtumia rekisteröivän tiedon valtava kasvu on johtanut tilanteeseen, jossa suurten tietomäärien nopeasta vuoprosessoinnista on tulossa kriittinen kilpailuetu sekä liike- että muun elämän alueille kuten kauppaan, sijoitusmarkkinoille, maanviljelykseen, pelastustoimeen ja terveyspalveluihin. Kasvava tarve yhdistellä tietovirtoja erityyppisistä lähteistä korostaa erilaisten käsitteistöllisten lähestymistapojen hallinnan tärkeyttä. Kompleksitapahtumien käsittelyn pääperiaate on tiivistää yksinkertaiset alemman tason mittaukset ja havainnot helpommin ymmärrettäviksi korkeamman tason päätelmiksi, joita tyypillisesti on lukumääräisesti vähemmän ja jotka siksi ovat helpompia arkistoida, esittää ihmiselle tai tarjota syötteenä seuraavalle käsittelykerrokselle. Tässä tutkimuksessa on kehitetty menetelmiä tapahtumasarjojen kerrokselliseen käsittelyyn semanttisen webin teknologioilla. SPARQL kyselykielen ja päivityssääntöjen avulla on rakennettu sääntöverkkoja, jotka kykenevät toimimaan tapahtumankäsittelyohjelmistoina ilman laajennuksia kielen alkuperäiseen syntaksiin. Uuden ontologiakomponentin avulla on rakennettu esitysmuodot esimerkiksi yhdistelmä- ja kompleksitapahtumille. Esimerkkitapaukset kaikista kirjallisuudesta löydetyistä tapahtumankäsittelyn moduulityypeistä on toteutettu ja niiden suorituskyky testattu tutkimusta varten kehitetyllä ohjelmistoalustalla. Lähestymistapa on testattu myös lääkevalmistukseen liittyvällä käytännön sovelluksella. Sama sovellus on toteutettu ilman semanttisen webin esitystapoja toimivalla tapahtumankäsittelyohjelmistolla suorituskykyvertailua varten. Sääntöpohjaisen päättelyn käyttämiä säännöstöjä on toteutettu käyttäen samanlaisia kyselyverkkoja kuin sovelluksissa, mikä helpottaa sovelluskehittäjän työtä säännöstöjen räätälöinnissä ja optimoinnissa. Kehitettyjen säännöstöjen hyvä yhteensopivuus on testattu virallista testijoukkoa käyttäen. Kokemusten pohjalta tehdään ehdotuksia SPARQL-kielen jatkokehitykseen, jotta tulevat versiot paremmin tukisivat tapahtumankäsittelysovelluksia. Ohjelmakoodi, kyselyverkot, testidata ja kokeisiin liittyvä dokumentaatio ovat tarjolla internetissä avoimella lisenssillä, jolloin kokeet ovat riippumattomasti toistettavissa ja koodi ja kyselyverkot jatkokehitettävissä. Esitettyjen sääntöverkkojen ja testien perusteella työssä osoitetaan, että RDF ja SPARQL sisältävät riittävät ominaisuudet monimutkaistenkin kerroksellisen tapahtumankäsittelyn sovellusten pohjana toimimiseen.