Web user interaction : a declarative approach based on XForms

Abstract

This thesis studies next-generation web user interaction definition languages, as well as browser software architectures. The motivation comes from new end-user requirements for web applications: demand for higher interaction, adaptation for mobile and multimodal usage, and rich multimedia content. At the same time, there is a requirement for non-programmers to be able to author, customize, and maintain web user interfaces.

Current user interface tools do not support well these new kinds of requirements. Thus, the main research problem of this Thesis is the definition of a device and modality independent model for high-interaction web user interfaces.

This Thesis proposes a set of criteria for user interface tools, and evaluates current tools against the criteria. It proposes a taxonomy of tools based on authoring style, consisting of procedural, declarative and hybrid tools. Based on an analysis, declarative languages are chosen, the main advantage being higher semantic level, which enables ease-of-authoring and adaptation based on context of use, current device, and user's preferences.

A layered model, consisting of mostly declarative languages, is proposed. It is composed of well-defined, and proven XML languages, and is divided into layers. The abstract UI layer contains, among others, interaction, document structure, and security, and is modality independent. The modality-dependent layer allows more detailed control over the renderings for each modality, such as visual and aural. It is shown that it is possible to automatically produce multimodal user interfaces from a single declarative user interface definition using the proposed model. This thesis focuses specifically on user interaction, where the use of XForms language is proposed. The author has co-specified the XForms language in the World Wide Web Consortium. In the proposed model, procedural scripting is only used to provide specialized modality-specific widgets in a reusable manner.

Finally, as a proof-of-concept, this thesis describes the author's implementation of the proposed model. The implementation is part of the open-source X-Smiles user agent and includes full implementations of most of the proposed languages and techniques.

Tässä väitöskirjassa tutkitaan seuraavan sukupolven WWW-käyttöliittymäkieliä ja niiden selaintoteutuksia. Tutkimuksen tärkeyttä lisää WWW-sovellusten uudet vaatimukset loppukäyttäjien taholta: suurempi interaktiivisuus, mukauttaminen kannettavaan ja multimodaaliseen käyttöön, ja multimediasisältöjen lisääntyminen. Samalla vaatimuksena on, että WWW-käyttöliittymiä voisi kehittää ja ylläpitää muutkin kuin ohjelmoijat.

Nykyiset käyttöliittymätyökalut eivät tue edellä mainittuja vaatimuksia hyvin. Siksi tämän työn päätutkimusongelma on suurempaa interaktiota vaativien WWW-sovellusten määrittelymallin suunnittelu ja toteutus. Mallin on myös oltava laite- ja modaliteettiriippumaton.

Työssä esitetään joukko kriteerejä ja arviodaan niiden perusteella tällä hetkellä käytössä olevia työkaluja. Lisäksi työssä esitetään WWW-käyttöliittymätyökalujen käyttötapaan perustuva jaottelu, jossa työkalut voidaan jakaa kolmeen luokkaan: proseduraalisiin, deklaratiivisiin ja hybridityökaluihin. Näitä analysoimalla työssä suositellaan deklaratiivisten kielten käyttöä, sillä niiden semanttinen taso on korkeampi. Tämä helpottaa niiden käyttöä, ja mahdollistaa käyttöliittymän mukauttamisen eri käyttötilanteille sopiviksi.

Työssä esitetään kerrostettu malli, joka pohjautuu kirjallisuudessa esitettyihin vaatimuksiin. Malli yhdistää aiemmin määriteltyjä ja hyviksi havaittuja XML-kieliä. Abstrakti käyttöliittymäkerros, jossa määritellä mm. interaktio, dokumentin rakenne ja tietoturva, on riippumaton modaliteetista. Alemmassa, modalitettiin sidotussa kerroksessa voidaan määritellään kullekin modaliteetille (esim. graafinen- tai puhekäyttöliittymä) sopiva esitysmuoto. Työssä keskitytään erityisesti käyttäjän vuorovaikutukseen, jonka määrittelyssä suositellaan käytettäväksi XForms-kieltä, jonka määrittelyyn tekijä on osallistunut World Wide Web Consortium:ssa.

Lopuksi työssä esitetään tekijän suunnittelema ja toteuttama prototyyppi esitetystämallista. Se sisältyy avoimen lähdekoodin X-Smiles selaimeen.