Survey of Generative AI Tools for UI Development

No Thumbnail Available

Files

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2024-09-20

Department

Major/Subject

Tietotekniikka

Mcode

SCI3027

Degree programme

Teknistieteellinen kandidaattiohjelma

Language

en

Pages

37

Series

Abstract

One of the strengths of Generative Pre-Trained (GPT) models has been its ability to generate programming code from inputs of different lengths and levels. The technical papers of the models demonstrate their ability to perform programming-related tasks, but most of the benchmarks have not focused on user interface (UI) aspects. Recently, models that can receive images as input have been published, as well as tools that specialise in UI development. The aim of this work is to explore the use of GPT models in the UI development through the structure of the GPT models, while also presenting the characteristics of the different stages of software development. The work has been carried out as a literature review, evaluating the suitability of different products through the literature. The versatility of models means that they can be used at different phases of development, but often the products built around them are able to contextualise the details of the phase to the model to steer the response in the desired direction. Various framework design techniques have been used to influence the functionality of models without the need for model fine-tuning or other external resources. For example, the thesis points issues related to the use of long contextual windows and the image input processing, which can limit the potential of models for UI development. The evolution of AI has been rapid over the last few years and the number of products is growing as new features are added to models. The model development has become more focused on general purpose use and the early examples of model specialised in programming have not been followed by more publications. In the future, it is likely that the range of models will expand and possibly specialised models will make a comeback, as one product shows.

Yhtenä generatiivisen tekoälyn mallien vahvuutena on pidetty sen kykyä tuottaa ohjelmointikoodia eri pituisista ja tasoisista syötteistä. Mallien teknisissä papereissa esitellään niiden kykyä suoriutua ohjelmointiin liittyvistä tehtävistä, mutta suurin osa mallien vertailukohdista on keskittynyt muihin kuin käyttöliittymiin kuuluviin osa-alueisiin. Viime aikoina on kuitenkin julkaistu malleja, jotka voivat vastaanottaa kuvia syötteenä, sekä käyttöliittymiin erikoistuneita työkaluja. Tämän työn tavoitteena on tarkastella mallien hyödyntämistä käyttöliittymien kehityksessä mallien rakenteen kautta esitellen myös ohjelmistokehityksen eri vaiheiden ominaispiirteitä. Työ on toteutettu kirjallisuuskatsauksena arvioiden eri työkalujen soveltuvuutta. Mallien monikäyttöisyyden vuoksi niitä voidaan hyödyntää sovelluskehityksen eri vaiheissa, mutta usein mallien ympärille luodut työkalut kykenevät kontekstualisoimaan työvaiheen yksityiskohdat mallille, jotta vastaus saadaan ohjattua haluttuun suuntaan. Erilaisten kehotesuunnittelutekniikoiden avulla mallien toimintakykyyn on voitu vaikuttaa ilman mallien hienosäätöä tai muita ulkoisia resursseja. Työ nostaa esiin esimerkiksi pitkien konteksti-ikkunoiden käyttöön ja kuvasyötteen käsittelyn hahmotukseen liittyviä ongelmia, jotka voivat rajoittaa mallien potentiaalia käyttöliittymien kehityksessä. Tekoälyn kehitys on muutaman vuoden aikana ollut ripeää ja työkalujen määrä kasvaa samalla kun malleihin tulee uusia ominaisuuksia. Mallien kehitys on keskittynyt enemmän yleiseen käyttöön ja alkuvaiheessa nähtyjä ohjelmointiin erikoistuneita malleja ei ole julkaistu lisää. Tulevaisuudessa todennäköisesti mallien kirjo tulee laajenemaan ja mahdollisesti erikoistuneet mallit tekevät paluun, kuten yhden työkalun kohdalla huomataan.

Description

Supervisor

Savioja, Lauri

Thesis advisor

Vepsäläinen, Juho

Keywords

artificial intelligence, UI, software development, programming, tekoäly, käyttöliittymä

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202410086648

Collections

[kand] Perustieteiden korkeakoulu / SCI