Generative Agents in Social Sciences

Abstract

Agent-based modelling is a computational research method where autonomous agents interact with each other and their environment. These agents represent some entities of interest, such as people. Agent-based modelling aims to facilitate the process of examining large-scale phenomena that result from the interactions between agents. Agent-based models are used to study complex systems, such as social networks in social sciences. At the beginning, the agents’ behaviour was based on social science theories. However, owing to the technological advancements, agent behaviour can be modelled with alternative methods. Particularly, in the 2020s, the rapid development of artificial intelligence has led to researchers studying the potential of integrating large language models into agent-based modelling.

This bachelor’s thesis conducts a literature review that aims to study the current practices of employing large language models in agent-based modelling in social sciences. In addition, this thesis aims to gain insight into the future benefits and challenges of applying large language model -based agents in social science research.

The findings from this literature review suggest that large language model -based agents carry potential in simulating small-scale social phenomena, as researchers have been able to utilise large language models in the construction of the agents. Specifically, large language models have eased modelling the interactions and behaviour through natural language descriptions. The future research could review the potential of scaling the size of the simulations as well as incorporating the development of large language models. For instance, the potential of processing audio and visual input in agent-based modelling was not utilised in the reviewed studies.

Agenttipohjainen mallinnus on laskennallinen tutkimusmenetelmä, jossa itsenäiset agentit vuorovaikuttavat sekä toistensa että ympäristönsä kanssa. Nämä agentit voivat mallintaa joitain tutkimuksen kohteena olevia entiteettejä, kuten ihmisiä. Mallintamisen avulla pyritään ymmärtämään laajoja emergenttejä ilmiöitä, jotka syntyvät itsenäisesti toimivien agenttien valintojen ja tekojen pohjalta. Agenttipohjaista mallinnusta voidaan hyödyntää kompleksisten järjestelmien tutkimiseen, kuten yhteiskuntatieteellisessä tutkimuksessa ihmisverkostoihin. Alun perin agenttien käyttäytymisen mallintaminen pohjautui erityisesti yhteiskuntatieteellisiin teorioihin, mutta teknologian kehityksen myötä agenttien käyttäytymisen mallintamiseen on voitu hyödyntää erilaisia menetelmiä. Erityisesti tekoälyn kehityksen ansiosta 2020-luvulla on alettu tutkimaan laajojen kielimallien hyödyntämistä agenttien mallinnuksessa.

Tässä kandidaatintyössä toteutetaan kirjallisuuskatsaus, jonka tavoitteena on tutkia tämänhetkisiä menetelmiä soveltaa laajoja kielimalleja agenttipohjaisessa mallinnuksessa yhteiskuntatieteellisessä tutkimuksessa. Lisäksi työssä perehdytään laajoihin kielimalleihin perustuvien agenttien tulevaisuuteen tutkimusmenetelmänä. Työn aineisto muodostuu enimmäkseen esijulkaisuista ja konferenssijulkaisuista, joissa simuloidaan yhteiskunnallisia ilmiöitä laajoihin kielimalleihin perustuvien agenttien avulla.

Kirjallisuuskatsauksen tulosten perusteella laajoihin kielimalleihin perustuvat agentit ovat osoittaneet potentiaalinsa yhteiskunnallisten ilmiöiden simuloimisessa pienessä mittakaavassa, kun tutkijat ovat löytäneet erilaisia menetelmiä hyödyntää laajoja kielimalleja agenttien mallintamisessa. Erityisesti tämä ilmenee agenttien vuorovaikutuksen ja käytöksen ilmaisemisessa luonnollisen kielen avulla. Jatkotutkimuksessa voitaisiin selvittää mahdollisuutta laajentaa simulaatioiden kokoa sekä yhdistää laajoissa kielimalleissa tapahtuva kehitys esimerkiksi äänen ja kuvien prosessoinnin osalta agentteihin.