Evaluating AI’s ability to snalyse sustainability reports – A case study of India and recommendations for CSRD development

Thumbnail Image

Files

master_Poutiainen_Nette_2025.pdf (1.56 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Business | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-06-12

Department

Major/Subject

Mcode

Degree programme

Master's programme in Information and Service Management

Language

en

Pages

79

Series

Abstract

Sustainability reporting has become an increasingly important part of corporate reporting. The assessment of narrative data however is not straightforward as rich descriptions can make it difficult to evaluate the actual situation. Fortunately, Natural Language Processing (NLP) and Artificial Intelligence (AI) are tools for more efficient analysis of data. By accurately assessing reports, companies can be evaluated on a more equal basis and their actual actions can be identified. As the Corporate Sustainability Reporting Directive (CSRD) aims to strengthen corporate responsibility for sustainability, the evaluation of reporting is crucial to assess real actions and their shortcomings. Thus, various stakeholders assessing companies' sustainability from different perspectives benefit from AI-driven insights and the identification of deficiencies in sustainability reporting. In this thesis we focus to examine the benefits and limitations of machine-readable XBRL data when processed by AI, in comparison to PDF-based data. This study is done by looking at Indias Business Responsibility and Sustainability Reports (BRSR) in different file formats with OpenAI’s ChatGPT 4o. GPT is asked to perform various tasks, and the accuracy of answers are then analysed. Based on results the best success rate for analysing multiple reports and data appear when using XBRL-XML format with the taxonomy file provided. Use of XBRL-JSON is not recommended in this context. Additionally in terms of context of the study the best success rate for analysing a single report was achieved when using PDF. However, there is a lack of transparency when utilizing AI and the possible hallucinations decreases the reliability. As a conclusion, the result of the study indicates potential in leveraging AI when analysing sustainability data.

Vastuullisuusraportoinnista on tullut yhä tärkeämpi osa yritysraportointia. Narratiivisen datan analysointi ei kuitenkaan ole yksinkertaista, sillä selittävät kuvaukset voivat vaikeuttaa todellisen tilanteen arviointia. Onneksi luonnollisen kielen käsittely (Natural Language Processing, NLP) ja tekoäly (AI) tarjoavat tehokkaampia työkaluja datan analysointiin. Raporttien tarkka arviointi mahdollistaa yritysten arvioimisen tasavertaisemmin ja todellisten toimien tunnistamisen. Koska yritysten kestävyysraportointidirektiivin (CSRD) tavoitteena on vahvistaa yritysvastuuta kestävyyden näkökulmasta, raportoinnin arviointi on keskeistä todellisten toimien ja niiden puutteiden tunnistamisessa. Tämän vuoksi eri sidosryhmät, jotka ar-vioivat yritysten vastuullisuutta eri näkökulmista, hyötyvät tekoälypohjaisista havainnoista ja vastuullisuusraportoinnin puutteiden tunnistamisesta. Tässä opinnäytetyössä keskitytään koneluettavan XBRL-datan hyötyjen ja rajoitteiden tarkasteluun verrattuna PDF-muotoiseen dataan, tekoälyä hyödynnettäessä. Tutkimus toteutetaan tarkastelemalla Intian vastuullisuus raportteja (BRSR) eri tiedostomuodoissa ja hyödynnetään OpenAI:n ChatGPT 4o –mallia. GPT-mallilla suoritetaan erilaisia tehtäviä, ja vastausten oikeinmukaisuutta analysoidaan. Tulosten perusteella paras onnistumisaste analysoitaessa yhtä aikaa useaa raporttia saavutettiin käytettäessä XBRL-XML-muotoa yhdessä taksonomiatiedoston kanssa. XBRL-JSON-muodon käyttöä ei suositella tässä kontekstissa. Lisäksi tutkimuksen kontekstissa parhain onnistumisaste yksittäisen raportin analysoinnissa saavutettiin käytettäessä PDF-muotoa. Tekoälyn käytössä esiintyvä läpinäkyvyyden puute sekä mahdolliset “hallusinaatiot” heikentävät kuitenkin luotettavuutta. Yhteenvetona tutkimuksen tulokset osoittavat potentiaalia tekoälyn hyödyntämisessä vastuullisuus dataa analysoitaessa.

Description

Supervisor

Penttinen, Esko

Keywords

sustainability reporting, sustainability, AI, LLM, GPT, BRSR

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202508156187

Collections

[gradu] Kauppakorkeakoulu / BIZ