aalto1 untyped-item.component.html
Evaluating AI’s ability to analyse sustainability reports – A case study of India and recommendations for CSRD development
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Business |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Department
Major/Subject
Mcode
Degree programme
Language
en
Pages
79
Series
Abstract
Sustainability reporting has become an increasingly important part of corporate reporting. The assessment of narrative data however is not straightforward as rich descriptions can make it difficult to evaluate the actual situation. Fortunately, Natural Language Processing (NLP) and Artificial Intelligence (AI) are tools for more efficient analysis of data. By accurately assessing reports, companies can be evaluated on a more equal basis and their actual actions can be identified. As the Corporate Sustainability Reporting Directive (CSRD) aims to strengthen corporate responsibility for sustainability, the evaluation of reporting is crucial to assess real actions and their shortcomings. Thus, various stakeholders assessing companies' sustainability from different perspectives benefit from AI-driven insights and the identification of deficiencies in sustainability reporting.
In this thesis we focus to examine the benefits and limitations of machine-readable XBRL data when processed by AI, in comparison to PDF-based data. This study is done by looking at Indias Business Responsibility and Sustainability Reports (BRSR) in different file formats with OpenAI’s ChatGPT 4o. GPT is asked to perform various tasks, and the accuracy of answers are then analysed. Based on results the best success rate for analysing multiple reports and data appear when using XBRL-XML format with the taxonomy file provided. Use of XBRL-JSON is not recommended in this context. Additionally in terms of context of the study the best success rate for analysing a single report was achieved when using PDF. However, there is a lack of transparency when utilizing AI and the possible hallucinations decreases the reliability. As a conclusion, the result of the study indicates potential in leveraging AI when analysing sustainability data.
Vastuullisuusraportoinnista on tullut yhä tärkeämpi osa yritysraportointia. Narratiivisen datan analysointi ei kuitenkaan ole yksinkertaista, sillä selittävät kuvaukset voivat vaikeuttaa todellisen tilanteen arviointia. Onneksi luonnollisen kielen käsittely (Natural Language Processing, NLP) ja tekoäly (AI) tarjoavat tehokkaampia työkaluja datan analysointiin. Raporttien tarkka arviointi mahdollistaa yritysten arvioimisen tasavertaisemmin ja todel-listen toimien tunnistamisen. Koska yritysten kestävyysraportointidirektiivin (CSRD) tavoitteena on vahvistaa yritysvastuuta kestävyyden näkökulmasta, raportoinnin arviointi on keskeistä todellisten toimien ja niiden puutteiden tunnistamisessa. Tämän vuoksi eri sidosryhmät, jotka arvioivat yritysten vastuullisuutta eri näkökulmista, hyötyvät tekoälypohjaisista havainnoista ja vastuullisuusraportoinnin puutteiden tunnistamisesta.
Tässä opinnäytetyössä keskitytään koneluettavan XBRL-datan hyötyjen ja rajoitteiden tarkasteluun verrattuna PDF-muotoiseen dataan, tekoälyä hyödynnettäessä. Tutkimus toteutetaan tarkastelemalla Intian vastuullisuus raportteja (BRSR) eri tiedostomuodoissa ja hyödynnetään OpenAI:n ChatGPT 4o –mallia. GPT-mallilla suoritetaan erilaisia tehtäviä, ja vastausten oikeinmukaisuutta analysoidaan. Tulosten perusteella paras onnistumisaste analysoitaessa yhtä aikaa useaa raporttia saavutettiin käytettäessä XBRL-XML-muotoa yhdessä taksonomiatiedoston kanssa. XBRL-JSON-muodon käyttöä ei suositella tässä kontekstissa. Lisäksi tutkimuksen kontekstissa parhain onnistumisaste yksittäisen raportin analysoinnissa saavutettiin käytettäessä PDF-muotoa. Tekoälyn käytössä esiintyvä läpinäkyvyyden puute sekä mahdolliset “hallusinaatiot” heikentävät kuitenkin luotet-tavuutta. Yhteenvetona tutkimuksen tulokset osoittavat potentiaalia tekoälyn hyödyntämisessä vastuullisuus dataa analysoitaessa.