A framework for evaluating automated valuation models in real estate: an auditing perspective

Abstract

In the field of real estate there is a need to audit Automated Valuation Models (AVMs), commensurate with the global trends for increased automation, regulation and demands for verification and transparency. Although there have been calls for more material to assist auditing the functionality of AVMs, it was observed by Realia Management Oy when drafting their first AVM auditing template in 2012 that adequate material exists, but is scattered. That observation was confirmed in the literature review for this study. Therefore, there is a need for a thorough overview of the requirements for auditing AVMs: the qualifications, the relevant materials, the regulations and the organizational characteristics needed for successfully performing an audit. Indeed, such an overview could be considered a prerequisite for further studies on AVM auditing. The research here was based on qualitative analysis using the Design Science Research (DSR) approach, with the goal of forming a framework from an auditor’s perspective.

The Framework proposed was tested by methodological triangulation using the DSR approach and further tested by interviews using a constructionist qualitative research method with a quantitative component. The Framework, offers a comprehensive overview – metainformation – of the available information that the prospective AVM auditor needs in order to evaluate an auditing assignment and successfully complete an audit. By mitigating potential confusion, the Framework allows the prospective auditor to focus on the issues critical to the audit, as well as encouraging the auditor to search for additional information and to seek appropriate guidance. Not only does the Framework proposed in this thesis therefore function as an orientation platform for the auditor, its real value may be as a meta-artefact for future research. Thus, the Framework reaches the research goals set out in this thesis.

Automaattisten arvonmääritysmallien lisääntynyt auditointitarve on seurausta globaalien trendien, kuten automaation, sääntelyn, läpinäkyvyyden ja todentamisen tarpeen kasvusta. Kiinteistöalan kirjallisuudessa on todettu tarvetta arvonmääritysmallien auditoinnille sekä määritystä avustavalle materiaalille, sillä kattavaa, yhtenäistä materiaalia arvonmääritysmallien testaukseen ei ole olemassa. Voidaan kuitenkin sanoa, että materiaalia on riittävästi auditoinnin onnistuneeseen suorittamiseen, mutta tämä tieto on pirstaloitunutta, kuten Realia Management Oy:ssä todettiin auditointipohjan luonnin aikana vuonna 2012. Tämä näkemys sai vahvistuksen tämän tutkimuksen kirjallisuuskatsauksessa. Täten tarve yleisluontoiseen katsaukseen onnistuneen auditoinnin suorittamista varten on ilmeinen, kattaen pätevyysvaatimukset, olennaiset materiaalit, mahdolliset sääntelyt ja organisatoriset ominaisuudet. Auditointivaatimusten kokoava katsaus voidaan katsoa myös edellytykseksi lisätutkimukselle. Tutkimus on suoritettu käyttäen kvalitatiivista analyysiä hyödyntämällä Design Science Research (DSR) -tutkimusmenetelmää, jonka lopputulos tutkimuksen viitekehys on. Tämä viitekehys voi toimia orientaatioalustana auditoijalle, mutta sen todellinen arvo lienee meta-artefaktina – välietappi ennen jatkotutkimusta ja käytännön työkaluja.

DSR-tutkimusmenetelmää käytettiin myös viitekehyksen testaamiseen käyttämällä menetelmätriangulaatiota, jolla korostetaan eri lähteiden sekä yhtymäkohtia että eriäväisyyksiä. Haastattelut olivat yksi käytetyistä testausmenetelmistä, joka toteutettiin käyttäen konstruktionismin kvalitatiivista haastattelumenetelmän ja kvantitatiivisen elementin yhdistelmää. Tutkimuksen lopputulos, viitekehys, tarjoaa yleiskatsauksen ja analyysejä tarjolla olevaan informaatioon, eli metainformaatiota, jota mahdollinen automaattisen arvonmääritysmallin auditoija kaipaa arvioidakseen auditointitoimeksiannon ja voidakseen suorittaa auditoinnin onnistuneesti. Viitekehyksen tulisi vähentää sekaannusta ja mahdollistaa auditoijan keskittymisen auditointi-kriittisiin kohtiin, rohkaista hakemaan lisää informaatiota ja etsimään asianmukaista opastusta. Täten kehitetty viitekehys toteuttaa ja täyttää asetetut tutkimuksen tavoitteet.