aalto1 untyped-item.component.html
Visual Bias in Digital Labor Market: Formation, Manifestation, and Mitigation
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Business |
Doctoral thesis (article-based)
| Defence date: 2025-09-30
Electronic archive copy is available via Aalto Thesis Database.
Authors
Date
Major/Subject
Mcode
Degree programme
Language
en
Pages
78 + app. 112
Series
Aalto University publication series Doctoral Theses, 175/2025
Abstract
The proliferation of digital labor platforms has reshaped global hiring by offering unprecedented accessibility and flexibility. However, these platforms also introduce visual bias, where hiring decisions are disproportionately influenced by facial appearance, perceived professionalism, and demographic cues. This dissertation investigates the formation, manifestation, and mitigation of visual bias in Digital Labor Market through a multi-method grounded in cognitive psychology and bias mitigation theory. The aim is to develop a comprehensive framework that addresses visual bias not only at the point of decision-making but across its entire lifecycle. Drawing on quantitative methodology and machine learning techniques applied to large-scale secondary data, the thesis comprises four interrelated empirical essays.
Essay 1 introduces path dependence theory to conceptualize how early stereotype-based hiring decisions become self-reinforcing through reputation systems. It presents a two-stage framework showing how power asymmetry, uncertainty, and system complexity trigger initial biases, which then stabilize via feedback loops. A dual-phase intervention strategy is proposed: (1) reducing environmental triggers of stereotype formation and (2) disrupting reinforcement cycles.
Essay 2 explores the manifestation of visual bias by analyzing 27,733 worker profiles from Upwork using computer vision, deep learning, and regression analysis. The study finds that demographic traits, physical appearance, image quality, and nonverbal cues significantly influence hiring outcomes and reemployment probabilities. Notably, overly polished portraits reduced perceived authenticity and hireability.
Essay 3 investigates visual-based mitigation strategies, focusing on whether facial similarity between workers and clients can reduce racial discrimination in hiring. Using facial recognition (FaceNet) and a matched dataset of 24,511 worker pairs from Fiverr, the study found that perceived facial resemblance moderates racial bias—particularly benefiting underrepresented groups such as Black and Middle Eastern workers. While facial similarity alone did not directly predict hiring success, its interaction with race significantly improved outcomes, demonstrating the potential of strategic visual alignment as a bias-mitigation tool that preserves trust-building cues.
Essay 4 examines non-visual interventions, analyzing how task characteristics, including complexity, selection ratio, and the structure of self-descriptions, can reduce gender bias. Drawing on the continuum model of impression formation, and using data from 33,086 workers on Upwork, the study shows that cognitively demanding tasks shift employer attention away from gender-based heuristics toward job-relevant qualifications, thereby mitigating bias at scale.
The findings reveal that effective mitigation requires a dual strategy: combining targeted visual modifications with attention-shifting interventions that reframe how employers perceive and assess workers. This research makes theoretical contributions by extending path dependence theory and nonverbal communication models into the digital hiring context, while also offering practical guidance for platform designers, employers, and workers to build fairer, more inclusive hiring ecosystems.
Digitaalisten työmarkkinapaikkojen leviäminen on muokannut globaalin rekrytoinnin tarjoamalla ennennäkemättömän pääsyn ja joustavuuden. Kuitenkin nämä alustat tuovat mukanaan myös visuaalisen ennakkoluulon, jossa rekrytointipäätöksiin vaikuttavat epäsuhtaisesti kasvonpiirteet, havaittu ammattimaisuus ja demografiset vihjeet. Tämä väitöskirja tutkii visuaalisen ennakkoluulon muodostumista, ilmenemistä ja lievittämistä digitaalisilla työmarkkinoilla monimenetelmällisellä lähestymistavalla, joka perustuu kognitiiviseen psykologiaan ja ennakkoluulojen lievittämisen teoriaan. Tavoitteena on kehittää kattava kehys, joka käsittelee visuaalista ennakkoluuloa ei vain päätöksenteon hetkellä, vaan sen koko elinkaaren ajan. Kvantitatiivista metodologiaa ja koneoppimistekniikoita hyödyntäen, jotka on sovellettu suurten toissijaisten tietojen analysointiin, väitöskirja koostuu neljästä toisiinsa liittyvästä empiirisestä esseestä.
Essee 1 esittelee polkuriippuvuusteorian käsitteellistääkseen, kuinka varhaiset stereotypioihin perustuvat rekrytointipäätökset vahvistuvat itsestään mainejärjestelmien kautta. Se esittää kaksivaiheisen kehyksen, joka osoittaa, kuinka valtaepäsuhta, epävarmuus ja järjestelmän monimutkaisuus laukaisevat alkuperäiset ennakkoluulot, jotka sitten vakiintuvat palautesilmukoiden kautta. Ehdotetaan kaksivaiheista interventiostrategiaa: (1) vähentämällä ympäristön laukaisevia tekijöitä, jotka muodostavat stereotypioita, ja (2) häiritsemällä vahvistamiskiertoja.
Essee 2 tutkii visuaalisen ennakkoluulon ilmenemistä analysoimalla 27 733 worker-profiilia Upworkista käyttäen tietokonenäköä, syväoppimista ja regressioanalyysiä. Tutkimus osoittaa, että demografiset piirteet, ulkonäkö, kuvan laatu ja ei-verbaaliset vihjeet vaikuttavat merkittävästi rekrytointituloksiin ja uudelleentyöllistymismahdollisuuksiin. Erityisesti liiallisesti silotellut kuvat vähensivät havaittua aitoutta ja palkattavuutta.
Essee 3 tutkii visuaalisia lievitystrategioita keskittyen siihen, voiko workerien ja asiakkaiden välinen kasvonpiirteiden samankaltaisuus vähentää rodullista syrjintää rekrytoinnissa. Kasvontunnistustekniikkaa (FaceNet) ja 24 511 worker-parin vertailtua tietokantaa Fiverristä käyttäen tutkimus havaitsi, että kasvonpiirteiden samankaltaisuus säätelee rodullista ennakkoluuloa—erityisesti hyödyttäen aliedustettuja ryhmiä, kuten mustia ja Lähi-idän workereita. Vaikka kasvonpiirteiden samankaltaisuus ei yksin ennustanut rekrytointimenestystä, sen vuorovaikutus rodun kanssa paransi merkittävästi tuloksia, mikä osoittaa visuaalisen yhteensovittamisen strategisen potentiaalin ennakkoluulojen lievittämisen työkaluna, joka säilyttää luottamusta rakentavat vihjeet.
Essee 4 tutkii ei-visuaalisia interventioita analysoimalla, kuinka tehtävien ominaisuudet—monimutkaisuus, valintakertoimen ja itsekuvauksen rakenne—voivat vähentää sukupuolittuneita ennakkoluuloja. Impressions formationin jatkuvuusmalliin pohjautuen ja 33 086 workerin tietoja Upworkista käyttäen tutkimus osoittaa, että kognitiivisesti vaativat tehtävät siirtävät työnantajan huomion sukupuoleen perustuvista heuristiikoista kohti työtehtävien kannalta olennaisia pätevyyksiä, mikä lievittää ennakkoluuloja laajassa mittakaavassa.
Tulokset paljastavat, että tehokas lievittäminen vaatii kaksivaiheisen strategian: yhdistämällä kohdennetut visuaaliset muutokset ja huomion siirtämisstrategiat, jotka muokkaavat työnantajien tapaa havaita ja arvioida ehdokkaita. Tämä tutkimus tuo teoreettisia lisäyksiä polkuriippuvuusteorian ja ei-verbaalisen viestinnän malleihin digitaalisen rekrytoinnin kontekstissa, ja tarjoaa käytännön ohjeita alustan kehittäjille, työnantajille ja workereille oikeudenmukaisemman ja inklusiivisemman rekrytointiekosysteemin luomiseksi.
Description
Supervising professor
Rossi, Matti, Prof., Aalto University School of Business, Department of Information and Service Management, Finland; Tuunainen, Virpi Kristiina, Prof., Aalto University School of Business, Department of Information and Service Management, FinlandThesis advisor
Rossi, Matti, Prof., Aalto University School of Business, Department of Information and Service Management, FinlandTuunainen, Virpi Kristiina, Prof., Aalto University School of Business, Department of Information and Service Management, Finland
Other note
Parts
- [Publication 1]: Jiang, Y. (2022). Developing A New Lens: Introducing Path Dependence Theory to Explore the Facial Stereotype in the Online Outsourcing Market. In: Proceedings of the 26th Pacific Asia Conference on Information Systems (PACIS 2022), Virtual, Pages 1-17
- [Publication 2]: Jiang, Y., Rossi, M., Tuunainen, V. K., Cai, Z., & Tan, C. W. (2024). Unraveling the Impact of Visual Cues in Online Portraits on Workers’ Employability in Digital Labor Market. In: Proceedings of the 57th Hawaii International Conference on System Sciences (HICSS), Honolulu, Hawaii, USA. Pages 693-702. https://urn.fi/URN:NBN:fi:aalto-202501292176.
- [Publication 3]: Jiang, Y., Li, Y., Liu, F., Rossi, M., & Tan, C. W. Disentangling the Mitigating Effect of Facial Similarity on Racial Discrimination in the Digital Labor Market. Unpublished Manuscript, 2024
- [Publication 4]: Jiang, Y., Rossi, M., & Tuunainen, V. K. (2024). Breaking Gender Discrimination with Task Attention. In: Proceedings of the 15th Scandinavian Conference on Information Systems (SCIS 2024), Uddevalla, Sweden. Pages 1-15. https://urn.fi/URN:NBN:fi:aalto-202501292158.