Asymmetric Conversational Strategies - Methods for Detecting Manipulative Online Trolling
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Doctoral thesis (article-based)
| Defence date: 2024-11-29
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
Major/Subject
Mcode
Degree programme
Language
en
Pages
100 + app. 118
Series
Aalto University publication series DOCTORAL THESES, 222/2024
Abstract
This dissertation examines harmful forms of deceptive manipulative online trolling from a socio-technical perspective. Adopting a transdisciplinary approach grounded in computational linguistics, the work utilizes qualitative digital Conversation Analysis (CA), statistical analysis, Machine Learning (ML) and Natural Language Processing (NLP) methodologies. The focus is on effective identification of conversational trolling: qualitatively defining its central characteristics and developing computational trolling detection based on operationalizable conversational features. Trolling strategies are increasingly used for online harassment and manipulation. This highlights the importance of developing efficient computational trolling detection to protect deliberative online discussion and democratic decision-making. The detection of deceptive behaviors like trolling is a challenging task that earlier research has not managed to accurately accomplish. This is due to the elusive and changing strategies employed by trolls to stir disruption. Approaches to computational trolling detection have traditionally investigated networks of bots, or the valence and content of alone-standing messages separated from their conversational context. However, these methods manage to capture only a fraction of harmful trolling behaviors. Computer-Mediated Communication research has shed light on the context-dependent and interactive nature of trolling, and common trolling styles found online. Based on these insights, this work investigates conversational trolling on several types of asynchronous online forums, collecting a novel dataset. This enables a qualitative depiction of turn-by-turn conversational strategies used in trolling, and their computational analysis. This work shows that while interest-based conversations commonly attract overt trolling styles, political and societal discussions are usually targeted with covert styles. However, they all utilize similar manipulative conversational strategies. These include the use of asymmetric responses (ignoring, challenging, and mismatching) that violate common conversational norms. This dissertation introduces a novel approach to computationally analyzing the dynamics of asynchronous conversations by drawing from digital CA. Together with NLP methods, this allows the extraction of conversational features like asymmetries to train ML models for trolling detection. The work presents a trolling detection model that surpasses earlier models in performance, and suggests a process for detecting deceptive manipulative online behaviors. Due to the challenges related to judging the intentionality behind online behaviors, I suggest an intent-agnostic detection approach based on observable behaviors in interaction. These include repeated violations of common conversational norms, which characterize deceptive manipulative behaviors like trolling. Tämä väitöskirja tarkastelee haitallisia ja harhaanjohtavia trollaamisen muotoja sosiaalisen median keskusteluissa sosio-teknisestä näkökulmasta. Työ asettuu laskennallisen lingvistiikan kentälle, ja hyödyntää poikkitieteellisellä otteella laadullisen digitaalisen keskustelunanalyysin, tilastollisen analyysin, koneoppimisen ja luonnollisen kielen käsittelyn (NLP) metodeja. Työn pääpaino on keskustelullisen trollaamisen tunnistamisessa: sitä määrittävien keskeisten piirteiden erittelyssä, ja automaattisen tunnistamisen kehittämisessä hyödyntäen laskennallisesti operationalisoitavissa olevia keskustelullisia piirteitä. Trollaamisen strategioita hyödynnetään yhä enenevissä määrin nettihäirinnässä ja vaikuttamisessa. Näiden automaattinen tunnistaminen on tärkeää vapaan demokraattisen keskustelun ja päätöksenteon turvaamiseksi. Harhaanjohtavien ja manipulatiivisten trollaamisen muotojen tunnistaminen on haastava tehtävä, jota tähänastinen tutkimus ei ole onnistunut tarkasti ratkaisemaan. Tämä johtuu trollaamisessa käytettävistä, vaikeasti määriteltävistä ja muuttuvista häirinnän strategioista. Aiemmat mallit ovat perinteisesti tarkastelleet bottiverkostoja, tai yksittäisiä viestejä ja niiden sisältöä, irrotettuna keskustelullisesta kontekstista. Näillä metodeilla onnistutaan kuitenkin havaitsemaan vain murto-osa haitallisista trollaamisen muodoista. Tietokonevälitteisen vuorovaikutuksen tutkimus on korostanut trollaamisen olevan keskustelukontekstista riippuvaista vuorovaikutuksellista käyttäytymistä. Tätä teoreettista pohjaa hyödyntäen tämä tutkimus kerää ja annotoi aineiston, joka sisältää trollaamiskeskusteluja useilta erilaisilta keskustelufoorumeilta. Aineisto mahdollistaa trollaamiselle keskeisten keskustelustrategioiden analyysin. Tämä tutkimus osoittaa, että harrastekeskusteluihin kohdistetaan suoria trollaamisen tyylejä, kun taas poliittisiin ja yhteiskunnallisiin keskusteluihin vaikutetaan harhaanjohtavilla tyyleillä. Eri trollaamisen tyylit kuitenkin hyödyntävät samanlaisia keskustelun normeja rikkovia asymmetrisiä vastaamisen strategioita. Tämä työ esittelee uuden lähestymistavan asynkronisten keskustelujen analyysiin hyödyntämällä digitaalista keskustelunanalyysiä laskennallisesti. NLP-metodeihin yhdistettynä tämä mahdollistaa keskustelullisten piirteiden kuten asymmetrioiden käyttämisen koneoppimismallien opettamisessa. Väitöskirja kehittää uudenlaisen trollaamisen automaattisen tunnistamisen mallin, joka saavuttaa korkeamman tarkkuuden kuin aiemmat mallit. Lopuksi ehdotan intentioista riippumatonta prosessia harhaanjohtavien, manipulatiivisten käyttäytymisen muotojen tunnistamiseen. Koska tietoa Internet-keskustelijoiden intentioista on vaikea saavuttaa, mallien tulisi keskittyä analysoimaan näkyviä keskustelullisen käyttäytymisen piirteitä. Tärkeimpänä näihin kuuluu erilaisten keskustelun normien toistuva rikkominen.Description
Supervising professor
Sawhney, Nitin, Prof., Aalto University, Department of Computer Science, FinlandThesis advisor
Salovaara, Antti, Senior University Lecturer, Aalto University, Department of Design, FinlandOther note
Parts
-
[Publication 1]: Paakki H., Salovaara A., Vepsäläinen H. (2020). Do Online Trolling Strategies Differ in Political and Interest Forums: Early Results. In Proceedings of the Disinformation in Open Online Media. MISDOOM 2020. Lecture Notes in Computer Science, vol. 12259, Leiden University, Netherlands, October 26-27 (online), pp. 191–204. Springer, Cham.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-2020113020633DOI: 10.1007/978-3-030-61841-4_13 View at publisher
-
[Publication 2]: Paakki H., Vepsäläinen H., Salovaara A. (2021). Disruptive online communication: how asymmetric response strategies direct conversation off the track. Computer Supported Cooperative Work (JCSCW), 30, pp. 425–461.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202106167386DOI: 10.1007/s10606-021-09397-1 View at publisher
-
[Publication 3]: Paakki H., Vepsäläinen H., Salovaara A., Zafar B. (2024). Detecting covert disruptive behavior in online interaction by analyzing conversational features and norm violations. ACM Transactions on Computer-Human Interaction, 31, 2, Article 20. ACM, New York, USA, 42 pages.
Full text in Acris/Aaltodoc: https://urn.fi/URN:NBN:fi:aalto-202401312234DOI: 10.1145/3635143 View at publisher
- [Publication 4]: Paakki H., Toivanen P., Kajava K. (Submitted). Implicit and indirect: Computational Identification of Ambiguous Conversational Actions in Asynchronous Crisis-Related Conversations