Determining User Preference Profiles from Email And User Engagement Data
Loading...
URL
Journal Title
Journal ISSN
Volume Title
School of Science |
Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Date
2024-10-06
Department
Major/Subject
Machine Learning, Data Science and Artificial Intelligence
Mcode
Degree programme
Master's Programme in Computer, Communication and Information Sciences
Language
en
Pages
122
Series
Abstract
This thesis examines how personalized presentations of survey results and tailored email communication can enhance user engagement on the Vibemetrics staff survey platform. As organizations increasingly depend on staff feedback for development, increasing employee engagement on the survey platform is critical. The study focuses on four research questions, each exploring a distinct area. The first investigates the relationship between user attributes and preferences for two survey result formats — charts and tables. The second examines the connection between user attributes and preferences for text-based "insights" generated from the survey. The third explores whether personalized action recommendations influence user engagement with the results page. The final research question evaluates the impact of personalized email content on click-through rates. These questions were all thoroughly evaluated, both by examining the relevant literature and by extensive data analysis. We analyzed user engagement metrics, such as time spent on the platform, actions taken, and email CTR, through average metrics for user groupings and correlation analysis. Finally, demonstrating practical applications for these findings, we trained machine learning models to predict user preferences. The findings revealed no clear relationship between user attributes and result or insight presentation preferences. Additionally, the machine learning models struggled to predict user preferences from user attributes alone, suggesting that user preferences are more complex than we expected. Further, we found no strong relationship between personalized action recommendations and increased user engagement. Surprisingly, non-personalized emails had higher click-through rates than personalized ones. Despite these inconclusive findings, the study demonstrates that providing a more personalized user experience holds potential for increasing interaction with survey data. The identified limitations, such as the timing of the intervention during the summer holiday season and technical issues, paves the way for future research to improve and enhance user engagement strategies.Opinnäytetyössä tutkitaan, miten kyselytulosten esitystavat ja personoitu sähköpostiviestintä vaikuttavat käyttäjien sitoutumiseen Vibemetrics henkilöstökyselyalustalla. Henkilöstön palaute ohjaa organisaatioiden kehitystä enenevissä määrin, joten työntekijöiden sitouttamisesta kyselyalustaan on tullut olennaisen tärkeää. Tutkimus keskittyy neljään tutkimuskysymykseen, joista jokainen käsittelee eri osa-aluetta. Ensimmäinen tarkastelee käyttäjän taustamuuttujien ja kahden kyselytulosten esitysmuodon — kaavioiden ja taulukoiden — mieltymysten välistä suhdetta. Toinen tutkii, miten nämä taustamuuttujat liittyvät tekstimuotoisten ”oivallusten” (insights) mieltymyksiin. Kolmas tutkii personifioitujen toimenpidesuositusten suhdetta käyttäjien sitoutumiseen tulossivulla. Neljäs tutkimuskysymys tutkii sähköpostien personoinnin vaikutusta klikkausprosenttiin (CTR = click-through rate). Näitä kysymyksiä arvioitiin sekä kirjallisuuskatsauksen että laajan data-analyysin kautta. Käyttäjien sitoutumista kuvaavia mittareita, kuten alustalla vietettyä aikaa, tehtyjä toimintoja ja sähköpostin CTR-arvoja analysoitiin tutkimalla käyttäjäryhmien keskiarvoja ja korrelaatioita. Lopuksi käyttäjien mieltymyksiä pyrittiin ennustamaan koneoppimismalleilla. Tulokset eivät näytä käyttäjien taustamuuttujien ja tulos- tai oivallusmieltymysten välillä selkeitä trendejä tai korrelaatioita. Valitut koneoppimismallit eivät myöskään pystyneet ennustamaan käyttäjien mieltymyksiä vain taustamuuttujien pohjalta viitaten siihen, että edellä mainitut käyttäjien mieltymykset ovat oletettua monimutkaisempia. Tutkimuksessa ei löytynyt vahvaa suhdetta luotujen toimintasuositusten ja käyttäjien sitoutumisen välillä. Yllättäen personoidut sähköpostit saivat keskimäärin alhaisemmat CTR-arvot kuin kontrollisähköpostit. Edellä mainituista löydöksistä huolimatta tutkimus osoittaa, että kiinnostavan ja yksilöllisen käyttäjäkokemuksen tarjoaminen voi edelleen lisätä vuorovaikutusta kyselytulosten kanssa. Havaitut rajoitukset, kuten tutkimuksen ajoittuminen kesälomakaudelle ja tekniset ongelmat, vaikuttivat datan laatuun, ja tarjoavat pohjan tulevalle jatkotutkimukselle käyttäjien sitouttamisstrategioiden parantamiseksi.Description
Supervisor
Jung, AlexThesis advisor
Ruokojoki, MikkoKeywords
staff surveys, correlation analysis, artificial intelligence, machine learning, action recommendations, personalization