Using machine learning in user complaint handling

Abstract

Automation in customer service is an attractive approach when attempting to improve customer experience while simultaneously saving personnel costs. Unfortunately, no general solution exists. Customer service departments need to research and develop methods individually.

This thesis explores machine learning methods to predict administrative and customer service actions for user generated reports of misconduct or bad content. First we form a feature model based on report local knowledge and image related properties with associated metadata. We then apply Random Forest and Naíve Bayesian classifiers on real data from IRC-Galleria, a Finnish social media service.

Experiment results clearly indicate the presented model and feature dimensions insufficient for automated handling. We can, however, use the results to improve user interfaces of customer service tools for both the provider and the customer. Also, the results may guide in rule and policy making.

Automaation lisääminen asiakaspalvelussa on houkutteleva ratkaisu, kun yritetään parantaa asiakaskokemusta ja samanaikaisesti säästää henkilöstökuluissa. Valitettavasti mitään valmista yleistä ratkaisua ei löydy. Asiakaspalveluorganisaatiot joutuvat itsenäisesti, kukin tarpeittensa mukaan, sekä tutkimaan että kehittämään menetelmänsä.

Tässä työssä tutkimme koneoppimisen menetelmien soveltuvuutta palveluylläpidon sekä asiakaspalvelun toimenpiteitten oppimiseksi tilanteissa joissa asiakkaat ilmiantavat sääntöjen vastaisen toiminnan tai muutoin epäilyttävän materiaalin. Aluksi muodostamme ominaisuusmallin pohjautuen ilmiantojen paikalliseen tietoon sekä kuvien ominaispiirteisiin ja metadataan. Tämän jälkeen käytämme Random Forest -pohjaista ja naiivia Bayesilaista luokittelijaa sosiaalisen median palvelu IRC-Galleriasta louhittuihin oikeisiin esimerkkeihin.

Koetuloksien pohjalta voidaan selvästi todeta, etteivät esitetty malli sekä ominaisuusmäärittely ole riittäviä automaattiseen ilmiantojen käsittelyyn. Voimme kuitenkin todeta, että tuloksia voidaan hyödyntää asiakaspalvelun työkalujen käyttöliittymäkehityksessä asiakasrajapinnan molemmin puolin. Edelleen, voimme hyödyntää tuloksia niin käyttösääntöjen kuin ylläpitolinjausten laadinnassa.