Feasibility of a Reinforcement Learning Based Market Maker without Using Limit Order Book Data

Abstract

This thesis investigates the performance of a deep reinforcement learning (DRL) based market maker trained solely on features calculated from realized trades, without using limit order book (LOB) data. A simulated exchange environment is developed to facilitate the training and evaluation of DRL-based market making agents. Historical trade data from the Binance exchange is used to train the agents, and their performance is assessed based on out-of-sample cumulative profit and loss (PnL) and mean absolute position (MAP).

The results demonstrate that the agents are able to learn profitable strategies while maintaining relatively low inventory levels. However, the strategies may exploit implementation details of the environment, leading to potentially unrealistic behavior. The thesis points to the need for improvements in the environment to better reflect real trading conditions and to provide a more accurate assessment of DRL-based market maker performance without LOB data.

Tässä diplomityössä tutkitaan syvään vahvistusoppimiseen (DRL) pohjautuvan markkinatakaajan suorituskykyä, kun se on koulutettu toteutuneista kaupoista laskettujen ominaisuuksien avulla käyttämättä rajahintatoimeksiantokirjan (LOB) tietoja. Simuloitu pörssiympäristö on kehitetty helpottamaan DRL-pohjaisten markkinatakaajien koulutusta ja arviointia. Binance-pörssin historiallisia kauppatietoja käytetään agenttien kouluttamiseen, ja niiden suorituskyky arvioidaan kumulatiivisen voiton ja tappion (PnL) sekä keskimääräisen absoluuttisen positioinnin (MAP) perusteella.

Tulokset osoittavat, että agentit kykenevät oppimaan kannattavia strategioita pitäen omistustasot suhteellisen matalina. Strategiat saattavat kuitenkin hyödyntää ympäristön toteutusyksityiskohtia, mikä voi johtaa epärealistiseen käyttäytymiseen. Työn osoittamana kehitystarpeena on pörssiympäristön parantaminen, jotta tämä heijastaisi paremmin todellisen kaupankäynnin olosuhteita ja tarjoaisi tarkemman arvion DRL-pohjaisten markkinatakaajien suorituskyvystä ilman LOB- tietoja.