Feasibility of a Reinforcement Learning Based Market Maker without Using Limit Order Book Data

Thumbnail Image

URL

Journal Title

Journal ISSN

Volume Title

Perustieteiden korkeakoulu | Master's thesis

Authors

Date

2023-08-22

Department

Major/Subject

Applied Mathematics

Mcode

SCI3053

Degree programme

Master’s Programme in Mathematics and Operations Research

Language

en

Pages

78 + 1

Series

Abstract

This thesis investigates the performance of a deep reinforcement learning (DRL) based market maker trained solely on features calculated from realized trades, without using limit order book (LOB) data. A simulated exchange environment is developed to facilitate the training and evaluation of DRL-based market making agents. Historical trade data from the Binance exchange is used to train the agents, and their performance is assessed based on out-of-sample cumulative profit and loss (PnL) and mean absolute position (MAP). The results demonstrate that the agents are able to learn profitable strategies while maintaining relatively low inventory levels. However, the strategies may exploit implementation details of the environment, leading to potentially unrealistic behavior. The thesis points to the need for improvements in the environment to better reflect real trading conditions and to provide a more accurate assessment of DRL-based market maker performance without LOB data.

Tässä diplomityössä tutkitaan syvään vahvistusoppimiseen (DRL) pohjautuvan markkinatakaajan suorituskykyä, kun se on koulutettu toteutuneista kaupoista laskettujen ominaisuuksien avulla käyttämättä rajahintatoimeksiantokirjan (LOB) tietoja. Simuloitu pörssiympäristö on kehitetty helpottamaan DRL-pohjaisten markkinatakaajien koulutusta ja arviointia. Binance-pörssin historiallisia kauppatietoja käytetään agenttien kouluttamiseen, ja niiden suorituskyky arvioidaan kumulatiivisen voiton ja tappion (PnL) sekä keskimääräisen absoluuttisen positioinnin (MAP) perusteella. Tulokset osoittavat, että agentit kykenevät oppimaan kannattavia strategioita pitäen omistustasot suhteellisen matalina. Strategiat saattavat kuitenkin hyödyntää ympäristön toteutusyksityiskohtia, mikä voi johtaa epärealistiseen käyttäytymiseen. Työn osoittamana kehitystarpeena on pörssiympäristön parantaminen, jotta tämä heijastaisi paremmin todellisen kaupankäynnin olosuhteita ja tarjoaisi tarkemman arvion DRL-pohjaisten markkinatakaajien suorituskyvystä ilman LOB- tietoja.

Description

Supervisor

Salo, Ahti

Thesis advisor

Salo, Ahti

Keywords

market making, reinforcement learning, deep learning, limit order book

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202308275109

Collections

[dipl] Perustieteiden korkeakoulu / SCI