Deep reinforcement learning approach for HVAC control

Abstract

Heating, ventilation and air conditioning (HVAC) devices are major energy consumers in the world. Recent advances in various fields of technology have enabled scientists to apply more efficient data-driven approaches to specific HVAC control problems. In this work, applicability of deep reinforcement learning for HVAC control is evaluated by constructing a building simulation environment and training multiple deep reinforcement learning agents represented by deep Q-networks. The agents are trained to minimize energy consumption while maintaining proper indoor climate for simulated occupants. The results indicate that the best performing deep reinforcement learning agent is able to reduce energy costs by 24.4 percent and 37.1 percent with respect to two baseline strategies.

Lämmitys- ja jäähdytyslaitteet ovat yksi suurimmista energiankuluttajista maailmassa. Viimeisimmät edistysaskeleet eri teknologian aloilla ovat mahdollistaneet tutkijat hyödyntämään tehokkaita datavetoisia lähestysmistapoja lämmitys- ja jäähdytyslaitteiden ohjaukseen liittyvissä ongelmissa. Tässä työssä tutkitaan syvävahvistusoppimisen soveltuvuutta lämmitys- ja jäähdytyslaitteiden ohjauksessa. Työssä rakennetaan energiasimulaatiojärjestelmä sekä opetetaan useita syvävahvistusoppimisagentteja minimoimaan energiankulutusta pitäen ilmanlaadun mahdollisimman hyvänä simuloitujen ihmisten työtehon kannalta. Tulokset osoittavat, että työssä löydetty paras syvävahvistusoppimisagentti kykenee 24.4 prosentin ja 37.1 prosentin vähennyksiin energiankulutuksessa verrattuna kahteen mallistrategiaan.