Lossless Compression of Deep Neural Networks
No Thumbnail Available
Files
Aalto login required (access for Aalto Staff only).
Journal Title
Journal ISSN
Volume Title
Perustieteiden korkeakoulu |
Bachelor's thesis
Electronic archive copy is available locally at the Harald Herlin Learning Centre. The staff of Aalto University has access to the electronic bachelor's theses by logging into Aaltodoc with their personal Aalto user ID. Read more about the availability of the bachelor's theses.
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Author
Date
2024-01-24
Department
Major/Subject
Matematiikka ja systeemitieteet
Mcode
SCI3029
Degree programme
Teknistieteellinen kandidaattiohjelma
Language
en
Pages
28+2
Series
Abstract
This thesis explores the potential of the lossless compression of Deep Neural Networks (DNNs), addressing the challenges posed by their increasing size and complexity. The study primarily focuses on utilizing the piecewise linear characteristics of Rectified Linear Unit (ReLU) activation functions in DNNs to prune neurons that exhibit constant or linearly dependent outputs. The employed algorithm works by using precomputing upper and lower bounds for each neuron to identify neurons with constant output or neurons which are stabily active. Neurons with constant output are pruned, and among the stabily active neurons, the linearly dependent neurons are pruned. Additionally, layers containing only stable neurons are removed, and DNNs only containing stable neurons are simplified to a set of linear equations. The lossless nature of this algorithm was ensured through the equivalence of test losses between the original and compressed models. A key focus of this study was investigating the impact of various training parameters on the models' performance and the effectiveness of the compression algorithm. These parameters included four optimizers — SGD with and without momentum, Adam, and Adadelta — along with L1 and L2 regularizations at varying strengths. The findings indicated that the compression algorithm's efficiency is significantly influenced by the choice of optimizer and regularization parameters. Models optimized with the Adam optimizer generally demonstrated superior performance on the test set and compressibility. In addition, two models optimized with the Adadelta optimizer and high L2 regularization parameters shows the most compression. The best-performing models achieved up to a 79.9 percent reduction in neuron count, translating to a 95.7 percent decrease in the number of parameters. However, these models were outliers, indicating the need for further investigation. This thesis demonstrated the feasibility and effectiveness of a lossless compression algorithm for DNNs. The significant reduction in model size and computational requirements, achieved without loss of accuracy, presents a promising solution to the challenges of deploying large DNNs in resource-constrained environments. Further research, including the exploration of different network architectures and activation functions, is recommended to extend the applicability and understanding of this compression technique.Tutkielman tavoitteena on tutkia syvien neuroverkkojen häviöttömän kompressoinnin mahdollisuuksia ja siten vastata verkkojen kasvavan koon mukanaan tuomiin haasteisiin. Tutkimuksessa hyödynnetään neuroverkkojen ReLU-aktivointifunktioiden (ReLU = Rectified Linear Unit) osittain lineaarisia ominaisuuksia karsimalla neuroneita, joilla on vakio tai lineaarisesti riippuvaiset ulostulot. Käytetty algoritmi hyödyntää kullekin neuronille etukäteen laskettuja ylä- ja alarajoja. Algoritmi käy neuroverkon kerroksittain läpi, ja tunnistaa neuronit, joilla on vakiotulos ja jotka ovat aina aktiivisia. Neuronit, joilla on vakiotulos, poistetaan neuroverkosta, ja aina aktiivisten neuronien joukosta karsitaan lineaarisesti riippuvat neuronit. Tämän algoritmin häviöttömyys varmistetaan että alkuperäisen ja tiivistetyn mallin testihaviöt vastaavat toisiaan. Tässä tutkimuksessa keskityttiin tutkimaan eri koulutusparametrien vaikutusta mallien suorituskykyyn ja kompressointialgoritmin tehokkuuteen. Näihin parametreihin kuului neljä optimointialgoritmia: SGD liikemäärällä ja ilman liikemäärää, Adam ja Adadelta. Lisäksi näihin parametreihin sisältyivät L1- ja L2-regularisoinnit eri vahvuuksilla. Tulokset osoittavat, että optimointi- ja regularisointiparametrien valinta vaikuttaa merkittävästi kompressointialgoritmin tehokkuuteen. Adam optimoijalla harjoitetut mallit osoittivat yleisesti ottaen parempaa suorituskykyä testijoukossa ja kompressioalgoritmin tehokkuudessa. Yllättäen kaksi Adadelta-optimoijalla ja korkeilla L2-regularisointiparametreilla harjoitettua mallia osoittivat kaikista malleista eniten kompressointia. Parhaiten suoriutuneet mallit vähensivät neuronien määrää jopa 79,9\%, mikä vastaa 95,7\%:n vähennystä parametrien määrässä. Nämä kaksi parasta mallia ovat kuitenkin poikkeamia, eikä täten tulkoksiin voi luottaa ilman lisätutkimuksia. Tässä tutkielmassa osoitettiin syvien neuroverkkojen häviöttömän kompressointialgoritmin toteutettavuus ja tehokkuus. Tämä luo lupaavia ratkaisuja neuroverkkojen haasteisiin mahdollistaen mallien koon ja laskentavaatimusten merkittävän pienentämisen ilman tarkkuuden heikkenemistä. Jatkotutkimukset käyttäen eri neuroverkkoarkkitehtuureita ja aktivointifunktioita suositellaan tämän kompressointialgoritmin sovellettavuuden ja ymmärryksen laajentamiseksi.Description
Supervisor
Olivera, FabricioThesis advisor
Belyak, NikitaKeywords
deep neural networks, lossless compression, rectified linear unit, pruning algorithms
