Methods for improving reliability of evolutionary computation algorithms and accelerating problem solving
No Thumbnail Available
URL
Journal Title
Journal ISSN
Volume Title
Doctoral thesis (article-based)
Checking the digitized thesis and permission for publishing
Instructions for the author
Instructions for the author
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.
Authors
Martikainen, Jarno
Date
2006-12-08
Major/Subject
Mcode
Degree programme
Language
en
Pages
69, [60]
Series
TKK dissertations, 55
Abstract
This dissertation deals with improving the reliability of evolutionary computation algorithms and accelerating problem-solving in optimization problems. Evolutionary algorithms have proven their value in difficult optimization problems that are not usually solvable in decent time using conventional optimization methods. However, evolutionary computation methods still suffer from problems related especially to premature convergence and the lengthy run times of the algorithms. In addition, the field of evolutionary computation does not commonly use the widely accepted practices for the comprehensive statistical comparison of two different evolutionary algorithms. This dissertation aims at improving the process of using evolutionary computation in complex optimization problems from three perspectives. First, new algorithms are proposed for demanding optimization tasks. These algorithms rely on two perspectives, using a new multipopulation approach to enable appropriate conditions for candidate solutions to evolve and fusing evolutionary algorithms with other soft computing technologies, such as fuzzy logic, in a new way. Second, this dissertation discusses a method for reducing the computational time taken to evaluate a computationally demanding objective function value using neural network-based approximations. Third, a statistical method for comparing the results produced by two different evolutionary algorithms is illustrated. This method, relying on bootstrap resampling-based multiple hypothesis testing, is known outside the field of evolutionary computation, but has not been used within the evolutionary computing community. This dissertation illustrates the use of the statistical scheme and studies the parameters affecting the interpretation of its results. The improvements to evolutionary algorithms this dissertation proposes have been proven to be beneficial by extensive testing. The proposed algorithms and the means to reduce the time required by the objective function evaluation have shown an increase in performance when compared to the reference algorithms. This dissertation also aims at awakening discussion related to the proper use of statistics in the field of evolutionary computation.Tämä väitöskirja käsittelee evoluutioalgoritmien luotettavuuden parantamista ja ongelmanratkaisun nopeuttamista optimointiongelmissa. Evoluutioalgoritmeja on käytetty menestyksekkäästi vaikeissa optimointiongelmissa, joita ei yleensä pystytä ratkaisemaan perinteisillä menetelmillä kohtuullisessa ajassa. Evoluutioalgoritmeilla on kuitenkin heikkouksia liittyen erityisesti ennenaikaiseen konvergoitumiseen ja algoritmien pitkiin suoritusaikoihin. Lisäksi evoluutiolaskennan alalla ei juurikaan käytetä yleisesti hyväksyttyjä menetelmiä kahden evoluutioalgoritmin perusteelliseen tilastolliseen vertailuun. Tässä väitöskirjassa esitetään parannuksia evoluutioalgoritmien käyttämiseen vaikeissa optimointiongelmissa kolmesta eri näkökulmasta. Ensiksi, työssä esitellään uusia algoritmeja, joissa monen populaation avulla järjestetään ratkaisuehdokkaille sopivat olosuhteet kehittyä ja joissa evoluutiolaskentaan sulautetaan uudella tavalla eri pehmeän laskennan tekniikoita, kuten sumeaa logiikkaa. Toiseksi, tässä työssä esitetään menetelmä, jolla voidaan lyhentää laskennallisesti vaativan kustannusfunktion arvon laskemisen vaatimaa aikaa approksimoimalla kustannusfunktion osia neuroverkoilla. Kolmanneksi, väitöskirjassa esitellään tilastollinen menetelmä kahden evoluutioalgoritmin vertailemiseksi. Tämä bootstrap-näytteistämiseen perustuva usean hypoteesin testaamisen menetelmä on tunnettu monilla muilla tieteen aloilla, mutta sitä ei ole käytetty evoluutiolaskennan piirissä. Tässä työssä tutkitaan myös kyseisen tilastollisen menetelmän parametrien arvojen vaikutusta tulosten tulkittavuuteen. Väitöskirjassa esitetyt parannukset on todettu hyödyllisiksi perinpohjaisella testaamisella. Sekä esitellyt algoritmit että kustannusfunktion laskemisen nopeuttamiseksi kehitetty menetelmä parantavat osoitetusti perusalgoritmien suorituskykyä. Tämän työn tarkoituksena on myös herättää keskustelua luotettavien tilastollisten menetelmien käytöstä evoluutiolaskennan piirissä.Description
Keywords
evolutionary computation, hybrid algorithm, optimization, statistical comparison, evoluutiolaskenta, hybridialgoritmi, optimointi, tilastollinen vertailu
Other note
Parts
- J. Martikainen and S. J. Ovaska, Designing multiplicative general parameter filters using adaptive genetic algorithms, in Proceedings of the Genetic and Evolutionary Computation Conference, Seattle, WA, 2004, pp. 1162-1167. [article1.pdf] © 2004 Springer Science+Business Media. By permission.
- J. Martikainen and S. J. Ovaska, Designing multiplicative general parameter filters using multipopulation genetic algorithm, in Proceedings of the 6th Nordic Signal Processing Symposium, Espoo, Finland, 2004, pp. 25-28. [article2.pdf] © 2004 IEEE. By permission.
- J. Martikainen and S. J. Ovaska, Fitness function approximation by neural networks in the optimization of MGP-FIR filters, in Proceedings of the 2006 IEEE Mountain Workshop on Adaptive and Learning Systems, Logan, UT, 2006, pp. 231-236. [article3.pdf] © 2006 IEEE. By permission.
- J. Martikainen and S. J. Ovaska, Hierarchical two-population genetic algorithm, International Journal of Computational Intelligence Research, vol. 2, no. 4, 2006, in press. [article4.pdf] © 2006 Research India Publications. By permission.
- J. Martikainen and S. J. Ovaska, Optimizing dynamical fuzzy systems using aging evolution strategies, in Proceedings of the 9th IASTED International Conference on Artificial Intelligence and Soft Computing, Benidorm, Spain, 2005, pp. 5-10. [article5.pdf] © 2005 ACTA Press. By permission.
- J. Martikainen and S. J. Ovaska, Using fuzzy evolutionary programming to solve traveling salesman problems, in Proceedings of the 9th IASTED International Conference on Artificial Intelligence and Soft Computing, Benidorm, Spain, 2005, pp. 49-54. [article6.pdf] © 2005 ACTA Press. By permission.
- D. Shilane, J. Martikainen, S. Dudoit, and S. J. Ovaska, A general framework for statistical performance comparison of evolutionary computation algorithms, in Proceedings of the IASTED International Conference on Artificial Intelligence and Applications, Innsbruck, Austria, 2006, pp. 7-12. [article7.pdf] © 2006 ACTA Press. By permission.
- J. Martikainen and S. J. Ovaska, Comparison of a fuzzy EP algorithm and an AIS in dynamic optimization tasks, in Proceedings of the 2006 IEEE Mountain Workshop on Adaptive and Learning Systems, Logan, UT, 2006, pp. 7-12. [article8.pdf] © 2006 IEEE. By permission.