Самоадаптивний CMA-ES алгоритм

Автор(и)

  • Юлія Літвінчук Чернівецький національний університет імені Юрія Федьковича, Ukraine

DOI:

https://doi.org/10.32626/2308-5878.2023-24.81-90

Анотація

У роботі буде розглянуто один із самоадаптивних алгоритмів підбору параметрів складних систем, прикладами яких являються нейронні мережі. Самоадаптивні алгоритми – це алгоритми, які змінюють свою поведінку під час виконання на основі доступної інформації та заздалегідь визначених механізмів винагороди. Ці алгоритми широко використовуються в різних галузях, включаючи машинне навчання, оптимізацію та стиснення даних. Самоадаптивність алгоритму у даному випадку буде ґрунтуватися на підборі кількості піків у суміші розподілів у розширеному CMA-ES алгоритмі за умови нормального базового розподілу.

У статті представлений покращений самоадаптивний алгоритм CMA-ES, з акцентом на параметр, що визначає кількість піків у суміші нормальних розподілів. У алгоритмі враховуються методи налаштування даного оптимального значення, що використовуються при виборі номерів кластерів в алгоритмах кластеризації CURE, BIRCH тощо. Очевидно, що наведене обґрунтування цього підходу може бути поширене на суміші з іншим базовим розподілом, кожен з яких характеризується скінченним числом піків у суміші розподілів. Це означає самоадаптивність та застосовність алгоритму до ширшого спектру сценаріїв, що включають різні характеристики розподілу. Немає сумніву у тому, що запропонований садоадаптивний алгоритм налаштування параметрів, що базується на CMA-ES алгоритмі, може бути розширений і на інші генетичні та еволюційні алгоритми які містять відбір додаткових хромосом (індивідів) при переході між ітераційними епохами алгоритму. Ще однією особливістю запропонованого алгоритму є використання теоретичних основ кластерного аналізу для оцінки кількості піків у розподілі хромосом. Даний підхід широко використовується у новітніх самоадаптивних алгоритмів для визначення початкових параметрів (гіперпараметрів) складних систем.

Посилання

Sakamoto N., Akimoto Y. Modified box constraint handling for the covariance matrix adaptation evolution strategy. Proceedings of the Genetic and Evolutionary Computation Conference Companion on – GECCO ’17. 2017. URL: https://doi.org/10.1145/3067695.3075986

Dang V.-H., Vien N. A., Chung T. A covariance matrix adaptation evolution strategy in reproducing kernel Hilbert space. Genetic Programming and Evolvable Machines. 2019. URL: https://doi.org/10.1007/s10710-019-09357-1

Roeva O., Zoteva D., Roeva G., Lyubenova V. An Efficient Hybrid of an Ant Lion Optimizer and Genetic Algorithm for a Model Parameter Identification Problem. Mathematics. 2023. Vol 11. P. 1292. URL: https://doi.org/10.3390/math11061292

Albadr M. A., Tiun S., Ayob M., AL-Dhief F. Genetic Algorithm Based on Natural Selection Theory for Optimization Problems. Symmetry. 2020. Vol. 12 (11). P. 1758. URL: https://doi.org/10.3390/sym12111758

Xuefeng W., Chen M. Application of Mathematical Model Based on Optimization Theory and Particle Swarm Algorithm in Radar Station Layout Optimization. Journal of Physics: Conference Series. 2021. Vol. 1848 (1). URL: https://doi.org/10.1088/1742-6596/1848/1/012087

Dorsey R., Mayer W. Genetic Algorithms for Estimation Problems With Multiple Optima, Nondifferentiability, and Other Irregular Features. Journal of Business & Economic Statistics. 1995. Vol. 13. P. 53-66. URL: https://doi.org/10.1080/07350015.1995.10524579.

Alhijawi B., Awajan A. Genetic algorithms: theory, genetic operators, solutions, and applications. Evolutionary Intelligence. 2023. P. 1-12. URL: https://doi.org/10.1007/s12065-023-00822-6.

Hansen N., Müller S., Koumoutsakos P. Reducing the Time Complexity of the Derandomized Evolution Strategy with Covariance Matrix Adaptation (CMA-ES). Evolutionary computation. 2003. Vol. 11. P. 1-18. URL: https://doi.org/10.1162/106365603321828970.

Loshchilov I., Hutter F. CMA-ES for Hyperparameter Optimization of Deep Neural Networks. 2016. arXiv:1604.07269v1 [cs.NE] 25. 9 p. URL: https://doi.org/10.48550/arXiv.1604.07269

Hansen N., Ros R., Mauny N., Schoenauer M., Auger A. Impacts of Invariance in Search: When CMA-ES and PSO Face Ill-Conditioned and Non-Separable Problems. Applied Soft Computing. 2011. Vol. 11. URL: https://doi.org/10.1016/j.asoc.2011.03.001.

Лiтвiнчук Ю. А., Малик I. В. Розширений алгоритм стратегiї еволюцiї адаптацiї коварiацiйної матриці. Буковинський математичний журнал. 2023. Вип. 10. № 2. С. 137-143. URL: https://doi.org/10.31861/bmj2022.02.09

Sundberg R. Statistical Modelling by Exponential Families. Cambridge University Press. 2019.

Lorbeer B., Kosareva A., Deva B., Softić D., Ruppel P., Küpper A.Variations on the Clustering Algorithm BIRCH. Big Data Research. 2017. Vol. 11. https://doi.org/10.1016/j.bdr.2017.09.002.

Lang A., Schubert E. BETULA: Numerically Stable CF-Trees for BIRCH Clustering. 2020.

Kogan J., Nicholas C. K., Teboulle M. Grouping multidimensional data: recent advances in clustering. Springer. 2006.

Guha S., Rastogi R., Shim K. CURE: An efficient clustering algorithm for large databases. Information Systems. 1998. Vol. 26. P. 35-58. URL: https://doi.org/10.1016/S0306-4379(01)00008-4.

Qian Yun-Tao, Shi Qing-Song, Wang Qi. CURE-NS: a hierarchical clustering algorithm with new shrinking scheme. 2002. Vol. 2. P. 895-899. URL: https://doi.org/10.1109/ICMLC.2002.1174512

##submission.downloads##

Опубліковано

2023-11-22