Самоадаптивний CMA-ES алгоритм
DOI:
https://doi.org/10.32626/2308-5878.2023-24.81-90Анотація
У роботі буде розглянуто один із самоадаптивних алгоритмів підбору параметрів складних систем, прикладами яких являються нейронні мережі. Самоадаптивні алгоритми – це алгоритми, які змінюють свою поведінку під час виконання на основі доступної інформації та заздалегідь визначених механізмів винагороди. Ці алгоритми широко використовуються в різних галузях, включаючи машинне навчання, оптимізацію та стиснення даних. Самоадаптивність алгоритму у даному випадку буде ґрунтуватися на підборі кількості піків у суміші розподілів у розширеному CMA-ES алгоритмі за умови нормального базового розподілу.
У статті представлений покращений самоадаптивний алгоритм CMA-ES, з акцентом на параметр, що визначає кількість піків у суміші нормальних розподілів. У алгоритмі враховуються методи налаштування даного оптимального значення, що використовуються при виборі номерів кластерів в алгоритмах кластеризації CURE, BIRCH тощо. Очевидно, що наведене обґрунтування цього підходу може бути поширене на суміші з іншим базовим розподілом, кожен з яких характеризується скінченним числом піків у суміші розподілів. Це означає самоадаптивність та застосовність алгоритму до ширшого спектру сценаріїв, що включають різні характеристики розподілу. Немає сумніву у тому, що запропонований садоадаптивний алгоритм налаштування параметрів, що базується на CMA-ES алгоритмі, може бути розширений і на інші генетичні та еволюційні алгоритми які містять відбір додаткових хромосом (індивідів) при переході між ітераційними епохами алгоритму. Ще однією особливістю запропонованого алгоритму є використання теоретичних основ кластерного аналізу для оцінки кількості піків у розподілі хромосом. Даний підхід широко використовується у новітніх самоадаптивних алгоритмів для визначення початкових параметрів (гіперпараметрів) складних систем.
Посилання
Sakamoto N., Akimoto Y. Modified box constraint handling for the covariance matrix adaptation evolution strategy. Proceedings of the Genetic and Evolutionary Computation Conference Companion on – GECCO ’17. 2017. URL: https://doi.org/10.1145/3067695.3075986
Dang V.-H., Vien N. A., Chung T. A covariance matrix adaptation evolution strategy in reproducing kernel Hilbert space. Genetic Programming and Evolvable Machines. 2019. URL: https://doi.org/10.1007/s10710-019-09357-1
Roeva O., Zoteva D., Roeva G., Lyubenova V. An Efficient Hybrid of an Ant Lion Optimizer and Genetic Algorithm for a Model Parameter Identification Problem. Mathematics. 2023. Vol 11. P. 1292. URL: https://doi.org/10.3390/math11061292
Albadr M. A., Tiun S., Ayob M., AL-Dhief F. Genetic Algorithm Based on Natural Selection Theory for Optimization Problems. Symmetry. 2020. Vol. 12 (11). P. 1758. URL: https://doi.org/10.3390/sym12111758
Xuefeng W., Chen M. Application of Mathematical Model Based on Optimization Theory and Particle Swarm Algorithm in Radar Station Layout Optimization. Journal of Physics: Conference Series. 2021. Vol. 1848 (1). URL: https://doi.org/10.1088/1742-6596/1848/1/012087
Dorsey R., Mayer W. Genetic Algorithms for Estimation Problems With Multiple Optima, Nondifferentiability, and Other Irregular Features. Journal of Business & Economic Statistics. 1995. Vol. 13. P. 53-66. URL: https://doi.org/10.1080/07350015.1995.10524579.
Alhijawi B., Awajan A. Genetic algorithms: theory, genetic operators, solutions, and applications. Evolutionary Intelligence. 2023. P. 1-12. URL: https://doi.org/10.1007/s12065-023-00822-6.
Hansen N., Müller S., Koumoutsakos P. Reducing the Time Complexity of the Derandomized Evolution Strategy with Covariance Matrix Adaptation (CMA-ES). Evolutionary computation. 2003. Vol. 11. P. 1-18. URL: https://doi.org/10.1162/106365603321828970.
Loshchilov I., Hutter F. CMA-ES for Hyperparameter Optimization of Deep Neural Networks. 2016. arXiv:1604.07269v1 [cs.NE] 25. 9 p. URL: https://doi.org/10.48550/arXiv.1604.07269
Hansen N., Ros R., Mauny N., Schoenauer M., Auger A. Impacts of Invariance in Search: When CMA-ES and PSO Face Ill-Conditioned and Non-Separable Problems. Applied Soft Computing. 2011. Vol. 11. URL: https://doi.org/10.1016/j.asoc.2011.03.001.
Лiтвiнчук Ю. А., Малик I. В. Розширений алгоритм стратегiї еволюцiї адаптацiї коварiацiйної матриці. Буковинський математичний журнал. 2023. Вип. 10. № 2. С. 137-143. URL: https://doi.org/10.31861/bmj2022.02.09
Sundberg R. Statistical Modelling by Exponential Families. Cambridge University Press. 2019.
Lorbeer B., Kosareva A., Deva B., Softić D., Ruppel P., Küpper A.Variations on the Clustering Algorithm BIRCH. Big Data Research. 2017. Vol. 11. https://doi.org/10.1016/j.bdr.2017.09.002.
Lang A., Schubert E. BETULA: Numerically Stable CF-Trees for BIRCH Clustering. 2020.
Kogan J., Nicholas C. K., Teboulle M. Grouping multidimensional data: recent advances in clustering. Springer. 2006.
Guha S., Rastogi R., Shim K. CURE: An efficient clustering algorithm for large databases. Information Systems. 1998. Vol. 26. P. 35-58. URL: https://doi.org/10.1016/S0306-4379(01)00008-4.
Qian Yun-Tao, Shi Qing-Song, Wang Qi. CURE-NS: a hierarchical clustering algorithm with new shrinking scheme. 2002. Vol. 2. P. 895-899. URL: https://doi.org/10.1109/ICMLC.2002.1174512
##submission.downloads##
Опубліковано
Номер
Розділ
Ліцензія
Authors who publish with this journal agree to the following terms:- Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.
- Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.
- Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work (See The Effect of Open Access).
