Methods for constructing predictor ensembles based on convex combinations

I. M. Borisov; Борисов И. М.; A. A. Dokukin; Докукин А. А.; O. V. Senko; Сенько О. В.

doi:10.31857/S0002338825040064

Методы построения ансамблей предикторов на основе выпуклых комбинаций

Авторы: Борисов И.М.¹, Докукин А.А.², Сенько О.В.²
Учреждения:
1. Московский государственный университет им. М. В. Ломоносова
2. Федеральный исследовательский центр «Информатика и управление» Российской академии наук
Выпуск: № 4 (2025)
Страницы: 94-102
Раздел: КОМПЬЮТЕРНЫЕ МЕТОДЫ
URL: https://ter-arkhiv.ru/0002-3388/article/view/689840
DOI: https://doi.org/10.31857/S0002338825040064
EDN: https://elibrary.ru/BOTSEI
ID: 689840

Цитировать

Полный текст

Открытый доступ
Доступ закрыт

Доступ предоставлен
Доступ закрыт

Доступ платный или только для подписчиков

Аннотация
Полный текст
Об авторах
Список литературы
Дополнительные файлы
Статистика

Аннотация

При решении задач регрессии построение выпуклых комбинаций предикторов само по себе является эффективным методом построения ансамблей. При этом, если специально строить набор исходных предикторов с целью их дальнейшего использования в ансамбле, представляется возможным улучшить итоговое качество алгоритма. Исследуются два способа, позволяющие добиваться такого улучшения: модификация обучающих данных с помощью выборки объектов с возвращением в сочетании с методом случайных подпространств (по аналогии с методом Bootstrap Aggregating или бэггингом) и оптимизация разброса предикторов. Эффективность разработанных методов подтверждается результатами, полученными для конкретных прикладных задач.

Ключевые слова

задача регрессии, выпуклая комбинация предикторов, оптимизация разброса ансамбля

Полный текст

Список литературы

Zhou Z.H. Ensemble Methods: Foundations and Algorithms. Chapman and Hall/CRC. N. Y., 2012.
Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning Data Mining, Inference, and Prediction. Springer Series in Statistics. N. Y.: Springer, 2009.
Сенько О.В., Докукин А.А. Оптимальные выпуклые корректирующие процедуры в задачах высокой размерности // ЖВМ и МФ. 2011. Т. 51. № 9. С. 1751–1760.
Сенько О.В., Докукин А.А. Регрессионная модель, основанная на выпуклых комбинациях, максимально коррелирующих с откликом // ЖВМ и МФ. 2015. Т. 55. № 3. С. 530–544.
Senko O.V., Dokukin A.A., Kiselyova N.N., Dudarev V.A., Kuznetsova Yu.O. New Two-Level Ensemble Method and Its Application to Chemical Compounds Properties Prediction // Lobachevskii Journal of Mathematics. 2023. V. 44. № 1. P. 188–197.
Докукин А.А., Сенько О.В. Новый двухуровневый метод машинного обучения для оценивания вещественных характеристик объектов // Изв. РАН ТиСУ. 2023. № 4. C. 17–24. https://doi.org/10.31857/S0002338823040029
Zhuravlev Yu.I., Senko O.V., Dokukin A.A., Kiselyova N.N., Saenko I.A. Two-Level Regression Method Using Ensembles of Trees with Optimal Divergence // Doklady Mathematics. 2021. V. 104. № 1. P. 212–214.
Kiselyova N.N., Stolyarenko A.V., Ryazanov V.V., Sen’ko O.V., Dokukin A.A. Application of Machine Training Methods to Design of New Inorganic Compounds // Diagnostic Test Approaches to Machine Learning and Commonsense Reasoning Systems / Eds X.A. Naidenova, D.I. Ignatov. Hershey: IGI Global, 2013. P. 197–220.
Breiman L. Random forests // Machine Learning. 2001. V. 45. № 1. P. 5–32.
Ho T.K. The Random Subspace Method for Constructing Decision Forests // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1998. V. 20. № 8. P. 832–844.
Wolpert D.H. Stacked Generalization // Neural Networks. 1992. V. 5. № 2. P. 241–259.