Measures of Diversity and the Classification Error in the Multiple-model Approach

Abstract

Multiple-model approach (model aggregation, model fusion) is most commonly used in classification and regression. In this approach K component (single) models C1(x), C1(x), … , CK(x) are combined into one global model (ensemble) C*(x), for example using majority voting: K C* = arg max {Σ I (Ck(x)=y)} (1) y k=1 Turner i Ghosh (1996) proved that the classification error of the ensemble C*(x) depends on the diversity of the ensemble members. In other words, the higher diversity of component models, the lower classification error of the combined model. Since several diversity measures for classifier ensembles have been proposed so far in this paper we present a comparison of the ability of selected diversity measures to predict the accuracy of classifier ensembles.

Podejście wielomodelowe (agregacja modeli), stosowane najczęściej w analizie dyskryminacyjnej i regresyjnej, polega na połączeniu M modeli składowych C1(x), ..., CM(x) jeden model globalny C*(x): K C* = arg max {Σ I (Cm(x)=y)} y k=1 Turner i Ghosh (1996) udowodnili, że błąd klasyfikacji dla modelu zagregowanego C*(x) zależy od stopnia podobieństwa (zróżnicowania) modeli składowych. Inaczej mówiąc, najbardziej dokładny model C*(x) składa się z modeli najbardziej do siebie niepodobnych, tj. zupełnie inaczej klasyfikujących te same obiekty. W literaturze zaproponowano kilka miar pozwalających ocenić podobieństwo (zróżnicowanie) modeli składowych w podejściu wielomodelowym. W artykule omówiono związek znanych miar zróżnicowania z oceną wielkości błędu klasyfikacji modelu zagregowanego.