Optimal Binary Classification

It is shown that the Mean Integrated Square Error (MISE) of a binary classifier is a weighted average of its probabilities of type I (α) and type II errors (β). This provides a foundation for minimizing a linear cost function consisting of a weighted average of α and β to design an optimal classifier. Such a cost function is shown to have the interpretation of a MISE of the classifier under a subjective probability distribution. We derive the closed-form expression of the optimal α for the mean test, provide an equation that can be solved numerically to find the optimal cutoff of the Probit classifier, and illustrate the relevance of the results by simulation. In general, the optimal α for a significance test is different from the conventional 0.05 or 0.01 and the optimal cut-off for probabilistic classifiers deviates from 0.5. Nous démontrons que l'erreur quadratique moyenne intégrée (EQMI) d'un classificateur binaire est une moyenne pondérée de ses probabilités d'erreurs de type I (α) et de type II (β). Ceci justifie la minimisation d’une fonction de coût linéaire, consistant en une moyenne pondérée de α et β, pour l’obtention d’un classificateur optimal. Une telle fonction de coût peut s’interpréter comme une EQMI du classificateur sous une distribution de probabilité subjective. Nous établissons l'expression analytique du α optimal pour le test de la moyenne, fournissons une équation résoluble numériquement pour la détermination du seuil optimal du classificateur Probit, et illustrons les résultats par simulation. En général, le α optimal pour un test de significativité est différent de 0,05 ou 0,01 utilisé conventionnellement, et le seuil optimal des classificateurs probabilistes est différent de 0,5.