Anomalies in the Foundations of Ridge Regression

Errors persist in ridge regression, its foundations, and its usage, as set forth in Hoerl & Kennard (1970) and elsewhere. Ridge estimators need not be minimizing, nor a prospective ridge parameter be admissible. Conventional estimators are not LaGrange's solutions constrained to fixed lengths, as claimed, since such solutions are singular. Of a massive literature on estimation, prediction, cross–validation, choice of ridge parameter, and related issues, little emanates from constrained optimization to include inequality constraints. The problem traces to a misapplication of LaGrange's Principle, unrecognized singularities, and misplaced links between constraints and ridge parameters. Alternative principles, based on condition numbers, are seen to validate both conventional ridge and surrogate ridge regression to be defined. Numerical studies illustrate that ridge regression as practiced often exhibits pathologies it is intended to redress. Les erreurs persistent dans la régression ridge, ses bases, et son utilisation, comme déterminé en Hoerl et Kennard (1970) et plus tard. Il ne faut ni que les estimateurs ridge se réduisent au minimum ni qu'un paramètre ridge soit admissible. Les estimateurs conventionnels ne sont pas les solutions de Lagrange contraintes aux longueurs fixes, comme souvent prétendu, car de telles solutions sont singulières. D'une littérature vaste—sur l'évaluation, la prévision, la validation croisée, le choix du paramètre ridge, et sujets alliés, sujets collectivement connus sous le nom de régression ridge—peu est issu de la minimisation contrainte, même vis à vis les contraintes d'inégalitié. Le problème remonte à une mauvaise application du principe de Lagrange, au manque d'identifier des singularités, et aux liens mal placés entre les contraintes et les paramè tres ridge. Des principes alternatifs, basés sur des numéraux de condition, peuvent être vus comme validant ridge conventionnelle et la régression de ridge succédanée, ce dernier àêtre défini. Les études numériques illustrent que la régression ridge, comme practiquée, montrent souvent des pathologies qu'il vise à redresser.