Bayesian Estimation of Prediction Error and Variable Selection in Linear Regression

An important statistical application is the problem of determining an appropriate set of input variables for modelling a response variable. In such an application, candidate models are characterized by which input variables are included in the mean structure. A reasonable approach to gauging the propriety of a candidate model is to define a discrepancy function through the prediction error associated with this model. An optimal set of input variables is then determined by searching for the candidate model that minimizes the prediction error. In this paper, we focus on a Bayesian approach to estimating a discrepancy function based on prediction error in linear regression. It is shown how this approach provides an informative method for quantifying model selection uncertainty. La sélection des variables explicatives à prendre en considération dans la modélisation d'une réponse est un problème d'une grande importance pratique. Dans ce problème, les modèles‐candidats sont caractérisés par l'ensemble des variables à inclure dans l'équation de régression. Une façon raisonnable d'évaluer les mérites d'un modèle‐candidat consiste à introduire une mesure de divergence fondée sur l'erreur de prédiction correspondante. Un ensemble de variables explicatives optimal est alors déterminé par minimisation de cette divergence. Dans cet article, nous nous concentrons sur une approche bayésienne de l'estimation de l'erreur de prédiction et de la mesure de divergence associée, dans un cadre de régression linéaire. Nous montrons comment cette approche permet une évaluation du risque liéà la sélection des variables.