The Coverage Properties of Confidence Regions After Model Selection

It is very common in applied frequentist (“classical”) statistics to carry out a preliminary statistical (i.e. data‐based) model selection by, for example, using preliminary hypothesis tests or minimizing AIC. This is usually followed by the inference of interest, using the same data, based on the assumption that the selected model had been given to us a priori. This assumption is false and it can lead to an inaccurate and misleading inference. We consider the important case that the inference of interest is a confidence region. We review the literature that shows that the resulting confidence regions typically have very poor coverage properties. We also briefly review the closely related literature that describes the coverage properties of prediction intervals after preliminary statistical model selection. A possible motivation for preliminary statistical model selection is a wish to utilize uncertain prior information in the inference of interest. We review the literature in which the aim is to utilize uncertain prior information directly in the construction of confidence regions, without requiring the intermediate step of a preliminary statistical model selection. We also point out this aim as a future direction for research. En statistiques appliquées de l'approche fréquentiste (“classique”), il est courant de procéder à une sélection préliminaire du modèle statistique (c'est‐à‐dire basée sur des données) en utilisant, par exemple, des tests préliminaires fondés sur des hypothèses ou en minimisant AIC. Ceci est généralement suivi par l'inférence d'intérêt, où les mêmes données sont utilisées, et qui suppose que le modèle choisi nous avait été donnéà priori. Cette supposition est erronée et peut entraîner une inférence inexacte et trompeuse. Nous examinons un cas primordial où l'inférence d'intérêt constitue une région de confiance. Nous étudions la documentation qui indique que les régions de confiance qui en résultent ont en principe des propriétés d'application réduites. Nous examinons également de manière succincte les écrits en étroite relation qui décrivent les propriétés d'application des intervalles de prédiction après la sélection préliminaire du modèle statistique. Il est possible que la motivation sous‐tendant la sélection préliminaire du modèle statistique représente un désir d'utilizer des renseignements préalables incertains dans l'inférence d'intérêt. Nous étudions la documentation où l'objectif est d'utilizer des renseignements préalables incertains directement dans l'élaboration de régions de confiance, sans exiger de recourir à l'étape intermédiaire de sélection préliminaire du modèle statistique. Nous précisons également que cet objectif constitue un axe de recherche future.