Statistical Assessment of Numerical Models

Evaluation of physically based computer models for air quality applications is crucial to assist in control strategy selection. The high risk of getting the wrong control strategy has costly economic and social consequences. The objective comparison of modeled concentrations with observed field data is one approach to assessment of model performance. For dry deposition fluxes and concentrations of air pollutants there is a very limited supply of evaluation data sets. We develop a formal method for evaluation of the performance of numerical models, which can be implemented even when the field measurements are very sparse. This approach is applied to a current U.S. Environmental Protection Agency air quality model. In other cases, exemplified by an ozone study from the California Central Valley, the observed field is relatively data rich, and more or less standard geostatistical tools can be used to compare model to data. Yet another situation is when the cost of model runs is prohibitive, and a statistical approach to approximating the model output is needed. We describe two ways of obtaining such approximations. A common technical issue in the assessment of environmental numerical models is the need for tools to estimate nonstationary spatial covariance structures. We describe in detail two such approaches. L'évaluation de modèles informatiques à bases physiques pour des applications à la qualité de l'air est cruciale pour aider à la sélection d'une stratégie de contrôle. Le choix d'une mauvaise stratégie de contrôle peut avoir des conséquences economiques et sociales coúteuses. Une approche pour évaluer la performance du modèle est la comparaison objective de concentrations modélisées avec des données de terrain observées. Pour les flux de dépôts secs et les concentrations de polluants de l'air, l'offre de données d'évaluation est très limitée. Nous développons une méthode formelle pour évaluer la performance de modèles numériques, qui peut être mise en oeuvre même lorsque les mesures de terrain sont trés clairsemées. Cette approche est appliquée à un modèle de qualité de l'air de l'Agence de la Protection de l'Environnement Américaine. Dans d'autres cas, comme une étude de l'ozone de la vallée Californienne centrale, le champ observé est relativement riche en données, et l'on peut utiliser peu ou prou des outils géostatistiques standards pour comparer le modèle aux données. Une autre situation se présente quand le coút du modèle est prohibitif et qu'une approche statistique pour effectuer des approximations des sorties du modèle est nécessaire. Nous décrivons deux manières d'obtenir de telles approximations. Un problème technique commun à l'évaluation des modèles environnementaux numériques est le besoin d'outils pour estimer les structures de la covariance spatiale non stationnaire. Nous decrivons en detail deux de ces approches.