Exchangeability, Correlation, and Bayes' Effect

We examine the difference between Bayesian and frequentist statistics in making statements about the relationship between observable values. We show how standard models under both paradigms can be based on an assumption of exchangeability and we derive useful covariance and correlation results for values from an exchangeable sequence. We find that such values are never negatively correlated, and are generally positively correlated under the models used in Bayesian statistics. We discuss the significance of this result as well as a phenomenon which often follows from the differing methodologies and practical applications of these paradigms – a phenomenon we call Bayes' effect. Nous examinons la différence entre les statistiques Bayesiennes et fréquentistes dans des propositions sur la relation entre valeurs observées. Nous démontrons comment les modèles normaux dans les deux cas peuvent être basés sur la supposition d'échangeabilité, et nous obtenons quelques résultats utiles sur la covariance et la corrélation pour des valeurs dans une suite échangeable. Ces valeurs ne sont jamais corrélées négativement, et sont en général corrélées positivement dans les modèles Bayesiens. Nous discutons la signification de ce résultat, ainsi que celui du phénomène qui s'ensuit lorsqu'on emploie ces deux méthodologies, un phénomène que nous appelons l'effet de Bayes.