Literacy and Numeracy Proficiency in IALS, ALL and PIAAC

This paper analyses proficiency in literacy and numeracy in the countries that have participated in the International Adult Literacy Survey (IALS, administered between 1994 and 1998), the Adult Literacy and Life Skills Survey (ALL, administered between 2003 and 2007) and the Survey of Adult Skills (PIAAC, administered in 2012). While many countries experienced small to modest changes in literacy proficiency between IALS and PIAAC, others saw sizeable variations, mostly on the negative side. In the shorter span that separated ALL and PIAAC, numeracy proficiency clearly declined (except in Italy), while literacy moved less on average (except for the large increase registered in Italy and the large decline experienced by Norway). Changes in the composition of the population have had little impact on observed changes in scores. Larger variations took place within different socio-demographic groups, but these tended to cancel each other out on aggregate. In particular, large variations are observed by age and levels of education. Older adults in PIAAC are generally more proficient than their IALS counterparts, probably due to the increase in educational attainments that took place over recent decades. On the contrary, tertiary-educated individuals appear to be on average less proficient than in the past, which may signal that the expansion of tertiary education has been accompanied by a decline in the average quality of university graduates (or of university instruction). There is also no evidence that the change in delivery mode, with a switch to a computer-based assessment in PIAAC, had any significant effect on performance. However, the OECD is unable to ascertain how differences in implementation and technical standards affect the comparability of the data, so that a certain degree of caution should always be exercised in interpreting these results. Amongst the countries that experienced larger changes in literacy proficiency between surveys, a close inspection of IALS data (in particular through an investigation of response patterns at the item level) highlights some anomalies in Italy and Poland (and, to a lesser extent, in England and Northern Ireland), suggesting that particular caution should be exercised in interpreting the evolution of proficiency in these countries. Ce document analyse les compétences en littératie et en numératie dans les pays qui ont participé à l'Enquête internationale sur l'alphabétisation des adultes (EIAA, administrée entre 1994 et 1998), à l'Enquête sur la littératie et les compétences des adultes (ELCA, administrée entre 2003 et 2007) et à l’Enquête sur les compétences des adultes (PIAAC, administrée en 2012). Alors que dans de nombreux pays le changement du niveau de littératie entre l'EIAA et PIAAC a été faible, d’autres ont enregistré des variations notables, pour la plupart négatives. Dans l’intervalle plus court qui sépare l’ELCA et PIAAC, les compétences en numératie ont clairement décliné (sauf en Italie), tandis que les niveaux de littératie ont en moyenne enregistré de moindres variations (excepté une importante augmentation enregistrée en Italie et un déclin notable constaté en Norvège). Les modifications dans la composition de la population semblent avoir peu d'impact sur le changement dans les résultats entre les différentes enquêtes. De plus grandes variations ont eu lieu au sein des différents groupes socio-démographiques, mais ceux-ci ont tendance à s’annuler les uns les autres dans l'ensemble. En particulier, de grandes variations sont observées selon l'âge et les niveaux d'éducation. Les adultes plus âgés dans PIAAC sont généralement plus compétents que leurs homologues de l'EIAA, probablement en raison de l'augmentation du niveau d'instruction qui s’est opérée au cours des dernières décennies. Au contraire, les individus ayant un niveau d’instruction de niveau tertiaire semblent en moyenne moins compétents que dans le passé, ce qui pourrait indiquer que l'expansion de l'enseignement supérieur a été accompagnée d'une baisse de la qualité des nouveaux entrants à l’université (ou de l’enseignement universitaire).