PISA For Development Technical Strand A: Enhancement of PISA Cognitive Instruments

The OECD is planning to enhance existing PISA assessment instruments in reading, mathematics and science so that they will be more suitable to the context of developing countries. The main purpose of this paper is to identify the main technical issues associated with this aim. The paper reports detailed analysis of the existing PISA item pool and its suitability for countries which have students of average limited capacity. The paper cautions that the fit of developing country data to the PISA model is not good and that modifications to address some of the deviations should be explored. The use of learning metrics to describe dimensions of educational progression is at the core of the PISA reporting methodology and requires a consistency across countries in item behaviour that is not apparent for developing countries. The paper recommends that any process to move towards enhancing the instruments must be undertaken with extensive consultation with the countries involved. L’OCDE prévoit le renforcement des instruments d’évaluation PISA existants en compréhension de l’écrit, en mathématiques et en sciences, afin de mieux les adapter au contexte des pays en développement. Ce document vise avant tout à mettre au jour les principaux enjeux techniques associés à ce projet. Il présente une analyse détaillée de l’ensemble des items PISA existants et de leur pertinence pour des pays où les élèves ont un niveau de compétences moyen limité. Il met en évidence la mauvaise adaptation des données des pays en développement au modèle PISA et suggère l’exploration de modifications afin de pallier certains des écarts. L’utilisation de mesures de l’apprentissage pour décrire les dimensions de la progression en matière d’éducation est au coeur de la méthodologie de PISA et nécessite une certaine cohérence entre les pays en termes de comportement des items qui n’est pas apparente pour les pays en développement. Ce document recommande que tout processus en vue du renforcement des instruments d’évaluation s’accompagne d’une consultation approfondie auprès des pays concernés.