IDEAS home Printed from
MyIDEAS: Login to save this paper or follow this series

Analysis of the Predictive Power of PISA Test Items

  • Maciej Jakubowski

The predictive power of the PISA test items for future student success is examined based on data from the Longitudinal Surveys of Australian Youth (LSAY) for the PISA 2003 cohort. This working paper analyses how students’ responses to mathematics and problem-solving items in PISA 2003 are related to the students’ qualifications in education in 2007 and 2010. The results show that items do differ in their predictive power, depending on some of their deep qualities. PISA mathematics and problem-solving items are grouped into various classifications according to their qualities. This paper proposes 16 new classifications of items. Among mathematics-specific item classifications, two are found to be significantly related to future student success: those that assess knowledge, understanding, and application of statistics; and those related to rates, ratios, proportions, and/or percent. These items frequently require students to apply common mathematical concepts to solve multi-step, non-routine problems, think flexibly, and understand and interpret information presented in an unfamiliar format or context. Among classifications that are not specific to mathematics, items that were classified as using reverse or flexible thinking are found to be related to student qualifications in both mathematics and problem solving. These items require students to be able to think through a solution at various points during the problem-solving process, not just at the start. L’efficacité prédictive des items de l’enquête PISA pour la réussite future des élèves est examinée à partir de données collectées par l’enquête longitudinale australienne LSAY (Longitudinal Surveys of Australian Youth) sur l’échantillon d’élèves évalués lors du cycle PISA 2003. Le présent document de travail analyse dans quelle mesure les réponses des élèves aux items de mathématiques et de résolution de problèmes de l’enquête PISA 2003 sont liées à leur niveau de formation en 2007 et 2010. Les résultats montrent que l’efficacité prédictive des items varie en fonction de certaines de leurs qualités profondes. Les items PISA de mathématiques et de résolution de problèmes sont classés dans différentes catégories selon leurs qualités. Le présent document propose 16 nouvelles catégories d’items. Parmi les catégories d’items spécifiques à l’évaluation des compétences en mathématiques, deux ont été identifiées comme étant liées de façon significative à la réussite future des élèves : les types d’items qui évaluent les connaissances, la compréhension et l’application des statistiques, et ceux qui ont trait aux taux, ratios, proportions et/ou pourcentages. Ces items requièrent généralement des élèves l’application de concepts mathématiques de base pour résoudre des problèmes non routiniers et comportant plusieurs étapes, un raisonnement flexible, ainsi que la compréhension et l’interprétation d’informations présentées sous un format ou dans un contexte non familiers. Parmi les catégories qui ne sont pas spécifiques aux mathématiques, il apparaît que les items définis comme faisant appel à un raisonnement rétrospectif ou flexible présentent une corrélation avec les qualifications des élèves à la fois en mathématiques et en résolution de problèmes. Ces items supposent de la part des élèves une capacité à réfléchir à une solution à différentes étapes du processus de résolution du problème, et pas uniquement au début de ce processus.

If you experience problems downloading a file, check if you have the proper application to view it first. In case of further problems read the IDEAS help page. Note that these files are not on the IDEAS site. Please be patient as the files may be large.

File URL:
Our checks indicate that this address may not be valid because: 403 Forbidden ( [303 See Other]--> If this is indeed the case, please notify ()

Download Restriction: no

Paper provided by OECD Publishing in its series OECD Education Working Papers with number 87.

in new window

Date of creation: 10 May 2013
Date of revision:
Handle: RePEc:oec:eduaab:87-en
Contact details of provider: Postal: 2 rue Andre Pascal, 75775 Paris Cedex 16
Phone: 33-(0)-1-45 24 82 00
Fax: 33-(0)-1-45 24 85 00
Web page:

More information through EDIRC

No references listed on IDEAS
You can help add them by filling out this form.

This item is not listed on Wikipedia, on a reading list or among the top items on IDEAS.

When requesting a correction, please mention this item's handle: RePEc:oec:eduaab:87-en. See general information about how to correct material in RePEc.

For technical questions regarding this item, or to correct its authors, title, abstract, bibliographic or download information, contact: ()

If you have authored this item and are not yet registered with RePEc, we encourage you to do it here. This allows to link your profile to this item. It also allows you to accept potential citations to this item that we are uncertain about.

If references are entirely missing, you can add them using this form.

If the full references list an item that is present in RePEc, but the system did not link to it, you can help with this form.

If you know of missing items citing this one, you can help us creating those links by adding the relevant references in the same way as above, for each refering item. If you are a registered author of this item, you may also want to check the "citations" tab in your profile, as there may be some citations waiting for confirmation.

Please note that corrections may take a couple of weeks to filter through the various RePEc services.

This information is provided to you by IDEAS at the Research Division of the Federal Reserve Bank of St. Louis using RePEc data.