Test-taking engagement in PIAAC

In this study, we investigated how empirical indicators of test-taking engagement can be defined, empirically validated, and used to describe group differences in the context of the Programme of International Assessment of Adult Competences (PIAAC). The approach was to distinguish between disengaged and engaged response behavior by means of response time thresholds. Constant thresholds of 3000 ms and 5000 ms were considered, as well as item-specific thresholds based on the visual inspection of (bimodal) response time distributions (VI method) and the proportion correct conditional on response time (P+>0% method). Overall, the validity checks comparing the proportion correct of engaged and disengaged response behavior by domain and by item showed that the P+>0% method performed slightly better than the VI method and the methods assuming constant thresholds. The results for Literacy and Numeracy by module revealed that there was an increase from Module 1 to Module 2 in the proportion of disengaged responses, suggesting a drop in test-taking engagement. The investigation of country differences in test-taking engagement by domain using the P+>0% method showed that the proportion of responses classified as disengaged was quite low. For Literacy, the proportion was well below 5% for the majority of countries; in Numeracy, the proportion was even smaller than 1% for almost all countries; while for Problem solving, the proportion of disengaged responses was more than 5% but usually well below 10%. There were significant differences in test-taking engagement between countries; the obtained effect sizes were small to medium. Population differences in test-taking engagement were highly correlated between the three domains, suggesting that test-taking engagement can be conceived as a consistent characteristic. Furthermore, there was a clear negative association between test-taking disengagement and proficiency in Literacy, Numeracy and Problem solving, respectively. Finally, subgroup differences for gender, age, educational attainment, and language proved to be insignificant or very small. Results suggest that males tend to be more disengaged, that disengagement increases with age in Problem solving, with lower educational attainment and when the test language is not the same as a testee’s native language. Dans cette étude, nous analysons comment des indicateurs empiriques de l'engagement dans les réponses à un test peuvent être définis, validés empiriquement et utilisés pour décrire des différences entre les groupes dans le cadre du PIAAC. L'approche utilisée consiste à établir une distinction entre un comportement de réponse « désengagé » et un comportement de réponse « engagé » sur la base de seuils de temps de réponse. Des seuils constants de 3000 ms et 5000 ms ont été retenus, ainsi que des seuils spécifiques en fonction des items, sur la base de l’inspection visuelle des distributions (bimodales) du temps de réponse (méthode VI) et du pourcentage de réponses correctes en fonction du temps de réponse (méthode P+>0%). Dans l'ensemble, les contrôles de validité comparant le pourcentage de réponses correctes des comportements « engagés » et « désengagés » par domaine et par item montrent que la méthode P+>0% donne des résultats légèrement meilleurs que la méthode VI et les méthodes fondées sur des seuils constants. Les résultats en littératie et en numératie par module indiquent une augmentation du pourcentage de réponses désengagées entre le module 1 et le module 2, suggérant une baisse de l'engagement dans les réponses au test. L’étude par domaine des différences d’engagement dans les réponses au test entre les pays, sur la base de la méthode P+>0%, met au jour un pourcentage assez faible de réponses pouvant être qualifiées de « désengagées ». En littératie, ce pourcentage est nettement inférieur à 5 % dans la majorité des pays ; en numératie, il est même inférieur à 1 % dans la quasi-totalité des pays ; en résolution de problèmes, en revanche, il est supérieur à 5 %, mais reste en général nettement inférieur à 10 %. Des différences significatives d’engagement dans les réponses au test s’observent entre les pays ; l’ampleur de l’effet va de faible à moyenne. Les différences d'engagement dans les réponses au test entre les différents groupes sont fortement corrélées entre les trois domaines, semblant indiquer que l'engagement dans les réponses au test peut être perçu comme une caractéristique constante. En outre, une nette corrélation négative s’observe entre d’un côté, le désengagement dans les réponses au test, et de l’autre, les compétences en littératie, en numératie et en résolution de problèmes, respectivement. Enfin, les différences entre les sous-groupes en fonction du sexe, de l’âge, du niveau de formation et de la langue s’avèrent négligeables ou très faibles. D’après les résultats, les hommes tendent à être plus désengagés, et le désengagement augmente avec l'âge en résolution de problèmes, lorsque le niveau de formation des répondants est plus faible et lorsque leur langue maternelle n’est pas celle du test.