What's the difference? A model for measuring the value added by higher education in Australia

Measures of student learning are playing an increasingly significant role in determining the quality and productivity of higher education. This paper evaluates approaches for estimating the value added by university education, and proposes a methodology for use by institutions and systems. The paper argues that value-added measures of learning are important for quality assurance in contemporary higher education. It reviews recent large-scale developments in Australia, methodological considerations pertaining to the measurement and evaluation of student learning, and instruments validated to measure students’ capability, generic skills, specific competencies, work readiness and student engagement. Four approaches to calculating value-added measures are reviewed. The first approach computes value-added estimates by comparing predicted against actual performance using data from entrance tests and routine course assessments. In the second approach, comparisons are made between outcomes from objective assessments administered to cohorts in the first and later years of study. Comparisons of first-year and later-year students’ engagement in key learning activities offer a third and complementary means of assessing the value added by university study. Feedback on graduate skills provided by employers is a fourth approach which gives an independent perspective on the quality of education. Reviewing these four approaches provides a basis for their synthesis into a robust and potentially scalable methodology for measuring the value added by higher education. This methodology is advanced, along with its implications for instrumentation, sampling, analysis and reporting. Case studies are presented to illustrate the methodology’s potential for informing comparative analyses of the performance of higher education systems. Quelle différence ? Un modèle pour mesurer la valeur ajoutée de l’enseignement supérieur en Australie L’évaluation des connaissances acquises par les étudiants est désormais un outil indispensable pour déterminer la qualité et la productivité de l’enseignement supérieur. Ce rapport examine les différentes approches permettant d’évaluer la valeur ajoutée de l’enseignement supérieur et propose une méthode utilisable à la fois au sein des établissements et à l’échelle des systèmes d’enseignement supérieur. L’idée centrale qui sous-tend ce rapport est la suivante : la mesure des acquis des étudiants est l’un des piliers de l’assurance qualité au sein des systèmes d’enseignement supérieur modernes. L’auteur passe ainsi en revue les tendances majeures observées récemment en la matière en Australie, analyse les problèmes méthodologiques inhérents à la mesure et à l’évaluation des acquis des étudiants, et enfin étudie les instruments couramment employés pour mesurer les capacités, les compétences génériques et spécifiques, l’aptitude au travail et l’implication des étudiants. Quatre méthodes de calcul de la valeur ajoutée sont ainsi passées en revue. La première consiste à estimer cette valeur ajoutée en comparant les performances escomptées et les performances réelles des élèves, à l’aide des résultats des tests d’admission et de ceux des évaluations réalisées en cours de cycle. La deuxième approche compare les résultats d’évaluations objectives d’étudiants pour chaque année d’étude (première année et suivantes). La troisième méthode utilisée pour évaluer la valeur ajoutée de l’enseignement secondaire, de nature complémentaire, consiste à comparer l’implication des étudiants dans certains modules d’apprentissage clés durant la première année et au cours des années suivantes. Enfin, la quatrième méthode étudiée envisage la qualité de l’enseignement supérieur selon une perspective différente, puisqu’elle tient compte des retours d’expérience de certains employeurs sur les compétences des jeunes diplômés. L’examen de ces quatre approches permet ensuite de les synthétiser et d’obtenir une méthode fiable pour évaluer la valeur ajoutée de l’enseignement supérieur, ladite méthode consolidée offrant en outre le potentiel de s’adapter à différentes échelles. Il s’agit d’une approche sophistiquée, aux implications complexes en termes d’instrumentation, d’échantillonnage, d’analyse et de présentation des résultats. Une série d’études de cas permet à l’auteur de démontrer le potentiel offert par cette méthode pour étayer l’analyse comparative des performances de différents systèmes d’enseignement supérieur.