Erste Schritte zur automatisierten Generation von Items in einem webbasierten Tracingsystem

Zusammenfassung Der Beitrag stellt die Ergebnisse einer Vorstudie und einer experimentellen Studie (N = 273) in der Sekundarstufe und der Universität im Kontext der Programmierung, genauer der Programmablaufverfolgung (Tracing), vor. Das Ziel ist die automatische Generierung von Items in einem adaptiven Testsystem, die bekannte Fehlvorstellungen sichtbar machen können. Verglichen werden dazu zunächst die empirisch unter Lernenden ermittelten Schwierigkeiten bekannter Items mit den Schwierigkeiten, die aus einem theoretischen Vorhersagemodell abgeleitet werden, sowie mit einem Rating von Experten. Darauf aufbauend werden Items anhand von einfachen Regeln generiert und in einer Hauptstudie deren durch die Regeln vorhergesagte Schwierigkeitsrangfolge empirisch überprüft. Die Ergebnisse zeigen, dass eine solche regelbasierte Generierung von Items vielversprechend ist. Bestimmte Programmkonstrukte sind hinsichtlich ihrer Schwierigkeit auf diese Weise gut klassifizierbar und können so für die automatisierte Itemkonstruktion genutzt werden. Praktisch erlauben solche adaptiven Testverfahren in kurzer Zeit die Diagnose von Fehlvorstellungen, die eine große Hürde in der Programmierausbildung darstellen. Aufgrund der Regeln und des Itemformats ist es darüber hinaus möglich, gezielt Feedback zu den Fehlvorstellungen an die Testerinnen und Tester, oder auch die Lernenden selbst, zu geben.