IQS-Report
"Die Voraussetzung für Wissenschaft ist Neugier." (Jacques-Yves Cousteau)
Das IQS produziert eine Vielzahl an Dokumenten sowie wissenschaftliche Publikationen. Dazu zählen Ergebnisberichte durchgeführter Studien, vertiefende Analysen wie z. B. in der Waxmann-Reihe oder Beitrage in Journals.
Im neu etablierten Bereich IQS-Reports sind Publikationen zu finden, die vorwiegend unter dem Begriff der grauen Literatur summiert werden können. Es handelt sich dabei um Dokumente, die das wissenschaftliche Interesse rund um die Produkte des IQS wecken und fördern, aber auch so manchen Wissensdurst stillen sollen.
IQS-Report, 2/2024
Zur Beurteilung der praktischen Bedeutsamkeit von Gruppenunterschieden in Erstberichten zu internationalen Studien
Silvia Salchegger, Michael Bruneforth
Salzburg, 2024
DOI: https://doi.org/10.17888/iqsreport-2024-2
Version 1
Veröffentlicht am 12. November 2024
Abstract
Die Interpretation von Analyseergebnissen im Hinblick auf ihre praktische Bedeutsamkeit anhand von Effektstärkenmaßen wird in aktuellen Publikationsstandards für notwendig erachtet (American Psychological Association, 2020; Peng, Chen, Chiang & Chiang, 2013). In Ergebnisberichten zu internationalen Studien erfolgte eine solche Interpretation nach praktischer Bedeutsamkeit nicht immer bzw. uneinheitlich. Cumming (2014) nennt ein stärkeres Bemühen, die Interpretation von Effektstärken im jeweiligen Forschungszusammenhang auf Fachexpertise zu beziehen und transparent zu machen, als eine von 25 Richtlinien zur Verbesserung psychologischer Forschung. Er hofft auch, dass dieses Bemühen langfristig zu besseren informellen oder gar formellen Konventionen beiträgt, die Interpretation von Effektstärken zu leiten. Auch der vorliegende Beitrag will dazu beisteuern: Es soll eine Regel abgeleitet werden, die in zukünftigen IQS-Ergebnisberichten zu internationalen Studien angewendet werden kann, um eine einheitliche Ergebnisinterpretation zu ermöglichen. In diesem Dokument diskutieren wir anhand von Geschlechterunterschieden zuerst die Problematik von existierenden Ansätzen zur Bewertung von Ergebnissen und zeigen dann in einem empirischen Teil, wie sich Geschlechterunterschiede über viele internationale Studien hinweg verteilt haben. Wir schließen mit einem Vorschlag, wie für das Bildungsmonitoring in Österreich Mittelwertunterschiede auf Basis von Effektstärken interpretiert werden können und legen einen Schwellenwert als Orientierung für die Autorinnen und Autoren von IQS-Berichten fest. Da jede inhaltliche Bewertung – inklusiver etablierter Richtwerte – einer gewissen Subjektivität unterliegt, machen wir unser Vorgehen transparent, um den Leserinnen und Lesern der IQS-Publikationen die Möglichkeit zu geben, sich kritisch damit auseinanderzusetzen. Der vorliegende Vorschlag zielt auf die Bewertung von Gruppenunterschieden in Mittelwerten ab. Entsprechende Vorschläge für die Bewertung von anderen Maßzahlen, z. B. Prozentverteilungen, Veränderungen über die Zeit und Vergleiche von Gruppenunterschieden zwischen Ländern, stehen als Desiderat für weitere Entwicklungsarbeit aus.
IQS-Report, 1/2024
Vergleich und Validierung unterschiedlicher Lernfortschrittsmodelle
Gabriele von Eichhorn, Roman Freunberger
Salzburg, 2024
DOI: https://doi.org/10.17888/iqsreport-2024-1
Veröffentlicht am 9. April 2024
Abstract
SGPs (Student Growth Percentiles) und PRRs (Percentile Rank of Residuals, Residual Gain) funktionieren mit den vorhandenen Daten von PISA relativ gleich und korrelieren stark miteinander (Abbildung 9). Auf Ebene der Schüler/innen lassen sich kaum Unterschiede feststellen. Aussagen über die Validität sind mit den Daten generell schwierig, Hinweise darauf können aber im vorliegenden Fall Subgruppenvergleiche (Abbildung 6 und Abbildung 7) und der Vergleich mit Schulnoten (Abbildung 8) erbringen. PRRs bilden hier die Schultypeneffekte etwas klarer ab und bilden die Notenskala in adäquater Weise nach. Eine leichte Tendenz spricht daher für PRRs. Dass PRRs im Vergleich zu SGPs über ein etwas weniger komplexes Verfahren berechnet werden, ermöglicht eine klarere Kommunizierbarkeit an Stakeholder. Aufgrund dieser Daten schlagen wir die Verwendung von PRRs zur Rückmeldung des Lernfortschritts in der iKMPLUS vor.