Punktwerte in der iKM^PLUS 

Kompetenzpunkte

3. Schulstufe

Die Kompetenzpunkte liegen auf einer Skala, die von 80 bis 220 reicht und einen Mittelwert von 150 hat (vgl. Abb. 27 oben).

4. Schulstufe

Die Kompetenzpunkte liegen auf einer Skala, die von 80 bis 220 reicht und einen veränderlichen Mittelwert hat. Der Mittelwert der 4. Schulstufe hängt dabei immer vom Lernfortschritt zur vorangegangenen 3. Schulstufe ab. Das heißt, eine sehr leistungsstarke Kohorte kann einen wesentlich höheren Mittelwert erzielen, eine schwächere Kohorte auch einen niedrigeren. Die Mittelwerte der 4. Schulstufe werden jedes Jahr mit den aktuellen Daten neu berechnet. 

Wie werden Kompetenzpunkte berechnet?

Kompetenzpunkte werden folgendermaßen gewonnen: Die Rohwerte aller Aufgaben­hefte (= die Punkte, die die Schülerinnen und Schüler in den jeweiligen Heften erreichen konnten und tatsächlich erreicht haben), werden durch ein mathematisches Verfahren (ein Item-Response-Theorie-Modell, sog. Rasch-Modell) gemeinsam verrechnet. Eine der Voraussetzungen dafür ist, dass die Merkmale (z. B. die gemessenen Kompetenzen) in einer bestimmten Weise verteilt sind (normalverteilt). Wie viele andere Merkmale (Körpergröße, Intelligenz usw.) folgt auch die Kompetenz einer sogenannten "Normalverteilung". Im Rasch-Modell wird angenommen, dass eine Person mit einer bestimmten Fähigkeit eine Aufgabe einer bestimmten Schwierigkeit mit einer bestimmten Wahrscheinlichkeit lösen kann. Diese Wahrscheinlichkeit kann berechnet werden.

Nach der Berechnung liegen die Kompetenzpunkte auf einem Kontinuum mit null als Mittelwert. Der Großteil der Punkte liegt zwischen –3 und +3. Da diese Skala in der Praxis unhandlich ist und die Hälfte der Werte negativ sind, wird sie – vergleichbar mit der Transformation von Grad Celsius in Fahrenheit – in die Skala der Kompetenzpunkte umgewandelt. Bei dieser Umwandlung bleibt die Verteilung gleich, nur die Skala ändert sich, und es werden keine negativen Werte mehr angezeigt. Der Mittelwert der gewählten Skala liegt bei 150 (3. Schulstufe). Die Standardabweichung beträgt 20 Punkte. Angezeigt werden alle Werte zwischen 80 und 220 Punkten, darüber und darunter wird abgeschnitten und die Werte 80 bzw. 220 angezeigt.

Durch diese Berechnung wird dafür gesorgt, dass kleinere Unterschiede in den Schwierigkeiten der Aufgabenhefte ausgeglichen werden. Der Mittelwert in jedem Heft ist über alle Heftformen hinweg gleich interpretierbar. Das heißt, es gibt nur einen Österreich-Mittelwert (anders als bei den Aufgabenpunkten).

Kompetenzpunkte in den Bonusmodulen

Die Referenzwerte in den Bereichen Deutsch (Sprachbetrachtung) und Deutsch (Verfassen von Texten, Teilkomponenten) ergeben sich nicht aus der Kalibrierungsdurchführung. Für die Referenzwerte der Bonusmodule wurden Daten der Pilotierung 2023 herangezogen.

Das heißt, wenn Schülerinnen und Schüler im Bonusmodul Deutsch (Verfassen von Texten, Teilkomponenten) alle Aufgaben richtig lösen, können sie 209 Punkte erreichen. In den meisten anderen Modulen führen lauter richtige Antworten zu 220 Punkten.

Kompetenzpunkte im Zyklusmodul Deutsch (Zuhören)

Im Zyklusmodul Deutsch (Zuhören) konnten 2024 maximal 200 Punkte erreicht werden. Das heißt, dass eine Schülerin/ein Schüler mit 200 Punkten in Deutsch (Zuhören) das bestmögliche Ergebnis erreicht hat. (Hinweis: In den Grafiken wird die Skala trotzdem von 80 bis 220 eingezeichnet).

Im mittleren Leistungsbereich misst die iKM^PLUS Deutsch (Zuhören) am genauesten. Im obersten Leistungsbereich kann in Deutsch (Zuhören) ab dem Wert von 200 Punkten (betrifft ca. 0,5 % der Schülerinnen und Schüler) nicht mehr so trennscharf gemessen werden. Vergleiche auf der Ebene Schülerin/Schüler und Klasse/Unterrichtsgruppe sind auf Basis der Kompetenzpunkte jedoch gesichert möglich.

Aufgabenpunkte

Da alle Schülerinnen und Schüler einer Klasse/Unterrichtsgruppe dasselbe Heft bearbeiten, ist es ausreichend, die erreichten Punkte der gelösten Aufgaben rückzumelden. Außerdem stehen für jeden Teilbereich pro Schülerin bzw. Schüler verhältnismäßig wenige Informationen zur Verfügung, weswegen es nicht immer sinnvoll ist, durch die Aufgabenbearbeitung auf eine dahinterliegende Kompetenz zu schließen.

Der niedrigste Punktwert ist null, der höchste ist durch die im jeweiligen Testheft erreichbare Anzahl an Rohpunktwerten festgelegt (vgl. ⟶ Abb. 27). Um dieses Vorgehen den Schülerinnen und Schülern ver­ständlich darstellen zu können, wurden diese Punkte "Aufgabenpunkte" genannt, denn für jede Aufgabe kann man einen Punkt bekommen. Alle Aufgabenpunkte zusammen ergeben somit nicht den Kompetenzpunktwert. Da nicht mit allen Heften die gleiche Anzahl an Rohpunktwerten erreicht werden kann, können diese Ergebnisse nur innerhalb der Klasse ver­glichen werden beziehungsweise mit den Ergebnissen anderer Klassen, die dasselbe Heft bearbeitet haben.

Der in den Rückmeldungen angegebene Österreich-Wert der Aufgabenpunkte bezieht sich nur auf die jeweilige Heftform, d. h., es gibt bei den Auf­gabenpunkten so viele Österreich-Werte wie Heftformen.

Weiterführende Literatur:

Um diesen Text kurz zu halten, wird hier nicht näher auf die Mathematik hinter dem Rasch-Modell eingegangen. Formeln und weiterführende Literatur zum Rasch-Modell generell können z. B. in Wikipedia nachgeschlagen werden, Stichwort: Rasch-Modell. Konkret auf die Verfahren der Bildungsstandardüberprüfung Bezug nehmend stehen derzeit folgende Publikationen zur Verfügung:

• Trendtel, M. (2015). Skalierung der Leistungsdaten und Linking zur Baseline-Erhebung. Technische Dokumentation – BIST-Ü Mathematik, 4. Schulstufe, 2013. Salzburg: BIFIE. Link
• Trendtel, M., Pham, G. & Yanagida, T. (2016). Skalierung und Linking. In S. Breit & C. Schreiner (Hrsg.), Large-Scale Assessment mit R. Methodische Grundlagen der österreichischen Bildungsstandardüberprüfung (S. 185–224). Wien: facultas. Link

Zur Übersicht des Glossars