Entwicklung und Qualitätssicherung in der iKM^PLUS

Um die Ergebnisse von einzelnen Schülerinnen und Schülern bei der iKM^PLUS österreichweit vergleichen zu können, ist es wichtig, dass die eingesetzten Aufgaben qualitativ hochwertig und die Rahmenbedingungen der Durchführungen vergleichbar sind. Bevor die Aufgaben in der iKM^PLUS zum Einsatz kommen, durchlaufen sie daher von der Entwicklung bis zur Freigabe verschiedene standardisierte Prozesse und Kontrollen. Dieser Vorgang läuft im IQS grundsätzlich für alle angebotenen Testhefte ähnlich ab.

Der Weg, den eine Aufgabe nehmen muss, bevor sie in ein iKM^PLUS-Testheft kommt, beginnt schon sehr lange vor ihrem eigentlichen Einsatz, und zwar mit einer theoretischen Vorstellung davon, was diese Aufgabe messen soll. In jedem Kompetenzbereich liegt dazu ein Testkonstrukt vor, das die theoretische Grundlage der Erhebung bildet und Bereiche definiert, zu denen Aufgaben gestellt werden. Die Testkonstrukte werden vom IQS gemeinsam mit kooperierenden Fachexpertinnen und -experten auf Basis aktueller Forschung entwickelt. Die Konstrukte halten inhaltliche Entscheidungen fest und es stehen dabei folgende Fragen im Vordergrund:

• Wie werden die Kompetenzen definiert, die Schüler/innen erreichen sollen? Was muss ein Kind können, damit man sagt: Du kannst Texte verstehen, die du gelesen hast. Oder: Mit deinen Kompetenzen kannst du mathematische Probleme lösen und du hast eine klare Vorstellung von Zahlen, Maßen und Formen.
• Wie lassen sich die theoretischen Annahmen in Testaufgaben umsetzen? Welche Fragen muss man – in Form von Testaufgaben – stellen, um zu wissen: Ich als Lehrer/in kann mit großer Sicherheit sagen, welche Kinder die entsprechenden Kompetenzniveaus erreichen und welche noch Unterstützung brauchen.

Testkonstrukte haben auch die Funktion, die Vorannahmen und Einschränkungen für die Testaufgabenentwicklung festzuhalten. So gibt es Aspekte, die sich für eine Kompetenzerhebung nicht eignen: Man kann ein Kind zwar fragen, ob bzw. was es gerne liest – messen kann man das allerdings nicht.

Nachdem die theoretische Grundlage geschaffen wurde, beginnt der eigentliche Weg der Aufgabe. Die Aufgabenentwicklung stellt einen langen Prozess dar und dauert von der ersten Entwicklung von Aufgaben bis hin zur Pilotierung von Testheften, d. h. der Erprobung der Aufgaben an ausgewählten Schulen, ca. ein Jahr.

Aufgabenentwicklung

Erstellung

Vor dem Start der Aufgabenentwicklung wird zuerst festgelegt, welche Aufgaben benötigt werden, um das Kompetenzmodell bzw. das Testkonstrukt möglichst konkret abzubilden. Die aus dem Konstrukt stammenden Vorgaben werden dann an die Aufgabenentwicklerinnen und -entwickler vermittelt. Die Aufgabenentwickler/innen sind (österreichische) Lehrerinnen und Lehrer, die vom IQS umfassend geschult werden. Sie bringen ihre Ideen aus dem Unterricht und ihr Wissen aus der Praxis in die Aufgabenentwicklung ein und schlagen Themen und Texte für die Testaufgaben vor. Wichtig ist dabei die Einhaltung einheitlicher Richtlinien und Vorgaben, um die Qualität der Aufgaben sicherzustellen. Der Entwicklungsprozess erfolgt außerdem unter Einhaltung strenger Regelungen zur Verschwiegenheit und Datensicherheit. Für jede Aufgabe müssen dabei viele Entscheidungen getroffen werden, etwa:

• Welche Themen und Texte eignen sich besonders gut, um die Kompetenzen möglichst fair abzudecken?
• Welches Format (z. B. Multiple Choice, Richtig/falsch, Lückentext) eignet sich besonders gut, um eine bestimmte Frage zu stellen?
• Welche Grafiken und Bilder kommen zum Einsatz?
• Eignet sich die Fragestellung für eine Testaufgabe?

Review und Überarbeitung

Sind die ersten Aufgabenentwürfe fertig, werden sie einer Qualitätsprüfung unterzogen, die mehrere Überarbeitungsschleifen beinhalten kann. Alle Aufgaben werden von anderen Aufgabenentwicklerinnen und -entwicklern (Peers) sowie Expertinnen und Experten des IQS und externen Kooperationspartnerinnen und -partnern gesichtet und fachdidaktisch begutachtet. Dabei werden die unterschiedlichen Kriterien (Sprache, Themenwahl, Passung zum Testkonstrukt und zum Lehrplan, Nähe zum Unterricht …) überprüft. In einer oder mehreren Überarbeitungsphasen werden die erhaltenen Kommentare und Vorschläge von den Aufgabenentwicklerinnen und -entwicklern eingearbeitet. Ziel dieses Arbeitsschritts ist es, die Aufgaben so weit zu optimieren, dass sie bereit für die finale Abnahme sind.

Finalisierung

Alle Aufgaben werden von den Fachdidaktikerinnen und Fachdidaktikern des IQS noch einmal inhaltlich und formal geprüft. Dabei werden gegebenenfalls noch kleinere Mängel behoben. Weitere Tätigkeiten in diesem Arbeitsschritt sind die Einholung von Rechten für Originaltexte, Satz, Lektorat & Layout der Aufgaben, Bilderankauf bzw. das Erstellen von Zeichnungen, Tonaufnahmen (für Listening und Zuhören) und das Anlegen der Aufgaben auf der Plattform (auf der Sekundarstufe).

Pilotierung

Nach den Überarbeitungsschleifen und der Finalisierung steht die Pilotierung der Aufgaben an. Dafür werden Pilotierungstesthefte erstellt und von Schülerinnen und Schülern ausgewählter Schulen bearbeitet, noch bevor die Aufgaben in der tatsächlichen Kompetenzmessung eingesetzt werden. Die Ergebnisse und Analysen dieser Pilotierungen liefern Hinweise auf die Eignung und den empirischen Schwierigkeitsgrad der Aufgaben. Wichtige Fragen dabei sind:

• Misst die Aufgabe die Kompetenz, die sie messen soll?
• Kann die Aufgabe Unterschiede zwischen kompetenten und weniger kompetenten Schülerinnen und Schülern zeigen?
• Misst die Aufgabe zuverlässig auch bei einer Wiederholung der Messung?
• Haben manche Schülergruppen Vorteile gegenüber anderen Gruppen (z. B. Burschen und Mädchen)?

Durchführung iKM^PLUS

Nach der Erprobung der Aufgaben in der Pilotierung werden ungeeignete Aufgaben ausgeschlossen. Die verbleibenden Aufgaben werden wiederum zu neuen Testheften zusammengefügt. Dabei fließen die Ergebnisse der Pilotierung in die Erstellung ein – Schwierigkeit, Themenwahl etc. werden bei der Zusammenstellung berücksichtigt. Ziel ist es, dass jedes einzelne Testheft möglichst genau jene Kompetenz misst, die es auch messen soll, z. B. die Lesekompetenz.

Nachbereitung der Erhebung

Nach der Onlinedurchführung mit den Schülerinnen und Schülern werden die Ergebnisse ausgewertet.

Neue Funktionen auf der iKM^PLUS-Plattform bieten Lehrerinnen und Lehrern ab dem Schuljahr 2024/25 mehr Flexibilität und Autonomie bei der Nachbereitung der Erhebung: Auf einer einfach zu bedienenden Benutzeroberfläche bewerten Lehrpersonen nun offene und halboffene Antworten mit wenigen Klicks selbst. Ergebnisrückmeldungen stehen dadurch in der Regel bereits am Folgetag zur Verfügung und können unmittelbar für die Individualförderung, Reflexionsgespräche sowie die Unterrichtsplanung berücksichtigt werden.

Den Lehrerinnen und Lehrern werden Bewertungshinweise zur Verfügung gestellt, welche mit exemplarischen Antworten die Bewertung erleichtern. Für die produktiven Fertigkeiten (z. B. Schreiben) werden im Rahmen des sogenannten Ratings Texte von Schülerinnen und Schülern von geschulten Lehrpersonen (engl. Ratern) nach vorgegebenen Kriterien bewertet. Die dazu verwendeten Bewertungsraster enthalten Kriterien in unterschiedlichen Dimensionen (z. B. in Schreiben: Inhalt, Aufbau …).

Der weitere Weg einer Aufgabe

Nach diesem aufwendigen Prozess der Entwicklung, Erprobung und des Einsatzes ist der Weg mancher Aufgaben noch nicht zu Ende: Sie werden in kommentierten Musteraufgabenpaketen den Lehrerinnen und Lehrern zur Verfügung gestellt.