Häufig gestellte Fragen zu PISA

PISA (Programme for International Student Assessment) dient der standardisierten Messung von Schülerleistungen. Hierbei kooperieren die 38 OECD-Staaten mit zahlreichen Partnerländern mit dem Ziel der Erhebung von Bildungsindikatoren.

Die Ergebnisse aus der Studie dienen den Teilnehmerstaaten als Grundlage von schulpolitischen Entscheidungen sowie zur Einschätzung und Kontrolle der Effektivität des jeweiligen Bildungssystems. Der direkte Vergleich dieser Ergebnisse mit jenen der anderen Teilnehmerstaaten erlaubt eine Beurteilung von Stärken und Schwächen der Bildungssysteme.

Die Erfassung der Schülerleistungen erfolgt seit der ersten Erhebung im Jahr 2000 alle drei Jahre (die für 2021 geplante Durchführung musste aufgrund der weltweiten COVID-19-Pandemie um ein Jahr verschoben werden), wobei zu jedem Erhebungszeitpunkt ein anderer Kompetenzbereich schwerpunktmäßig (mit rund der Hälfte aller Aufgaben) erfasst wird: 2000/2009/2018 Lesen, 2003/2012/2022 Mathematik und 2006/2015/2025 Naturwissenschaft. Darüber hinaus wird bei jeder Erhebung eine vierte innovative Domäne erhoben – 2025 ist diese "Lernen in einer digitalen Welt". Damit ist es einerseits möglich, den Ist-Stand über das Wissen, die Fähigkeiten und die Kompetenzen der Schüler/innen zu erheben, der für die Verantwortlichen des Schulwesens eine Orientierung sein kann. Andererseits lassen sich aus diesen kontinuierlich stattfindenden Erhebungen wertvolle Längsschnittvergleiche über die Leistungsentwicklung gewinnen. Damit wird sichtbar, welche Konsequenzen zwischenzeitlich eingeleitete Änderungen im Bildungssystem haben.

Mithilfe von Fragebögen für Schulleiter/innen und Schüler/innen wird ein breites Spektrum an Hintergrundinformation über den Unterricht, die Lehrkräfte, die Schulen sowie die außerschulische Lebenswelt der Schüler/innen gewonnen.

Der Test wird online (webbasiert) auf digitalen Endgeräten durchgeführt.

Zielgruppe der Untersuchung sind Schüler/innen, die zum Erhebungszeitpunkt 15/16 Jahre alt sind. Diese Art der Zielgruppendefinition wurde gewählt, weil sich Schüler/innen in diesem Alter in fast allen Teilnehmerländern am Ende der Pflichtschulzeit befinden. In Österreich wird eine Zufallsstichprobe von ca. 250 Schulen (aus verschiedenen Schultypen – anteilsmäßig zum Vorkommen in der Grundgesamtheit) ausgewählt. In weiterer Folge werden an jeder ausgewählten PISA-Schule maximal 36 Schüler/innen (ebenfalls zufällig) für die Teilnahme an PISA  ermittelt.

Ziel der Studie ist es, ein möglichst breites Spektrum jener Fähigkeiten zu erfassen, die zur Bewältigung von vielfältigen Aufgaben aus den Bereichen Lesen, Mathematik und Naturwissenschaft nötig sind. Aus diesem Grund steht nicht die Erhebung von Kenntnissen, die im Lehrplan vorgesehen sind, im Vordergrund, sondern die Erfassung von Fähigkeiten, die für eine erfolgreiche Anpassung an veränderte Gegebenheiten erforderlich sind und kontinuierlich über die gesamte Lebensspanne hinweg erworben werden. Das Konzept, das hinter dieser Leitfrage der PISA-Studie steht, ist das Modell des lebenslangen Lernens.

Dieses beschreibt Kompetenzen, die zur Bewältigung des persönlichen und beruflichen Lebens notwendig sind. Wesentlich ist die Frage, inwieweit die Schüler/innen in der Schule in den drei Kompetenzbereichen Lesen, Mathematik und Naturwissenschaft jene Kenntnisse und Fähigkeiten erwerben, die sie später als Erwachsene benötigen werden. Die Kompetenzbereiche werden in den PISA-Frameworks definiert und erläutert. Diese werden mit der Umstellung auf die computerbasierte Testung für die jeweilige Hauptdomäne laufend erweitert und angepasst.

Mit PISA 2018 wurde erstmals auch ein adaptives Testdesign eingeführt. Dabei erhalten die Schüler/innen, je nachdem, ob die vorhergehenden Aufgaben richtig oder falsch beantwortet wurden, in weiterer Folge Aufgaben mit unterschiedlichem Schwierigkeitsgrad.

Die Aufgaben, die die Schüler/innen lösen müssen, setzen sich aus unterschiedlichen Formaten zusammen:

• Es gibt Aufgaben, bei denen aus mehreren vorgegebenen Antworten eine ausgewählt werden muss (Multiple-Choice-Aufgaben).
• Weiters gibt es Aufgaben, bei denen Aussagen bzw. Textteile mit Drag-and-Drop in die richtige Reihenfolge gebracht werden müssen oder im Text ein fehlendes Wort aus einem Drop-down-Menü ausgewählt werden muss.
• Bei Aufgaben, die eine kurze offene Antwort erfordern, müssen die Schüler/innen kurze schriftliche oder numerische Antworten selbst finden und niederschreiben.
• Bei komplexen offenen Aufgaben muss eine umfassende, längere Antwort selbst formuliert, niedergeschrieben und begründet werden.

Darüber hinaus gibt es Aufgaben, bei denen die Schüler/innen zunächst eine Computersimulation durchführen (z. B. Auswirkungen der körperlichen Tätigkeit auf die Atemfrequenz) und dann Fragen zu den Ergebnissen dieser Simulation beantworten.

Neben den Leistungsdaten werden wichtige Kontextinformationen auf Schul- und Schülerebene erhoben. Diese liefern eine detaillierte Grundlage für eine schulpolitisch orientierte Ergebnisanalyse und können zur Erklärung von bestimmten Ergebnissen (z. B. welche Rolle das Geschlecht oder der Sozialstatus der Familie für die Leistungen der Schüler/innen spielt) herangezogen werden. Um solche wichtigen Hintergrunddaten zu erhalten, wird im Anschluss an den Test eine rund 60-minütige Befragung der Schüler/innen (ebenfalls am Computer) durchgeführt.

Darüber hinaus werden wichtige Merkmale der Schule bzw. der Schul- und Unterrichtsorganisation, die einen Einfluss auf die Leistungen der Schüler/innen haben können, in einem Fragebogen für Schulleiter/innen erhoben.

Die Fragebögen werden von einer internationalen Expertengruppe entwickelt. Gewisse Kernfragen in diesen Fragebögen sind in allen Erhebungsjahren enthalten. Variiert werden hingegen die Fragen zum jeweiligen Testschwerpunkt (Lesen, Mathematik oder Naturwissenschaft). Wichtige Themen der Schülerbefragung sind:

• demografische Daten (z. B. Alter, Geschlecht und Migrationshintergrund)
• sozioökonomischer Hintergrund (z. B. Beruf und Schulbildung der Eltern)
• vorhandene und nutzbare Lernressourcen in der Schule und im Elternhaus
• die Einstellungen der Schüler/innen zum Hauptkompetenzbereich (aktuell Naturwissenschaft)
• Fragen zum Unterricht aus Sicht der Schüler/innen
• Computernutzung und Umgang mit elektronischen Medien (internationale Option mit freiwilliger Beteiligung)

Im Schulfragebogen werden u. a. folgende Informationen erhoben:

• Basisdaten zur Schule (Schultyp, Schulgröße, Klassenzahl, Lehrerzahl etc.)
• Informationen über Schulressourcen und Lernumgebung
• Kontext von Unterricht und Erziehung
• Maßnahmen der Qualitätsentwicklung

International

Auf internationaler Ebene hat das OECD-Sekretariat die übergreifende Managementverantwortung für das gesamte Projekt. Wichtige Entscheidungen fallen im PISA Governing Board (PGB), in dem alle Teilnehmerländer vertreten sind. Das PGB legt im Rahmen der Zielsetzung der OECD die politischen Prioritäten fest und überwacht ihre Einhaltung im Verlauf der Implementierung des Programms. Mit der Abwicklung von PISA werden internationale Vertragspartner beauftragt, die für die Realisierung des OECD-Konzepts verantwortlich sind. PISA 2025 wird international von mehreren Vertragspartnern ("Cores") der OECD koordiniert.

Das internationale Management von PISA 2025 obliegt ACER (Australian Council for Educational Research) gemeinsam mit dem OECD-Sekretariat in Paris. ACER arbeitet bei der Umsetzung mit verschiedenen Vertragspartnern zusammen und wird zusätzlich von verschiedenen Expertengruppen unterstützt, die sich aus international renommierten Forscherinnen und Forschern aus verschiedensten Bereichen wie Fachdidaktik, Methodik, Psychologie oder Pädagogik zusammensetzten.

Darüber hinaus gibt es für jeden der drei getesteten Kompetenzbereiche Arbeitsgruppen mit renommierten internationalen Expertinnen und Experten (Subject Matter Expert Groups – SMEG), die gewährleisten, dass sich die politische Zielsetzung von PISA mit den höchsten international verfügbaren fachwissenschaftlichen und verfahrenstechnischen Kompetenzen in den verschiedenen Erhebungsbereichen verbindet. Zur Gewährleistung der technischen Qualität des Projekts wurde die Technical Advisory Group (TAG) eingerichtet, die z. B. für die Überprüfung der Durchführbarkeit der geplanten Stichprobenziehung verantwortlich ist.

Österreich

Die Durchführung internationaler Schülerleistungsstudien ist eine der Kernaufgaben des IQS, das eine dem österreichischen Bundesministerium für Bildung, Wissenschaft und Forschung (BMBWF) nachgeordnete Dienststelle ist und dieses bei der evidenzbasierten Steuerung und Entwicklung des österreichischen Schulwesens unterstützt.

In einer weltweit durchgeführten Studie wie PISA muss ein besonderes Augenmerk auf alle Aspekte der Qualität und der fairen Vergleichbarkeit gelegt werden.

Dies betrifft die internationale Konstruktion der Test- und Befragungsinstrumente, die Übersetzungsprozeduren, die korrekte Auswahl der Schulen und Schüler/innen, den kontrollierten Ablauf des Tests an den Schulen und die sorgfältige Eingabe und Auswertung der erhobenen Daten. Dazu wird von der OECD ein umfassendes Qualitätsmonitoring durchgeführt, wie z. B. die internationale Kontrolle der Testung durch sogenannte PISA Quality Monitors sowie rigorose Kontrollprozesse bei der Eingabe der Daten und bei der Erstellung der nationalen Datenbasis.

Darüber hinaus werden auch am IQS umfassende Qualitätssicherungsmaßnahmen durchgeführt, welche durch die professionelle Erfahrung der Mitarbeiter/innen am IQS unterstützt werden (z. B. langjährige Mitarbeit bei internationalen Studien, Einsatz externer, gut ausgebildeter Testleiter/innen, nationale Überprüfung der Einhaltung der Testprozeduren etc.).

Auch die Bewertungen der von den Schülerinnen und Schülern selbst formulierten Antworten verlangt international ein kongruentes, präzises und faires Vorgehen durch alle Bewerter/innen, um zu aussagekräftigen Daten zu gelangen. Schulungen zur Anwendung der Bewertungsrichtlinien werden am IQS durch Mitarbeiter/innen durchgeführt.

Von allen Beteiligten werden pseudonymisierte Daten erhoben. Das IQS erhält zu keinem Zeitpunkt die Namen der Schüler/innen. Die Daten sind somit nicht auf bestimmte Personen rückführbar.

Das IQS hält sich damit sowohl an die Vorgaben des aktuellen Datenschutzgesetzes als auch an jene der OECD. Alle Mitarbeiter/innen des IQS sind zur Amtsverschwiegenheit verpflichtet (§ 46 BDG).

Analyse und Berichterstattung beziehen sich niemals auf individuelle Leistungsdaten einzelner Personen. Das Interesse gilt ausschließlich aggregierten Daten/Ergebnissen, die den Bildungsverantwortlichen als wichtige Entscheidungsgrundlage für eine faktenbasierte Qualitätsentwicklung dienen.

Die Daten einzelner Schüler/innen oder bestimmter Schulen werden nicht ausgewertet oder gar veröffentlicht. Es werden die Ergebnisse aus den Tests und aus den Fragebögen verarbeitet. Die Daten werden ausschließlich für wissenschaftliche Zwecke verwendet.

IQS – Institut des Bundes für Qualitätssicherung im österreichischen Schulwesen

Referat 1/2 − Internationale Studien
Mag.^a Dr.ⁱⁿ Birgit Lang
Toferer Bettina, BEd MA

Nationale Projektleitung PISA 2025 
Alpenstraße 121, 5020 Salzburg
T +43 662 62 00 88-3110
pisa@iqs.gv.at