Häufig gestellte Fragen zu ICILS

Für die Gesamtkonzeption und Koordination der Studie ICILS ICILS (International Computer and Information Literacy Study) ist die Forschungsgemeinschaft International Association for the Evaluation of Educational Achievement (IEA) verantwortlich. Die IEA ist eine internationale, unabhängige Vereinigung von Forschungseinrichtungen und Wissenschaftlerinnen und Wissenschaftlern, deren gemeinsames Ziel es ist, Bildung weltweit zu erforschen und zu verbessern. In Österreich wurde die Studie vom Bundeministerium für Bildung, Wissenschaft und Forschung (BMBWF) in Auftrag gegeben.

Die Durchführung internationaler Kompetenzerhebungen gehört zu den Kernaufgaben des Instituts des Bundes für Qualitätssicherung im österreichischen Schulwesen (IQS). Unterstützt werden Wissenschaftlerinnen und Wissenschaftler am IQS durch nationale Expertinnen und Experten.

ICILS findet international seit 2013 alle fünf Jahre statt. Österreich beteiligt sich im Frühjahr 2023 zum ersten Mal.

Der kompetente Umgang mit neuen Technologien und digitalen Informationen in den Lebens- und Arbeitsbereichen gewinnt immer mehr an Bedeutung. ICILS widmet sich deshalb der Frage, wie gut Schülerinnen und Schüler auf Studieren, Arbeiten und Leben in einer digitalen Welt vorbereitet sind. ICILS dient der standardisierten Messung der computer- und informationsbezogenen Kompetenzen (Computer and Information Literacy) von Schülerinnen und Schülern auf der 8. Schulstufe. Seit 2018 werden optional auch Kompetenzen im Bereich von Computational Thinking erhoben. Die Teilnahme an ICILS liefert den Ländern zuverlässige und international vergleichbare Daten über die Entwicklung der digitalen Kompetenzen junger Menschen im 21. Jahrhundert. Die Studie ist dabei ausschließlich an aggregierten Ergebnissen und Indikatoren interessiert.

Neben den Daten der Kompetenzerhebung werden auf unterschiedlichen Ebenen (Schülerinnen und Schüler, Lehrkräfte, Schulleitung sowie IT-Koordinatorinnen und IT-Koordinatoren) Hintergrundinformationen erhoben. Auf diese Weise können die gewonnen Daten der Kompetenzerhebung kontextspezifisch analysiert werden.

Die Ergebnisse der Studie dienen den Bildungsverantwortlichen der teilnehmenden Länder als Grundlage für schulpolitische Entscheidungen. Der direkte Vergleich dieser Ergebnisse mit denen anderer teilnehmender Länder erlaubt eine Beurteilung von Stärken und Schwächen im Bildungssystem. Durch die Teilnahme zahlreicher Länder – darunter auch viele EU-Länder- ist es möglich, Ergebnisse international und auf EU-Ebene zu vergleichen. Daraus können Schlüsse gezogen werden, in welchen Bereichen es noch Maßnahmen braucht und in welchen Bereichen Österreichs Schülerinnen und Schüler bereits gut vorbereitet sind.

ICILS 2023 fand in Österreich im Frühjahr 2023 statt. Die ersten Ergebnisse werden Ende 2024 veröffentlicht.

An ICILS 2023 nahmen 34 Länder weltweit teil. Die ICILS Zielgruppe umfasst Schülerinnen und Schüler der 8. Schulstufe. In Österreich wurden etwa 3.400 Schülerinnen und Schüler der entsprechenden Schulstufe aus 154 Schulen getestet. Die Auswahl der Schulen erfolgt nach internationalen Vorgaben mittels einer Zufallsziehung. Innerhalb der Schulen werden bis zu zwei Klassen ebenfalls zufällig ausgewählt. Auch die Schulleitung, die IT-Koordinatorin bzw. der IT-Koordinator sowie Lehrpersonen der entsprechenden Schulstufe sind beteiligt.

ICILS erfasst computer- und informationsbezogene Kompetenzen (Computer and Information Literacy). Dieser Kompetenzbereich umfasst die Fähigkeit, mit digitalen Medien zu recherchieren, zu gestalten und zu kommunizieren sowie Informationen zu nutzen und zu bewerten, um am gesellschaftlichen Leben in einer digitalen Welt erfolgreich teilzuhaben.

Ebenso werden Kompetenzen im Bereich Computational Thinking erhoben. Hier steht das Lösen von Problemen durch die Entwicklung von Algorithmen oder Programmen im Fokus.

Mittels Fragebögen für Schülerinnen und Schüler, Lehrpersonen und Schulleitungen sowie IT-Koordinatorinnen und IT-Koordinatoren werden wichtige Kontextinformationen erhoben, die in Zusammenhang mit den Kompetenzen der Schülerinnen und Schüler stehen (z. B. demografische Daten, Nutzung von digitalen Medien im privaten und im schulischen Umfeld, schulische Ausstattung mit digitalen Medien etc.).

Um ICILS an der Schule reibungslos vorbereiten und durchführen zu können, ernennt jede Schule eine Schulkoordinatorin bzw. einen Schulkoordinator. Diese bzw. dieser dient als Kontaktperson zwischen der Schule und dem IQS und koordiniert an der Schule die Durchführung von ICILS anhand der vom IQS bereitgestellten Anleitungen. Insbesondere unterstützt die Schulkoordinatorin bzw. der Schulkoordinator das IQS bei der Identifizierung der teilnehmenden Klassen, Lehrkräfte und Schülerinnen und Schüler der Schule und stellt die Verteilung der benötigten Materialen sicher.

Die Testung an den Schulen führen externe Testleiterinnen und Testleiter durch, die vom IQS vorab geschult werden. Da die Teilnahme für die Schülerinnen und Schüler verpflichtend ist, sind sie für diese Zeit vom Unterricht im unbedingt erforderlichen Ausmaß befreit.

ICILS findet ausschließlich am Computer statt. Dabei werden entweder Computer der Schule oder zur Verfügung gestellte Laptops verwendet. Die gesamte Testdurchführung (inkl. Pausen) dauert etwa 3,5 Stunden. Nach einer Begrüßung und Einleitung durch die Testleiterin bzw. den Testleiter, folgt im ersten Teil die Bearbeitung jener Aufgaben, welche die computer- und informationsbezogenen Kompetenzen erheben. Dafür stehen den Schülerinnen und Schülern 2 x 30 min mit einer kurzen Pause dazwischen zur Verfügung. Nach einer weiteren kurzen Pause bearbeiten die Schülerinnen und Schüler einen Fragebogen (30 min). Im Anschluss an eine längere Pause erfolgt die Bearbeitung der Aufgaben zu Computational Thinking, für diese haben die Schülerinnen und Schüler 2 x 25 min Zeit.

Nein, eine Vorbereitung auf die Aufgaben ist nicht vorgesehen.

Die Mitwirkung von Schülerinnen und Schülern an der Erhebung ist nach § 4 Abs. 1 IQS-Gesetz (BGBl. I Nr. 50/2019 i. d. g. F.) verpflichtend und befreit von der Teilnahme am Unterricht im unbedingt erforderlichen Ausmaß.

Ob ein Nachtest notwendig ist, hängt von der Anzahl der anwesenden Schülerinnen und Schülern in der Klasse am Testtag ab:

• Nein, die Testung muss nicht nachgeholt werden, wenn weniger als oder genau 10 % der Schülerinnen und Schüler der Klasse gefehlt haben.
   
• Ja, fehlende Schülerinnen und Schüler holen die Testung nach, wenn am Testtag mehr als 10 % der Klasse gefehlt haben. In diesem Fall wird ein Nachtesttermin bekannt gegeben. Fehlende Schülerinnen und Schüler einer anderen Testklasse müssen im Fall eines Nachtests ebenso mitgetestet werden, auch wenn in dieser Klasse kein Nachtest erforderlich ist. Ein Nachtest findet nur bei einer Mindestzahl von zwei Schülerinnen/Schülern statt.

In einer international vergleichenden Studie wie ICILS muss ein besonderes Augenmerk auf alle Aspekte der Qualität und der fairen Vergleichbarkeit gelegt werden. Dies betrifft die internationale Konstruktion der Erhebungsinstrumente, die Übersetzungsprozeduren, die korrekte Auswahl der Schulen und Schülerinnen und Schüler, den kontrollierten Testablauf an den Schulen sowie die sorgfältige Eingabe und Auswertung der erhobenen Daten.

Dazu wird von der IEA ein umfassendes Qualitätsmonitoring durchgeführt, wie beispielsweise eine internationale Kontrolle der Übersetzungen, internationale Kontrolle der Testung durch Qualitätsbeobachterinnen und Qualitätsbeobachter sowie strenge Kontrollprozesse bei der Bewertung der offenen Antworten der Schülerinnen und Schüler, bei der Dateneingabe und der Erstellung der nationalen Datenbasis.

Darüber hinaus werden auch am IQS umfassende Qualitätssicherungsmaßnahmen durchgeführt. Besonderes Augenmerk wird dabei auf die Schulung der externen Testleiterinnen und Testleiter sowie auf die nationale Evaluierung der Testdurchführungen gelegt, um zu einer hohen Erhebungsqualität zu gelangen.

Auch die Bewertungen der von den Schülerinnen und Schülern selbst formulierten Antworten verlangt international ein kongruentes, präzises und faires Vorgehen durch alle Bewerterinnen und Bewerter, um zu aussagekräftigen Daten zu gelangen. Schulungen zur Anwendung der Bewertungsrichtlinien werden am IQS durch Mitarbeiterinnen und Mitarbeiter durchgeführt.

Von allen Beteiligten werden ausschließlich pseudonymisierte Daten erhoben. Das IQS erhält zu keinem Zeitpunkt die Namen der Schülerinnen und Schüler sowie der Lehrpersonen. Die Daten sind somit nicht auf bestimmte Personen rückführbar.

Das IQS hält sich sowohl an in der EU geltende Datenschutzbestimmungen als auch an jene der IEA. Analyse und Berichterstattung beziehen sich niemals auf individuelle Daten einzelner Personen. Das Interesse gilt ausschließlich den aggregierten Ergebnissen und Indikatoren, die den Bildungsverantwortlichen als wichtige Entscheidungsgrundlage für eine faktenbasierte Qualitätsentwicklung dienen sollen.

Die Daten einzelner Schülerinnen und Schüler oder bestimmter Schulen werden nicht ausgewertet oder gar veröffentlicht. Darüber hinaus sind alle Mitarbeiterinnen und Mitarbeiter des IQS zur Amtsverschwiegenheit verpflichtet (§ 46 BDG). Das IQS pflegt einen sorgfältigen und datenschutzkonformen Umgang mit Daten.

Nationale Koordination

IQS – Institut des Bundes für Qualitätssicherung im österreichischen Schulwesen

Referat 1/2 − Internationale Studien
Mag.^a Magdalena Rölz, BSc
Dr.ⁱⁿ Iris Höller
(Nationale Projektkoordinatorinnen ICILS 2023)
Alpenstraße 121, 5020 Salzburg
T: +43 662 62 00 88-3401 (Hotline)
E-Mail: icils@iqs.gv.at

Ansprechperson im Bundesministerium für Bildung, Wissenschaft und Forschung (BMBWF)

Bundesministerium für Bildung, Wissenschaft und Forschung
Abt. III/4
Dr. Mark Német
Minoritenplatz 5, 1014 Wien
E-Mail: mark.nemet@bmbwf.gv.at

Internationale Koordination

IEA – International Association for the Evaluation of Educational Achievement
Keizersgracht 311 / 1016 EE Amsterdam
The Netherlands
E-Mail: secretariat@iea.nl