Evaluation der Neuen Mittelschule (2008–2015)

Während der gesamten Entwicklungsphase der Neuen Mittelschule (NMS) erfolgte eine enge wissenschaftliche Begleitung der Modellschulen durch ein Evaluationsteam. Ziel dieser Begleitung war es, nach vier Jahren Laufzeit Hinweise auf Stärken und Schwächen der Modellversuche zu gewinnen, die Wirkungen der NMS auf die Schüler/innen darzustellen und insgesamt Befunde zu Erfolg oder gegebenenfalls Misserfolg der Schulversuche festzuhalten. Das BIFIE (nunmehr IQS) hat dazu mit maßgeblichen Experten ein Konzept mit drei Teilprojekten der Evaluation entwickelt und die Daten in den Jahren 2008 bis 2013 erhoben und aufbereitet.

Mit der zusammenfassenden Analyse der Daten wurde ein Konsortium unter der Leitung von Ferdinand Eder beauftragt. Mitglieder dieses Konsortiums waren Johann Bacher, Herbert Altrichter (beide Uni Linz), Franz Hofmann (School of Education, Salzburg) und Christoph Weber (PH Oberösterreich). Zur Beratung dieses Konsortiums und zur Qualitätssicherung der Analysen wurde ein Evaluationsbeirat eingerichtet, der neben einem Vertreter des BIFIE (nunmehr IQS, Erich Svecnik) und Entsandten des Wissenschaftlichen Beirats des BIFIE (Helmut Fend, Hans Schachl) aus den Experten Kai Maaz (DIPF – Deutsches Institut für Internationale Pädagogische Forschung, Frankfurt/Main), Jan Hochweber (Pädagogische Hochschule St. Gallen, DIPF), Norbert Maritzen (IfBQ – Institut für Bildungsmonitoring und Qualitätsentwicklung, Hamburg) und Werner Specht (ehem. BIFIE) sowie einem Vertreter des BMBF (Helmut Bachmann) als Beobachter bestand.

Teilprojekte der Evaluation der Neuen Mittelschule

Um den komplexen und vielfältigen Fragestellungen, die im Zusammenhang mit der NMS interessieren, gerecht zu werden, wurde ein umfassendes Evaluationskonzept erstellt. Dieses Gesamtkonzept ist in drei verschiedene Teilprojekte gegliedert, die sich in Methodik und Vorgehensweisen unterscheiden und jeweils andere Teilziele im Sinne des Gesamtziels verfolgen.

Um den Evaluationsfragestellungen datenbasiert auf den Grund gehen zu können, wurde das BIFIE (nunmehr IQS) beauftragt, eine externe Evaluation der NMS durchzuführen.

Das Evaluationsteam hatte folgende Aufträge:

1. Analyse der Ausgangssituation, Definition von Vergleichsgruppen, Festlegung der Ziele, Einbeziehung der Bildungsstandards,
2. Untersuchung und zusammenfassende Dokumentation der Stärken und Schwächen der pädagogischen Konzepte (z. B. unterschiedliche Förderung für unterschiedliche Fähigkeiten, regelmäßige Leistungsrückmeldungen, Zusammenarbeit der Lehrer/innen in Teams etc.),
3. Rückmeldung der gewonnenen Erkenntnisse an die Entscheidungsträger/innen.

Es ging darum, anhand von klaren Kriterien den Nutzen der NMS zu analysieren und darüber hinaus möglichst viele Befunde im Hinblick auf die pädagogisch reichhaltige Gestaltung der Sekundarstufe I zu sammeln, aufzubereiten und die Ergebnisse sowohl für die Bildungspolitik als auch für andere Schulen zugänglich zu machen.

Die NMS-Steuergruppe bestand von 2008 bis 2013 unter der Leitung von Erich Svecnik (BIFIE, nunmehr IQS) aus Ferdinand Eder (Universität Salzburg), Helmut Fend (Wissenschaftlicher Beirat des BIFIE), Günter Haider (BIFIE), Angelika Petrovic (BIFIE, nunmehr IQS) und Werner Specht.

Metaanalyse aller Forschungsbefunde zur Neuen Mittelschule

Im Modellprojekt NMS fiel im Laufe des Entwicklungsprozesses eine Vielzahl an Daten und Forschungsergebnissen an. Neben den vom BIFIE initiierten Begleitforschungsprojekten nutzten auch andere Forschungseinrichtungen die Gelegenheit, ihre Kompetenzen in dieses groß angelegte Entwicklungsprojekt einzubringen und Erkenntnisse zu speziellen Fragestellungen zu gewinnen.

Die synoptische Aufarbeitung aller Ergebnisse der Begleitforschung und der verdichteten Ergebnisse lokaler Evaluationen wurde vom BIFIE (nunmehr IQS) in einem eigenen Teilprojekt Metaanalyse geleistet. Innerhalb dieses Teilprojekts sammelten und sichteten die Mitglieder des Evaluationsteams die verfügbare Evidenz.

Kooperative wissenschaftliche Begleitforschung

In diesem Teilprojekt wurden gemeinsam mit den Projektverantwortlichen und den Evaluationsinstanzen in den Bundesländern Strategien entworfen und Forschungsaktivitäten durchgeführt, die dem Bedürfnis nach laufender Information über den Ablauf des Projekts sowohl in den Ländern als auch im BMB entgegenkommen. Das BIFIE (nunmehr IQS) legte auf die bundeseinheitlichen Kriterien für die Projektziele sein besonderes Augenmerk.

Im Rahmen dieses Teilprojekts wurde vom BIFIE ein bundesweiter Evaluationsverbund installiert. Der Verbund setzte sich aus je einer Vertreterin/einem Vertreter pro Bundesland zusammen, welche/r mit den Evaluationsvorhaben der jeweiligen Länder vertraut war und als Bindeglied zwischen den bundesweiten und den länderspezifischen Vorhaben fungieren konnte. Die Vertreter/innen waren entweder Angehörige der Landesschulbehörden oder einer Pädagogischen Hochschule. Der Verbund tagte ein- bis zweimal im Semester und hatte neben der Vernetzung und dem Informationsaustausch die Aufgabe, gemeinsame Untersuchungen zu planen und durchzuführen.

Die Themen dieser kontinuierlichen Untersuchungen folgten den zentralen Zielen und Entwicklungsfeldern der NMS. Die Ergebnisse standen unmittelbar nach Auswertung zur Feinsteuerung des Modellversuchs zur Verfügung und sind im Materialienbereich dieser Website (siehe Berichtlegung unten) zugänglich.

Kompetenzentwicklung und Bildungsverläufe

Im Mittelpunkt dieses Teilprojekts stand die Fragestellung, ob und inwieweit sich fachliche und überfachliche Kompetenzen der Schüler/innen in den Schulen des Modellprojekts anders entwickeln und Schulkarrieren anders verlaufen als in konventionellen Schulen. Daneben sollten Stärken und Schwächen unterschiedlicher Modellrealisierungen im Hinblick auf die vermittelten Kompetenzen untersucht werden. Der Erhebung wichtiger Kontextbedingungen und Lernvoraussetzungen der Schüler/innen kam dabei besondere Bedeutung zu, um konkurrierende bzw. sich ergänzende Erklärungsansätze zur Kompetenzentwicklung verfolgen zu können.

Die Untersuchung war sowohl längs- als auch querschnittlich angelegt und bezog sich auf die ersten beiden Generationen von NMS-Schülerinnen und -schülern.

Eingangserhebung

In der ersten Klasse der NMS wurden wichtige Lernvoraussetzungen erhoben. Diese Schüler/innen wurden in einem echten Längsschnitt bis in die 4. Klasse begleitet und in ihrem letzten Schuljahr innerhalb der NMS mit den Instrumenten zur Überprüfung der Bildungsstandards sowie mit ergänzenden Instrumenten zur Erfassung überfachlicher Kompetenzen und schulbezogener Einstellungen und Verhaltensweisen getestet.

Vergleichsgruppenerhebung

Im ersten Jahrgang der NMS wurden in den 4. Klassen, die also die NMS noch nicht durchlaufen hatten, Kurzformen der Bildungsstandardtests sowie ergänzende Instrumente zur Erfassung überfachlicher Kompetenzen und schulbezogener Einstellungen und Verhaltensweisen vorgegeben. Die Ergebnisse wurden mit denen der 4. Klassen der NMS-Standorte in den Schuljahren 2011/12 und 2012/13, also den ersten Jahrgängen, die die NMS voll durchlaufen haben, verglichen.

Schlusserhebung

Am Ende der Sekundarstufe I wurden die ersten NMS-Schüler/innen, nachdem sie die NMS vier Jahre lang besucht hatten, mit den weitgehend identischen Instrumenten wie die Vergleichsgruppen getestet. Im Jahr 2012 wurden auch die ersten flächendeckenden Überprüfungen der Bildungsstandards durchgeführt. Daran nahmen alle Klassen der 8. Schulstufe teil, auch jene der NMS. Daraus ergab sich die Möglichkeit, die 4. Klassen der NMS mit allen anderen 4. Klassen des Systems zu vergleichen.

Berichtlegung

Aus den Teilprojekten wurden Zwischenberichte erstellt und veröffentlich, die jeweils spezifische Themen (z. B. Teamarbeit an den Schulstandorten oder Rolle der Lerndesigner) in den Fokus nahmen (vgl. Materialienbereich). Im Februar 2015 wurde ein abschließender Gesamtbericht veröffentlicht (Eder et al. 2015), in dem ein Überblick über das Konzept der Neuen Mittelschule (NMS), seine Implementierung und seine bildungspolitische Positionierung sowie die methodische Konzeption der Evaluierung dargestellt wurden. Daran anschließend wurden die konkreten Ergebnisse des Projekts präsentiert, die sich auf "neue Lernkultur", fachlichen Leistungen, überfachliche Kompetenzen sowie die Förderung spezifischer Schülergruppen (Leistungsstärkere und Leistungsschwächere, Schüler/innen mit nichtdeutscher Alltagssprache, Kinder mit unterschiedlichen familiären Hintergründen) und die Einbettung der NMS in ihr gesellschaftliches Umfeld beziehen.