Logo Qualitäts- und UnterstützungsAgentur

Startseite Bildungsportal NRW

Orientierungsbereich (Sprungmarken)

Methodisches Vorgehen und inhaltliche Überarbeitung des Referenzrahmens

Quantitative Auswertung des Kriteriums Schülerfeedback

Im Rahmen der quantitativen Analyse werden in einem ersten Schritt zunächst die Einschätzungen der Bedeutsamkeit für jede aufschließende Aussage des Kriteriums Schülerfeedback betrachtet.
Das Diagramm der Abbildung 1 zeigt, dass die aufschließenden Aussagen von vielen Teilnehmerinnen und Teilnehmern als wichtig eingeschätzt werden. Jeweils mehr als 70 Prozent messen jeder aufschließenden Aussage große Bedeutsamkeit zu, nur wenige — maximal 8 Prozent — finden, dass die aufschließenden Aussagen nicht wichtig sind. Daran lässt sich erkennen, dass das Kriterium und die dazugehörigen aufschließenden Aussagen von den meisten Teilnehmerinnen und Teilnehmern als wichtiges Element des Referenzrahmens betrachtet werden.

Grafik

Abbildung 1: Bedeutsamkeit des Kriteriums Schülerfeedback und dessen aufschließende Aussagen

In einem nächsten Schritt wird darauf geschaut (Abbildung 2), ob zwischen den rückmeldenden Gruppen Unterschiede existieren. Dazu werden auch die Mittelwerte der einzelnen aufschließenden Aussagen zwischen den Gruppen verglichen (Abbildung 3). Obwohl die Anlage des Beteiligungsverfahrens keine repräsentativen Daten gewinnen lässt und gruppenspezifische Aussagen empirisch nicht belastbar sind, geben die Daten dennoch Hinweise auf spezifische Interessenschwerpunkte derer, die sich an dem Verfahren beteiligt haben. Da der Referenzrahmen nicht nur zur Orientierung für schulische und unterrichtliche Prozesse dienen, sondern auch beispielsweise Eltern Orientierung und Unterstützung in ihrem schulischen Engagement geben soll, sind solche gruppenspezifischen Hinweise für die Überarbeitung des Referenzrahmens im Zusammenspiel mit den kritischen Anmerkungen von Interesse.


Grafik

Abbildung 2: Bedeutsamkeit des Kriteriums Schülerfeedback und dessen aufschließenden Aussagen nach Beteiligungsgruppen (Eltern, Schülerinnen und Schüler, Lehrkräfte, Schulaufsicht) aufgeschlüsselt

Die in Abbildung 2 ausgewiesene Zuordnung ‚keine Rollenangabe‘ ergibt sich aus dem Angebot, den Online-Bearbeitungsprozess jederzeit zu unterbrechen und zu einem späteren Zeitpunkt wieder aufzunehmen. In den hier ausgewiesenen Fällen haben die Beteiligten nicht den hierfür erzeugten Code zur Wiederaufnahme genutzt, sondern sind vermutlich über einen selbst gesetzten „bookmark“ wieder in den Bearbeitungsprozess eingestiegen. Durch dieses Vorgehen wurde ein neuer Datensatz erzeugt und eine Anknüpfung an bis dahin gemachte Eingaben war nicht möglich.

 

Grafik

Abbildung 3: Mittelwertvergleich des Kriteriums Schülerfeedback und dessen aufschließenden Aussagen nach Beteiligungsgruppen (Eltern, Schülerinnen und Schüler, Lehrkräfte, Schulaufsicht) differenziert



Qualitative Analyse der Anmerkungen zum Schülerfeedback

Die nach einem systematischen Analyseverfahren ausgewerteten Anmerkungen der Teilnehmerinnen und Teilnehmer bilden die Basis für den Überarbeitungsprozess des Referenzrahmens. Dieser Prozess hat in dem hier dargestellten Beispiel zu Veränderungen im Kriterium Schülerfeedback geführt. Zur Veranschaulichung wird das Kriterium sowohl in seiner Entwurfsfassung als auch in der Endfassung dargestellt. Die roten Markierungen visualisieren die aufschließenden Aussagen im Kriterium, die ergänzt bzw. verändert wurden.

Grafik

 Abbildung 4: Schülerfeedback in der Entwurfsfassung des Referenzrahmens



Erfassung der Anmerkungen zum Schülerfeedback

Die Abbildungen 5 bis 7 zeigen den Prozess der ersten kategorialen Zuordnung der Anmerkungen im Beteiligungsverfahren. Dazu wird das in den Sozialwissenschaften häufig verwendete Programm „MaxQDA 11“ genutzt (weitere Informationen zum Programm finden sich unter http://www.maxqda.de).
Im oberen linken Fenster der Abbildung befinden sich alle Dokumente, die pro Kriterium und nach den beteiligten Gruppen differenziert eingelesen wurden (Abbildung 5). Im unteren linken Fenster befinden sich die Kategorien, die aus den Anmerkungen entwickelt wurden (Abbildung 6). Im mittleren Fenster sind Ausschnitte der Originaltexte zum Schülerfeedback zu sehen. Im rechten Fenster befinden sich nochmals die Originaltexte, hier bereits mit der Zuordnung in eine Kategorie versehen (Abbildung 7).


Grafik

 Abbildung 5: Eingelesene Dokumente — Screenshots des Bearbeitungsprozesses in der Software MAXQDA

 

Grafik

Abbildung 6: Kategoriensystem — Screenshots des Bearbeitungsprozesses in der Software MAXQDA

 

Grafik

Abbildung 7: Kategorisierte Anmerkungen — Screenshots des Bearbeitungsprozesses in der Software MAXQDA

 

Textbeispiele für Rückmeldungen zum Schülerfeedback in MAXQDA

Nachfolgend sind einige Rückmeldungen von Eltern exemplarisch aufgeführt. Es lässt sich an diesen zufällig ausgewählten Texten erkennen, dass die Rückmeldungen sehr heterogen sind und auf verschiedene Aspekte des Kriteriums abzielen.

Grafik

Abbildung 8: Anmerkungen zum Schülerfeedback am Beispiel von Elternrückmeldungen



Erste Kategorisierung von Textbeispielen zum Schülerfeedback in MAXQDA

In einem ersten Analyseschritt werden im Kontext des jeweiligen Kriteriums die unterschiedlichen Aspekte erfasst und entsprechende Kategorien gebildet, die sich aus den zurückgemeldeten Anmerkungen ableiten lassen (exploratives Vorgehen). In diesem Beispiel lässt sich feststellen, dass sich zum einen Aussagen allgemeinerer Art finden lassen, die sich auf den Aspekt der Unterstützung von Schulen und die Einführung des Referenzrahmens konzentrieren oder Anmerkungen beinhalten, die auf das Online-Beteiligungsverfahren selbst zielen. Ein Teil der Kommentare spricht konkret das jeweilige Kriterium an. Da zu dieser Kategorie in der Regel eine Vielzahl von unterschiedlichen thematischen Anmerkungen zu finden ist, werden weitere Unterkategorien unter der Kategorie „konkrete Hinweise“ eingerichtet.
Nach Durchsicht aller Anmerkungen der Gruppe Eltern ergeben sich die in Abbildung 9 aufgelisteten Kategorien und Unterkategorien. In den nun folgenden Analyseschritten werden nach dem gleichen Prinzip die Anmerkungen der Lehrkräfte, der Schulleitungen, der Schülerinnen und Schüler sowie der Schulaufsicht aufgearbeitet. Ggf. werden Kategorien, die sich aus den Anmerkungen dieser Gruppen ergeben, ergänzt. Nach Durchsicht aller Anmerkungen steht das Kategoriensystem für dieses Kriterium fest.


Grafik 

Abbildung 9: Kategoriensystem für das Schülerfeedback

Zum Schülerfeedback wurden insgesamt 130 Anmerkungen unterschiedlichster Art gegeben. In der Abbildung 9 sind die oben bereits erwähnten vier großen Themen noch einmal visualisiert. Innerhalb der Kategorie „konkrete Hinweise“ lassen sich Anmerkungen zu verschiedenen inhaltlichen Themenbereichen finden und systematisieren. Die in der Abbildung rot eingefärbten Unterkategorien geben einen Überblick über die Verteilung der Anmerkungen zu den einzelnen inhaltlichen Themenbereichen.
Im Weiteren geht es darum, diese Kategorien zu analysieren und für die Überarbeitung des Referenzrahmens nutzbar zu machen.



Sortierung der Anmerkungen innerhalb einer Unterkategorie

Impulse für die Überarbeitung des Referenzrahmens finden sich in der Kategorie „konkrete Hinweise“. Deshalb liegt der Fokus der Analyse zunächst ausschließlich auf dieser Kategorie. Um den weiteren Analyseprozess transparent und nachvollziehbar zu machen, wird das weitere Vorgehen an der Unterkategorie „Voraussetzung für Schülerfeedback“ verdeutlicht. Für den nächsten Verfahrensschritt wird das Textverarbeitungsprogramm Word 2010 verwendet.
Die nachfolgenden Aussagen für die Unterkategorie „Voraussetzungen für Schülerfeedback“ zeigen bereits die wiederum nach Themenschwerpunkten sortierten Aussagen. Da es sich um Originaltexte handelt, erfolgt keine sprachliche Korrektur der nachfolgenden Aussagen. Syntaktische, grammatikalische und orthografische Normabweichungen bleiben erhalten.

Voraussetzungen für SuS-Feedback

Fehlende Kompetenz bei Schülerinnen und Schülern
eltern: Das gemeinsame Auswerten von Schülerfeedbacks mit dem Lehrpersonal ist "Sozialromantik". Schülerinnen und Schüler haben i.d.R. nicht die Kompentenz bzw. das Selbstvertrauen an solchen Punkten gegenüber ihren "Bewertern" die häufig drigend nötige Krirtik anzubringen. Einsolchhes erfahren bietet dem Lehrpersonal zu viel pielraum die Dinge so zu bewerten bzw. zu interpretieren, dass es den eigenen Interessen dienlich ist.
eltern: Sind Schülerinnen und Schüler wirklich in der Lage ein Feedback zu geben ??? Vor allem zu inhaltlichen Punkten ??? Reicht in gewissen Alterstufen die geistige Reife um ein Feeback nicht zum Lehrermobben zu nutzen ???
Müssen Schüler nicht auch lernen, mit unterschiedlichen evtl. auch mal unangenehmen Lehrern umzugehen??? WIe es halt später im normalen Leben auch sein wird ???
eltern: ein qualifiziertes feedback will gelernt sein!

Negative Konsequenzen für Schülerinnen und Schüler / Klima
eltern: Das wird aber teilweise schwierig, dass Schülerinnen und Schüler Kritik an Lehrern äußern, ohne dadurch Probleme zu bekommen!
eltern: Ein sehr lobenswerter Ansatz - sicher nicht einfach umsetzbar, da der Lehrer auch weiterhin Noten verteilt. Es bleibt so ein Wagnis für eine/n Schüler/in, Kritik am Unterrichtstil und den Inhalten zu äußern.
eltern: wichtig: Garantie der Sicherheit für Schüler/innen, dass keine negativen Konsequenzen zu befürchten sind
eltern: All das funktioniert nur in einer angstfreien Umgebung - auch Führungsfeedback in
eltern: Wichtig ist hier das Schülern, dadurch keine Nachteile erwachsen.
eltern: Tja: dies ist ein zweischneidiges Schwert: nicht anonym: u.U.: Lehrer "rächt sich"..., anonym: Schüler könnten sich unter der Gürtellinie äußern. Wenn solch ein Austausch rel. objektiv und ehrlich und ohne Notenkonsequenz machbar wäre, dann: super!
schueler: Schülerfeedback ist bei uns nicht erwünscht und wenn es kommt wird es als persönlicher Angriff auf den Lehrer gesehen, der sich bei der nächsten Benotung dafür durchaus rächen kann. Dies hier schreibt kein demotivierter Schüler, sondern ein Elternteil eines guten Schülers!
schueler: Kein Schüler würde einem Lehrer ins Gesicht sagen was er falsch gemacht hat. Ein Nebeneffekt der Respektgier der Schule.


Bereitschaft der Lehrkräfte Unterricht zu verändern
eltern: Anonymisierte Verfahren des Feedbacks zum Unterricht finde ich sehr wichtig. Allerdings muss dann auch die Bereitschaft auf Lehrerseite bestehen, am eigenen Unterricht etwas zu
verändern. So darf es nicht sein, dass auf der einen Seite ein (nicht anonymes) Feedback gewünscht wird und dann auf der anderen Seite bei einem negativen Feedback "beleidigt" reagiert wird.

Altersabhängigkeit
eltern: Diese Punkte finde ich wichtig aber sind meiner Meinung doch sehr altersabhängig und in einer Grundschule frühestens ab der dritten klasse zu realisieren!
eltern: Für ältere Schüler sicherlich zu überlegen, aber ob das in der GRundschule schon geht?
eltern: Grundschulkinder sind nur begrenzt in der Lage ein qualifiziertes Feedback zu geben.
erw. Schulleitung: Kommt sehr auf die Schulform und das Alter an.

Faire SchülerInnenrückmeldungen / Respekt gegenüber Lehrkräften
eltern: Tja: dies ist ein zweischneidiges Schwert: nicht anonym: u.U.: Lehrer "rächt sich"..., anonym: Schüler könnten sich unter der Gürtellinie äußern. Wenn solch ein Austausch rel. objektiv und ehrlich und ohne Notenkonsequenz machbar wäre, dann: super!
eltern: Eine gute Möglichkeit, den Schüler in seiner Wahrnehmung ernstzunehmen und ihm das Gefühl der Relevanz zu vermitteln; die Ergebnisse und Konsequenzen sollten unbedingt mit den Schülern erarbeitet werden. Lehrer sollten die Chance erhalten, nicht abgestempelt zu werden, sondern als Mitmensch mit vielleicht anderen Zielen und anderer Umgangsform wahrgenommen zu werden.
Lehrer: Feedback von Schülerinenn und Schüler ist nur möglich, wenn diese auch die Lehrer respektvoll behandeln.
Lehrer: Es kommt auf das Alter an. Zunächst einmal gilt: Erst Pflichten dann Rechte. Nicht ständig die Lehrer kritisieren und noch selbstbewussteres bzw. respektloseres Auftreten, sondern erst einmal erkennen: Ich bin Schüler - Kind - der andere ist der Lehrer...
Schulleiter: Ich halte es für wichtig, dass die SuS über eine entsprechende Reife verfügen.
Auch hier gilt das Grundgesetz: Die Würde des Menschen ist unantastbar.
Wenn die SuS damit vertraut sind, Rückmeldung und Kritik so zu äußern, dass sie annehmbar ist ohne verletzend zu wirken, ist dies ein gutes Instrument.
Ich halte es allerdings für ein falsches Signal, wenn es dazu dient, dass SuS eine Lehrkraft ungestraft demontieren können, da sie ja anonym beurteilen.

Angemessenen Rahmen für Feedback herstellen
eltern: Es wäre sehr wünschenswert wenn, die Schüler, sich sowohl zu den Lerninhalten und auch zu den Lehrkräften äussern dürften. Natürlich muss dafür ein guter Rahmen geschaffen werden, damit nicht am Ende der Lehrer von den Schülern gemobbt wird.
erw. Schulleitung: Die Wahl des Verfahrens ist stark von der Lerngruppe selbst abhängig.


Freiwilligkeit
eltern: Feedback soll ein vom Schüler gewolltes und nicht aufgezwungenes Verfahren sein.


SchülerInnen ernst nehmen
eltern: In der Realität wird der Schüler und seine Möglichkeiten nicht ernstgenommen. Personal an Schulen ist oftmals nur "Lehrer " und keinesfells Pädagoge.




Herausarbeitung von Kernaussagen

Nachdem die Themenbereiche herausgearbeitet wurden, geht es in einem weiteren Schritt darum, die redundanten Aussagen zu Kernaussagen zu „verdichten“. Dazu werden die jeweils unter einem Themenbereich stehenden Anmerkungen zu einer prägnanten Aussage zusammengefasst, die eine inhaltliche Relevanz für die Überarbeitung besitzt. Abschließend wird jede Kernaussage mit einer Quellenangabe versehen.

Beispiele für formulierte Kernaussagen:

    1. Schülerinnen und Schüler benötigen ausreichend Kompetenz und Selbstvertrauen, um Lehrkräften ein angemessenes Feedback geben zu können.

(Eltern: 3 Nennungen)

    1. Wenn Schülerinnen und Schüler Lehrkräften Feedback geben, muss dieses in einem angstfreien Klima geschehen und sie müssen vor negativen Konsequenzen geschützt werden.

(Eltern: 6 Nennungen; Schüler: 2 Nennungen)

    1. Bei Lehrkräften muss die Bereitschaft bestehen, am eigenen Unterricht etwas verändern zu wollen.

(Eltern: 1 Nennung)

    1. Schülerfeedback muss altersgerecht und schulformgerecht gestaltet werden.

(erw. SL: 1 Nennung; Eltern: 3 Nennungen)

    1. Schülerfeedback muss fair, fachlich und sachlich und allen Beteiligten gegenüber respektvoll sein.

(Schulleiter: 1 Nennung; Lehrer: 2 Nennungen; Eltern: 2 Nennungen)

    1. Für Schülerfeedback muss es einen für die Lerngruppe und Lehrkraft angemessenen Rahmen geben.

(erw. SL: 1 Nennung; Eltern: 1 Nennung)

    1. Schülerinnen und Schüler müssen ein Feedback wollen.

(Eltern: 1 Nennung)

    1. Die Schülerinnen und Schüler müssen in ihrer Fähigkeit, ein Feedback geben zu können, ernst genommen werden.

(Eltern: 1 Nennung)




Überprüfung und Abgleich des Kriteriums Schülerfeedback und dessen aufschließenden Aussagen mit den Kernaussagen des Analyseprozesses

Im folgenden Schritt werden die Kernaussagen auf fachliche und schulrechtliche Aspekte sowie auf Angemessenheit und praktische Umsetzbarkeit überprüft. Die Kernaussagen, die nach der Überprüfung erhalten bleiben, werden dann mit dem Kriterium und den aufschließenden Aussagen abgeglichen.
Der hier dargestellte Analyseprozess führt zu folgenden Ergebnissen:

    1. Schülerinnen und Schüler benötigen ausreichend Kompetenz und Selbstvertrauen, um Lehrkräften ein angemessenes Feedback geben zu können.

Diese Aussage ist richtig, hat aber auf die Prozessgestaltung, die in diesem Kriterium im Fokus steht, keinen Einfluss. Die überfachlichen Kompetenzen werden im Inhaltsbereich „Ergebnisse und Wirkungen“ in der Dimension „Fachliche und überfachliche Kompetenzen“ berücksichtigt. Diese Aussage erhält somit einen Verweis auf diesen Bereich im Referenzrahmen und dort findet die entsprechende Überprüfung statt, ob diese Kompetenz in der Dimension „Fachliche und überfachliche Kompetenzen“ aufgenommen werden kann.

    1. Wenn Schülerinnen und Schüler Lehrkräften Feedback geben, muss dieses in einem angstfreien Klima geschehen und sie müssen vor negativen Konsequenzen geschützt werden.

Angstfreies Klima ist für ein gutes Feedback eine Grundvoraussetzung. Dieser Aspekt fehlt bisher in den aufschließenden Aussagen des Kriteriums Schülerfeedback und sollte deshalb aufgenommen werden.

    1. Bei Lehrkräften muss die Bereitschaft bestehen, am eigenen Unterricht etwas verändern zu wollen.

Dieser Aspekt wird durch die vierte aufschließende Aussage bereits erfasst und muss deshalb nicht erneut formuliert werden.

    1. Schülerfeedback muss altersgerecht und schulformgerecht gestaltet werden.

Dieser Aspekt ist implizit in der aufschließenden Aussage enthalten. Der Referenzrahmen und seine aufschließenden Aussagen sind generell vor dem Hintergrund der jeweiligen Entwicklungs- und Altersstruktur zu lesen und zu verstehen. Dies beinhaltet auch das grundlegende Verständnis eines schrittweisen Aufbaus und entsprechend gestalteter Förderung der Kompetenzen der Schülerinnen und Schüler. Die Äußerungen verdeutlichen jedoch die Bedeutsamkeit des Einsatzes geeigneter Materialien, insbesondere an Grundschulen, und geben Impulse für die Zusammenstellung von entsprechenden Materialien im Unterstützungsportal.  

    1. Schülerfeedback muss fair, fachlich und sachlich und allen Beteiligten gegenüber respektvoll sein.

Dieser Aspekt findet sich indirekt in der zweiten aufschließenden Aussage. Wenn gemeinsame Verfahren verabredet werden, wird auch darauf geachtet, dass diese Verfahren fair und respektvoll sind. Dennoch ist dies ein wichtiger Hinweis für die Gestaltung des Unterstützungsportals mit Blick auf Informationen und Materialien zum Themenbereich „Schülerfeedback“, insbesondere mit dem in NRW bereits eingeführten Feedbacksystem „SEfU – Schüler als Experten für Unterricht“.

    1. Für Schülerfeedback muss es einen für die Lerngruppe und Lehrkraft angemessenen Rahmen geben.

Dieser Aspekt wird sowohl in der ersten als auch in der zweiten aufschließenden Aussage aufgegriffen und muss deshalb nicht weiter bearbeitet werden.

    1. Schülerinnen und Schüler müssen ein Feedback wollen.

Richtig ist, dass Feedback nicht erzwungen werden kann. Hier kommt es zum einen auf eine angemessene Einführung des Feedbacks durch die Lehrkraft an, zum anderen gilt es zu beachten, dass Ergebnisse ernst genommen werden und zu Veränderungen führen. Dieser Aspekt findet sich indirekt in der aufschließenden Aussage vier wieder. Ansonsten handelt es sich nicht um eine Qualitätsaussage des Referenzrahmens, sondern vielmehr um einen Hinweis für die Ein- und Durchführung von Feedback und die entsprechende Kompetenzentwicklung bei den Schülerinnen und Schülern.

    1. Die Schülerinnen und Schüler müssen in ihrer Fähigkeit, ein Feedback geben zu können, ernst genommen werden.

Diese Aussage findet sich umfassend im Kriterium selbst wieder. Eine Aufnahme in die aufschließenden Aussagen ist nicht notwendig.




Überarbeitung des Kriteriums Schülerfeedback und dessen aufschließenden Aussagen

Im Folgenden ist der Entwurf des Kriteriums Schülerfeedback dargestellt, die Ergänzungen bzw. Überarbeitungen sind rot markiert.

Grafik

Abbildung 10:  Schülerfeedback in der überarbeiteten Fassung des Referenzrahmens

Zum Seitenanfang

© 2019 Qualitäts- und UnterstützungsAgentur - Landesinstitut für Schule - Letzte Änderung: 27.06.2018