Die klingt aber so unmotiviert": Zu Rater-Effekten und Rater Bias beim Bewerten von produktiven und interaktiven sprachlichen Fertigkeiten.
Resource type
Lecture
Status
Presented
Recommended form of citation (APA)
Rütti-Joy, O. (2024, April). "Die klingt aber so unmotiviert": Zu Rater-Effekten und Rater Bias beim Bewerten von produktiven und interaktiven sprachlichen Fertigkeiten [Gastvortrag]. Vorlesung «Leistungsbeurteilung im Fremdsprachenunterricht» (FS 24, Thomas Studer). Université de Fribourg, Fribourg.
Author(s)
PHSG Organisation name
Project(s)
Topic PHSG
Sprachliche Bildung
Fields of Science and Technology (OECD)
General language studies
Abstract
Bei der Bewertung von produktiven und interaktiven sprachlichen Leistungen sind o menschliche Bewerterinnen und Bewerter, auch Raterinnen und Rater genannt, beteiligt. Ihre Aufgabe ist es, Sprachleistungen zu beurteilen und davon ausgehend Rückschlüsse auf die zugrundeliegende Sprachkompetenz der Testeilnehmenden zu ziehen. Solche "rater-mediierte" Beurteilungen sind jedoch komplex und kognitiv hoch anspruchsvoll, wodurch subjektive Interpretationen der Raterinnen und Rater kaum ausgeschlossen werden können. Gerade weil solche Beurteilungsprozesse für eine Vielzahl von Fehlern oder Fehlereinflüssen, bzw. Rater-Effekten und Rater Bias anfällig sind, sind sie auch stets umstriten (Eckes, 2011; McNamara, 1996). Die Sicherstellung zuverlässiger und objekver Expertenurteile und die Gewährleistung einer ausreichend hohen psychometrischen Qualität ist ein wesentlicher Bestandteil der Qualitätssicherung jedes "rater-mediierten" Sprachtests, insbesondere bei high-stakes Tests mit hohen Anforderungen und Auswirkungen (Eckes, 2005). Dieser Vortrag befasst sich mit den verschiedenen Rater-Effekten und Rater Bias, diskutiert deren Entstehung und mögliche negative Auswirkungen auf die Testgüte und Fairness von Testresultaten, und präsetiert gängige Methoden wie die Durchführung von Rater Trainings oder Berechnung der Interrater-Reliabilität, die zur Minimierung solcher Effekte eingesetzt werden. Datenbeispiele aus empirischen Studien veranschaulichen diese Phänomene und runden den Vortrag ab.
| Name of the event | Conference Host | Place of the event | Start date of the event |
Vorlesung «Leistungsbeurteilung im Fremdsprachenunterricht» (FS 24, Thomas Studer) | Université de Fribourg | Fribourg | April 2024 |