Options
Instruktionssensitivität von Testitems in der Pädagogisch-Psychologischen Diagnostik (Forschungsdaten)
Loading...
Resource type
Data Collection
Kind of data
Quantitative data (social science)
Status Research data
Data archived
Recommended form of citation (APA)
Musow, S., Hochweber, J., Hartig, J., & Naumann, A. (2019). Instruktionssensitivität von Testitems in der Pädagogisch-Psychologischen Diagnostik (Forschungsdaten). SWISSUBase.
PHSG Organization name
PHSG project partners (old structure)
PHSG - Institut Kompetenzdiagnostik
Subjects
Fields of Science and Technology (OECD)
Table of contents
InSe Expertenratings
InSe Unterrichtsinhalte/Lernziele im Mathematikunterricht Messzeitpunkte 1 bis 17
InSe Mathetest Unterrichtsqualität Messzeitpunkt 4
InSe Mathetest Unterrichtsqualität Messzeitpunkt 3
InSe Mathetest Unterrichtsqualität Messzeitpunkt 2
InSe Mathetest SuS-Merkmale Messzeitpunkt 1
InSe Unterrichtsinhalte/Lernziele im Mathematikunterricht Messzeitpunkte 1 bis 17
InSe Mathetest Unterrichtsqualität Messzeitpunkt 4
InSe Mathetest Unterrichtsqualität Messzeitpunkt 3
InSe Mathetest Unterrichtsqualität Messzeitpunkt 2
InSe Mathetest SuS-Merkmale Messzeitpunkt 1
Abstract
Ergebnisse von Schüler/innen aus standardisierten Leistungstests werden häufig dazu genutzt, den individuellen Lernstand von Schüler/innen zu erfassen, die Qualität von Schule, Unterricht und anderer pädagogischer Maßnahmen zu beurteilen oder Bildungssysteme auf nationaler und internationaler Ebene zu vergleichen.
Gültige Rückschlüsse über Schule und Unterricht erfordern, dass die Testinstrumente instruktionssensitiv sind, das heisst dazu in der Lage sind, Effekte des Unterrichts abzubilden. Das Projekt baut auf einem von Naumann, Hochweber und Hartig (2014) vorgestellten längsschnittlichen Mehrebenen-Differential-Item-Functioning-Modell (LML-DIF-Modell) zur Untersuchung von Instruktionssensitivität auf. Dieses Modell integriert bestehende Ansätze, indem es sowohl Veränderungen in Schülerleistungen über die Zeit als auch Unterschiede zwischen Schulklassen einbezieht, und es erlaubt die Unterscheidung der globalen und differenziellen Sensitivität von Tests und Items.
Das Projekt verfolgt vier Ziele:
1. die Weiterentwicklung des LML-DIF-Modells
2. die Untersuchung der Qualität und Bedingungen der Parameterschätzung
3. die Validierung von statistischen Indikatoren für Instruktionssensitivität
4. die Entwicklung von Kriterien zur Klassifikation von Instruktionssensitivität auf Test- und Itemebene
Zur Erreichung dieser Ziele werden Simulationsstudien und Sekundäranalysen bestehender Datensätze sowie eine Datenerhebung an Schweizer Schulen (Kanton St. Gallen) durchgeführt. Dabei werden Schulleistungen von Fünftklässler/innen im Bereich Arithmetik zu mehreren Messzeitpunkten erhoben. Parallel dazu werden u.a. Aussagen der Lehrpersonen zu den Unterrichtsinhalten und Experten-Einschätzungen der Testaufgaben zur Nähe zum Unterricht gewonnen.
Gültige Rückschlüsse über Schule und Unterricht erfordern, dass die Testinstrumente instruktionssensitiv sind, das heisst dazu in der Lage sind, Effekte des Unterrichts abzubilden. Das Projekt baut auf einem von Naumann, Hochweber und Hartig (2014) vorgestellten längsschnittlichen Mehrebenen-Differential-Item-Functioning-Modell (LML-DIF-Modell) zur Untersuchung von Instruktionssensitivität auf. Dieses Modell integriert bestehende Ansätze, indem es sowohl Veränderungen in Schülerleistungen über die Zeit als auch Unterschiede zwischen Schulklassen einbezieht, und es erlaubt die Unterscheidung der globalen und differenziellen Sensitivität von Tests und Items.
Das Projekt verfolgt vier Ziele:
1. die Weiterentwicklung des LML-DIF-Modells
2. die Untersuchung der Qualität und Bedingungen der Parameterschätzung
3. die Validierung von statistischen Indikatoren für Instruktionssensitivität
4. die Entwicklung von Kriterien zur Klassifikation von Instruktionssensitivität auf Test- und Itemebene
Zur Erreichung dieser Ziele werden Simulationsstudien und Sekundäranalysen bestehender Datensätze sowie eine Datenerhebung an Schweizer Schulen (Kanton St. Gallen) durchgeführt. Dabei werden Schulleistungen von Fünftklässler/innen im Bereich Arithmetik zu mehreren Messzeitpunkten erhoben. Parallel dazu werden u.a. Aussagen der Lehrpersonen zu den Unterrichtsinhalten und Experten-Einschätzungen der Testaufgaben zur Nähe zum Unterricht gewonnen.
Date of Collection Start
2016
Date of Collection End
2017
Country
Switzerland
Germany
Geographic coverage
Durchführung einer empirischen Studie im Kanton St. Gallen, Schweiz
Sekundäranalysen mit empirischen Daten aus Deutschland:
- Individuelle Förderung und adaptive Lern-Gelegenheiten in der Grundschule (IGEL-Studie, Erhebung im Bundesland Hessen),
- Deutsch- und Englisch Schülerleistungen international (DESI-Studie, Erhebung auf nationaler Ebene)
Sekundäranalysen mit empirischen Daten aus Deutschland:
- Individuelle Förderung und adaptive Lern-Gelegenheiten in der Grundschule (IGEL-Studie, Erhebung im Bundesland Hessen),
- Deutsch- und Englisch Schülerleistungen international (DESI-Studie, Erhebung auf nationaler Ebene)
Universe
SuS: Alle Schulklassen bzw. Schülerinnen und Schüler der 5. Klassenstufe im Kanton St. Gallen.
LPs: Alle Lehrpersonen, die im Kanton St.Gallen in einer 5. Klasse das Fach Mathematik unterrichten.
Expertinnen und Experten: Fachdidaktikerinnen und Fachdidaktiker im Bereich Mathematik, die an einer universitären Einrichtung in der deutschsprachigen Schweiz ein Beschäftigungsverhältnis haben.
LPs: Alle Lehrpersonen, die im Kanton St.Gallen in einer 5. Klasse das Fach Mathematik unterrichten.
Expertinnen und Experten: Fachdidaktikerinnen und Fachdidaktiker im Bereich Mathematik, die an einer universitären Einrichtung in der deutschsprachigen Schweiz ein Beschäftigungsverhältnis haben.
Note on Sampling Procedure
SuS und LPs: Die Rekrutierung der Klassen bzw. Lehrpersonen erfolgte über die Schulleitungen. Alle Schulleitungen der Primarschulen im Kanton St. Gallen wurden per Mail vom Bildungsdepartement (BLD) kontaktiert und über die Studie informiert. Die Schulleitungen wurden gebeten, Lehrpersonen mit einer 5. Klasse im Schuljahr 2016/2017 über das Projekt zu informieren und sie für die Teilnahme an der Studie zu motivieren.
Expertinnen und Experten: Über die Homepages universitärer Einrichtungen wurde eine Liste mit Mathematik-Fachdidaktikerinnen und -Fachdidaktikern in der deutschsprachigen Schweiz erstellt. Aus dieser Liste wurden neun Personen ausgewählt und kontaktiert, die sich insbesondere mit der Aufgaben- und Lehrmittelentwicklung bzw. mit der Konzipierung standardisierter Schulleistungstests intensiv auseinandergesetzt haben.
Expertinnen und Experten: Über die Homepages universitärer Einrichtungen wurde eine Liste mit Mathematik-Fachdidaktikerinnen und -Fachdidaktikern in der deutschsprachigen Schweiz erstellt. Aus dieser Liste wurden neun Personen ausgewählt und kontaktiert, die sich insbesondere mit der Aufgaben- und Lehrmittelentwicklung bzw. mit der Konzipierung standardisierter Schulleistungstests intensiv auseinandergesetzt haben.
Mode of Collection (DDI)
SelfAdministeredQuestionnaire
MeasurementsAndTests.Educational
Note on Mode of Collection
Der methodische Zugang ist primär quantitativ, basierend auf Erhebungsstrategien und Analysetechniken aus der large-scale-Bildungsforschung.
Zur Erreichung der Projektziele wurden Simulationsstudien und Sekundäranalysen bestehender Datensätze sowie eine Datenerhebung an Schweizer Schulen (Kanton St. Gallen) durchgeführt. Dabei wurden Schulleistungen von Fünftklässler/innen im Bereich Arithmetik zu mehreren Messzeitpunkten erhoben. Parallel dazu wurden u.a. Aussagen der Lehrpersonen bzw. der Schüler/-innen zu den Unterrichtsinhalten und zur Unterrichtsqualität erhoben. Zusätzlich wurden Experten-Einschätzungen zur Evaluation der Instruktionssensitivität von Testaufgaben eingeholt.
Zur Erreichung der Projektziele wurden Simulationsstudien und Sekundäranalysen bestehender Datensätze sowie eine Datenerhebung an Schweizer Schulen (Kanton St. Gallen) durchgeführt. Dabei wurden Schulleistungen von Fünftklässler/innen im Bereich Arithmetik zu mehreren Messzeitpunkten erhoben. Parallel dazu wurden u.a. Aussagen der Lehrpersonen bzw. der Schüler/-innen zu den Unterrichtsinhalten und zur Unterrichtsqualität erhoben. Zusätzlich wurden Experten-Einschätzungen zur Evaluation der Instruktionssensitivität von Testaufgaben eingeholt.
Type of (Research) Instrument (DDI)
Questionnaire
Participant tasks
Note on Type of Research Instrument
SuS: Mit den Schüler/innen wurden Mathematiktests durchgeführt. Daneben füllten sie Fragebogen zu den individuellen Lernvoraussetzungen und zu Unterrichtsmerkmalen aus.