M6a Test- und Fragebogenkonstruktion 

Reihenfolge der Items Aufsteigende Schwierigkeit (Leistungstests): Aktualisierungseffekte : Beachten, dass sich zwei Items nicht wechselseitig erschweren oder erleichtern. Konsistenzeffekte : wenn Probanden »stimmige« Antworten auf Items geben, von denen sie vermuten, dass sie das gleiche Merkmal erfassen. Vorbeugung bzw. Kontrolle durch : Pufferaufgaben einstreuen, mit denen man die Messintention verschleiern kann. Randomisierung Mischen von Items aus verschiedenen Subtests ausdrücklich empfohlen Instruktion(Testanweisung) und Layout soll die Probanden zur Mitarbeit animieren und klare Handlungsanweisungen enthalten. Erläuterung des Antwortmodus enthalten und zumindest ein Beispielitem und eine Beispielantwort. Anonymität Pflicht Testkonstrukteur: Hinweis auf Anonymität bei der Testauswertung explizit formulieren Pflicht Proband : spontan und wahrheitsgetreu antworten und keine Aufgaben auszulassen demographische Angaben können erhoben werden, müssen aber nicht! üblich ist die Erfassung von Alter, Geschlecht, Schulbildung und Beruf. Diese Variablen sollten aber nur dann erfasst werden, wenn sie relevant für die untersuchte Fragestellung sein können. Layout äußere Gestaltung der Testanweisung und des Testmaterials sprachlich und optisch ansprechend & an die Zielgruppe angepasst sein. Zusammenstellung des Tests Das interessierende Merkmal sollte eindimensional erfasst werden. Die Aufgaben sollten sich in ihrer Schwierigkeit unterscheiden und so möglichst viele Ausprägungsgrade des Merkmals repräsentieren. Items sollten trennscharf sein, d. h. sie sollten Personen mit starker Merkmalsausprägung von Personen mit schwächerer Merkmalsausprägung möglichst eindeutig unterscheiden können. Die Formulierung der Items und ihre Anzahl sollten eine zuverlässige (reliable) Erfassung des interessierenden Merkmals ermöglichen. Formulierung eindeutiger Richtlinien, damit die Objektivität gewährleistet ist. Erprobung der vorläufigen Testversion Retrospektive Befragung Probanden nach Problemen in der Bearbeitung befragen Positiv: einfachste und zeitlich effektivste Erprobungmethode Negativ: es kann nicht immer an alle problematischen Aufgabenstellungen erinnert werden oder nicht in der Lage, Gedankenabläufe bei problembehafteten Aufgaben adäquat zu formulieren oder diese überhaupt bewusst zu erkennen. Debriefing Durchführung von Interviews Positiv: Probleme erörtert, die von den Testleitern beobachtet wurden Negativ: keine standardisierten Instrumente zur Beurteilung der Testqualität —> hängt somit vom Testleiter ab , was (welche Probleme) in der Sitzung besprochen wird und was nicht. Verhaltenskodierung - behavior coding als Ergänzung oder als Alternative zum Debriefing Dritte Person beobachtet Testsituation und analysiert, ob und wann sich der Testleiter oder der Proband nicht instruktionsgemäß oder erwartungsgemäß verhalten haben. Kognitives Vortesten/ Lautes Denken - cognitive pretesting/ think aloud Testleiter ist an Gedanken, die dem Probanden während der Testbearbeitung durch den Kopf gehen, interessiert. Testleiter liest Items vor und bittet die Probanden, alle Überlegungen, die zur Beantwortung der Frage führen, zu formulieren. Positiv: liefert Einsichten in die Art und Weise, wie jedes Item verstanden wird und in die Strategien , welche zur Bearbeitung angewendet werden. leichte Aufdeckung von Verständnis- und Interpretationsschwierigkeiten & Problemen bei der Anwendung Negativ: aufwendig durch Itemanalyse