Screening-Fragen designen — nur die richtigen Befragten passieren lassen

„Wir haben N=500 gesammelt, in der Auswertung war aber kaum jemand wirklich aus unserer Zielgruppe" — eine selbstverschuldete Katastrophe, die regelmäßig vorkommt. Acht von zehn Mal liegt die eigentliche Ursache in einem schlecht gestalteten Screening-Abschnitt (SC). Trotzdem wird das Screening als Aufwärmen vor dem Hauptfragebogen behandelt und bekommt selten die Zeit, die es verdient — ein Muster, das Branchenartikel immer wieder benennen.

Dieser Artikel zeigt, wie Screening-Fragen tatsächlich designt werden sollten: Grundstruktur, typische Fehlerbilder, fünfstufiger Designprozess, die Mathematik hinter Inzidenzrate (IR) und Quoten und die Regeln, die im Betrieb nicht übersprungen werden dürfen. Wer quantitative Forschung ernst nimmt, findet hier den Designteil, der leise darüber entscheidet, ob die Daten überhaupt analysefähig sind.

1. Was Screening-Fragen sind

Screening-Fragen (SC) sind der Frageblock vor dem Hauptfragebogen, der prüft, ob die Befragten zur Zielpopulation gehören. Nicht qualifizierte Befragte werden sofort beendet; nur qualifizierte Befragte gelangen in den Hauptfragebogen (MQ).

Aufgaben des Screenings

Auf die Zielgruppe einengen — bestätigt Demografie, Verhalten, Einstellungen
Quoten zuordnen — verwaltet zellgenaue Abschlussziele
Kosten optimieren — in Panelstudien werden Auszahlungen an Nicht-Qualifizierte minimiert
Datenqualität schützen — verhindert, dass Off-Target-Antworten die Analyse verfälschen

Typische Struktur

[SC1] Geschlecht: männlich / weiblich / divers
[SC2] Alter: numerische Eingabe (automatisch in Altersbänder)
[SC3] Bundesland / Region
[SC4] Haben Sie in den letzten 3 Monaten ein Produkt der Kategorie X gekauft? Ja / Nein
[SC5] Kauffrequenz: mindestens monatlich / seltener / nie

→ Wer SC4 mit „Nein" oder SC5 mit „nie" beantwortet, wird beendet
→ Qualifizierte Befragte gehen weiter zu [MQ Q1]

Akademisch beschreibt Couper (2008) Designing Effective Web Surveys das Screening als den Mechanismus, der die Lücke zwischen „intended population" und „achieved sample" minimiert. Wenn das Screening versagt, fallen mit ihm die Annahmen jeder nachgelagerten Statistik.

2. Warum Screening zählt — was bei Versagen passiert

Fehler 1: Off-Target-Befragte verunreinigen die Daten

Sie wollen „Personen, die in den letzten 6 Monaten ein Café besucht haben" befragen, lockern den Screener und enden mit Leuten, die aus vagem Gedächtnis raten. Noch vor jeder statistischen Analyse sind die Antworten selbst nicht mehr verlässlich.

Die Standard Definitions der AAPOR definieren die Eligibilitätsprüfung als grundlegende Anforderung zur Begrenzung von Stichproben- und Coverage-Fehlern — und der SC führt genau diese Prüfung aus.

Fehler 2: Quoten kollabieren und es muss nachgefeldet werden

Sie setzen Quoten „100 Frauen 20er / 100 30er / 100 40er", starten, die 20er-Zelle füllt sich sofort, die 40er-Zelle wird nie voll. Wer nur die 40er nachfeldet, häuft Bias auf Bias.

Fehler 3: Falsch geschätzter IR vernichtet das Budget

Sie zielen auf „Nutzer eines Kaffee-Abos" mit angenommenem IR von 10 %, der echte IR ist 2 % — und die Kosten verfünffachen sich. Ohne IR-Schätzung im Vorfeld laufen Panel-Projekte regelmäßig in Budgetdesaster.

Die Methodik-Dokumentation des Pew Research Center behandelt IR-Schätzung und Stichprobendesign als einen einzigen Planungsschritt.

3. Fünfstufiger Designprozess

Die Praxis hat sich auf fünf Schritte eingependelt.

Schritt 1: Population und Zielgruppe präzise definieren

Schreiben Sie in einem Satz, wen Sie repräsentieren wollen: z. B. „Frauen in Deutschland zwischen 20 und 49, die in den letzten 3 Monaten online Kosmetik gekauft haben." Jede SC-Frage rechtfertigt sich gegen diesen Satz.

Schritt 2: Zu prüfende Bedingungen aufzählen

Zerlegen Sie den Zielsatz in prüfbare Bedingungen:

Demografie — Geschlecht, Alter, Region, Beruf, Einkommen
Verhalten — Kauf, Nutzung, Frequenz, Recency
Einstellung — Kategorieinteresse, Markenbekanntheit

Schritt 3: Fragen reihenfolgen

Standard-Heuristik: breit → eng, harmlos → sensibel, leicht abrufbar → erinnerungslastig.

Position	Beispiel	Warum
Anfang	Geschlecht, Alter	Grobe Attribute auf der gesamten Stichprobe
Mitte	Region, Beruf	Mittlere Filter
Später	Nutzung, Kauffrequenz	Sensibel oder erinnerungsintensiv
Ende	Detailbedingungen	Letzte Prüfungen nur für Qualifizierte

Schritt 4: Quoten gestalten

Setzen Sie Zellziele und rechnen Sie aus dem IR die nötigen Kontakte zurück. Unser Leitfaden zur Bestimmung der Stichprobengröße liefert den Input für den Screener.

Schritt 5: Pilot vor dem Live-Gang

Vor dem Hauptfeld einen kleinen Pilot (N=30–100). Messen Sie tatsächliche IR, Bearbeitungszeit, Abbruchstellen. Der Verzicht auf den Piloten garantiert praktisch, dass im Hauptfeld ein Problem auftaucht, das in einem Tag entdeckbar gewesen wäre.

4. Fünf Regeln für die SC-Gestaltung

Regel 1: eine Bedingung pro Frage (MECE)

Komprimieren Sie nicht mehrere Bedingungen in eine Frage. „Sind Sie eine Frau in den 20ern, die in den letzten 3 Monaten Kosmetik gekauft hat?" macht die Routinglogik unmöglich. Bedingungen einzeln stellen und in Skip-Logik kombinieren.

Regel 2: immer eine „Nichts davon"-Antwort einbauen

„Nichts davon" oder „Habe nichts davon gekauft" als explizite Option. Krosnick (1991) Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys zeigt, dass Befragte ohne diesen Ausstieg zu Satisficing neigen — sie wählen etwas Plausibles und rutschen am Screener vorbei.

Regel 3: „aktuell" und „in der Vergangenheit" trennen

„Nutzen Sie Produkt X?" ist zwischen aktueller und vergangener Nutzung mehrdeutig. Explizite Zeitfenster verwenden: „aktuell in Verwendung", „in den letzten 3 Monaten genutzt", „in den letzten 12 Monaten genutzt", „nie genutzt".

Regel 4: sensible Items ans Ende des SC

Einkommen, Gesundheit, Religion, politische Überzeugung — gehören ans Ende des Screeners, nicht an den Anfang. Vorne platziert lassen sie die Abbruchquote sprunghaft steigen.

Regel 5: die „richtige Antwort" nicht verraten

Niemals mit „Diese Studie richtet sich an Nutzer von Produkt X" einleiten. Das schafft den Anreiz, dass Nicht-Qualifizierte sich qualifiziert nennen, und zerstört die Validität an der Wurzel. In der Branche wird das als selbstverschuldete Wunde beschrieben — auf diesem Grundlagen-Niveau.

5. Die Mathematik: Inzidenzrate und Quotendesign

Verwenden Sie diese Formel im Design, damit die Quoten nicht zusammenbrechen.

Notwendige Kontakte

\text{Notwendige Kontakte} = \frac{\text{Ziel-Completes}}{\text{IR} \times \text{Abschlussquote}}

Beispiel: 500 Ziel-Completes, IR 10 %, Abschlussquote 80 % → 500 / (0,10 × 0,80) = 6.250 Kontakte.

Zellgenaue Steuerung

Typischer Quotenplan Geschlecht × Altersband:

Zelle	Ziel	Geschätzter IR	Abschlussquote	Notwendige Kontakte
Frauen, 20er	100	12 %	80 %	1.042
Frauen, 30er	100	10 %	80 %	1.250
Frauen, 40er	100	8 %	75 %	1.667
Frauen, 50er	100	5 %	70 %	2.857

IR und Abschlussquote pro Zelle unterschiedlich anzusetzen, ist normal — die Benchmarks von Centiment und Pollfish beobachten wiederholt, dass ältere Zellen sowohl niedrigere IR als auch niedrigere Abschlussquoten haben.

6. Redaktioneller Blick — fünf Regeln, die wirklich Wirkung zeigen

Aus dem Verfolgen von Branchenberichten und öffentlichen Cases — fünf Punkte, auf die wir mit Nachdruck pochen würden.

1. Investieren Sie in den SC so viel Zeit wie in den Hauptfragebogen. Der SC ist kein Aufwärmen — er ist eine eigene Designdisziplin, die entscheidet, ob der Rest des Projekts zu retten ist. Teams, die 30 Minuten in den SC steckten und in der Auswertung blindgesehen wurden, tauchen in Branchenartikeln immer wieder auf. Mindestens eine Stunde, idealerweise zwei. Das ist keine Investition; es ist Voraussetzung für brauchbare Daten.

2. Unterschätzen Sie Selbstauskunfts-Bias nicht — er macht Sie fertig. Wenn Sie „in den letzten 3 Monaten" fragen, neigt das menschliche Gedächtnis dazu, das Recency-Fenster um den Faktor 1,5 bis 2 aufzublasen — ein Befund, der in der Survey-Response-Forschung immer wieder repliziert wurde (Tourangeau et al., 2000). Wenn Ihr Screener „letzte 3 Monate" sagt, planen Sie so, als würden Sie effektiv „letzte 6 Monate" fragen.

3. Den Piloten zu skippen, kostet eine Woche. Ein Pilot mit N=50 fängt 70–80 % der Probleme ab, die sonst das Hauptfeld sprengen würden. Ein Tag Pilot, ein Tag Korrektur — zwei Tage. Ohne Pilot verlieren Sie ein bis zwei Wochen Nacharbeit. Der ROI ist so einseitig, dass es keinerlei Rechtfertigung für das Skippen gibt.

4. „Falsch qualifiziert" mehr fürchten als „falsch nicht-qualifiziert". Ein lockerer SC lässt Nicht-Zielgruppe durch und korrumpiert die Daten. Ein strenger SC schließt einige Zielgruppen aus und treibt die Kosten. Der erste Fehlerfall ist um Größenordnungen teurer — falsche Entscheidungen kosten ein Vielfaches der Recruiting-Kosten. Im Zweifel strenger screenen, nicht lockerer.

5. Die SC-Reihenfolge nicht nur aus Quoten-Bequemlichkeit setzen. Geschlecht und Alter oben zu fragen ist routingeffizient. Aber sensible oder erinnerungsintensive Items oben hochjagen die Abbruchquote. Optimieren Sie die Gesamt-Abschlussquote, nicht die Routing-Effizienz des Screeners selbst. Dieser Trade-off taucht aus gutem Grund in fast jedem methodischen Leitfaden auf.

7. Screening im Umfrage-Tool Kicue

Kicue bringt alles für ernsthaften Screening-Betrieb mit.

Fragetyp SCREEN

Der SCREEN-Typ erlaubt es, jede Option direkt als „Qualifiziert" oder „Beenden" zu markieren. Klarer als Skip-Logik auf eine generische SA-Frage zu schrauben, und einfacher zu reviewen und nachzubessern.

Skip- und Anzeigelogik

Wenn die Qualifikation an Kombinationen aus SC-Fragen hängt, kombinieren Sie Skip-Logik und Anzeigelogik. Bedingungen wie „Weiter nur, wenn SC1 = A AND SC3 = B" lassen sich klar formulieren.

Quoten mit Echtzeit-Monitoring

Das Quotenmodul verfolgt Zellziele gegen Live-Completes. Erreicht eine Zelle (z. B. Frauen 20er) ihr Ziel, kann das System weitere Qualifizierte in dieser Zelle automatisch ausscreenen.

URL-Parameter für Panel-Übergabe

Kommt Traffic aus einem externen Panel, übernehmen URL-Parameter Panel-ID, Geschlecht, Altersband und weitere bereits geprüfte Attribute — kein erneutes Abfragen im SC nötig.

Das richtige Tool wählen — Free-Plan-Grenzen, Verzweigungs-Support, KI-Fähigkeiten und CSV-Export variieren stark zwischen Tools. Siehe unseren Vergleich kostenloser Umfrage-Tools, um das passende für diesen Ansatz zu finden.

Zusammenfassung

Checkliste für Design und Betrieb von Screening-Fragen:

Der SC ist kein Aufwärmen, sondern eine eigene Designdomäne. Er minimiert die Lücke zwischen intended und achieved sample.
Acht von zehn Fehlern entstehen im SC — Off-Target-Leakage, Quotenkollaps, IR-Fehleinschätzung.
Fünf Schritte: Population definieren → Bedingungen aufzählen → Reihenfolge → Quoten → Pilot.
Fünf Regeln: eine Bedingung pro Frage, immer „Nichts davon", aktuell vs. vergangen trennen, sensibles ans Ende, niemals die richtige Antwort verraten.
Notwendige Kontakte = Ziel-Completes / (IR × Abschlussquote) — pro Zelle geschätzt.
Teams, die den SC ernst nehmen, gewinnen in der Auswertung. Er ist die Lebensader des gesamten Projekts.

Im Verfolgen von Branchenberichten gilt: „Teams, die im SC sparen, sparen auch in der Auswertung." Ob der Screener als eigenständiges Designobjekt behandelt wird, ist der Punkt, an dem sich die Umfragequalität entscheidet.

Literatur

Akademisch und methodisch

Couper, M. P. (2008). Designing Effective Web Surveys. Cambridge University Press.
Krosnick, J. A. (1991). Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys. Applied Cognitive Psychology.
Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The Psychology of Survey Response. Cambridge University Press.

Standardisierungs- und Methodikinstitutionen

Anbieter-Benchmarks (als Branchenbeobachtung behandelt)

Wer gescreente Umfragen end-to-end designen und ausspielen will, probiert das kostenlose Umfrage-Tool Kicue. SCREEN-Fragetyp, Skip-Logik und Echtzeit-Quotenverwaltung sind Standard, sodass Ihr Screening-Design direkt in die Auswertung mündet.