「N=500 集めたのに、分析してみたらターゲットの人がほとんど混ざっていない」——リサーチの現場で、いまだに繰り返される事故です。原因の8割は スクリーニング設問(SC)の設計ミス。にもかかわらず、SC は「本調査の前置き」と軽く見られがちで、本気で設計されないまま走ってしまうケースを業界記事でもよく見ます。
この記事では、スクリーニング設問の 基本構造・代表的な失敗パターン・設計手順・出現率(IR)とタームの考え方・運用上の鉄則 を整理します。アンケートを真面目にやるなら避けて通れない領域なので、運用目線で 何を絶対に外すと事故るか を中心に書きます。
1. スクリーニング設問とは何か
スクリーニング設問(SC: Screening Questions、または「事前選別質問」)は、本調査に進む前に 回答者が調査対象(ターゲット)に該当するかを確認する ための設問群です。条件に合わない回答者はその時点で調査を終了させ、該当者のみが本調査(本問・MQ: Main Questions)に進みます。
役割
- 対象者の絞り込み — ターゲット属性(年代・性別・利用経験など)の確認
- タームへの割付 — セル単位の目標数達成の管理
- コスト最適化 — パネル調査では非該当者への謝礼支払いを最小化
- データ品質確保 — ターゲット外の回答が分析を歪めるのを防ぐ
典型的な構造
[SC1] 性別: 男性 / 女性 / その他
[SC2] 年齢: 数値入力(自動で年代を判定)
[SC3] 居住地: 都道府県
[SC4] 過去 3 ヶ月以内に〇〇カテゴリの商品を購入したか: はい / いいえ
[SC5] 購入頻度: 月 1 回以上 / 月 1 回未満 / 購入していない
→ SC4 で「いいえ」、または SC5 で「購入していない」を選んだ人は終了
→ 残った人だけが [本調査 Q1] へ
学術的には、Couper (2008) Designing Effective Web Surveys で、Web アンケートにおけるスクリーニング設問は 「intended population(意図した母集団)」と「achieved sample(実際に集めたサンプル)」のずれを最小化する装置 と位置づけられています。SC が機能しないと、後段の統計分析の前提が崩れます。
2. なぜ SC が重要か — 失敗するとどうなるか
失敗1: ターゲット外が混じってデータが汚れる
「過去半年にカフェを利用した人」を対象にした調査で、SC をユルくしたために、利用経験のない人が「うろ覚えで答える」状態が混入する。統計分析以前に、回答そのものが信頼できなくなる という根本問題です。
AAPOR (American Association for Public Opinion Research) の Standard Definitions では、回答者の eligibility(適格性)確認はサンプリング誤差・カバレッジ誤差を抑える基本要件と定義されており、SC はこの確認の中核を担います。
失敗2: タームが破綻して再回収になる
「20代女性 100 / 30代女性 100 / 40代女性 100」というタームを設定して走らせたら、20代だけ早期に埋まり、40代がいつまで経っても集まらない。追加で40代だけ回収しようとすると、母集団の偏りが二重に発生 します。
失敗3: 出現率(IR)の読み違いで予算が吹き飛ぶ
「サブスク型コーヒー定期便ユーザー」を対象にしたら、想定 IR 10% に対して実際は 2% で、5 倍のコストがかかった——という事故。事前に IR を見積もっていない設計 は、パネル調査では予算事故に直結します。
Pew Research Center の方法論ドキュメント でも、IR 推定とサンプリング設計の連動は調査計画の最重要項目として扱われています。
3. スクリーニング設問の設計手順
実務では、次の 5 ステップで設計するのが基本形です。
ステップ1: 母集団とターゲットの明確化
「誰の意見を、どの統計単位で代表させたいか」を最初に文章化します。例: 「全国の 20〜49 歳女性で、過去 3 ヶ月以内に化粧品をオンラインで購入した人」。この文章が、すべての SC 設問の根拠になります。
ステップ2: 確認したい条件の列挙
ターゲット定義から、SC で確認すべき条件を分解します。
- デモグラ条件 — 性別・年代・居住地・職業・年収など
- 行動条件 — 購入経験・利用頻度・利用期間など
- 態度条件 — カテゴリへの関心・特定ブランドの認知など
ステップ3: 設問順序の決定
順序設計の基本ルールは「粗い→細かい・無害→機微・記憶不要→記憶必要」です。
| 配置順 | 設問例 | 理由 |
|---|---|---|
| 最初 | 性別、年代 | 粗い属性で全体を把握 |
| 中盤 | 居住地、職業 | 中程度の絞り込み |
| 後半 | 利用経験、購入頻度 | 機微・記憶を要する条件 |
| 最後 | 詳細条件 | 該当者のみの追加確認 |
ステップ4: ターム(割付目標数)の設計
セル別の目標回収数を決め、出現率(IR)から所要接触数を逆算します。詳しくは サンプルサイズの決め方 で解説した設計が出発点になります。
ステップ5: パイロット運用
本回収前に少量(N=30〜100)でパイロットを回し、IR の実測値・回答時間・離脱ポイントを確認します。パイロットを省略した SC は、ほぼ確実に本回収で何かしらの事故を起こします。
4. 設計で守るべき 5 つの原則
原則1: 1 設問 1 条件(MECE)
SC では複数の条件を 1 設問にまとめない。「20代女性で、過去 3 ヶ月に化粧品を購入した人」を 1 設問で聞こうとすると、判定ロジックが破綻します。条件ごとに設問を分けて、最後にスキップロジックで判定 します。
原則2: 「該当しない人」を見抜く選択肢を必ず置く
「あてはまるものはない」「購入したことがない」を選択肢に必ず入れる。学術的には、Krosnick (1991) Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys が指摘する satisficing(最小努力回答) の防止につながります。「該当しない」が選びにくいと、回答者は適当に選んで通過してしまう。
原則3: 「現在」と「過去」を明確に区別
「○○を使っていますか?」では、現在使用中なのか過去に使っていたかが曖昧。「現在使用中」「過去 3 ヶ月以内に使用」「過去 1 年以内に使用」「使用したことがない」 のように期間を明示します。
原則4: 機微情報は SC の最後に
年収・健康・宗教・思想などの機微情報は SC の終盤に配置。冒頭で聞くと離脱率が跳ね上がります。
原則5: SC で「正解」を漏らさない
「この調査は○○ユーザーを対象としています」のような前置きは絶対に避ける。該当しない人が「該当する」と回答する誘惑を作る ため、調査の妥当性を根本から崩します。業界では「ターゲット明示は SC の自殺行為」と語られるレベルの基本ルールです。
5. 出現率(IR)とターム設計の数式
タームを破綻させないために、設計段階で次の数式を使います。
必要な接触数の計算
例: 目標回収数 N=500、IR=10%、完答率 80% の場合、必要接触数 = 500 / (0.10 × 0.80) = 6,250。
セル単位の管理
性年代別タームの例:
| セル | 目標 | 推定 IR | 完答率 | 必要接触数 |
|---|---|---|---|---|
| 20代女性 | 100 | 12% | 80% | 1,042 |
| 30代女性 | 100 | 10% | 80% | 1,250 |
| 40代女性 | 100 | 8% | 75% | 1,667 |
| 50代女性 | 100 | 5% | 70% | 2,857 |
セルごとに IR と完答率の見積もりを変えるのが、実務では現実的です。マクロミル や クロス・マーケティング の業界コラムでも、年代別の IR・完答率は明確に異なるという指摘が繰り返されています。
6. 編集部の視点 — SC で必ず効く 5 つの実践
業界記事と公開事例を追ってきた立場から、ここは強めに言っておきたい原則を 5 つ書きます。
1. SC は本調査と同じくらい時間をかけて設計する。 SC は「本調査の前置き」ではなく、調査全体の品質を決める独立した設計領域 です。SC の設計に 30 分しかかけなかったチームが、本調査の集計段階で「ターゲット外混入が多すぎて使えない」と判明する事故を、業界記事では繰り返し見ます。SC に最低 1 時間、できれば 2 時間。 これは投資ではなく、データ品質の必須要件です。
2. 自己申告バイアスを舐めると地獄になる。 「過去 3 ヶ月に購入した」を SC で聞くと、人間は購入時期を 1.5〜2 倍盛る傾向がある ことが行動経済学の研究で繰り返し示されています(Tourangeau et al., 2000)。SC で「過去 3 ヶ月」と聞きたいなら、心理的には「過去 6 ヶ月」を聞いている前提で設計するのが安全です。
3. パイロットを省略した SC は、ほぼ確実に事故る。 N=50 程度の小規模回収で IR と離脱ポイントを確認するだけで、本回収での事故の 7〜8 割は事前に潰せます。パイロット 1 日、設計修正 1 日の合計 2 日で済むのに、省略すると本回収で 1〜2 週間失う。コスト対効果が圧倒的に良いので、絶対に省略しないでください。
4. SC で「うっかり対象外を通す」より「うっかり対象を落とす」方を恐れる。 SC をユルくして対象外が混じると、データ品質が壊れる。SC を厳しくして対象を落とすと、回収コストが上がる。前者の損失(誤った意思決定)の方が圧倒的に大きい ので、迷ったら 厳しめに設計 するのが鉄則です。
5. SC 設問の順番設計を「割付の都合」だけで決めない。 タームの都合で「最初に年代と性別を聞く」のは効率的ですが、機微情報や利用経験を冒頭に置くと離脱率が跳ね上がる。離脱率と割付効率のトレードオフを意識して、全体の通過率最大化 を目的関数に置くのが、業界記事でも繰り返し推奨される設計指針です。
7. アンケートツール Kicue でのスクリーニング運用
Kicue では、スクリーニング運用に必要な機能をすべて標準で備えています。
SCREEN 設問タイプ
SCREEN タイプ は、選択肢ごとに「該当者として通す」「終了させる」を直接設定できる設問タイプです。一般的な SA 設問にスキップロジックを後付けする方式に比べ、設計の意図が明示的で、後からの修正・レビューがしやすくなります。
スキップロジック・表示ロジック
複数の SC 設問の組み合わせで判定したい場合は、スキップロジック と 表示/非表示ロジック を組み合わせます。「SC1 が A AND SC3 が B の場合のみ本調査へ」のような条件設計が可能です。
割付管理(タームのリアルタイム監視)
割付管理機能 で、セル別の目標数とリアルタイムの回収数をモニタリングできます。20代女性が満杯になったら自動で SCREEN OUT、というセル単位の自動制御も設定可能です。
URL パラメータでパネル連携
外部のリサーチパネルから流入する場合、URL パラメータ機能 でパネル ID・性別・年代などを引き継げます。SC で改めて確認しなくても、属性データを保持したまま本調査に流せます。
実装ツールの選び方
スクリーニング設計に必要な 「条件分岐での早期離脱」「セル別の割付管理」「URL パラメータでのパネル連携」 の 3 機能は、ツールごとに対応有無が大きく分かれます。Google Forms は基本的な条件分岐のみで割付管理は手動、Tayori 無料プランは条件分岐自体が有料機能、など。各ツールの対応状況は 無料アンケートツール 8 選比較 で確認してください。
まとめ
スクリーニング設問の設計と運用のチェックポイント:
- SC は本調査の前置きではなく、独立した設計領域 — intended population と achieved sample のずれを防ぐ装置
- 失敗の 8 割は SC の設計ミス — ターゲット外混入・タームの破綻・IR の読み違い
- 5 ステップで設計 — 母集団定義 → 条件列挙 → 順序決定 → ターム設計 → パイロット
- 5 つの原則を守る — 1 設問 1 条件 / 「該当しない」選択肢 / 期間明示 / 機微は後 / 正解漏洩しない
- 必要接触数 = 目標回収数 / (IR × 完答率) — セル別に見積もる
- SC を真面目に設計したチームが、後段の分析で勝つ — ここが調査全体の生命線
「SC で手を抜くチームは、本調査でも分析でも事故を起こす」というのが、リサーチ実務の経験則です。SC を独立した設計対象として扱うか否かが、調査の品質を分ける分岐点 になります。
参考文献 (8件)
学術・方法論
- Couper, M. P. (2008). Designing Effective Web Surveys. Cambridge University Press.
- Krosnick, J. A. (1991). Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys. Applied Cognitive Psychology.
- Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The Psychology of Survey Response. Cambridge University Press.
公的機関・業界規範
- AAPOR (American Association for Public Opinion Research): Standard Definitions.
- Pew Research Center: Our Survey Methodology in Detail.
国内リサーチ会社の公開知見(業界説明として参照)
スクリーニング設問の設計から本調査の集計まで一気通貫で実施できる 無料のアンケートツール Kicue を試してみませんか。SCREEN 設問・スキップロジック・割付管理が標準搭載で、SC の運用がそのまま本調査につながります。
