결론부터 말하면, 웹 설문은 '응답 시간 5분·문항 수 약 15문항'을 상한 기준으로 잡고, 거기서 목적과 직결되지 않는 문항을 덜어내는 것이 정답입니다. 이유는 단순합니다. 문항 수가 늘어날수록 응답률도 응답의 질도 떨어지기 때문입니다. "모처럼이니까 다 물어보자"가 데이터를 망치는 가장 큰 원인입니다.
다만 '15문항'은 어디까지나 출발점이고, 최적의 수는 조사의 목적·응답자의 동기·배포 채널에 따라 달라집니다. 이 글에서는 내 설문의 문항 수를 정하는 5단계 를, 각 단계의 "여기서 많은 사람이 실패합니다" 주의점과 함께 해설합니다.
왜 문항 수가 늘어나면 실패하는가
문항 수와 응답률·품질의 관계는 여러 연구에서 반복적으로 확인되어 왔습니다. Galesic & Bosnjak (2009) 의 웹 조사 실험에서는, 제시된 설문이 길수록 시작률·완료율이 낮아지고, 뒤로 갈수록 응답이 거칠어진다(응답 시간이 짧아지고, 선택지의 내용을 읽지 않게 된다)는 점이 확인되었습니다.
발생하는 문제는 2가지입니다.
- 양의 문제(이탈): 길면 끝까지 답해 주지 않습니다. 중도 이탈이 늘고, 회수 수가 줄어듭니다
- 질의 문제(대충 응답): 뒤로 갈수록 "일단 가운데", "전부 같은 선택지" 같은 스트레이트라이닝(straight-lining) 응답이 늘어납니다
즉 문항을 늘릴수록 모이는 데이터는 '적고·거칠어진다'. 이것이 "다 물어보자"가 역효과를 내는 구조입니다. 그렇다면 몇 문항으로 해야 할까——5단계로 정해 봅니다.
Step 1: 조사의 '의사결정'에서 역산한다
문항 수를 정하기 전에, "이 조사의 결과로 무엇을 정할 것인가" 를 한 문장으로 적습니다. 문항은 그 의사결정에 필요한 것만 남깁니다.
- ❌ "고객을 폭넓게 알고 싶다" → 끝없이 문항이 늘어난다
- ⭕ "다음 신기능을 A안 / B안 중 어느 쪽으로 할지 정한다" → 필요한 문항이 좁혀진다
여기서 많은 사람이 실패합니다: 목적이 "알고 싶다"에 그치면, 문항이 무한히 늘어납니다. "있으면 재미있을" 문항을 전부 넣어 버립니다. "이 문항의 답으로 행동이 바뀌는가?" 를 한 문항씩 물어, 바뀌지 않는 문항은 덜어냅니다. 이것만으로 많은 설문은 길이가 절반이 됩니다.
Step 2: 문항을 '필수·선택·불필요'로 분류한다
추려낸 문항 후보를 3가지로 나눕니다.
- 필수: Step 1 의 의사결정에 직접 쓰는 문항
- 선택: 있으면 분석이 깊어지지만, 없어도 의사결정은 가능한 문항
- 불필요: "혹시 몰라서", "언젠가 쓸지도"의 문항 → 덜어낸다
필수만으로 구성하고, 응답 시간에 여유가 있으면 선택을 조금 더합니다. 이 순서를 지킵니다.
여기서 많은 사람이 실패합니다: 속성 문항(나이·성별·직업……)을 반사적으로 대량으로 넣는 것입니다. 교차 집계에서 쓰지 않는 속성은 분석을 복잡하게 만들 뿐입니다. 실제로 교차 집계할 축만 으로 좁히세요. 속성의 과다 투입은 이탈의 전형적인 원인입니다.
Step 3: 응답 시간으로 상한을 긋는다 (5분·15문항 기준)
문항 수는 '문항 개수'보다 '응답 시간' 으로 생각하는 편이 정확합니다. 문항 유형에 따라 소요 시간이 크게 다르기 때문입니다.
- 단일 응답(SA): 1문항당 약 10〜15초
- 주관식 문항: 1문항당 약 30〜60초(부담 큼)
- 행렬형 문항(매트릭스): 1그리드로 여러 문항분의 부담
기준으로, 응답 시간 5분·단순 문항 환산으로 약 15문항 을 상한으로 설계합니다. 이를 넘으면 Step 2 로 돌아가 덜어내거나, 조사를 분할합니다.
여기서 많은 사람이 실패합니다: 행렬형 문항을 '1문항'으로 세는 것입니다. 5항목×7단계의 매트릭스는, 체감으로는 5문항분의 부담입니다. 매트릭스의 남용은 인지 부하와 스트레이트라이닝 응답을 부릅니다. 자세히는 행렬형 문항의 설계와 함정 에서.
Step 4: 배포 채널과 디바이스로 조정한다
같은 15문항이라도, 누구에게·어디서 답하게 하는가 에 따라 적절한 길이는 달라집니다.
- 모바일 응답이 중심 → 더 짧게. 스크롤과 작은 화면으로 이탈이 빠르다
- 패널 조사(사례비 있음·응답에 익숙한 층) → 다소 길어도 완주되기 쉽다
- 자사 고객 대상 요청(동기가 높음) → 중간 정도까지 허용된다
- 콜드 리스트·첫 접촉 → 최대한 짧게
Deutskens et al. (2004) 는, 응답자의 동기나 사례비 설계가 응답률·품질에 영향을 준다는 점을 실험적으로 보여 줍니다. "누구에게 묻는가"를 무시한 일률적인 길이 설정은 위험 합니다.
여기서 많은 사람이 실패합니다: PC 로 설계해 문제없다고 판단하고, 스마트폰에서의 보이는 방식·길이 체감을 확인하지 않는 것입니다. 이제 설문 응답의 상당수가 스마트폰입니다. 스마트폰을 전제로 한 길이로 조정합시다. 자세히는 모바일 설문 설계 가이드 에서.
Step 5: 체감 길이를 '안내문·진행 표시·분기'로 줄인다
실제 문항 수를 줄일 수 없을 때는, "길다"는 체감을 줄이는 궁리가 효과적입니다.
- 안내문에서 소요 시간을 명시: "약 3분·10문항"이라고 먼저 알리면, 마음의 준비가 되어 이탈이 줄어든다
- 진행 표시줄을 표시: "거의 다 왔다"가 보이면 완주율이 올라간다
- 분기 로직으로 나눠서 노출: 모두에게 모든 문항을 보여 주지 않고, 해당자에게만 관련 문항을 노출한다. 이로써 "나와 상관없는 문항"의 체감 부담을 없앨 수 있다
여기서 많은 사람이 실패합니다: 모두에게 모든 문항을 보여 주는 것입니다. 분기를 쓰면, 1인당 체감 문항 수를 크게 줄일 수 있습니다. 안내문 작성법은 설문 안내문·감사문 작성 가이드, 분기 설계는 설문 분기 로직 완전 가이드 에서.
편집부의 관점 — 문항 수에서 정말로 효과 있는 3가지
업계 사례와 실무 담당자의 목소리를 꾸준히 추적하는 입장에서, 문항 수에서 반드시 효과를 내는 3가지.
1. '혹시 몰라서 문항'을 하나 덜어낼 때마다 회수 수가 늘어난다
문항을 하나 덜어내는 판단은, 회수 수를 하나 늘리는 판단과 거의 같은 뜻 입니다. "혹시 몰라서", "언젠가 쓸지도"로 더한 문항은, 거의 확실하게 쓰이지 않은 채 이탈만 늘립니다. 덜어내는 용기가, 결과적으로 데이터 양을 늘립니다.
2. 길게 만들 수밖에 없다면, 중요한 문항을 앞에 둔다
연구에서도 확인되듯, 뒤로 갈수록 응답 품질이 떨어집니다. 아무래도 길어진다면, 의사결정에 가장 중요한 문항을 앞부분에 배치하세요. 이탈되더라도 주요 데이터는 확보할 수 있습니다. 다만 문항 순서는 응답을 왜곡하기도 하므로 순서 효과와 문항 순서 설계 의 주의점도 함께 읽어 보세요.
3. '짧아서 응답률이 높은' 쪽이, 대개 가치가 높다
"많이 물어서 회수율 20%"보다 "좁혀서 회수율 60%"가, 표본의 편향이 작고 의사결정에 쓸 수 있는 데이터가 됩니다. 문항 수를 늘려 얻은 정보는, 응답률 저하로 인한 편향(답해 준 사람만의 데이터) 으로 상쇄되기 쉽습니다. 길이와 회수율은 트레이드오프라고 자각하고 설계합시다. 응답률 자체를 올리는 궁리는 설문의 응답률을 올리는 10가지 실전 테크닉 에서.
정리 — 문항 수를 정하는 5단계
- 의사결정에서 역산 — "결과로 무엇을 정할지"를 한 문장으로. 행동이 바뀌지 않는 문항은 덜어낸다
- 필수·선택·불필요로 분류 — "혹시 몰라서"는 불필요. 속성은 교차 집계할 축만
- 응답 시간으로 상한 — 5분·약 15문항을 기준으로. 넘으면 덜어내거나 분할
- 채널·디바이스로 조정 — 모바일 중심이면 더 짧게. 동기의 높낮이로 허용량이 달라진다
- 체감을 줄인다 — 소요 시간 명시·진행 표시줄·분기 로직으로 "길다"는 감각을 줄인다
문항 수의 정답은 '목적을 달성할 수 있는 최소의 수' 입니다. 많이 물을수록 좋은 데이터가 얻어지는 것이 아니라, 오히려 그 반대. 덜어내는 판단이야말로, 회수 수와 응답 품질을 지킵니다.
문항 수를 좁힌, 응답하기 쉬운 설문을 만들고 싶은 분은 무료 설문조사 도구 Kicue 를 사용해 보지 않으시겠어요. 조사표 파일을 업로드하기만 하면 AI 가 문항을 자동 생성하고, 분기 로직으로 "해당자에게만 노출하는" 설계나, 진행이 보이는 폼까지 1개 계정으로 만들 수 있습니다. 우선 목적과 직결되는 문항만으로 구성한 짧은 설문부터 시작해 보세요.
참고 문헌
- Galesic, M., & Bosnjak, M. (2009). Effects of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey. Public Opinion Quarterly, 73(2), 349-360.
- Deutskens, E., de Ruyter, K., Wetzels, M., & Oosterveld, P. (2004). Response Rate and Response Quality of Internet-Based Surveys: An Experimental Study. Marketing Letters, 15(1), 21-36.