"매트릭스 문항은 CSAT도 NPS도 브랜드 비교도 다 되는 만능 문항" — 이것이 매트릭스를 자주 쓰는 조직의 전형적인 오해입니다. 확실히 적은 문항 수로 대량의 평가를 모을 수 있다는 점에서 매트릭스는 강력한 도구이지만, 설계를 잘못한 순간 인지 부하가 폭발하고 스트레이트 라인 응답으로 데이터가 쓰레기가 되는 위험을 함께 가지고 있습니다.
이 글에서는 매트릭스 문항의 기본 구조·인지 부하의 구조·스트레이트 라인 응답의 검지와 대책·행렬 사이즈의 최적값·편집부의 현장 운영 룰까지 정리합니다. CSAT/NPS/브랜드 평가에서 반드시 사용하는 문항 형식이라, 무엇을 빼면 데이터 품질이 무너지는가에 초점을 맞춰 씁니다.
1. 매트릭스 문항이란
매트릭스 문항(matrix / grid question battery)은 여러 평가 대상(행)을 공통의 평가 축(열)으로 한 번에 답하게 하는 문항 형식입니다.
전형적인 예
| 매우 만족 | 다소 만족 | 보통 | 다소 불만족 | 매우 불만족 | |
|---|---|---|---|---|---|
| 가격 | |||||
| 품질 | |||||
| 지원 | |||||
| 배송 |
이렇게 "평가되는 대상을 행에 두고, 평가 척도를 열에 두는" 구조를 취합니다. Kicue에서는 MTX_SA(각 행에서 1개 선택), MTX_MA(각 행에서 다중 선택), SCALE(리커트 척도를 행마다)와 같은 타입으로 제공됩니다.
매트릭스가 선택되는 이유
- 문항 수 압축 — "가격에 대한 만족도를 알려주세요", "품질에 대한 만족도를 알려주세요"…를 개별로 나열하는 것보다 화면 공간 효율이 좋음
- 비교의 용이성 — 같은 척도로 여러 대상을 평가하므로 응답자에게도 비교가 쉬움
- 집계의 정연함 — 같은 열 구조라 행 간 비교·크로스 집계가 용이
다만 이러한 편의성과 맞바꾸어 인지 부하와 데이터 품질의 문제가 따라옵니다.
2. 매트릭스가 편리하면서도 위험한 이유 — 인지 부하의 구조
매트릭스는 "효율적으로 보이는 문항"이지만, 응답자의 머릿속에서는 개별 문항보다 오히려 무거운 처리가 진행됩니다.
인지 부하의 정체
- 행 간 비교 부하 — "가격과 품질, 어느 쪽에 더 만족하는가"를 머릿속에서 병렬 처리해야 함
- 열의 의미 이해 — 5단계나 7단계의 의미를 매 행마다 재확인해야 함
- 위치 기억 — 매트릭스 스크롤로 열 헤더가 사라짐 / 행이 빽빽해 "내가 어느 행을 답하던 중이었나"가 모호해짐
- 피로 누적 — 행 수가 늘수록 비례가 아니라 지수적으로 인지 비용이 증가
학술적으로는 Krosnick (1991) Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys이, 이러한 인지 부하 상황에서 응답자가 취하는 노력 절약 전략을 **satisficing(최소 노력 응답)**으로 이론화했습니다. 매트릭스는 satisficing을 가장 유발하기 쉬운 문항 형식 중 하나로 반복적으로 언급되어 왔습니다.
행렬 사이즈와 품질의 관계
Couper et al. (2013) "The Design of Grids in Web Surveys"에서는 매트릭스의 행 수 증가와 응답 품질 저하의 관계가 실증적으로 제시되어 있습니다. 구체적으로는 6~8행을 넘으면 응답 시간과 완답률 양쪽 모두 악화된다는 관찰이 복수 연구에서 보고되고 있습니다.
3. 스트레이트 라인 응답 — 대표적인 품질 문제
매트릭스 문항에서 가장 전형적으로 발생하는 품질 문제가 스트레이트 라인 응답입니다.
무엇이 일어나고 있는가
스트레이트 라인 응답이란 매트릭스의 모든 행에서 같은 열을 선택하는 행동 패턴. 예를 들어 5단계 평가의 모든 항목에서 "다소 만족"을 선택하는 상태입니다.
응답자의 동기는 다음 중 하나:
- 피로에 의한 노력 절약 — 내용을 읽지 않고 같은 위치를 계속 선택
- 무관심한 응답 — 애초에 내용을 음미할 인센티브가 없음
- 위장 응답(부정 응답) — 패널 사례비 목적으로 시간을 들이지 않고 통과
왜 문제인가
스트레이트 라인 응답이 섞여 들어오면 항목 간 차이(분산)가 소실됩니다. "가격은 불만, 품질은 만족" 같은 분포가 있어야 할 문항에서 모두 "중앙"이 되어 버리면 CSAT 점수도 크로스 집계도 모두 의미를 잃습니다.
학술적 검출 기준
Yan & Tourangeau (2008) "Fast Times and Easy Questions"와 Liu & Cernat (2018) "Item-by-Item Questionnaires vs Grid Questions"에서는 스트레이트 라인 응답의 검출 지표로 다음이 제안되고 있습니다.
- 완전 일치율(perfect straight-lining) — 모든 행에서 같은 열을 선택
- 거의 일치율(near straight-lining) — 모든 행 중 80% 이상에서 같은 열
- 응답자 내 분산(intra-respondent variance) — 한 응답자의 행 간 분산이 0 또는 극단적으로 작음
실무에서는 복수의 지표를 조합해 "의심스러운 응답"을 플래그하고 집계에서 제외하거나 가중치를 낮추는 대응이 일반적입니다.
4. 매트릭스 문항은 어떻게 설계하는가 — 5가지 원칙
데이터 품질을 담보하기 위해 설계 단계에서 지킬 원칙을 5가지 정리합니다.
원칙1: 행은 최대 6~8행으로 억제
Roßmann et al. (2018) "Item-by-Item vs Grid Layout"을 포함한 복수의 실증 연구에서 6~8행을 넘으면 응답 품질이 현저하게 저하됨이 제시되어 있습니다. 8행을 넘는 경우는 의미적으로 가까운 블록으로 분할하여 2개 이상의 매트릭스로 만드는 편이, 합계 시간은 늘어나도 품질은 유지됩니다.
원칙2: 열은 홀수(5/7단계)를 기본으로
학술적으로는 Krosnick & Fabrigar (1997)에서 리커트 척도의 최적 단계 수로 5~7이 빈번히 권장됩니다. 중앙값(neutral)의 존재가 응답 부담을 경감하는 한편, 9단계 이상은 식별이 곤란해 품질 저하를 초래합니다.
원칙3: 행과 열의 의미적 거리를 일정하게 유지
행에 "가격·품질·지원"같은 이질적 카테고리를 나열하는 것과, "버튼 배치·색·크기"처럼 동질적 세부 항목을 나열하는 것은 인지 부하가 전혀 다릅니다. 행끼리의 의미적 거리가 클수록 비교 부하가 증가하므로, 이질 카테고리 매트릭스는 행 수를 줄이는 것이 철칙입니다.
원칙4: 행의 랜덤화를 기본 설정으로
응답자가 위에서 순서대로 처리하면 **순서 효과(primacy effect / order effect)**가 발생하며, 처음 행일수록 신중하게 답하고 뒷 행일수록 노력을 절약하는 경향이 있습니다. 행의 표시 순서를 랜덤화하는 것만으로 이 순서 효과를 통계적으로 균등화할 수 있습니다. 학술적으로는 Tourangeau, Rips & Rasinski (2000) The Psychology of Survey Response에서 순서 효과 대책으로 랜덤화가 권장됩니다.
원칙5: 모바일에서의 표시를 반드시 확인
PC에서 깨끗하게 보이는 7열 매트릭스가, 스마트폰에서는 가로 스크롤 지옥이 되어 열 헤더가 사라진 상태로 응답이 진행된다 — 이것이 웹 설문에서 가장 빈발하는 모바일 품질 사고입니다. Toepoel et al. (2009) "Design of Web Questionnaires"에서는 모바일 단말에서의 매트릭스 표시가 응답 품질에 미치는 영향이 실증적으로 분석되어 있습니다. 모바일 비율이 30%를 넘는다면, 매트릭스를 사용하지 않고 항목별 문항으로 분해하는 판단도 시야에 둬야 합니다.
5. 행 수·열 수의 최적값 — 학술 데이터 정리
설계의 출발점으로, 복수 연구를 종합한 "무난한 설정"을 표로 정리합니다.
| 항목 | 권장값 | 근거 |
|---|---|---|
| 행 수 | 5~8행 | Roßmann et al. (2018), Couper et al. (2013) |
| 열 수 | 5 또는 7단계 | Krosnick & Fabrigar (1997) |
| 중앙값 | 포함 | 응답 부담과 중립적 응답의 권리 확보 |
| 행 랜덤화 | 권장 | Tourangeau et al. (2000)의 순서 효과 대책 |
| 모바일 상정 | 5열 이하 | Toepoel et al. (2009) |
| 1매트릭스의 상정 응답 시간 | 30~60초 | Yan & Tourangeau (2008) |
"행 × 열 = 상정 셀 수"라는 지표로 보면 5×5 = 25셀 정도가 품질의 경계선으로, 이를 넘는다면 "분할", "개별 문항화", "랜덤 추출(행 서브셋 표시)" 중 하나를 검토해야 한다는 것이 업계 기사와 학술 연구의 종합적 견해입니다.
6. 편집부 시각 — 매트릭스 운영에서 반드시 효과 보는 5가지 실천
업계 기사와 공개 사례를 추적해 온 입장에서, 강하게 말해두고 싶은 원칙 5개를 씁니다.
1. 행 수의 상한을 사내 룰로 정한다. "8행까지", "이를 넘으면 분할"이라는 룰을 사내 설계 프로세스에 명문화하는 팀과 매번 설계자 재량에 맡기는 팀에서는 데이터 품질에 큰 차이가 납니다. 룰화하지 않은 조직은 반드시 12행·15행의 매트릭스를 발행해 버린다는 것이 업계 기사에서 반복적으로 보이는 패턴입니다.
2. 스트레이트 라인 검지를 "집계 후 사후 대책"이라고 생각하지 않는다. 스트레이트 라인 검지는 발행 전 설계 단계부터 짜 넣어야 할 구조입니다. "집계 시에 필터링하면 된다"고 생각하면 플래그 대상이 전체의 20~30%에 달해 분석 모집단이 무너지는 사고가 일어납니다. 설계 단계에서 "스트레이트 라인 비율 5% 이하를 목표"로 두고, 초과한 경우의 설계 수정 패턴도 사전에 정해 두는 것이 철칙입니다.
3. 모바일 비율을 반드시 먼저 확인하라. B2C 설문에서 모바일 비율이 70%를 넘는 환경에서 PC를 전제로 한 7열 매트릭스를 발행하면 완답률이 50%를 밑도는 사고가 흔하게 일어납니다. 모바일 비율을 처음 1시간 내에 확인하고 그에 따라 설계 선택지를 좁히는 것이 안전합니다.
4. "항목별 문항으로의 분해"를 두려워하지 않는다. 매트릭스로 10행을 넣는 것보다 개별 문항 10개로 분해하는 편이 품질이 높다는 것은 복수의 실증 연구에서 제시되어 있습니다(Liu & Cernat 2018). 문항 수가 늘어나는 것은 두렵지만, **만족시켜야 할 것은 "문항 수의 적음"이 아니라 "데이터 품질"**입니다. 총 응답 시간으로 봐도 매트릭스보다 개별 문항이 빨리 끝나는 케이스조차 있다는 것이 학술적 관찰입니다.
5. 매트릭스는 "중요 KPI 계열"보다 "망라형·스크리닝 후 추가 질문"에 사용한다. NPS나 CSAT 같은 의사결정에 직결되는 KPI를 매트릭스 안에 묻어 두는 것은 위험합니다. 매트릭스 내 문항은 주변 항목(질문 피로가 일어난 후의 추가 정보)으로 다루는 것이 안전한 설계 판단입니다. 중요 KPI는 단독 문항으로 독립 화면에서 묻고, 매트릭스는 "부수 속성의 비교·파악"에 한정하는 것이 업계 기사에서도 반복적으로 권장되는 운영 패턴입니다.
7. 설문조사 도구 Kicue에서의 매트릭스 운영
Kicue에서는 매트릭스 문항 운영에 필요한 기능을 표준으로 갖추고 있습니다.
매트릭스 문항 타입
매트릭스 문항 타입으로 MTX_SA(각 행에서 1개 선택), MTX_MA(각 행에서 다중 선택)의 2종류를 제공. 추가로 스케일 문항으로 LIKERT / NPS / SLIDER / SD가 있어 리커트 매트릭스를 구축할 수 있습니다.
스트레이트 라이너 검지
Kicue는 스트레이트 라이너 검지 기능을 표준 탑재. 매트릭스 문항의 모든 행에서 같은 열을 선택한 응답이나 행 간 분산이 극단적으로 작은 응답을 자동으로 플래그합니다. 플래그된 데이터는 집계 제외도 가능해, 데이터 품질 확보가 그대로 분석으로 이어집니다.
선택지 랜덤화
선택지 랜덤화 기능으로 매트릭스의 행 표시 순서를 랜덤화할 수 있습니다. 순서 효과 대책으로 권장되는 설정입니다.
관련 설계 기사
매트릭스 문항은 다른 조사 설계와도 밀접하게 관련됩니다. CSAT 조사 설계 가이드, NPS 완전 가이드, 스크리닝 문항의 설계도 함께 참조해 주세요.
적합한 도구 선택 — 무료 플랜 한도, 분기 로직 지원, AI 기능, CSV 내보내기는 도구마다 크게 다릅니다. 무료 설문조사 도구 비교에서 이 접근법에 맞는 도구를 찾아보세요.
정리
매트릭스 문항의 설계와 운영 체크포인트:
- 매트릭스는 효율적으로 보여도 응답자에게는 개별 문항보다 무겁다 — 인지 부하는 행 수에 대해 지수적으로 증가
- 스트레이트 라인 응답이 최대 품질 리스크 — 설계 단계부터 검지와 대책을 짜 넣음
- 행 수는 5
8, 열 수는 57단계가 기본 — 학술 연구에서 반복적으로 권장되는 설계값 - 행의 랜덤화로 순서 효과를 균등화 — 단순한 편리 기능이 아닌 품질 요건
- 모바일 비율이 높다면 개별 문항으로의 분해를 선택 — "매트릭스를 사용하지 않는 판단"도 설계의 일부
- 매트릭스는 중요 KPI가 아닌 주변 항목에 사용 — NPS/CSAT 같은 의사결정 KPI는 단독 문항으로
"매트릭스는 만능 문항"이라고 생각하는 팀일수록 데이터 품질에서 호되게 당하는 것이 리서치 실무의 경험칙입니다. 매트릭스는 편리하지만 위험한 도구 — 사용할 장면과 사용하지 않을 장면의 판단을, 설계 프로세스에 룰로 짜 넣는 것이 데이터 품질의 생명선이 됩니다.
참고 문헌
학술·방법론
- Krosnick, J. A. (1991). Response Strategies for Coping with the Cognitive Demands of Attitude Measures in Surveys. Applied Cognitive Psychology.
- Tourangeau, R., Rips, L. J., & Rasinski, K. (2000). The Psychology of Survey Response. Cambridge University Press.
- Couper, M. P., Tourangeau, R., Conrad, F. G., & Zhang, C. (2013). The Design of Grids in Web Surveys. Social Science Computer Review.
- Yan, T., & Tourangeau, R. (2008). Fast Times and Easy Questions. Public Opinion Quarterly.
- Roßmann, J., Gummer, T., & Silber, H. (2018). Mitigating Satisficing in Cognitively Demanding Grid Questions. Journal of Survey Statistics and Methodology.
- Liu, M., & Cernat, A. (2018). Item-by-Item Questionnaires vs Matrix Questions. Social Science Computer Review.
- Toepoel, V., Das, M., & van Soest, A. (2009). Design of Web Questionnaires. Public Opinion Quarterly.
- Krosnick, J. A., & Fabrigar, L. R. (1997). Designing Rating Scales for Effective Measurement in Surveys.
업계 벤더·실무 가이드
- Qualtrics: Matrix Question Best Practices.
- SurveyMonkey: Matrix Questions Design Tips.
- Forsta: Avoiding Straight-Lining in Online Surveys.
매트릭스 문항의 설계부터 스트레이트 라이너 검지까지 한 번에 실시할 수 있는 무료 설문조사 도구 Kicue를 사용해 보지 않으시겠습니까. MTX_SA / MTX_MA / SCALE 문항 타입, 스트레이트 라이너 검지, 행 랜덤화가 표준 탑재되어 매트릭스 설계의 품질 룰이 그대로 운영에 실립니다.