MaxDiff(최대 차이 척도) 설계 가이드 — 우선순위를 측정한다

"어떤 기능이 가장 우선순위가 높습니까?"라고 물었더니 리커트로 모든 항목이 '매우 중요'에 줄지어 늘어선 리포트 — 리서치를 1년만 해봐도 한 번쯤은 마주치는 풍경입니다. "전부 중요하다니… 의사결정에 못 쓰겠는데…" 하고 머리를 싸쥐는 순간이죠.

이 천장 효과(Ceiling Effect) 를 구조적으로 회피하는 기법이 MaxDiff(최대 차이 척도, Best-Worst Scaling)입니다. 본 글에서는 리커트로 우선순위가 매겨지지 않는 이유부터, MaxDiff의 기본 구조, 실험 설계의 작법, 표본 크기 판단, 점수 계산(카운트 vs 계층 베이즈), 컨조인트·PSM과의 구분까지를, 구현 벤더의 현장과 학술 원전 양쪽 을 바탕으로 정리합니다.

1. 왜 리커트로는 우선순위가 매겨지지 않는가

"중요도를 5단계로 평가해 주세요"라며 10개 항목을 늘어놓고 물으면, 거의 모든 항목에 '중요' '매우 중요'가 늘어섭니다. 이것이 리커트 척도의 구조적 약점입니다.

주요 원인은 3가지:

천장 효과: 응답자가 "다 중요해"라고 느낄 때, 상한 부근에 다 붙어버립니다. 10개 항목 전부 5점이면 우선순위는 식별 불가
사회적 바람직성 편향: "보안" "품질" "지원"처럼 부정하기 어려운 항목은 실제 우선도 이상으로 높게 나옵니다
응답 부담의 대충 처리: 10개 항목에 하나씩 별점을 매기는 작업은 단조로워서 후반은 적당히 찍게 됩니다

결과적으로 "전부 중요"라는 데이터가 모여, 의사결정에 못 쓰는 상황에 빠집니다.

자세한 내용은 리커트 척도 설계 가이드 에서 리커트 자체의 사용법을 다루지만, "순위를 매기고 싶다"는 용도에는 리커트가 구조적으로 부적합 — 이것이 MaxDiff를 사용하는 동기입니다.

2. MaxDiff의 기본 구조 — 베스트 & 워스트를 선택

MaxDiff는 한 번에 4~5개 항목을 제시하고, 가장 중요한 것(베스트)과 가장 중요하지 않은 것(워스트)을 하나씩 골라달라고 하는 기법입니다. 이를 10~15블록 반복함으로써, 각 항목의 상대적 우선순위를 통계적으로 추정합니다.

설문의 모습

예: 10개 항목을 비교하고 싶을 때, 응답자에게는 다음과 같은 화면이 12회 표시됩니다.

다음 4개 항목 중, 가장 중요한 것과 가장 중요하지 않은 것을 하나씩 선택해 주세요.

[ ] 저렴한 가격          가장 중요 [○]  가장 덜 중요 [ ]
[ ] 지원 품질            가장 중요 [ ]  가장 덜 중요 [○]
[ ] 풍부한 기능          가장 중요 [ ]  가장 덜 중요 [ ]
[ ] 사용 편의성          가장 중요 [ ]  가장 덜 중요 [ ]

각 응답자는 항목을 직접적으로 비교할 수밖에 없기 때문에, 리커트 같은 "전부 5점"의 도피로가 없습니다. 결과적으로 항목 간의 상대적 강약이 명확하게 드러납니다.

왜 이 형식이 작동하는가

Louviere, J. J., & Woodworth, G. (1990). Best-worst analysis 가 보여준 중요한 통찰은, "상대적인 선택은 절대 평가보다 인간에게 자연스럽다" 는 심리학적 사실입니다. 우리는 "이건 7점"이라고 정하는 건 서툰 반면, "A와 B, 어느 쪽이 좋아?"에는 즉답할 수 있습니다. MaxDiff는 이 인지 특성을 솔직하게 사용한 설계입니다.

3. 실험 설계 — 불완비 블록 설계의 작법

MaxDiff의 핵심은 실험 설계 입니다. 10개 항목을 비교할 때 모든 조합(45가지)을 응답자에게 보여줄 수는 없으므로, Balanced Incomplete Block Design(BIBD, 균형 불완비 블록 설계) 으로 항목을 무작위로 분산시킵니다.

설계의 기본 규칙

1블록에 4~5개 항목: 너무 많으면 선택이 어렵고, 너무 적으면 비교 정보가 빈약함
각 항목이 같은 횟수 등장: 10개 항목을 12블록에 분산한다면 각 항목은 약 5회 등장
각 항목 페어가 같은 횟수 공기(共起): "가격"과 "지원"이 같은 블록에 나오는 횟수를 균등화
항목 위치를 무작위화: 표시 순서 효과 방지

구현의 현실

완벽한 BIBD를 손계산으로 만드는 건 현실적이지 않으므로, 전문 도구 를 쓰는 것이 표준입니다:

Sawtooth Software Lighthouse / Discover: MaxDiff 업계 표준 벤더, 설계 자동 생성
R 패키지 support.BWS: 오픈소스, 연구 용도로 널리 사용
SurveyEngine / Conjoint.ly: 클라우드형, 템플릿 대응

이들은 입력한 항목 수에서 블록 설계를 자동 생성합니다. 0부터 수작업으로 만들지 않는 것이 철칙입니다.

4. 표본 크기와 반복 횟수 정하는 법

"몇 명한테 물으면 충분한가" "1인당 몇 번 블록을 보여줄까"는 MaxDiff 실무에서 가장 고민되는 논점입니다.

반복 횟수(1인당 블록 수)의 기준

항목 수 × 3 / 4 가 업계 경험칙. 예: 10개 항목이면 1인당 7~~8블록, 15개 항목이면 11~~12블록
반복이 너무 적으면 개인 레벨 추정이 불안정해지고, 너무 많으면 응답 부담으로 이탈률이 올라감
응답 시간 5~10분을 상한 으로 역산하는 것이 실무 감각

표본 수의 기준

집단 레벨 분석만: N=200~300이면 충분
세그먼트별 계층 베이즈 추정: 세그먼트당 N=100 이상, 합계 N=400~500
개인 레벨 추정(중요 고객의 상세 분석): N=500 이상

Orme, B. K. (2010). Getting Started with Conjoint Analysis (2nd ed.) 는 MaxDiff의 표본 설계를 Sawtooth Software의 구현 경험에서 정리한 실무서로, 현장에서 표준 가이드라인으로 참조됩니다.

자세한 내용은 설문 표본 크기 산출 방법 에서 표본 크기 계산의 기초를 다룹니다.

5. 점수 계산 — 카운트 분석 vs 계층 베이즈

MaxDiff 응답 데이터에서 "각 항목의 우선도 점수"를 계산하는 방법은 크게 2가지입니다.

카운트 분석(간이판)

각 항목에 대해 "베스트로 선택된 횟수 − 워스트로 선택된 횟수"를 집계
집계 후, 항목 간 비교
Excel로 가능, 해석도 단순, 집단 레벨의 대략적인 순위를 보고 싶은 경우에 유효

다만, 카운트 분석으로는 개인 레벨 점수 나 세그먼트별 정밀한 비교 는 불가능합니다.

계층 베이즈 추정(HB, Hierarchical Bayes)

각 응답자의 개인 점수를 사전 분포(집단 평균) + 사후 수정(개인의 선택) 으로 추정
개인 레벨 점수가 나오므로 세그멘테이션·클러스터링에 사용 가능
표준적으로는 Sawtooth Software의 HB 모듈, 또는 R의 bayesm / ChoiceModelR 패키지로 실시

Marley, A. A. J., & Louviere, J. J. (2005). Some probabilistic models for best, worst, and best-worst choices 는 베스트·워스트 선택의 수리 모델(랜덤 효용 모델, MNL)을 정리한 문헌으로, HB 구현의 이론적 기초입니다.

실무에서의 선택법

임원 프레젠테이션용으로 "기능 A는 기능 B의 3배 중요"를 보이고 싶다 → HB 추정(개인 점수 → 평균으로 표시)
5개 세그먼트별 우선순위를 비교하고 싶다 → HB 추정(세그먼트별 사후 분포)
"Q1에서 무엇이 최우선인지"를 사내에 간결하게 공유하고 싶다 → 카운트 분석으로 충분

베이즈 추정의 이론적 상세는 설문 집계와 유의차 판정 — 크로스 집계·카이제곱 검정·효과 크기 사용법 을 같이 읽으면, 빈도주의와의 대비로 이해하기 쉬워집니다.

6. MaxDiff / 컨조인트 / PSM의 구분

가격·우선순위 조사의 3대 기법 으로 MaxDiff·컨조인트·PSM이 자주 나란히 논의됩니다. 각각이 푸는 질문과 적합한 장면이 다릅니다.

MaxDiff / 컨조인트 / PSM의 구분

MaxDiff(최대 차이 척도)

개별 항목의 우선순위를 측정. 10~30개 기능·요구사항에서 "무엇이 가장 중요한가"를 식별. 설계가 비교적 단순하고 응답 부담도 중간. 기능 우선순위 매기기·콘셉트 스크리닝·속성 좁히기에 최적.

컨조인트 분석

속성의 조합을 제시하고 점유율 시뮬레이션을 실시. 상품 프로필(가격 × 기능 × 브랜드)을 비교하는 장면에서 강력. 설계와 분석의 난이도는 MaxDiff보다 높음. 제품 콘셉트 평가·가격 탄력성 측정에 최적.

Van Westendorp PSM

"너무 비싸다" "너무 싸다" "타당하다" 등 4개 가격 포인트 를 직접 묻는다. 설계는 가장 단순하지만, 얻어지는 것은 "가격 범위"뿐이고 기능 우선순위는 알 수 없음. 신제품의 초기 가격 범위 탐색에 최적.

실무에서의 선택 플로우

"무엇을 최우선으로 개발할지"를 정하고 싶다 → MaxDiff
"이 가격 + 기능 세트로 팔릴지"를 보고 싶다 → 컨조인트
"초기 가격을 3,000원 / 5,000원 / 8,000원 중 어느 것으로 할지"를 탐색하고 싶다 → PSM

병렬로 사용하는 경우도 있습니다. MaxDiff로 기능 우선도를 좁힌 후, 상위 3개 기능을 포함한 컨조인트, 가격 범위는 PSM, 이라는 설계가 중규모 프로젝트의 표준 패턴입니다.

자세한 내용은 컨조인트 분석 실무 와 Van Westendorp PSM 설계 가이드 를 같이 읽으면, 삼형제 기법의 구분이 보이게 됩니다.

7. 편집부의 시각 — MaxDiff 구현에서 반드시 효과적인 5가지

업계 사례와 공개 벤더 기사를 지속적으로 추적하는 입장에서, MaxDiff 구현에서 반드시 효과적인 5가지.

1. 항목은 10~20개로 좁힌 후 시작

"30개 전부 MaxDiff에 걸고 싶다"는 요청은 자주 있지만, 30개 항목이면 1인당 22블록 정도 가 필요하게 되어 응답 부담이 파탄납니다. MaxDiff 전에 "명백히 남길 것 / 명백히 뺄 것"을 내부에서 논의 하고, 20개 항목 이하로 좁힌 후 거는 것이 현장의 작법입니다.

2. 항목의 입도를 맞춰라

"저렴한 가격"과 "문의 폼의 사용 편의성"을 같은 줄에 늘어놓으면, 추상도가 너무 달라서 응답자가 비교할 수 없습니다. 항목의 입도(추상도)를 의식적으로 맞춘다 — 예를 들면 전부 "기능 카테고리" 레벨, 또는 전부 "구체적인 터치 포인트" 레벨로 통일.

3. "중요도"와 "만족도"를 섞지 마라

MaxDiff로 "중요도"와 "현재의 만족도"를 같은 조사에서 받고 싶은 경우, 별도 블록으로 나눈다. 같은 블록 내에서 "중요하고 만족할 수 있는 것"을 고르게 하면 응답자가 혼란스러워합니다. Kano 모델 분석을 병용한다면, 별도 조사로 설계하는 것이 안전합니다.

4. 프리테스트에서 블록 표시를 실기기에서 확인

MaxDiff의 블록 화면은 모바일 단말에서 항목 텍스트가 줄바꿈되어 보기 어려워지는 경우가 빈발합니다. 본 배포 전에 반드시 iOS / Android 양쪽에서 표시 확인을. 자세한 내용은 설문 공개 전 체크리스트 에서 공개 전 검증의 프레임을 정리합니다.

5. 리포트에서는 "점수 + 순위 + 효과 크기"의 3점 세트

경영층에게 "기능 A는 28.5포인트"라며 숫자만 보여줘도 전달되지 않습니다. "점수" "순위" "기능 A vs 기능 B의 차이는 통계적으로 유의한가" 의 3점을 1장에 늘어놓는다. HB 추정이라면 사후 분포의 겹침으로 유의성이 직관적으로 보여집니다.

8. 설문 도구 Kicue에서의 MaxDiff 구현

⚠️ 중요한 전제: Kicue에는 MaxDiff 전용 설문 타입이 없습니다. 일반적인 리서치 전문 도구(Sawtooth Software / SurveyEngine / Conjoint.ly)와 비교하면, 설계·분석의 자동화 기능은 제한적입니다.

Kicue로 MaxDiff를 구현하는 2가지 선택지

선택지 A: Kicue로 대체 구현한다

단일 응답 설문의 반복 블록 으로 MaxDiff의 동작을 재현할 수 있습니다:

"다음 4개 항목 중 가장 중요한 것"을 단일 응답 설문으로 12회 반복
"다음 4개 항목 중 가장 중요하지 않은 것"을 단일 응답 설문으로 12회 반복
블록마다 항목 세트를 바꾼다(사전에 Excel / R로 BIBD를 생성하고 각 설문의 선택지에 복사 붙여넣기)
응답 수집 후, CSV 내보내기 → R의 bayesm / ChoiceModelR 패키지로 HB 추정

이 방법은 "전용 도구에 비용을 들일 수 없는 초기 프로젝트" "항목 수 10~15로 간이 검증하고 싶은 경우" 에는 충분히 실용적입니다.

선택지 B: 전문 도구와 병용한다

본격적인 MaxDiff 프로젝트에서는:

Sawtooth Software Discover / Lighthouse: 업계 표준, 설계부터 HB 분석까지 일관 처리
SurveyEngine / Conjoint.ly: SaaS형으로 도입하기 쉬움
이들로 본조사를 실시하고, Kicue는 스크리닝 설문 이나 추가 프로파일링 설문 에 구분 사용

Kicue로 대응할 수 없는 범위

BIBD의 자동 생성 → 외부 도구(R support.BWS / Sawtooth)에서 사전 생성하고 Kicue에 복사 붙여넣기
계층 베이즈 추정 → CSV 내보내기 → R bayesm / Sawtooth HB 모듈
개인 레벨 점수의 대시보드 표시 → 외부 BI 도구(Tableau / Looker)
블록 표시의 자동 랜덤화 → Kicue의 선택지 랜덤 기능으로 부분 대응, 항목 간 페어의 균등화까지는 수동 제어

관련 글로 Van Westendorp PSM 설계 가이드·컨조인트 분석 실무·리커트 척도 설계 가이드·스크리닝 설문 설계 를 같이 읽으면, 삼형제 기법의 구분과 MaxDiff의 전단 스크리닝 설계까지 보이게 됩니다.

참고 문헌

Louviere, J. J., & Woodworth, G. (1990). Best-worst analysis: A novel method of measuring values in marketing research. Journal of Marketing Research, 27(4), 437-444.
Marley, A. A. J., & Louviere, J. J. (2005). Some probabilistic models for best, worst, and best-worst choices. Journal of Mathematical Psychology, 49(6), 464-480.
Orme, B. K. (2010). Getting Started with Conjoint Analysis: Strategies for Product Design and Pricing Research (2nd ed.). Research Publishers.
Cohen, S. H. (2003). Maximum difference scaling: Improved measures of importance and preference for segmentation. Sawtooth Software Research Paper.
Flynn, T. N., Louviere, J. J., Peters, T. J., & Coast, J. (2007). Best-worst scaling: What it can do for health care research and how to do it. Journal of Health Economics, 26(1), 171-189.

기능 우선순위나 요청 항목 랭킹을 정밀하게 측정하고 싶으시다면, 무료 설문조사 도구 Kicue 를 사용해 보세요. 단일 응답 설문의 반복 블록으로 MaxDiff 대체 구현, 선택지 랜덤 기능으로 블록 내 표시 순서 제어, CSV 내보내기로 R / Sawtooth와의 연계까지, MaxDiff의 초기 검증 단계를 1개 계정으로 시작할 수 있습니다(BIBD 자동 생성, 계층 베이즈 추정, 개인 레벨 분석은 Sawtooth Software / SurveyEngine / R bayesm 등의 전문 도구와의 조합 운영이 됩니다).