혼합 연구 방법(Mixed Methods) 설계 가이드 — 정량과 정성의 통합

"정량만으로는 표층적이고, 정성만으로는 일반화할 수 없다" — 리서치를 지속적으로 운용하고 있는 팀이라면 누구나 한 번은 부딪히는 벽입니다. 설문조사에서 Top 2 Box가 떨어져도, 왜 떨어졌는지는 숫자만으로는 보이지 않습니다. 인터뷰에서 "중요하다"고 언급된 논점이, 정말로 고객 전체에 퍼져 있는 과제인지는 검증할 수 없습니다.

이 격차를 메우는 방법론으로, 1980 년대 후반부터 체계화된 것이 혼합 연구 방법(Mixed Methods Research) 입니다. 본 글에서는 Creswell & Plano Clark (2017)의 체계를 중심으로 4 가지 기본 디자인・데이터 통합의 타이밍・Joint Display에 의한 분석 통합・메타 추론의 질적 평가를 정리합니다. "설문조사와 인터뷰를 둘 다 한다"는 것을 혼합 연구 방법이라고 부르는 것은 기술적으로 부정확하며, 양자를 의도적으로 조합해 새로운 통찰을 만들어내는 설계가 있어야 비로소 혼합 연구 방법이라고 부를 수 있습니다 — 이 차이가 어디에 있는지를 명확히 합니다.

1. 왜 혼합 연구 방법이 필요한가 — 단일 방법의 한계

혼합 연구 방법을 이해하기 위한 출발점은 "왜 단일 방법으로는 안 되는가"를 구조적으로 짚어두는 것입니다. 정량・정성 각각의 한계는, 보완성 논의의 전제가 됩니다.

정량 조사의 한계

"왜"를 포착할 수 없다: 수치 배경에 있는 맥락, 응답자의 경험이나 감정의 흐름은, 선택지로부터는 보이지 않는다
예상하지 못한 문제를 발견할 수 없다: 사전에 정의한 선택지 틀 밖에서 일어나고 있는 문제는, 데이터에 나타나지 않는다
언어화되지 않은 문제에 도달하지 못한다: 고객 자신이 문제를 자각하지 못한 경우, 설문에조차 세울 수 없다

정성 조사의 한계

일반화할 수 없다: 샘플 수가 작기 때문에, 특정 발언이 고객 전체에 퍼져 있는 과제인지 알 수 없다
"중요해 보이는 목소리"의 빈도나 확산이 보이지 않는다: 인터뷰에서 강하게 언급된 논점이, 전체의 몇 %에 해당하는지는 불명
비교가 어렵다: 세그먼트 간이나 시계열 비교에, 통계적 뒷받침이 없다

보완성의 구조 — Greene의 5 목적 분류

Greene, J. C., Caracelli, V. J., & Graham, W. F. (1989). Toward a conceptual framework for mixed-method evaluation designs는 혼합 연구 방법을 채용하는 목적을 5 가지로 분류했습니다.

트라이앵귤레이션(Triangulation): 다른 방법으로 같은 현상을 확인하고, 결론의 견고성을 높인다
보완성(Complementarity): 한쪽 방법으로 측정한 측면을, 다른 한쪽이 설명한다
발전(Development): 한쪽 결과를, 다른 한쪽의 설계 입력으로 사용한다
개시(Initiation): 모순이나 역설을 의도적으로 찾고, 새로운 질문을 만든다
확장(Expansion): 연구 범위를 다른 측면으로 넓힌다

이 5 분류가 "그냥 양쪽 다 하는 것"이 아니라 "설계적으로 조합한다" 는 것의 근거가 됩니다. 프로젝트 시작 시 "우리는 이 5 가지 중 어느 것을 노릴 것인가"를 1 가지 정하는 것이, 혼합 연구 방법 설계의 첫걸음입니다.

2. 4 가지 기본 디자인

Creswell, J. W., & Plano Clark, V. L. (2017). Designing and Conducting Mixed Methods Research (3rd ed.)에서는 혼합 연구 방법의 핵심 설계를 4 가지로 정리하고 있습니다. 실무에서 어느 것을 선택할지는, 목적・일정・리서치 인원에 따라 달라집니다.

혼합 연구 방법의 4 가지 기본 디자인

① 수렴 디자인(Convergent Design)

정량과 정성을 병행 수집하고, 별도로 분석한 후 결과를 통합한다. 목적은 트라이앵귤레이션. 예: NPS 점수와 "추천 이유" 인터뷰를 동시 수집. 단기간에 양 측면을 얻을 수 있지만, 결과가 모순될 경우의 해석 설계가 사전에 필요.

② 설명적 순차 디자인(Explanatory Sequential Design)

정량 → 정성 순서. 정량 결과 중 설명이 필요한 부분을, 정성 데이터로 심층 분석한다. 예: 고객 만족도 조사에서 특정 세그먼트만 점수가 낮음 → 그 세그먼트 고객에게 인터뷰. 초점이 명확하지만, 2 단계 모집이 난항을 겪기 쉽다.

③ 탐색적 순차 디자인(Exploratory Sequential Design)

정성 → 정량 순서. 정성으로 발견한 개념이나 가설을, 정량으로 확산을 검증한다. 예: 고객 인터뷰에서 "사용 어려움"의 5 요인을 추출 → 설문으로 전체에 해당하는지 검증. 신규 척도 개발에 적합한 반면, 2 단계 설계로 프로젝트 기간이 길어진다.

④ 내장 디자인(Embedded Design)

주요 방법(정량 or 정성) 안에, 보조적으로 다른 한쪽을 내장한다. 예: 대규모 패널 조사의 자유 기술란에서 텍스트 분석을 실시하고, 정량 분석을 보강하는 위치로 한다. 심플하고 운용하기 쉽지만, 내장된 방법의 위치가 약하면 "형식뿐"이 된다.

실무에서의 선정 지침으로, 처음 혼합 연구 방법에 임하는 팀은 수렴 디자인이나 내장 디자인부터 시작하는 것이 안전합니다. 설명적 순차・탐색적 순차는 시간과 리소스 예측이 부족하면 파탄나기 쉬운 설계입니다.

3. 데이터 수집의 타이밍 설계

혼합 연구 방법의 디자인 선정에는, 위 4 디자인의 이면에 3 가지 설계 축이 흐르고 있습니다. 각 축의 선택지를 의식적으로 정함으로써, 4 디자인의 변형을 미세 조정할 수 있습니다.

축	선택지
순서	병행(동시 수집) / 순차(한쪽을 먼저)
가중치	등가중(QUAN = QUAL) / 정량 주(QUAN + qual) / 정성 주(QUAL + quan)
통합 타이밍	데이터 수집 시 / 분석 시 / 해석 시

예를 들어 수렴 디자인이라도, "정량 주・분석 시 통합"과 "등가중・해석 시 통합"에서는, Joint Display 작성 방법이나, 최종 보고서 구성이 크게 달라집니다. 프로젝트 계획 시 3 축을 명시적으로 적어둠으로써, 후속 통합 단계에서의 망설임을 줄일 수 있습니다.

4. 정량과 정성의 통합 분석 기법(Joint Display)

혼합 연구 방법의 구현에서 가장 어려운 것이 "통합(Integration)" 단계입니다. 통계 데이터와 텍스트 데이터를 나열만 한 것은 혼합 연구 방법이라고 부를 수 없습니다 — 양자를 1 가지 분석 단위로 변환하기 위한 구체적인 절차가 필요합니다.

Joint Display(통합 표시)

Fetters, M. D., Curry, L. A., & Creswell, J. W. (2013). Achieving integration in mixed methods designs—principles and practices가 중심적으로 정비한 기법. 정량과 정성을 1 개의 표・그림으로 병렬 표시함으로써, 양자의 관계성을 독자가 1 시점에서 파악할 수 있도록 합니다.

전형적인 예:

| 고객 세그먼트  | NPS | 추천 이유(대표적 발언)     | 개선 요구(대표적 발언) |
| Power User    | +42 | "분석 기능 때문에 타사로 못 돌아간다" | "모바일 UI가 오래되었다" |
| Casual User   | +8  | "그럭저럭 쓸 만하다"        | "초기 설정이 복잡하다" |
| Detractor     | -35 | "가성비가 나쁘다"           | "지원 반응이 늦다" |

이 매트릭스를 보면, 각 세그먼트에서 무엇이 일어나고 있는지가 "수치와 육성"의 양면에서 보이는 상태가 됩니다. 이것이 Joint Display의 힘입니다.

Pillar Integration Process(PIP)

Johnson, R. E., Grove, A. L., & Clarke, A. (2019). Pillar Integration Process: A Joint Display Technique to Integrate Data in Mixed Methods Research가 제안한, Joint Display를 체계적으로 구축하는 4 단계 기법입니다.

개별 데이터 준비: 정량・정성 각각을 단독으로 분석・요약
개별 데이터의 리스트화: 양측을 병렬 리스트로 정리
데이터의 결합: 공통 테마・모순점을 패턴 인식으로 추출
결합 데이터에서 새로운 통찰을 추출: 단독으로는 도달할 수 없었던 해석을 언어화

특히 제 3 단계의 "패턴 인식"이 핵심으로, 여기서 정량・정성 중 어느 한쪽으로 너무 치우치면, 혼합 연구 방법의 의의가 옅어집니다.

통합의 질적 평가 지표 — Fit / Confirmation / Discordance

Fetters et al. (2013)은, 통합의 질을 평가하는 3 시점을 제시하고 있습니다.

Fit(적합도): 정량과 정성 결과가 논리적으로 정합되어 있는가
Confirmation(확인): 한쪽이 다른 쪽을 보강하고 있는가, 모순되고 있는가
Discordance(불협화): 모순이 발견된 경우, 왜 발생했는지를 설명할 수 있는가

모순은 실패가 아니라 새로운 질문을 만드는 계기입니다. "정량에서는 만족도가 높은데, 인터뷰에서는 불만이 많다"는 모순은, 응답 스타일이나 측정 대상의 어긋남을 나타내는 사인으로 읽어낼 수 있습니다.

5. 메타 추론(Meta-inference)의 질적 평가

혼합 연구 방법의 최종 아웃풋은 "정량만"・"정성만"으로는 도달할 수 없었던 메타 추론(Meta-inference) 을 만들어내는 것입니다.

Tashakkori, A., & Teddlie, C. (Eds.). (2010). SAGE Handbook of Mixed Methods in Social & Behavioral Research (2nd ed.)는, 메타 추론의 질을 9 기준으로 평가할 것을 제안하고 있습니다. 실무적으로 중요한 시점을 정리하면 다음과 같습니다.

추론의 투명성: 어떤 데이터에서 어떻게 결론에 이르렀는지가 추적 가능한가
설계의 적합성: 선택한 디자인(4 종 중 어느 것)이 연구 목적에 맞는가
분석의 타당성: 정량・정성 각각의 분석이, 그 방법의 기준을 충족하는가
데이터의 통합도: Joint Display나 PIP 등으로, 정말로 통합이 이루어져 있는가
해석의 일관성: 정량과 정성에서 도출한 결론이, 논리적으로 정합되어 있는가

보고서 구성에서는, "정량 결과", "정성 결과", "양자를 통합한 통찰(메타 추론)"의 3 섹션을 명시적으로 나누어 기재하는 것이 투명성을 담보하는 최저 조건입니다.

6. 편집부의 시각 — 실무에서의 함정

업계 기사와 공개 사례를 지속적으로 추적하는 입장에서, 혼합 연구 방법 구현에서 반드시 효과를 보는 5 가지를 강하게 언급해 둡니다.

1. "양쪽 다 하는 것"을 "혼합 연구 방법"이라고 부르지 않는다

양쪽 다 하면 혼합 연구 방법, 이 아닙니다. 설계 단계에서 "정량과 정성을 어떻게 통합할 것인가"를 정하지 않았다면, 그것은 단순한 병행 조사이며, 메타 추론은 생기지 않습니다. "혼합 연구 방법을 하고 있다"고 사내에 표방하기 전에, Greene의 5 목적 중 어느 것을 노릴 것인지를 1 문장으로 쓸 수 있는지 확인하는 것이 우선입니다.

2. 통합 단계를 반드시 일정에 넣는다

수집 → 분석(정량・정성 별도) → 통합 → 해석 → 보고라는 흐름 속에서, 통합 단계(Joint Display 작성・PIP 실시)를 경시하면, 마지막의 마지막에 "이제 시간이 없으니 일단 양쪽 결과를 나열하고 끝내자"가 됩니다. 프로젝트 기간의 적어도 20% 는 통합 단계에 할당하는 것이 기준입니다.

3. 탐색적 순차 디자인은 시간을 잘못 읽는다

인터뷰에서 척도 개발, 본 조사에서의 검증까지는 전형적으로 3〜6 개월 걸립니다. 프로젝트 기간이 2 개월 이내인 팀은, 무리하게 탐색적 순차 디자인을 선택하지 말고, 수렴 디자인이나 내장 디자인부터 시작하는 것을 권장합니다.

4. 모순을 "실패"로 취급하지 않는다

정량과 정성이 모순된 경우, 그것은 설계 실수가 아니라 새로운 통찰의 입구입니다. "왜 모순되었는가"를 3 가지 이상의 가설로 설명하고, 추가 조사나 다음 프로젝트의 기점으로 삼는다. 모순을 숨기고 "대체로 일치했다"고 쓰는 보고서는, 혼합 연구 방법의 가치를 최대로 훼손합니다.

5. 보고서 구성에서 "통합"을 명시한다

"정량 결과"와 "정성 결과"를 별도 장으로 하고, 마지막에 "고찰"에서 섞는 구성은 혼합 연구 방법다움을 잃습니다. Joint Display를 1 가지 이상 포함시킴으로써, 통합의 증거를 보고서 내에 남겨주세요. 독자는 "양쪽을 봤기 때문에 무엇을 알았는가"를 1 장으로 이해할 수 있는 형태를 기대하고 있습니다.

7. 설문조사 도구 Kicue에서의 혼합 연구 방법 구현

Kicue로 혼합 연구 방법을 운용할 때의 사용법을 정리합니다. Kicue 단독으로 완결되는 범위와, 외부 도구와 연계해야 할 범위를 명시합니다.

정량 파트: SA / MA / 매트릭스 / 척도 설문으로 구조화 데이터를 수집
정성 파트: 자유 기술(OA / FA) 설문으로 텍스트 데이터를 수집, 동일 폼 내에서 완결
응답자 ID 관리: 각 응답에 사용자 ID를 부여하고, 동일 응답자의 정량・정성을 연결
CSV 내보내기: 정량・정성의 원본 데이터를 CSV로 취득하고, R / Python / Excel / Atlas.ti / NVivo 등의 외부 분석 도구로 통합 분석・Joint Display 작성
추가 인터뷰 후보 추출: 특정 세그먼트(예: NPS Detractor)의 응답자를 CSV에서 추출하고, 후속 인터뷰 초대 리스트를 작성

혼합 연구 방법에서는 "동일 응답자의 정량・정성 데이터를 연결할 수 있는가"가 결정적으로 중요합니다. Kicue는 응답자 ID를 보유하기 때문에, Joint Display 작성을 위한 연결 작업이 용이해집니다.

또한, 관련 기사로 정량 조사와 정성 조사의 사용 구분、자유 기술 설문의 설계、자유 기술을 AI로 분석하는 실무、신뢰도와 타당도의 검증을 함께 읽으면, 혼합 연구 방법의 각 단계에서 사용할 수 있는 구체 도구가 갖춰집니다.

참고 문헌

Creswell, J. W., & Plano Clark, V. L. (2017). Designing and Conducting Mixed Methods Research (3rd ed.). SAGE Publications.
Tashakkori, A., & Teddlie, C. (Eds.). (2010). SAGE Handbook of Mixed Methods in Social & Behavioral Research (2nd ed.). SAGE Publications.
Greene, J. C., Caracelli, V. J., & Graham, W. F. (1989). Toward a conceptual framework for mixed-method evaluation designs. Educational Evaluation and Policy Analysis, 11(3), 255-274.
Fetters, M. D., Curry, L. A., & Creswell, J. W. (2013). Achieving integration in mixed methods designs—principles and practices. Health Services Research, 48(6 Pt 2), 2134-2156.
Bryman, A. (2007). Barriers to integrating quantitative and qualitative research. Journal of Mixed Methods Research, 1(1), 8-22.
Onwuegbuzie, A. J., & Leech, N. L. (2006). Linking research questions to mixed methods data analysis procedures. The Qualitative Report, 11(3), 474-498.
Johnson, R. E., Grove, A. L., & Clarke, A. (2019). Pillar Integration Process: A Joint Display Technique to Integrate Data in Mixed Methods Research. Journal of Mixed Methods Research, 13(3), 301-320.

정량과 정성 분석을 하나의 플랫폼에서 통합하고 싶으시다면, 무료 설문조사 도구 Kicue 를 사용해 보세요. SA / 매트릭스 / 척도 설문을 통한 구조화 데이터 수집, 자유 기술을 통한 정성 데이터 수집, 응답자 ID 연동 CSV 내보내기로 Joint Display 작성 및 후속 인터뷰 후보 추출까지, 혼합 연구 방법의 기반을 1개 계정으로 구축할 수 있습니다.