Mixed up: 보건 전문직 교육 혼합 연구 방법 연구에서의 통합(Integration)에 대한 증거 (Adv Health Sci Educ Theory Pract. 2026)

Adv Health Sci Educ Theory Pract. 2026 Jan 30. doi: 10.1007/s10459-026-10503-5. Online ahead of print.

Mixed up: evidence of integration in health professions education mixed methods research

Jonathan Sherbino 1, Mark Lee 2, Elif Bilgic 3, Daniel Brandt Vegas 4, Sandra Monteiro 5, Sarah Munce 6, Cheryl Poth 7

 

 

[논문 리뷰] 혹시 내 연구도 '무늬만' 혼합 연구? 🤔 MMR에서 가장 중요한 '통합'을 확실하게 보여주는 법

안녕하세요! 오늘은 보건 전문직 교육(Health Professions Education, HPE) 분야에서 연구하시는 분들이라면 꼭 한 번 읽어봐야 할 뼈 때리는(?) 논문을 하나 소개해 드리려고 해요.

요즘 질적 연구와 양적 연구를 함께 진행하는 혼합 연구 방법(Mixed Methods Research, MMR)이 대세죠? 복잡한 교육 현상을 이해하는 데 이만한 게 없으니까요. 그런데, 단순히 설문조사(양적) 한번 하고 인터뷰(질적) 한번 했다고 해서 그게 진짜 '혼합 연구'일까요?

오늘 소개할 논문은 "우리가 MMR이라고 부르는 연구들이 과연 제대로 '섞이고(Integrated)' 있는가?"에 대해 아주 날카로운 질문을 던집니다.

---

1. 1 + 1 = 3 이 되어야 진짜 혼합 연구! 💡

많은 분들이 다중 방법 연구(Multi-methods Research)와 혼합 연구 방법(Mixed Methods Research, MMR)을 혼동하곤 해요.

• 다중 방법: 그냥 여러 방법을 씀. 서로 섞이지 않고 따로 놂. (1+1=2)
• 혼합 연구(MMR): 두 방법이 섞여서 새로운 통찰을 만들어냄. (1+1=3)

이 논문의 저자들은 MMR의 핵심을 바로 '통합(Integration)'이라고 강조합니다.

"통합은 이론, 데이터의 유형, 그리고 분석 방법론의 구조화된 혼합으로서, 메타 추론, 즉 어떤 종류의 단독 방법이 제공할 수 있는 것 이상의 더 높은 수준의, 더 포괄적인 통찰을 제공하는 것입니다."

"Integration is the structured mixing of theories, types of data, and analytic methodologies to provide meta-inferences, i.e., higher-level, more comprehensive insights beyond what a stand-alone method of any variety could offer."

 

즉, 양적 데이터와 질적 데이터를 비빔밥처럼 잘 섞어서(Mixing), 그전에는 안 보이던 새로운 맛(Meta-inferences)을 내야 한다는 거죠!

---

2. 현실은? "통합의 증거가 사라졌다" 😱

연구진이 주요 저널에 실린 43개의 MMR 논문을 뜯어봤더니 충격적인 결과가 나왔습니다.

• 연구 설계에서 왜 섞어야 하는지 설명한 논문: 4.6%
• 데이터가 어떻게 연결되는지 그림(Design Diagram)으로 보여준 논문: 4개 뿐
• 결과를 통합해서 보여주는 표(Joint Display)가 있는 논문: 6개 뿐

상당수 연구가 "통합했다"고 주장하지만, 실제로 어떻게 통합했는지 보여주는 증거가 없었다는 거예요. 저자들은 이에 대해 아주 단호하게 말합니다.

"MMR 연구라고 주장하는 보고서에서 통합의 증거가 부재한 것은 근본적인 방법론적 결함입니다."

"The absence of evidence of integration in a purported MMR study report is a fundamental, methodological flaw."

---

3. 제대로 된 MMR을 위한 4단계 처방전 💊

그렇다면 어떻게 해야 할까요? 저자들은 연구의 4단계(설계, 수집, 분석, 보고)마다 통합의 흔적을 명확히 남기라고 조언합니다.

① 연구 설계 (Study Design)

왜 MMR이 필요한지 논리적으로 설명해야 합니다. 단순히 "둘 다 하면 좋으니까"가 아니라, 이론적 틀(Theoretical Framework) 안에서 두 방법이 왜 필요한지 설득해야 해요.

② 데이터 수집 (Data Collection)

데이터를 언제, 어떤 순서로 모을지, 그리고 이들이 서로 어떻게 영향을 주는지 보여줘야 합니다. 이때 말로만 하지 말고 설계 도표(Design Diagram)를 꼭 넣으세요! (논문의 Fig 1처럼요 🗺️)

③ 분석 (Analysis)

따로따로 분석하고 끝내지 마세요.

• 서사적 엮기(Narrative Weaving): 글을 쓸 때 두 결과를 엮어서 서술하기
• 결합 디스플레이(Joint Display): 표 하나에 양적 결과와 질적 결과를 나란히 놓고 비교하기 (논문의 Fig 2 강추! 📊)

④ 보고 (Reporting)

여기가 하이라이트입니다. 고찰(Discussion) 부분에서 단순히 결과를 요약하는 게 아니라, 통합을 통해 얻어낸 '메타 추론(Meta-inferences)'을 제시해야 합니다.

"메타 추론은 반드시 최종 정답이 아니라, 더 높은 차원의 통찰을 제공합니다."

"Meta-inferences provide higher-level insights, not necessarily a final answer."

---

4. 마치며: 체크리스트를 활용하세요! ✅

저자들은 GRAMMS나 MMARS 같은 보고 지침(Reporting Guidelines)을 적극 활용하라고 권장합니다. 내 연구가 진짜 MMR인지, 아니면 그냥 두 가지 일을 따로 한 건지 헷갈린다면 이 논문이 제시하는 표(Table 1)를 옆에 두고 논문을 작성해 보세요.

진정한 혼합 연구는 두 가지 언어(숫자와 이야기)를 모두 사용하여, 교육 현장의 복잡함을 온전히 담아내는 매력적인 과정이니까요!

📝 오늘의 요약:

1. MMR의 핵심은 통합(Integration)이다.
2. 설계부터 보고까지 모든 단계에서 '섞었다는 증거'를 보여줘라.
3. Joint Display와 Meta-inferences를 잊지 말자!

 

---

배경 (Background)

 

보건 전문직 교육(Health Professional Education, HPE) 분야는 다양하고 복잡한 질문들을 탐구하며, 여기서는 여러 요소들이 예측할 수 없는 방식으로 역동적인 맥락 안에서 상호 작용합니다. 복잡한 질문들은 단순한 해결책을 거부합니다. 그러한 질문들은 HPE 내의 광범위한 학문 분야를 반영하여, 다원적인 방법론(plurality of methodologies), 데이터 소스, 그리고 관점이 필요합니다 (Norman et al., 2022). 예를 들어, 전자의무기록(electronic health record) 문서를 사용하여 의료 팀의 상호의존성을 탐구한 Sebok-Syer와 동료들의 연구(Sebok-Syer et al., 2023)는 팀 성과에 미치는 사회학적, 심리학적, 기술적 영향을 고려하기 위해 다수의 질적(qualitative) 및 양적(quantitative) 데이터 세트를 필요로 했습니다.

 

복잡한 HPE 문제를 이해하고자 할 때, 단일 연구 방법론(single research methodology)은 불충분할 수 있으며, 일부 연구 질문은 질적 방법론과 양적 방법론의 다양한 조합을 포함하는 설계를 사용할 때 가장 잘 해결될 수 있습니다. 혼합 연구 방법(Mixed Methods Research, MMR)은 HPE에서 분리된 연구 패러다임(paradigms) 간의 간극을 메우는 데 도움을 줄 수 있습니다 (Shannon-Baker, 2016). MMR은 복잡한 문제에 대한 새로운 통찰(novel insights)을 생성하기 위해 이론, 데이터, 방법론의 통합(integration)을 필요로 하는 문제를 해결하기 위한 유망한 접근법으로 부상했습니다. MMR은 단일 연구 내에서 여러 유형의 데이터와 분석 방법을 결합함에 있어 실용주의적 인식론(pragmatic epistemology)에 의해 인도됩니다 (Creswell & Clark, 2018; Lavelle et al., 2013). 몇 가지 핵심 기능이 MMR을 다른 접근법과 구별하는 역할을 하는데, 여기에는

 

• 연구 질문에 답하기 위한 질적 및 양적 데이터와 관련 분석 접근법의 목적 지향적인 통합(purposeful integration),
• 분석과 통합의 반복적이고 순환적인 과정(iterative and cyclical processes),
• 메타 추론(meta-inferences) 생성에 있어서 데이터와 해석의 맥락화(contextualization), 그리고
• 특정 방법론적 입장을 엄격히 고수하기보다는 연구 질문을 해결하는 데 가장 적합한 방법론을 통합하는 데 중점을 둔 실용주의적 초점(pragmatic focus)이 포함됩니다 (Creswell & Clark, 2018).

 

MMR과는 대조적으로, 다중 방법 연구(multi-methods research)는 데이터를 수집하고 분석하기 위해 하나 이상의 방법을 사용하지만, 질적 접근법과 양적 접근법 모두를 요구하지도 않고 그들의 통합을 요구하지도 않습니다. 다중 방법 연구는 일반적으로 단일 연구 패러다임(single research paradigm)(예: 전체 연구 내에서 주관주의적(subjectivist), 질적 방법론만 사용) 내에 존재합니다 (Nanthagopan, 2021). 데이터 수집 및 분석을 위해 사용된 여러 방법들은 결과를 통합하는 어떠한 과정도 없이 서로 독립적으로(independently) 작동합니다. 단일 방법 연구(single-method study)와 대조적으로, 다중 방법 연구는 공통의 연구 질문으로 수렴되는 여러 관련 소규모 분석들의 결합을 통해 질문에 대한 더 깊거나 넓은 탐구를 가능하게 합니다 (Greene, 2015). 다중 방법 연구가 표면적으로는 MMR과 유사해 보일 수 있지만, 근본적인 차이점은 데이터와 분석의 결합이 어떻게 메타 추론(meta-inferences)을 생성하는지에 대한 관심이 부족하다는 것입니다.

 

MMR의 차별화된 특징은 통합(integration)입니다. 통합 과정은 연구 질문을 해결하는 복합적인 해결책과 새로운 통찰을 생성하기 위해 이론, 데이터, 분석을 체계적이고 의도적으로 혼합(mixing)하는 것을 포함합니다 (Bazeley, 2024). Fetters와 Freshwater는 이를 1 + 1 = 3 통합 과제(integration challenge)라고 다르게 표현했는데, 이는 서로 다른 분석적 접근법의 통합이 성과(outcomes)에 있어서의 시너지(synergy)를 가능하게 한다는 것을 의미합니다 (Fetters & Freshwater, 2015). MMR은 양적 및 질적 방법론의 순차적(sequential) 또는 병렬적(parallel) 사용과 보고를 넘어서, 통합의 '어디서(where), 언제(when), 어떻게(how)'에 대한 신중한 고려를 요구합니다. 절차적 기술(Procedural descriptions)은 서로 다른 유형의 데이터와 분석이 어떻게 정보를 교환하여 메타 추론(meta-inference), 즉 질적 또는 양적 접근법 단독 분석만으로는 접근할 수 없었던 통찰(insight)에 도달하는지를 안내합니다 (Schoonenboom, 2022). MMR 연구라고 주장하는 보고서에서 통합의 증거가 부재한 것은 근본적인 방법론적 결함(methodological flaw)입니다.

 

우리가 아래에 보고하는 바와 같이, HPE MMR 연구에서 통합의 증거(evidence of integration)가 부족합니다. 이는 통합의 증거를 명시적으로 밝히는 것의 필요성에 대한 연구자와 검토자(reviewers)의 오해를 반영하는 것일 수 있습니다. 이 글의 목적은 MMR 설계를 채택한 HPE 연구에서 통합 보고 관행의 더 큰 정밀성(precision)을 옹호하는 것입니다.

 

1. 통합에 대한 더 명확한 보고를 위한 주장을 강화하기 위해, 우리는 5개의 주요 HPE 저널에서 MMR로 명명된 최근 연구들의 종합(synthesis)을 통해 통합이 어떻게 보고되었거나 보고되지 않았는지를 상술합니다.
2. 다음으로, 우리는 HPE 연구의 네 가지 단계(연구 설계, 데이터 수집, 분석, 그리고 보고) 전반에 걸쳐 통합 절차가 어떻게 개선될 수 있는지를 정의합니다.
3. 마지막으로, 우리는 두 가지 주요 MMR 보고 지침(reporting guidelines)에 비추어 우리의 연구 결과를 논의하고 통합의 증거 보고가 어떻게 개선될 수 있는지 제안하며 결론을 맺습니다.

 

HPE에 게재된 MMR 연구들의 통합 증거 현황 (The current state of integration evidence in HPE published MMR studies)

게재된 MMR 연구들에서 통합 증거의 현재 상태를 평가하기 위해, 문헌의 단면(cross-section)을 검토했습니다. 2023년 1월부터 2024년 6월까지 OVID 데이터베이스에서 다음 저널들을 대상으로 검색을 수행했습니다: Academic Medicine, Advances in Health Sciences Education, Medical Education, Medical Teacher, 그리고 Perspectives on Medical Education. 이 저널들은 피인용 지수(impact factor)*에 따른 최상위 일반 의학 교육 저널로서의 지위를 바탕으로 선정되었습니다. 키워드 "mixed method"가 논문과 관련된 제목, 초록, 또는 키워드에서 검색되었습니다.

 

원저 연구(original research)만 포함되었으며, 논평(commentaries)과 종합 연구(syntheses)는 제외되었습니다. 191건의 연구가 식별되었습니다. 중복을 제거한 후 58건의 논문이 남았습니다. 한 명의 검토자가 제목과 초록 수준에서 포함 여부를 위해 모든 기사를 스크리닝했습니다. 스크리닝 후, 스스로를 혼합 방법 연구라고 기술한 43건의 원저 연구가 남았습니다.

 

각 연구는 통합의 증거가 연구 설계(study design), 데이터 수집(data collection), 분석(analysis) 또는 보고(reporting) 단계에 포함되었는지 식별하기 위해 코딩(coded) 되었습니다. 두 명의 검토자가 포함된 연구의 10%를 독립적으로 코딩했습니다. 코딩의 불일치는 검토되었고 합의에 의해 해결되었습니다. 그 후, 한 명의 검토자가 포함된 기사 전체 세트를 코딩했습니다.

 

부록(appendix)은 각 연구의 주요 특징을 기술합니다. 통합의 증거는 연구의 각 단계에서 이론, 데이터 또는 분석의 혼합에 대해 논문 내에 구체적이고 명백한 표현이나 설명이 이루어진 경우 명시적(explicit)인 것으로 판정되었습니다. 통합이 설계나 결과로부터 추론될 수 있지만 통합 과정으로 구체적으로 식별되지 않은 경우, 이는 암묵적(implicit)인 것으로 점수 매겨졌습니다.

(누락된) 통합의 증거 (The (Missing) evidence of integration) 

MMR 설계에 대한 설명에서, 단 두 건의 연구(4.6%)만이 통합에 대한 이론적 근거(rationale)와 서로 다른 데이터 유형 및 분석의 의도적인 혼합이 연구 질문을 해결하는 데 가장 효과적이라는 정당성(justification)을 명시적으로 진술했습니다. 연구 문제의 개념화를 뒷받침하기 위해 이론적 틀(theoretical framework)에 통합된 관련 이론들의 명시를 포함하여, 혼합 방법론의 필요성을 정당화하는 이러한 연구들의 개념적 틀(conceptual frameworks)에 있어 눈에 띄는 격차가 있습니다.

• 데이터 절차(data procedures)에 대한 설명에서, 43개 연구 중 단 18개 연구만이 명시적으로(그리고 1개는 암묵적으로; 총 44.2%) 데이터의 순서와 시기를 포함하여 데이터 유형들이 어떻게 관련되는지를 상세히 기술하며 통합 과정(integration process)을 명확히 설명했습니다. 특히, 데이터 절차를 강조하는 설계 도표(design diagrams)를 포함한 연구는 단 4건에 불과했습니다.
• 분석 절차(analytical procedures)에 대한 설명에서, 단 14개 연구만이 명시적으로(그리고 3개는 암묵적으로; 총 39.5%) 다양한 하위 분석들이 어떻게 혼합되어 메타 추론(meta-inferences)을 도출하는지를 설명했습니다. 특히, 통합된 연구 결과를 보여주는 데이터 디스플레이(data displays)는 단 6개 연구에서만 나타나, 그 부재가 두드러졌습니다.

통합의 부재는 메타 추론(meta-inferences) 보고의 부족에도 반영되었습니다. 고찰(discussion) 섹션에서, 하위 연구들의 병렬 보고(parallel reporting)가 제공할 수 있는 것을 넘어서는 새로운 통찰(novel insight)을 제공하는 결론을 명시적으로 보고한 연구는 단 5건뿐이었습니다. 추가로 11개 연구(총 37.2%)가 MMR 접근법을 통해 가능해진 메타 추론을 제공했으나, 그들은 그러한 결과에 라벨을 붙이거나, 맥락을 제공하거나, 연구 질문과 연결 짓는 데 실패했습니다.

 

통합의 정의와 바람직한 통합 관행 (Defining integration and desirable integration practices)

통합은 혼합 연구 방법(MMR)의 정의적 특징으로 인식되고 있지만, MMR 커뮤니티는 집단적인 정의를 발전시키는 데 어려움을 겪고 있습니다. 진행 중인 논의의 복잡성은 MMR 연구에서 통합을 기술하고 수행하기 위한 개념화(conceptualizations)와 방법론적 절차(methodological processes)를 모은 MMR 방법론 저널의 특별호가 필요했다는 사실에서도 잘 드러납니다 (Guetterman et al., 2020). 핵심 교과서들의 정의는 모호성(ambiguity)과 동어반복(tautology)으로 특징지어집니다:

• “…혼합 연구 방법 연구에서 질적 결과와 양적 결과를 하나로 모으는 방법” (Creswell, 2015) 또는
• “…연구의 양적 및 질적 구성 요소를 명시적으로 상호 연관시키는 것” (Plano Clark & Ivankova, 2016).

기존의 논쟁을 종합(synthesizing)하는 것은 통합 보고 관행을 개선하려는 우리의 목표에 결정적이지 않습니다. 따라서 우리는 Fetters와 Molina-Azorin의 틀(Fetters & Molina-Azorin, 2017)에 기반하여, 보건 전문직 교육(HPE) MMR에서 사용할 수 있는 통합에 대한 더 명확한 정의와 관련된 통합의 증거를 제안합니다. 통합(Integration)은 이론, 데이터의 유형, 그리고 분석 방법론의 구조화된 혼합(structured mixing)으로서, 메타 추론(meta-inferences), 즉 어떤 종류의 단독 방법(stand-alone method)이 제공할 수 있는 것 이상의 더 높은 수준의, 더 포괄적인 통찰(insights)을 제공하는 것입니다. 아래에서 우리는 통합의 증거를 필요로 하는 연구의 전형적인 4단계 내의 명시적인 영역들을 식별합니다.

연구 설계 단계에서의 통합 (Integration at study design stage) 

• 통합을 위한 설계는 연구 근거를 뒷받침하기 위해 MMR을 사용하는 것에 대한 논리적 주장(logical argument)을 명시하는 동시에 후속 데이터 절차와의 일치(alignment)를 보장하는 개념적 틀(conceptual framework) (Varpio et al., 2020)을 필요로 합니다. 연구 설계 단계에서의 통합은 구체적인 MMR 질문을 해결하고 연구 문제에 대한 더 큰 이해에 기여하기 위해 왜, 그리고 어떻게 질적 접근과 양적 접근의 결합이 필요한지를 명시적으로 서술할 것을 요구합니다. 왜 단일의 객관주의적(objectivist) 또는 주관주의적(subjectivist) 접근만으로는 연구 질문에 답하기 불충분한지에 대한 구체적인 설명이 제공되어야 합니다. 하지만 분명히 말하자면, 많은 연구 질문에 있어 MMR 접근법이 반드시 필요한 것은 아닙니다.
• 연구 설계 단계에서, 이론적 틀(theoretical framework) (즉, 연구 질문을 지지하고 범위를 한정하며 분석의 렌즈에 정보를 제공하는 이론들의 발판)은 관련 이론들의 필요하고도 적절한 혼합에 대한 명시적인 논증을 해야 합니다 (Varpio et al., 2020; Haynes-Brown, 2023). 여기서도 역시 이론 통합의 증거는 명확히 제시되어야 합니다.
• 설계 단계에서의 통합의 증거(Evidence of integration)는 개념적 틀 내에서 MMR 사용에 대한 정당성(justification)과 이론적 틀 내에서의 이론 통합에 대한 설명을 포함합니다.

데이터 수집 단계에서의 통합 (Integration at data collection stage)

• MMR 설계를 구현하는 것은 통합의 지점들과 데이터의 순서(sequencing), 시기(timing), 그리고 순차적 또는 병렬적으로 수집된 다양한 소스와 유형의 관계를 기술하는 것을 포함합니다. 연구자들은 데이터의 순서가 분석과 생성될 수 있는 통찰에 영향을 미칠 것임을 인식하고, 데이터 세트들이 어떻게 혼합될지에 대한 의도를 사전에(a priori) 기술해야 합니다. 데이터 수집 절차의 순서가 미치는 영향과 결과를 명확히 하기 위해서는 데이터 수집 단계에서의 의도적인 통합(intentional integration)의 증거가 필수적입니다.
• MMR 설계에서 데이터 수집에 대한 두 가지 일반적인 접근법은 순차적(sequential) 방식과 병렬적(parallel) 방식입니다.
  • 순차적으로 수집된 데이터는 하나의 데이터 수집 단계가 다른 단계를 뒤따르는 것을 포함합니다. 이러한 데이터 통합 접근법은 후속 단계가 선행된 데이터 수집 및 분석 단계를 기반으로 구축되는 결과를 낳습니다. 이와 대조적으로,
  • 병렬적 데이터 수집은 데이터를 동시적으로(concurrently) 통합할 기회를 포함하며, 이는 분석이 진행됨에 따라 데이터 수집 절차에 반복적인 변화(iterative changes)를 가져올 수 있습니다 (Fetters et al., 2013).
  • 데이터 수집 단계에서 통합의 증거를 명시적으로 만들기 위해 설계 도표(design diagram)의 유용성을 주목하는 것이 중요합니다. 전형적으로, 설계 도표는 통합 절차에 대한 서사적 기술(narrative description)을 보완합니다.
    • HPE 문헌에서 모범적인 설계 도표는 Burt-Miller와 동료들 (Burt-Miller et al., 2024), 그리고 Baig와 동료들 (Baig et al., 2024)의 연구에서 제공된 설계 도표에서 볼 수 있으며, 여기서 설계 도표는 서사적 기술에 대한 보완적인 시각적 설명을 제공합니다. 가상의 설계 도표 예시는 그림 1을 참조하십시오.
• 데이터 수집 단계에서의 통합의 증거(Evidence of integration)는 수집 과정이 데이터 세트의 혼합에 어떻게 정보를 제공하는지에 대한 설명을 포함합니다. 설계 도표가 포함되어야 합니다.

---

Figure 1: 설계 도표 (Design Diagram) 

1. 범례 번역

Fig. 1 설계 도표(design diagram)의 예시. 임상 실습(clerkship)에서의 공감 훈련 커리큘럼이 미치는 영향을 조사하고 공감을 발전시키는 의대생들의 경험을 탐구하기 위해 수렴적 혼합 연구 방법(convergent mixed methods approach)을 사용한 가상의 예시 연구이다. 이 설계 도표는 질적 및 양적 데이터가 어떻게 수집되고 분석되는지, 그리고 그 후에 통합(integration)과 해석(interpretation)이 어떻게 일어나는지를 시각적으로 나타낸다.

2. 그림 설명

이 그림은 혼합 연구 방법(MMR)의 설계 단계에서 연구의 흐름을 보여주는 도표입니다.

• 좌측 (병렬적 진행): 연구는 두 가지 트랙으로 동시에 시작됩니다.
  • 상단 트랙 (양적 연구): 공감 척도를 이용한 설문조사(Survey)를 수행하고, 시간 경과에 따른 변화를 보기 위해 분산 분석(ANOVA)을 실시합니다.
  • 하단 트랙 (질적 연구): 심층 인터뷰(In-depth interviews)를 수행하고, 주제 분석(Thematic Analysis)을 통해 임상 실습 및 공감 발달과 관련된 주제를 식별합니다.
• 중앙 (통합): 두 트랙이 합쳐지는 지점입니다. 양적 점수(scores)와 질적 주제(themes)를 병합(merge)하여 커리큘럼과 공감 발달 사이의 연결 고리를 식별합니다.
• 우측 (해석): 통합된 데이터를 바탕으로 공감 발달에 영향을 미치는 맥락적, 교육 과정적 요인을 이해하고, 커리큘럼 개선안을 권고하는 최종 결론을 도출합니다.

---

분석 단계에서의 통합 (Integration at analysis stage)

• 통합된 결과(integrated findings)의 증거를 제공하는 것은 메타 추론(meta-inferences)의 생성을 가능하게 하는 데 필수적입니다. 이 단계는 새로운 통찰(novel insights)의 생성을 촉진하기 위해 하위 분석들(예: 독립적인 질적 및 양적 분석)을 결합하거나 혼합하는 분석 과정을 기술하는 것을 포함합니다. 분석에서의 통합 증거는 전체 연구가 단순히 별개의 하위 연구들의 병렬 보고(parallel reporting)에 그치지 않도록 보장하는 데 도움을 줄 수 있습니다.
• Fetters, Curry, 그리고 Creswell은 여기서 우리의 논의 범위를 제공하는 세 가지 통합 전략을 기술합니다: 서사적 엮기(narrative weaving), 데이터 변환(data transformation), 그리고 결합 디스플레이(joint display) (Fetters et al., 2013).
  • 서사적 과정(narrative process)은 포괄적인 결론을 도출하기 위해 다양한 데이터 하위 분석들을 개념별(concept-by-concept) 기초 위에서 엮어냅니다.
  • 데이터 변환 과정은 통일된 분석을 위해 다양한 데이터 유형을 공통의 형태로 변환하는 것을 요구합니다. 예를 들어, 통계적 조작을 허용하기 위해 질적 데이터를 수치적 형태로 의미론적 변환(semantic conversion)을 하거나, 후속 질적 분석을 위해 양적 분석에서 확인된 주제들을 서면으로 기술하는 것입니다. 마지막으로,
  • 더 일반적으로 데이터 디스플레이(data displays)라고도 불리는 결합 디스플레이(joint display)는 데이터 하위 집합의 개별 분석으로는 불가능했던 누적 분석을 분명하게 보여주기 위해 서로 다른 데이터 유형을 시각적으로(그림, 매트릭스, 그래프 등을 통해) 전시합니다. 결합 디스플레이의 주요 유형 중 일부는
    • 나란히 배치(side-by-side),
    • 주제별 통계(statistics-by-themes) 또는 통계별 주제(themes-by-statistics), 그리고
    • 도구 개발(instrument development) 결합 디스플레이를 포함합니다 (Guetterman et al., 2015).
    • HPE 문헌에서 결합 디스플레이의 두 가지 예는 McDonald, Hu, Heeneman (McDonald et al., 2024)과 Rueb 및 동료들 (Rueb et al., 2024)의 연구에서 볼 수 있으며, 여기에는 서로 다른 데이터가 후속 결과를 도출하기 위해 어떻게 통합되었는지에 대한 명확한 시각화가 있습니다. 그림 1의 동일한 가상 연구를 기반으로 한 결합 디스플레이의 예시는 그림 2를 참조하십시오.
• 데이터 통합의 서로 다른 강도(intensity) 수준을 고려하는 것도 중요합니다. 통합된 데이터로부터 결론을 연결하고 도출하기 위한 추론 만들기(inference-making) 과정은 데이터 세트들이 순차적으로 연결되거나 구축되는지, 아니면 동시에 병합되는지를 포함하여 명확하게 기술되어야 합니다. 분석에서의 통합 증거는
  • 수렴(convergence) 또는 불일치(divergence)의 나란히 비교(side-by-side comparisons),
  • 단일 데이터베이스로의 데이터 변환, 또는 연결, 비교,
  • 메타 추론을 예시하는 결합 디스플레이 등을 통해 더 풍부하고 시너지 효과가 있는 결과(synergistic results)를 보장합니다.
• 마지막으로, 통합은 획일성(uniformity)을 의미하지 않습니다. 통합의 특수한 사례는 서로 발산하는(diverge)(불일치하는) 결과를 다루는 것을 포함합니다. 사실, 일부 결합 디스플레이는 특히 발산하는 결과에 주의를 환기시키기 위해 양적 분석과 질적 분석 간의 통합 적합성을 분류하기도 합니다 (McCrudden et al., 2021). 두 가지 주요 전략이 이러한 사례를 다룹니다.
  • 첫째, 불일치의 감지(detection of divergence)는 수렴하지 않거나 상호 보완적이지 않은 하위 분석들을 해결하기 위한 추가 분석의 기회를 제공합니다. 이는 발산하는 결과들을 기반으로 구축하기 위해 추가적인 데이터 수집과 분석을 필요로 할 수도 있습니다. 그러나, 이것이 항상 필요한 것은 아닙니다.
  • 연구자들은 귀추법(abduction)의 형태를 통해, 벗어나는 결과들을 설명하는 더 포괄적인 이론을 개발하는 것을 선택할 수 있습니다.
    • 귀추법은 관찰된 발산하는 결과들에 대해 논리적으로 일관된 설명을 제공하는 설명적 가설(explanatory hypothesis)을 형성하는 것을 포함합니다.
    • 일반적인 전제에서 구체적인 결론을 도출하는 연역법(deduction)이나, 구체적인 사례들로부터 일반화하는 귀납법(induction)과는 달리, 귀추법은 관찰된 관계들에 대한 최선의 설명을 제안하며, 추가적인 정교화에 열려 있습니다.
• 분석 단계에서의 통합의 증거(Evidence of integration)는 하위 분석들이 누적 분석(cumulative analysis)을 위해 어떻게 혼합되는지에 대한 구체적인 설명을 포함합니다.

보고 단계에서의 통합 (Integration at the reporting stage) 

• 보고 단계에서 새로운 통찰을 논의하는 것은 MMR 연구의 궁극적인 목적이며, 이는 이론, 데이터, 분석의 통합을 통해서만 유일하게 가능한 메타 추론(meta-inferences)의 구체적인 제공을 의미합니다. 통합의 분석 단계와 보고 단계는 밀접하게 연결되어 있습니다.
  • 분석 단계는 전형적으로 연구 원고의 결과(results) 섹션을 구성하는 반면,
  • 보고 단계는 고찰(discussion) 섹션의 시작 요약을 구성합니다.
• 너무 빈번하게 메타 추론이 분석 단계에서 제안되지만, 필요한 라벨링, 적절한 프레이밍(framing)을 통한 연구 질문과의 연결, 그리고 그 의미에 대한 맥락화(contextualization)가 결여되어 있습니다. 그 결과, 독자는 분석 단계에서 이용 가능한 메타 추론을 스스로 식별하고 자신의 연결과 결론을 도출해야 하는 상황에 남겨집니다.
• 보고 단계에서는 연구 설계, 데이터 수집, 분석의 모든 요소를 하나로 모아 연구의 메타 추론(결론)을 명료하게 서술해야(articulated) 합니다.
  • 예시는 그림 2를 참조하십시오. 또한, 이 논문의 서두에서 언급한 Sebok-Syer 등의 연구는 다음과 같은 다수의 메타 추론에 도달했습니다: “교수진은 자신의 전자의무기록(EHR) 기반 지표와 해당 벤치마크에 대해 제한된 인식을 보였으며, 이는 지지적인 상호의존성을 통해 모범 사례(best practices)의 역할 모델이 되는 그들의 능력에 영향을 미친다” (Sebok-Syer et al., 2023).
    • 그들의 분석은 혼합된 데이터 세트들의 관계적 연결(relational connection)을 입증합니다. 
    • 고찰에서 그들은 이 결과를 임상 훈련 시스템의 맥락에서 설명하여, 전공의의 임상 성과에 특화된 교수진 교육의 영향에 대한 더 미묘한 이해를 가능하게 합니다.
  • 이와 대조적으로, 다중 방법(multi-methods) 연구였다면 아마도 교사의 임상 성과에 대한 제한된 통찰력이나 교수진의 감독 기능에 따른 전공의 성과의 분산을 각각 따로 보고했을 것입니다. 혼합 방법 설계는 감독의 유형에 따른 임상 결과들 간의 상호 연결(interconnection)을 입증할 수 있게 했습니다.
• 메타 추론은 관계적, 예측적, 인과적, 비교적, 그리고 부연적인 결론을 명시할 수 있습니다 (Younas et al., 2025). 그러나, 확정적인 결론은 그들이 답하고 있는 질문의 유형에 따라 조절되어야 합니다. 복잡한 문제의 본질은 단순하고, 확정적이며, 불변하는 해결책을 거부합니다; 메타 추론은 반드시 최종 정답이 아니라, 더 높은 차원의 통찰(higher-level insights)을 제공합니다.
• 보고 단계에서의 통합의 증거(Evidence of integration)는 연구 질문을 다루는 메타 추론의 명시적이고 맥락적인 서술을 포함합니다.

---

Figure 2: 결합 디스플레이 (Joint Display) 

1. 범례 번역

Fig. 2 결합 디스플레이(joint display)의 예시. 임상 실습(clerkship)에서의 공감 훈련 커리큘럼이 미치는 영향을 조사하고 공감을 발전시키는 의대생들의 경험을 탐구하기 위해 수렴적 혼합 연구 방법(convergent mixed methods approach)을 사용한 예시 연구이다. 이 가상의 연구에서, 공감 설문조사의 양적 점수(quantitative scores)와 지지적 멘토링의 중요성을 포착한 질적 인터뷰 데이터(qualitative interview data)의 통합은, 역할 모델링 및 상황 토론을 위한 의도적인 기회가 어떻게 학습자의 공감 기술을 증진시키는지를 조명한다.

2. 그림 설명

이 그림은 분석 및 보고 단계에서 양적 결과와 질적 결과를 통합하여 어떻게 메타 추론(Meta-inferences)을 도출하는지 보여주는 표(Table)입니다.

• 첫 번째 열 (양적 결과): ANOVA 분석 결과, 처음과 마지막 시점 사이에 공감 점수의 통계적으로 유의미한 변화가 있었음을 보여줍니다.
• 두 번째 열 (질적 결과): 연구 일지와 인터뷰 데이터를 분석한 결과, '지지적인 멘토링이 학습자의 공감 접근 방식을 구축하는 데 도움을 준다'는 주제(Theme 3)가 도출되었습니다.
• 세 번째 열 (결과 통합 - 메타 추론): 앞선 두 결과를 합쳐서 새로운 통찰을 도출합니다. 단순히 "점수가 올랐다"와 "멘토링이 중요하다"를 나열하는 것이 아니라, "교수진과 학습자 간의 의도적인 역할 모델링 기회와 상황 토론이 실습 기간 동안 학습자의 공감 발달을 지원한다"는 더 깊은 결론(1+1=3)을 이끌어냅니다.

 

---

추가적인 고려사항들 (Additional considerations) 

통합을 연구 설계, 데이터 수집, 분석, 그리고 보고에만 국한된 것으로 보는 개념화는 불완전합니다. Fetters와 Molina-Azorin은 통합의 추가적인 차원(additional dimensions)을 주장합니다 (Fetters & Molina-Azorin, 2017). 이러한 차원들은 팀 구성원의 혼합(예: 전문성, 학문적 배경)과 보급 플랫폼(dissemination platforms)의 혼합(예: 출판 유형, 출판 독자)을 포함합니다.

 

• 팀 구성원의 다양성은 방법론적 선호가 균형을 이루도록 보장함으로써 통합의 장애물을 극복할 수 있습니다. 마찬가지로,
• 보급 플랫폼의 다양성은 저널이나 학술대회 논문집 등의 제약과 규범이 연구 내의 데이터와 방법의 혼합을 동시에 제약하지 않도록 보장할 수 있습니다. 다수의 보급 플랫폼은 연구 프로젝트의 전체 이야기(full story)가 공유되도록 보장할 수 있습니다.

 

통합 증거 보고의 개선 (Improving the reporting of integration evidence) 

위에서 분석된 대다수의 HPE MMR 연구들에서 통합 증거가 누락된 것은 문제입니다.

• 어떤 경우에는, 다중 방법 연구(multi-methods research)가 잘못 분류되어 MMR 연구라고 주장되기도 합니다.
• 다른 경우에는, 통합의 방법론적 엄격성(methodological rigor)이 부족합니다. 그리고 마지막으로,
• 다른 경우에는 원고 내에 있는 통합의 암묵적 가정(implicit assumptions)을 파악하기 위해 독자가 추가적인 노력을 들여야 하며, 이는 MMR 연구를 제약하고 안내하는 요소가 됩니다.

잠재적인 해결책은 보고 지침(reporting guidelines)의 사용입니다. 저자와 검토자에게 필요한 통합의 증거에 주의를 환기시키는 보고 지침은 MMR 연구의 엄격성을 높이고, 연구에 정보를 제공하는 통합 요소들의 더 큰 명확성과 구체성을 통해 독자의 이해도를 향상시킬 수 있습니다 (O’Cathain et al., 2007; Guetterman et al., 2023).

 

우리는 HPE 커뮤니티가 MMR 연구의 설계와 출판을 안내하기 위해 보고 지침에서 확인된 원칙들을 채택할 것을 옹호합니다. HPE 저널들은 원고 내 통합 관행의 보고를 강화하기 위해 저자들에게 기존의 지침들을 안내해야 합니다. 우리는 연구에 대한 체크리스트 접근법(checklist approach)을 옹호하는 것이 아닙니다; 오히려 우리는 보고 지침에 명시된 바와 같이 통합 과정에 대한 인식을 높이는 것이 HPE 내 MMR의 질을 높일 것이라고 믿습니다.

 

HPE 내에서 보편적으로 합의된 MMR 보고 지침은 없지만, 우리는 HPE가 무작위 대조 시험(randomized controlled trial)에 대한 분야별 보고 지침을 필요로 하지 않는 것과 마찬가지로, 분야별(field-specific) 지침이 필요하다고 믿지 않습니다. 오히려 HPE는 지침을 위해 다른 분야를 참고할 수 있습니다. 혼합 방법 연구의 올바른 보고(Good Reporting of a Mixed Methods Study, GRAMMS) 도구는 보건 서비스 연구(health services research) 분야의 혼합 방법 연구에 포함되어야 할 6가지 기술 세트를 나열하고 있는데, 예를 들어 “통합이 어디서 발생했는지, 어떻게 발생했는지, 누가 참여했는지 기술하라”와 “방법의 혼합이나 통합으로부터 얻은 통찰을 기술하라” 등이 있습니다 (O’Cathain et al., 2007). GRAMMS는 MMR에서 가장 많이 인용되는 보고 지침입니다.

 

미국심리학회(American Psychological Association)는 혼합 방법 논문 보고 기준(Mixed Methods Article Reporting Standards, MMARS) (Levitt et al., 2018)을 개발하였으며, 이는 혼합 방법 연구의 각 섹션이 기술해야 할 내용을 더 정교하게 상술하고 있습니다. 여기에는 다음이 포함됩니다:

• 연구 설계(Study Design):
  • “탐구 접근법들이 결합된 방식을 기술하여 목적과 혼합 방법의 근거를 조명하라,” 그리고
  • “질적 및 양적 데이터를 모두 수집해야 할 필요성과 두 데이터베이스의 결과(findings)를 통합하는 것의 부가가치에 대한 근거 또는 정당성을 제공하라.”
• 데이터 수집(Data Collection):
  • “데이터가 다수의 소스로부터 수집될 때, … 데이터 세트 간의 관계를 명확히 식별하라.”
• 분석(Analysis):
  • “질적 및 양적 결과가 어떻게 ‘혼합’되거나 통합되었는지 표시하라 (예: 고찰, 결합 디스플레이 표, 그래프, 양적 텍스트·코드·주제를 빈도수나 변수로 변환하는 것과 같이 한 형태의 데이터가 다른 형태로 변환되는 데이터 변환).”

GRAMMS와 MMARS의 현재 버전은 가치 있는 출발점이지만, MMR의 방법론적 발전에 보조를 맞추기 위해 이 지침들의 추가적인 개선이 요구됩니다. 실제로 이 분야는

• 구체적인 통합 전략 (Greene, 2015; Fetters & Molina-Azorin, 2019; Åkerblad et al., 2021; Onwuegbuzie and Hitchcock, 2022; Pluye et al., 0000; Tunarosa & Glynn, 2017; Younas & Durante, 2023a),
• 통합 및 메타 추론의 적합성(fit) 평가, 결합 디스플레이(joint displays) (McDonald et al., 2024; Guetterman et al., 2021; Haynes-Brown & Fetters, 2021),
• 방법론적 품질 및 보고 (Guetterman et al., 2021; Fàbregues et al., 2020), 일반화(generalization), 그리고
• 교차 문화 MMR(cross-cultural MMR) (Younas & Durante, 2023b) 등의 특정 영역에서 상당히 발전했습니다. 이를 인식하여, GRAMMS를 업데이트하는 과정이 시작되었습니다 (Munce, 2025).

GRAMMS와 MMARS 모두 MMR의 모든 요소와 관련된 포괄적인 지침을 제공합니다. 그 결과, 통합 증거 보고에 대한 권고 사항은 본질적으로 일반적(general)입니다. 특히 설계, 데이터 수집, 분석, 보고 전반에 걸쳐 정렬된 구체적인 통합 절차를 보고하는 것은 HPE MMR 연구의 엄격성(rigor)과 가독성을 향상시킬 수 있습니다. 표 1은 통합 증거의 더 큰 구체성을 위한 잠정적인 권고안을 요약합니다.

결론 (Conclusion) 

보건 전문직 교육에서 혼합 방법 연구의 채택이 증가하고 있는 것은 마주하고 있는 복잡한 문제들을 해결할 수 있는 분석적 접근법에 대한 필요성이 커지고 있음을 시사합니다. MMR의 정의적인 구성 요소는 통합(integration), 즉 메타 추론을 제공하기 위한 이론, 데이터 유형, 분석 방법론의 구조화된 혼합입니다. HPE 연구의 단면에 대한 종합(synthesis)은 명시적인 통합 증거의 부족이나 MMR로 라벨링된 연구들의 빈번한 잘못된 표현을 드러냅니다. 통합은 연구 과정의 각 단계인 연구 설계, 데이터 수집, 분석, 그리고 보고에서 신중하게 고려되고 명시되어야 합니다. 향후의 작업은 통합의 증거를 강조하는 보고 지침에 명시된 원칙들을 채택하도록 HPE 커뮤니티를 참여시켜야 합니다.

 

 

 

 

표 1. 통합 증거의 구체성을 강화하기 위한 권고 사항 
(Table 1. Recommendations to enhance the specificity of evidence of integration)

이 표는 연구의 각 단계(설계, 데이터 수집, 분석, 보고)에서 통합의 증거를 높이기 위한 구체적인 질문 및 조치 사항을 제시하며, 이를 기존의 GRAMMS 지침과 비교하고 있습니다.

1. 설계 (Design) 

• 통합의 증거 높이기 (Increasing the Evidence of Integration):
  • 왜 MMR이 필요한가? (Why is MMR required?) 다양한 데이터 세트와 분석의 통합이 연구 질문을 해결하는 데 왜 필요한지 개념적 틀(conceptual framework) 안에서 기술하십시오.
  • 필요한 지지 이론(supporting theories) 혹은 경계 설정 이론(delimiting theories)들의 혼합(mixing)이 입증되었습니까? 이론들의 통합이 연구에 어떻게 정보를 제공하는지 이론적 틀(theoretical framework) 안에서 기술하십시오.
• 현재 GRAMMS 권고 사항:
  • 연구 질문에 혼합 연구 방법 접근법을 사용하는 것에 대한 정당성(justification)을 기술하십시오.

2. 데이터 수집 (Data collection) 

• 통합의 증거 높이기 (Increasing the Evidence of Integration):
  • 어떤 MMR 설계가 사용되었습니까? 
    • 순차적 탐색 (sequential exploratory)
    • 순차적 설명 (sequential explanatory)
    • 병렬 (parallel)
    • 또는 기타 (other)?
  • 데이터 수집의 순서(sequence), 시기(timing), 그리고 관계(relationship)를 기술하십시오.
  • 설계 도표(design diagram)를 제공하십시오.
• 현재 GRAMMS 권고 사항:
  • 목적(purpose), 우선순위(priority), 방법의 순서(sequence) 측면에서 설계를 기술하십시오.

3. 분석 (Analysis) 

• 통합의 증거 높이기 (Increasing the Evidence of Integration):
  • 데이터를 결합(combining)하기 위해 어떤 과정이 사용되었습니까? 하위 분석들(예: 질적 분석과 양적 분석)을 결합하는 과정을 기술하십시오.
    • 서사적 엮기 (Narrative weaving)
    • 데이터 변환 (Data transformation)
    • 결합 디스플레이 (Joint display)
    • 기타 (Other)
• 현재 GRAMMS 권고 사항:
  • (이미지상 해당 칸은 비어 있거나 병합되어 있으나, 통상적으로 분석 단계의 통합 기술을 요구함)

4. 보고 (Reporting) 

• 통합의 증거 높이기 (Increasing the Evidence of Integration):
  • 어느 한 데이터셋만으로는 제공할 수 없는 어떤 새로운 메타 추론(meta-inference)이 도출됩니까? 
  • 이 메타 추론은 어떻게 맥락화(contextualized)되고 연구 질문과 관련됩니까? 
  • 연구 질문(들)에 대한 맥락화와 함께 메타 추론(들)을 강조하십시오.
• 현재 GRAMMS 권고 사항:
  • 통합이 어디서 발생했는지, 어떻게 발생했는지, 누가 참여했는지 기술하십시오.
  • 방법을 혼합하거나 통합함으로써 얻은 통찰(insights)을 기술하십시오.