의학교육에서 혼합 방법 연구 사용: 연구자를 위한 기본 지침

Schifferdecker KE, Reed VA. Using mixed methods research in medical education: basic guidelines for researchers. Medical Education. 2009 Jul;43(7):637-44.

소개 (INTRODUCTION)

의학교육 연구는 두 가지 접근 방식의 교차점에 위치해 있다. 의학교육 연구는 점점 더 **근거 중심 의학교육(evidence-based medical education)**을 요구받고 있으며, 이는 종종 통제된 실험이나 비교 그룹을 기반으로 한다. 그러나 이러한 근거 중심 접근 방식이 강조되면서 연구 질문이 기술적 효율성과 효과성의 실용적 측면으로만 축소될 위험이 있다. 이는 교육 및 정책 결정에 내재된 더 넓은 사회적, 철학적, 윤리적 문제를 탐구하는 연구를 장려하지 않을 가능성이 있다. 의학교육 연구의 향후 방향에 대한 논평들은 교육 과정과 내용, 그리고 그 영향에 대한 지식과 이해를 확장하기 위해서는 질적(qualitative) 및 양적(quantitative) 연구 접근법이 모두 필요하다는 점을 분명히 하고 있다.

 

INTRODUCTION
Medical education research finds itself at the intersection of two approaches. It is subject to increasing calls for evidence-based medical education, which often relies on controlled experiments or comparison groups. However, this emphasis on evidence-based practice threatens ‘to reduce research questions to the pragmatics of technical efficiency and effectiveness. It will not encourage research which explores the wider social, philosophical or ethical issues’ inherent in educational and policy decisions. Commentaries on the future direction of medical education research leave little doubt that both qualitative and quantitative approaches are needed to expand knowledge and understanding of educational process and content, and of impacts.

---

의학교육 연구는 정기적으로 복잡한 교육적 개입 및 여러 이해관계자 간의 상호작용을 탐구한다. 예를 들어, 의학교육 연구는 지식, 태도, 기술이 환자 진료 과정에서 어떻게 구현되는지를 측정하는 과정을 포함하는 경우가 많다. 따라서 의학교육 연구는 **혼합 연구 방법(mixed methods research)**을 수행하기에 이상적인 환경을 제공한다. 혼합 연구 방법은 질적 및 양적 데이터의 수집, 분석 및 통합을 단일 연구에서 수행하는 접근법을 의미한다. 혼합 연구 방법의 장점은 새로운 연구 질문이나 교육적 개입을 연구할 때, 특히 실험적 환경이 아닌 자연스러운 환경에서 복잡한 개입 및 상호작용을 연구할 때 더욱 분명하게 나타난다. 이 접근법은 연구 결과를 확장 및 삼각검증하고 연구 결과에 대한 더 깊은 통찰을 제공하는 것을 목표로 한다.

 

Medical education research regularly involves exploration of complex initiatives and interactions among multiple players, such as those involved in measuring the translation of knowledge, attitudes and skills displayed in the provision of patient care. As such, medical education research provides the ideal milieu in which to conduct mixed methods research, which is, namely, the collection, analysis and integration of both qualitative and quantitative data in a single study. The benefits of a mixed methods approach are particularly evident when studying new questions and initiatives or complex initiatives and interactions in natural, as opposed to experimental, settings. This approach aims to broaden and triangulate research findings in a way that sheds more light on these findings.

---

혼합 연구 방법은 의료를 실천하는 사람들에게 친숙하게 느껴질 것이다. 왜냐하면 대부분의 환자 진료 과정에서 질적 데이터(환자의 병력) 및 **양적 데이터(신체 검진 및 진단 검사 결과)**를 모두 수집하고 분석하기 때문이다. 또한, 양적 연구, 질적 연구 및 혼합 연구 방법을 수행하는 데 필요한 자료들은 풍부하게 제공되고 있다.

 

그러나 의학교육에서 혼합 연구 방법을 학습하려는 사람들을 위한 기본적인 가이드라인은 쉽게 이용할 수 없는 상황이다. 따라서 본 논문의 목적은 이러한 상황을 개선하는 것이다. 본 논문은 혼합 연구 방법에 관심이 있지만 익숙하지 않은 연구자들에게 출발점을 제공하는 데 목적이 있다.

 

Mixed methods approaches should feel familiar to individuals practising medicine as most patient care includes collecting and analysing both qualitative (patient history) and quantitative (physical examination and diagnostic tests) data, and resources on conducting quantitative, qualitative and mixed methods research abound. Unfortunately, for those who want to learn more about mixed methods research in medical education, there is no readily available set of basic guidelines. The purpose of this paper is to remedy that situation by providing a starting point for investigators interested in, but unfamiliar with, mixed methods research and approaches.

 

배경 (BACKGROUND)

혼합 연구 방법(mixed methods research)은 **사회과학(social sciences) 및 행동과학(behavioural sciences)**에서 100년 이상 사용되어 왔다. 그러나 교육 및 의학 분야에서의 활용은 질적 연구 전통과 양적 연구 전통 간의 인식론적(epistemological) 논쟁으로 인해 제한을 받아왔다. 지난 10년 동안 혼합 연구 방법은 **독립적인 연구 방법론(distinct methodology)**으로 엄격하게 장려되었다. 혼합 연구 방법을 구별하는 핵심 요소는 연구 과정에서 질적 및 양적 데이터를 연계하고 통합하는 것이다. 이러한 구별은 혼합 연구 방법을 적용하는 데 도움을 주는 심층적인 연구서, 새로운 학술지의 창간, 연구 기금 지원 기회의 증가 등을 통해 뒷받침되었다.

 

BACKGROUND
Although mixed methods research has been used in the social and behavioural sciences for more than a century, its use in education and medicine has been hampered by epistemological debates between the qualitative and quantitative traditions. During the past decade, mixed methods research has been rigorously promoted as a distinct methodology. Relating and integrating qualitative and quantitative data in the research process is key to distinguishing mixed methods research. This distinction has been supported by a proliferation of in-depth texts designed to guide researchers in the application of mixed methods, a new journal, and funding opportunities.

---

**Greene와 동료들(Greene et al.)**은 연구에서 혼합 연구 방법을 사용하는 다섯 가지 주요 목적을 정의하였다.

1. 개발(development):
   • 한 연구 방법을 다른 연구 방법의 개발에 활용하는 것
   • 연구 방법을 순차적으로 사용하여 **구성 타당성(construct validity)**을 향상시키는 목적
2. 보완(complementing):
   • 현상의 중첩되는 부분과 독특한 측면을 탐색하는 것
   • 서로 다른 방법을 사용하여 연구 결과를 **강화(enhancing), 확장(elaborating), 설명(illustrating), 명확화(clarifying)**하는 역할
   • 연구 결과의 설명 및 적용을 돕는 목적
3. 삼각검증(triangulation):
   • 다양한 유형의 데이터를 사용하여 **결과를 상호 검증(cross-check) 및 확증(corroborate)**하는 과정
4. 확장(expansion):
   • 연구 질문의 다양한 요소에 적절한 방법론을 적용함으로써 연구의 **범위(scope)와 탐구의 폭(range)**을 확장하는 목적
5. 시작(initiating):
   • 질적 및 양적 연구 방법을 동시에 활용하여 새로운 시각 및 일관되지 않는 요소를 발견하는 과정

이러한 목적들은 상호 배타적이지 않으며, 단일 연구 내에서 결합하여 사용할 수도 있다.

 

Greene and her colleagues have defined five particular categories of purpose for the use of mixed methods in research studies:
• development: to inform the development of one method from another, using the methods sequentially for the purposes of increasing construct validity;
• complementing: to explore areas of overlap and uniqueness within a phenomenon through the use of different methods for the purposes of enhancing, elaborating, illustrating or clarifying results, and to aid in the description or application of research findings;
• triangulation: to cross-check and corroborate results by the use of different types of data;
• expansion: to increase the range or scope of inquiry by appropriately matching the methodology to various components of the question of interest, and
• initiation: to specifically discover inconsistencies and new perspectives that may be uncovered as a result of employing both qualitative and quantitative methods.

 

이러한 목적들은 서로 배타적인 개념이 아니며, 단일 연구 내에서 결합하여 활용될 수 있다.

These purposes are not mutually exclusive and may be combined in any given study.

 

의학교육 연구에서의 혼합 연구 방법 적용
APPLICATION OF MIXED METHODS IN MEDICAL EDUCATION RESEARCH

지난 10년 동안 의학교육에서 혼합 연구 방법의 활용이 크게 증가했지만, 아직까지 명확하게 정의된 연구 설계 모델은 존재하지 않는다. 현재 혼합 연구 방법을 다루는 교재들은 4가지 모델과 10개의 변형 모델을 제시하는 경우도 있고, 20가지 이상의 혼합 연구 방법 유형을 설명하는 경우도 있다. 의학 및 간호 교육 연구에서 수행된 혼합 연구 방법 연구들을 지난 20년간 검토한 결과, Schifferdecker는 지속적으로 활용된 4가지 대표적인 연구 설계 모델을 확인했다.

 

우리는 이 4가지 모델을 활용하여 의학교육에서의 혼합 연구 방법 설계를 정의하고 설명하고자 한다.

이 4가지 모델은 다음과 같다.

1. 도구 개발(instrument development)
2. 설명적 연구(explanatory)
3. 삼각검증(triangulation)
4. 장기적 변환(longitudinal transformation)

Although mixed methods research in medical education has grown significantly in the last decade, specific research design models have not been defined. Current textbooks describe designs ranging from four models with 10 variants to over 20 typologies of mixed methods research designs. In a review of mixed methods studies in medical and nursing education research carried out over the past 20 years, Schifferdecker identified four overarching design models that were used consistently. We use these four models – instrument development, explanatory, triangulation and longitudinal transformation – to define and illustrate mixed methods research designs in medical education.

---

이 4가지 연구 설계를 중심으로 설명한다고 해서, 의학교육에서 활용할 수 있는 혼합 연구 방법이 이 네 가지에 국한된다는 의미는 아니다. 또한, 모든 연구에서 이 네 가지가 최적의 연구 설계가 된다고 주장하는 것도 아니다. 그러나 이 모델들은 혼합 연구 방법의 다양한 변형을 포괄하며, 이미 의학교육 연구에서 성공적으로 활용된 사례들이 있다. 따라서 혼합 연구 방법을 적용할 때 활용할 수 있는 다양한 목적과 선택지를 제공하며, 의학교육 연구에서 혼합 연구 방법을 정의하고 설명하는 데 있어 우수한 출발점이 된다고 볼 수 있다.

 

In our focus on these four designs, we do not suggest that they are the only ones available and appropriate for use in medical education or that they will always be the best designs to use. However, they cover a number of the variants in mixed methods approaches, have been used successfully in medical education studies and fulfil a wide range of purposes and options for conducting mixed methods research. For these reasons, we consider them to represent an excellent starting point from which to define and illustrate mixed methods research in medical education.

 

도구 개발 모델 (Instrument Development Model)

도구 개발 모델은 질적 데이터를 수집하여 양적 연구 도구(예: 설문지, 체크리스트)를 개발하는 과정을 의미한다. 이 과정에서 생성된 도구는 연구자의 관점만을 반영하는 것이 아니라, 연구 참여자의 경험, 의견, 언어에 기반하여 설계된다.

 

예시 연구:
Sherratt와 Jones는 마약을 오용하는 환자를 진료하는 과정에서 의료진이 직면하는 문제를 파악하기 위한 지속적 의학교육(Continuing Medical Education, CME) 프로그램 요구 평가(Needs Assessment)를 개발하는 데 이 모델을 활용했다.

• 먼저, **다양한 임상 역할을 가진 의료진을 대상으로 반구조화된 인터뷰(semi-structured interviews)**를 실시하여, 마약을 남용하는 환자를 진료할 때의 우려 사항을 조사했다.
• 인터뷰 데이터를 분석하여 **핵심 주제(themes)**를 도출한 후, 이를 반영하여 **설문지(questionnaire)**를 개발했다.
• 이 설문지는 30개 이상의 병원 및 약국에서 근무하는 의료진에게 배포되었다.
• 설문 응답 결과, 제시된 주제들이 실제로 의료진이 중요하게 여기는 문제들임이 확인되었다. 특히, 80% 이상의 일반의 및 간호사가 해당 주제에 대한 교육을 받고 싶다고 응답했다.

이 연구에서 연구자들은 단순히 인터뷰 없이 설문지를 개발할 수도 있었고, 반대로 질적 연구 결과를 CME 교육 과정의 주제 선정에만 활용할 수도 있었다. 그러나 **도구 개발 접근법(instrument design approach)**을 적용함으로써,

• **관련된 주제의 전체 범위를 식별(qualitative interviews)**하고,
• **타겟 의료진이 가장 관심을 가지는 주제를 확인(questionnaire responses)**할 수 있었다.

Instrument development is a model in which qualitative data are collected for the purpose of developing a quantitative instrument, such as a questionnaire or checklist, for observation. The resulting instrument is grounded in the views, experiences and language of the participants, rather than relying solely on the perspective of the researchers.

 

Sherratt and Jones used this model to develop a needs assessment for continuing medical education (CME) training in working with patients who misuse narcotics. They began by conducting semi-structured interviews with individuals in different clinical roles to assess areas of concern when seeing patients misusing narcotics. They used themes identified through analysis of the interviews to develop a questionnaire, which was sent to health care workers in more than 30 practices and pharmacies. Responses to the questionnaire suggested that the topics included were relevant concerns, as more than 80% of general practitioners and nurses were interested in training on those topics.

 

The researchers could have developed a questionnaire without the interviews or they could have used the qualitative data only to select topics for the CME course. However, by using an instrument design approach, they were able to identify the range of possible relevant topics to address (interviews) and to verify which were of primary interest to their target audience (questionnaire).

---

질적 데이터를 활용한 연구 도구 개발의 다양한 형태

질적 데이터를 활용하여 개발할 수 있는 연구 도구는 설문지(questionnaire)뿐만이 아니다.
다음과 같은 도구도 활용될 수 있다.

1. 관찰 체크리스트(Observational Checklists)
   • 객관적 구조화 임상시험(Objective Structured Clinical Examinations, OSCEs)에서 널리 사용됨
2. 파일 정렬 기법(Pile Sort Exercises)
   • 참여자가 특정 개념과 관련된 이미지나 단어를 분류하여 그룹화하도록 하는 방식
   • 여러 응답자의 분류 데이터를 분석함으로써, 특정 개념(예: 환자 중심 진료)이 어떻게 정의되고, 개념화되며, 이해되는지 파악 가능

Questionnaires are not the only instruments that can be designed from qualitative data. Other tools and techniques possible include observational checklists, used extensively in objective structured clinical examinations (OSCEs), and pile sort exercises, a method where individuals sort pictures or words into piles, which produces similarity data across respondents. Analyses of these data can reveal how an area of interest (e.g. patient-centred care) is defined, conceptualised or agreed upon across different individuals.

---

도구 개발 시 고려해야 할 사항

질적 데이터를 바탕으로 연구 도구를 개발할 때, 연구자들은 모든 질적 연구 결과를 포함하려는 유혹을 받을 수 있다.
그러나 연구 도구를 설계할 때는,

• 연구 질문의 핵심 요소를 유지하면서도,
• 응답자가 도구를 완료하는 데 걸리는 시간과 부담을 적절히 조절해야 한다.

즉, 연구 도구의 전체적인 목적과 응답자의 시간적 제약 사이에서 균형을 맞추는 것이 중요하다.

 

One cautionary note for instrument development from qualitative data concerns the desire on the part of an investigator to develop an instrument that covers every aspect of the topic revealed during qualitative analysis. As with any instrument, investigators must balance the overall question and purpose of the instrument with the time required by respondents to complete it.

 

설명적 연구 모델 (Explanatory Model)

설명적 연구 모델은 양적 데이터에서 도출된 결과나 질문을 질적으로 탐색하여, 초기 연구 결과를 보완하거나 명확히 하는 과정을 포함한다.

 

예시 연구:
Kennedy와 동료들은 임상 진료 과정에서 레지던트들의 지식과 실제 행동 사이의 차이(gap)를 탐색하는 연구를 수행했다.

• 연구의 초점: 자폐증(autism) 진단 및 환자 의뢰 과정
• 연구 절차:
  1. 레지던트들은 **자폐증 관련 교육(training session)**을 받았다.
  2. 교육 전후로 설문지(pre/post questionnaires)를 작성했으며, 이 결과 자폐증에 대한 지식이 충분히 향상됨이 확인되었다.
  3. 몇 주 후, 레지던트들은 OSCE(객관적 구조화 임상시험)와 유사한 시뮬레이션을 수행했다.
     • 자폐증 가능성이 있는 아동의 비디오를 시청한 후, 표준화된 부모(standardised parent)와 관리 계획을 논의하는 장면을 촬영했다.
     • 사전에 설정된 행동 체크리스트(quantitative)를 사용하여, 레지던트들의 행동이 그들의 지식과 일치하는지 여부를 평가했다.
  4. 행동이 지식과 불일치하는 레지던트를 대상으로 인터뷰를 진행했다.
     • 레지던트들은 자신의 녹화 영상을 보며 자신의 의사결정 및 행동을 설명했다.
     • 연구자들은 인터뷰 데이터를 분석하여 지식과 행동 간 차이가 발생하는 원인을 도출했다.

The explanatory design is one in which results or questions arising from quantitative data are explored qualitatively, producing data that are used to complement or clarify the original findings.

 

Kennedy and colleagues wanted to explore the gap between knowledge and behaviours among residents when providing clinical care. They used the identification of autism and referral steps as the basis of their investigation. Firstly, the residents participated in a training session on autism. They completed pre/post questionnaires, which showed adequate and improved knowledge of autism. A few weeks later, the residents were videotaped during an OSCE-like scenario in which they observed a child who was potentially autistic via a video and then discussed a management plan with the child’s parent (standardised). A pre-set checklist of expected behaviours (quantitative) was used to code residents’ videotaped scenarios and identify those residents whose behaviours did not match their knowledge (gap).

 

Afterwards, the residents were interviewed while viewing videotapes of their encounters in order to capture their interpretations of their reasoning and behaviours. Interviews with residents who displayed a gap were then coded to identify potential reasons for their behaviours.

---

설명적 연구 모델을 사용할 때 고려해야 할 사항

설명적 연구 모델을 적용할 때 연구자는 질적 연구에 참여할 대상자를 어떻게 선정할 것인지에 대해 신중하게 결정해야 한다.

• 위 사례에서는 모든 참가자를 인터뷰했지만, 이후 양적 연구에서 '지식-행동 불일치'가 확인된 일부 인터뷰만 분석 대상으로 삼았다.
• 경우에 따라, 양적 연구에 참여한 사람이 질적 연구에 참여할 수 없는 경우도 발생할 수 있다. (예: 졸업을 앞둔 의과대학 4학년 학생 등)
• 하지만, 가능한 한 질적 연구 참여자는 양적 연구에서 데이터를 제공한 동일한 집단에서 선정하는 것이 바람직하다.
  • 그래야만 해당 집단의 경험과 견해를 가장 잘 반영할 수 있기 때문이다.

One general consideration when using the explanatory model concerns the need to decide how individuals will be selected for the qualitative portion of the study. In the above example, all participants were interviewed, but only a subset of the interviews were analysed based on the quantitative results (i.e. those in which a gap was found). Although there are instances in which the individuals participating in the quantitative phase of a study may not be available for the qualitative phase (e.g. Year 4 medical students), it is generally recommended that individuals selected for the qualitative phase should be drawn from those used in the quantitative phase in order to best represent their experiences or views.

 

삼각검증 모델 (Triangulation Model)

삼각검증(triangulation)은 혼합 연구 방법에서 가장 널리 사용되는 연구 설계이며, 질적 및 양적 데이터를 동시에 수집하는 모델이다.

• 데이터 수집은 일반적으로 짧은 기간 내에 이루어지며,
• 단일 모집단(예: 의과대학생, 레지던트 등)을 대상으로 진행된다.
• 데이터는 별도로 분석된 후, 최종 분석 단계에서 통합된다.

---

예시 연구:

Papp와 동료들은 레지던트들의 수면 부족(sleep loss) 및 피로(fatigue)가 전문적(professional) 및 개인적(personal) 측면에 미치는 영향을 연구했다.

• 연구 대상: 5개 기관의 레지던트
• 연구 방법:
  1. **포커스 그룹(focus groups)**을 진행하여, **레지던트들의 수면 부족 및 피로 경험과 이에 대한 대처 전략(coping strategies)**을 탐색했다.
  2. **표준화된 졸음 척도(standardised measure of sleepiness)를 포함한 설문지(questionnaire)**를 작성하도록 했다.
  3. 양적 및 질적 데이터를 각각 분석한 후, 이를 통합하여 연구 결과를 도출했다.
     • 양적 결과(quantitative results): 레지던트들이 수면 부족 상태임을 확인
     • 질적 결과(qualitative results): 수면 부족이 레지던트들의 전문적 및 개인적 생활에 미치는 영향을 설명

삼각검증 연구 설계를 활용함으로써, 연구자들은

1. 레지던트들이 수면 부족 상태라는 가설을 실증적으로 검증할 수 있었고,
2. 수면 부족이 직업적·개인적으로 어떤 영향을 미치는지 구체적으로 서술할 수 있었다.

Triangulation, the most widely used design in mixed methods research, is a model in which qualitative and quantitative data are collected simultaneously. Data collection generally occurs in a relatively short period of time and involves a single population (e.g. medical students). Data are integrated in the final analyses.

 

Papp and colleagues wanted to examine professional and personal effects of sleep loss and fatigue on residents. Residents from five institutions participated in focus groups on experiences with sleep loss, fatigue and coping strategies, and then completed a questionnaire which included a standardised measure of sleepiness. Data were analysed separately and then integrated to provide an overview of the existence of sleep loss and fatigue (quantitative results), and the professional and personal effects of sleep loss and fatigue (qualitative results). By choosing a triangulation design, the researchers were able to both substantiate the hypothesis that residents are sleep-deprived and also to describe the areas of professional and personal effects associated with this deprivation.

---

삼각검증 및 설명적 연구 모델에서의 고려사항

삼각검증(triangulation) 및 설명적 연구(explanatory) 모델을 사용할 때 연구자들은 질적 연구 결과와 양적 연구 결과 사이의 모순(contradictions)이 발견될 가능성을 고려해야 한다.

• 연구 결과가 서로 일치하지 않을 경우, 이는 연구자들에게 새로운 연구 질문(research questions)이나 이론(theories)을 개발할 기회를 제공할 수 있다.
• 연구자는 추가 데이터를 수집하여 이러한 **모순을 명확히 하고 탐색(exploration)**하는 방법을 고려할 수 있다.
• 그러나 추가적인 시간이나 자원이 부족한 경우, Padgett는 단순히 결과를 함께 제시하고, 후속 연구 방향(future research directions)을 정의하는 것도 하나의 방법이라고 제안한다.

One potential challenge in both the triangulation and explanatory designs refers to the discovery of contradictions between the qualitative and quantitative findings. Although such findings are seemingly disconcerting, these situations allow for opportunities to develop new research questions or theories, and to collect additional data for clarification and exploration. Padgett has suggested that if additional time or resources are not available to further the study, results should be presented together and directions for future research defined.

 

장기적 변환 모델 (Longitudinal Transformation Model)

장기적 변환(longitudinal transformation) 모델은 앞서 설명한 여러 연구 설계 모델의 특징, 장점, 그리고 잠재적 도전 과제를 결합한 연구 방법이다. 이 모델은 여러 시점(longitudinal)에서 데이터를 수집하며, 일반적으로 하나 이상의 모집단(예: 레지던트와 지도 교수)을 대상으로 연구를 수행한다. 또한, **여러 연구 방법(multiple methods)**을 활용하여 데이터를 수집하고 분석하며, 연구 과정 전반에 걸쳐 데이터가 통합 및 발전되어 간다.

• 예제 방법: 이메일 커뮤니케이션 분석, 설문 조사(pre/post questionnaires), 시험 점수 분석 등 다양한 방법 활용
• 데이터 분석 및 통합은 프로젝트 전반에 걸쳐 지속적으로 이루어지며, 새로운 데이터가 기존 데이터에 추가되는 방식으로 진행됨

---

예시 연구:

Coady와 동료들은 의과대학생을 위한 근골격계(musculoskeletal) 핵심 임상 기술을 정의하는 연구를 수행했다.

1. 초기 질적 연구 (Qualitative Phase: Focus Groups & Expert Interviews)
   • 다양한 전문과목의 의사들을 대상으로 **포커스 그룹(focus groups)**을 진행
   • 근골격계 핵심 기술을 파악하기 위해 **전문가 인터뷰(in-depth interviews)**도 실시
   • 이를 통해 설문지(questionnaire) 개발을 위한 기초 데이터 확보 (→ 도구 개발 모델 적용)
2. 양적 연구 (Quantitative Phase: Survey of Clinicians)
   • 다양한 전문과목의 임상의들에게 설문지를 배포
   • 설문 결과를 요약하여 핵심 기술 목록을 개발
3. 최종 합의 과정 (Consensus-Building: Nominal Group Technique & Explanatory Design)
   • 6명의 다학제 전문가 그룹을 구성하여, **변형된 명목 집단 기법(modified nominal group technique)**을 활용하여 최종 핵심 기술 목록을 확정
   • **명목 집단 기법(nominal group technique, NGT)**은 그룹 내에서 중요한 이슈를 우선순위화하거나 임상 가이드라인과 같은 연구 주제에 대한 합의를 도출하는 방법이다.
   • 연구자들은 전문가들에게 포커스 그룹 및 설문 요약 결과를 검토하도록 요청한 후,
     • 핵심 기술인지 아닌지(core, not core, undecided)에 대해 투표하도록 했다.
     • 투표 후, 각자의 결정 이유를 그룹에 설명하는 과정(설명적 연구 모델 적용)을 거쳤다.
   • 일부 기술이 수정된 후 두 번째 투표를 진행, 최종적으로 50개의 근골격계 핵심 임상 기술 목록을 확정했다.

이 연구에서 장기적 변환 모델을 활용함으로써, 연구자들은

1. 근골격계 핵심 기술을 포괄적으로 탐색(질적 연구),
2. 보다 큰 모집단을 대상으로 기술의 상대적 중요성을 평가(양적 연구),
3. **다분야 전문가 그룹을 통해 최종 핵심 기술 세트를 정제(질적 및 양적 데이터 통합)**할 수 있었다.

A model that combines many of the characteristics, benefits and potential challenges of the models previously described is the longitudinal transformation model. This model collects data at multiple points (longitudinal), generally from more than one population (e.g. residents and attending doctors), and uses multiple methods (such as coding of e-mail communications, pre/post questionnaires and examination scores). The data are analysed and integrated throughout the project and often build on one another.

 

Coady and colleagues wanted to define a core set of musculoskeletal skills for medical students. They began by conducting focus groups with doctors from multiple specialties and in-depth interviews with doctor experts to inform the design and content of a questionnaire (instrument development). The questionnaire was sent to a large number of clinicians representing different specialties. Results were summarised and used to develop a modified group-nominative technique for a six-member, multi-specialty group to finalise the core set of musculoskeletal skills.

 

The nominal group technique is a consensus planning tool that helps a group to prioritise issues or come to consensus on some topic, such as clinical guidelines. In this group-nominative process, members of the group were given focus group and questionnaire summary results to review. They were then asked to vote on whether items in the list of skills were core, not core or undecided, and to present their reasons and decisions to the group (a form of the explanatory design model).

 

Modification of some of the skills took place and a second round of voting ensued, leading to consensus on a 50-item set of core examination skills for medical students.

---

의학교육에서 장기적 변환 연구 모델의 추가 사례

장기적 변환 모델을 활용한 연구는 의학교육뿐만 아니라 간호학(nursing education) 연구에서도 활발하게 진행되고 있다.

• 간호학 분야에서도 유사한 연구 설계가 적용된 사례들이 있으며,
• 간호 교육 연구 문헌에서 장기적 변환 연구 모델을 활용한 다양한 연구를 확인할 수 있다.

By using a longitudinal transformation design, the investigators were able to define the universe of possible core skills in depth (qualitative), narrow the relative importance of these skills through a larger group (quantitative), and provide both sets of data to experts from multiple fields in order to refine the final set of core skills (qualitative and quantitative combined). Additional examples of longitudinal transformation studies in medical education can be found in the nursing literature.

 

장기적 변환 연구 설계에서 고려해야 할 주요 사항

장기적 변환 연구 설계를 사용할 때는 데이터가 언제, 어떻게 수집되고 분석되며 비교 또는 통합되는지에 대한 신중한 고려가 필요하다.

• 경우에 따라, 연구의 한 단계에서 생성된 정보가 다른 데이터 분석 결과에 의존하는 경우가 있다.
  • 예: 질적 데이터를 분석하여 설문지를 개발하는 과정
• 반대로, 특정 시점의 데이터 수집이 이후 단계에서의 데이터 수집에 영향을 미칠 가능성도 존재한다.
  • 예: 개입 후 평가(post-intervention assessment) 전에 포커스 그룹을 먼저 진행하면 이후 설문 응답이 영향을 받을 수 있음

연구자가 이러한 **편향(bias)**을 사전에 인지하고 최소화하는 조치를 취하는 것이 중요하다.

• Creswell과 Plano Clark은 혼합 연구 설계에서 편향을 줄이는 몇 가지 방법을 제안했다.
  • 실험 연구에서 질적 데이터 수집을 실험군과 대조군에 동일하게 배분
  • 연구 참여자가 일기(diary)와 같은 간접적인 질적 데이터(unobtrusive qualitative data)를 기록하도록 유도

Important considerations in the longitudinal transformation design concern when and how data are collected, analysed and compared or integrated. In some cases, information to develop one piece of the study is dependent on analysis of another dataset, such as the development of a questionnaire from qualitative data. In other cases, data collection at one stage might bias data collected at a later stage (e.g. conducting focus groups before administration of a post-intervention assessment). As with any study, potential bias should be identified prior to data collection and steps taken to eliminate or reduce it. Creswell and Plano Clark describe some possible approaches, such as distributing qualitative data collection equally between control and treatment arms in a trial or collecting unobtrusive qualitative data, such as diaries kept by all participants.

---

혼합 연구 설계를 활용한 연구의 장점

앞서 설명한 연구 설계 모델과 연구 사례들은 혼합 연구 방법이 다양한 연구 질문과 주제를 탐색하는 데 어떻게 활용될 수 있는지를 보여준다. 각 사례에서 연구자들은 오직 질적 연구나 양적 연구만을 활용하는 방법도 선택할 수 있었지만, 혼합 연구 설계를 적용함으로써 연구 결과의

• 적절성(relevance)
• 심층성(depth)
• 적용 가능성(applicability)
• 삼각검증(triangulation)

을 높일 수 있었다.

 

The research design models and studies described above illustrate the range of research questions and topics that can be addressed using mixed methods research designs. In each case, the researchers could have chosen a solely qualitative or quantitative approach to address their research question. However, the combination of approaches allowed them to enhance the relevance, depth, applicability and triangulation of their research findings.

---

혼합 연구 방법의 일반적인 도전 과제

혼합 연구 설계를 활용할 때는 **질적 연구 및 양적 연구를 수행할 때와 마찬가지로 특정한 고려 사항과 도전 과제(challenges)**가 존재한다. 특히, 다음과 같은 세 가지 주요 도전 과제를 해결해야 한다.

 

1️⃣ 연구 수행을 위한 자원(resource availability) 확보

• 연구를 수행하기 위한 시간, 자금, 연구 인력이 필요하며,
• 연구자는 질적 및 양적 연구 방법에 모두 능숙한 전문가들과 협력할 필요가 있음

2️⃣ 데이터 비교 및 통합을 지원하는 도구(tool) 및 프로그램 활용

• 질적 및 양적 데이터를 저장하고 정리할 수 있는 시스템이 필요하며,
• 데이터를 비교 및 통합하는 과정에서 적절한 프로그램 및 분석 도구를 활용해야 함

3️⃣ 혼합 연구 논문의 출판(publishing) 어려움

• **학술지의 원고 분량 제한(word limits)**으로 인해 방대한 데이터를 포함하기 어려움
• 혼합 연구의 특성상, 양적·질적 데이터의 복잡성을 효과적으로 설명하는 것이 도전 과제가 될 수 있음

As discussed, specific considerations and challenges arise in mixed methods designs just as they do in purely qualitative and quantitative approaches. More general challenges for conducting mixed methods research relate to:

• 1 the availability of resources with which to conduct the research, including time, money and personnel with strengths in both qualitative and quantitative methods;
• 2 access to tools and programs with which to store and arrange data to promote comparison or integration of qualitative and quantitative data, and
• 3 the difficulties encountered in publishing mixed methods studies, given word limits and the amount of data such studies present.

---

혼합 연구 설계를 고려하는 연구자들을 위한 가이드라인

의학교육 연구자들이 혼합 연구 방법을 고려하고, 위에서 언급한 도전 과제 및 연구 질문들을 해결할 수 있도록 다음과 같은 일반적인 가이드라인을 제공하고자 한다.

 

To aid medical education researchers in considering mixed methods approaches and addressing some of the potential challenges and questions, we provide the following general guidelines for developing mixed methods studies.

 

의학교육에서 혼합 연구 방법 연구를 위한 가이드라인
GUIDELINES FOR MIXED METHODS RESEARCH STUDIES IN MEDICAL EDUCATION

연구에서 가장 중요한 작업은 연구 질문(research question)과 가설(hypothesis)을 명확하게 정의하는 것이다. 혼합 연구 방법을 수행하는 경우, **질적(qualitative), 양적(quantitative), 혼합 연구(mixed methods)에 대한 전문성을 갖춘 다학제 연구팀(multidisciplinary team)**이 연구 질문 또는 가설을 정의하고, 적절한 연구 설계 모델을 선택하는 데 있어 매우 유용하다. Stange와 Zyzanski는 다음과 같이 언급했다.

"연구자가 가지고 있는 도구가 망치뿐이라면, 모든 문제가 못으로 보이게 된다."

 

즉, 연구 질문을 탐색할 때, 혼합 연구 방법의 관점을 적용하면 연구 질문에 가장 적합한 연구 도구를 선택하는 데 도움이 될 수 있으며, 이 과정에서 순수한 질적 연구나 양적 연구 방법이 더 적절하다고 판단될 수도 있다. 만약 질적 연구 또는 혼합 연구 방법에 대한 전문성을 가진 연구자를 찾기 어려운 경우,

• 인류학(anthropology), 간호학(nursing), 사회학(sociology), 교육학(education) 관련 학과에서 전문가를 찾거나,
• 지역사회 기반 연구(community-based research)를 수행하는 동료 연구자들과 협력하는 것도 하나의 방법이다.

혼합 연구 방법을 선택한 경우, 연구 설계, 분석, 출판을 위한 주요 단계들은 다음과 같다.

---

혼합 연구 방법 연구를 수행하기 위한 주요 단계

1️⃣ 연구 설계를 혼합 연구(mixed methods)로 명확히 정의하고, 적절한 연구 설계 모델을 선택할 것

• 연구 설계를 명확하게 하는 것은 의학교육 연구에서 혼합 연구 방법을 쉽게 인식할 수 있도록 하고,
• 혼합 연구 방법의 기존 연구들과 연결하는 데 도움이 된다.

2️⃣ 데이터 유형별 중요도를 결정할 것

• 데이터 수집, 분석, 결과 해석 과정에서 어떤 데이터 유형이 더 중요한지 결정해야 한다.
• 연구가 양적 중심(quantitative-dominant)인지, 질적 중심(qualitative-dominant)인지, 혹은 두 유형의 데이터가 동등한 지위를 가지는지 명확히 설정해야 한다.
• 연구 초기 단계에서 이러한 우선순위를 결정할수록 필요한 자원 및 연구 인력을 보다 효과적으로 계획할 수 있다.

3️⃣ 연구 질문에 적절한 데이터 수집 샘플링 전략을 개발할 것

• 연구 질문을 적절하게 해결하기 위해 충분한 데이터를 확보할 수 있도록 샘플링 전략을 수립해야 한다.
• 선택한 연구 방법이 요구하는 가이드라인을 준수해야 하며,
  • 양적 연구에서는 통계적 유의성을 확보할 수 있도록 충분한 표본 수 확보
  • 질적 연구에서는 신뢰성을 확보할 수 있도록 충분한 인터뷰 진행

4️⃣ 데이터를 언제, 어떻게 수집·분석·통합할 것인지 결정할 것

• 연구 설계 모델에 따라 데이터 수집 및 분석의 순서와 과정이 다르게 설정됨
  • **도구 개발 모델(instrument development)**과 설명적 연구 모델(explanatory design) → 질적·양적 데이터를 순차적으로 수집 및 분석
  • 삼각검증 모델(triangulation model) → 질적·양적 데이터를 동시에 수집 및 분석
  • 장기적 변환 모델(longitudinal transformation model) → 데이터 수집·분석 과정에서 편향을 줄이도록 신중한 계획 필요
• 연구 프로젝트의 각 단계에서 소요 시간을 현실적으로 분석해야 하며,
• 특히 질적 연구 경험이 부족한 연구자들은 질적 데이터 분석에 소요되는 시간을 과소평가할 가능성이 높음
  • 예: 90분짜리 포커스 그룹(focus group)을 진행하는 경우
    • 참여자 모집, 가이드 개발, 세션 진행, 녹취록 작성 및 분석까지 약 25~40시간이 소요될 수 있음

5️⃣ 질적·양적 데이터 분석을 통합하는 도구(예: 소프트웨어) 및 방법 탐색

• 데이터를 효과적으로 통합하기 위해 소프트웨어 프로그램 및 분석 도구를 활용하는 것이 중요함

6️⃣ 혼합 연구 방법 논문 작성 및 출판 전략 수립

• 혼합 연구 방법 논문을 효과적으로 보고하고 데이터를 표현하는 방법을 모색하기 위해 기존 논문들을 검토
• 출판 전략을 신중하게 설계
  • 예: 질적 데이터와 양적 데이터를 각각 별도의 논문으로 작성하여 제출하되, 동일한 저널에 한 쌍의 논문으로 제출

The most important task in any research is to clearly define the research question and hypothesis to be investigated. In the case of mixed methods studies, multidisciplinary teams with expertise in qualitative, quantitative and mixed methods approaches are invaluable, both for defining the question or hypothesis and for selecting the research design model and methods to use.
As Stange and Zyzanski noted, when ‘the only tool researchers have is a hammer, they tend to see every problem as a nail’. Thus, mixed methods perspectives can aid in the determination of the best tools possible for answering the question or hypothesis, and may lead to the decision that a purely qualitative or quantitative approach is appropriate.
If researchers with qualitative or mixed methods expertise are difficult to locate, departments such as those of anthropology, nursing, sociology and education are potential resources, as are colleagues who conduct research in community-based settings.

When a mixed methods approach is chosen, there are a number of major steps to be taken for designing, analysing and publishing studies:

• Identify the study design as mixed methods and choose the appropriate research design.
• Decide on the prominence of each data type in data collection, analysis and results (i.e. whether the study is quantitative-dominant, qualitative-dominant, or whether both types are given equal status).
• Develop sampling strategies for data collection that provide adequate data for the research questions asked and that adhere to guidelines within the methods chosen.
• Decide how and when data are collected, analysed and integrated or compared.
• Explore tools (e.g. software programs) or methods to integrate qualitative and quantitative data analyses.
• Review mixed methods research articles to generate ideas for reporting and displaying data, and develop a strategy for publishing mixed methods research results (e.g. consider reporting quantitative and qualitative results in separate papers in order to stay within word limits, but submit the papers as a pair to the same journal).

혼합 연구 방법에 대한 이해를 더욱 심화하고자 하는 연구자들은 혼합 연구 방법론을 전문적으로 다루는 연구 가이드를 참고하는 것이 유용할 것이다.

Researchers interested in exploring mixed methods in greater depth will also benefit by consulting more exhaustive research guides that focus on this approach.

 

결론 (CONCLUSIONS)

혼합 연구 방법(mixed methods research)은 순수한 질적 연구 또는 양적 연구보다 다양한 장점을 제공할 수 있다. 본 논문에서는 의학교육 연구에서 혼합 연구 방법의 개요와 활용을 위한 가이드라인을 제시하였다. 여전히 해결해야 할 **고유한 방법론적 도전 과제(methodological challenges)**가 존재한다. 예를 들어, 질적 및 양적 데이터 분석을 효과적으로 통합하는 전략과 도구를 학습하는 것이 주요 과제 중 하나이다. 그러나 이러한 도구와 접근법은 점점 더 발전하고 있으며, 활용 가능한 선택지가 증가하고 있다. 연구자는 또한 질적 및 양적 데이터 수집 및 분석을 수행하는 데 필요한 자원(resources)과 전문성(expertise)을 신중하게 고려해야 한다. 그럼에도 불구하고, 의학교육 연구에서 새로운 연구 질문을 탐구하거나, 자연스러운 환경에서 복잡한 교육 개입을 연구할 때, 혼합 연구 방법은 연구 결과의 신뢰성(integrity)과 적용 가능성(applicability)을 향상시키는 데 있어 매우 유용한 접근법이 될 수 있다.

 

Mixed methods research may offer a number of benefits over purely qualitative or quantitative approaches. This paper provides an overview of mixed methods research and guidelines for use in medical education research. Some unique methodological challenges remain, such as the learning of effective strategies and tools for integrating qualitative and quantitative data analysis, but options are available and growing.
Researchers must also carefully consider the resources and expertise required to carry out both qualitative and quantitative data collection and analyses. Nevertheless, when studying new questions or complex initiatives in natural settings, as is often the case in medical education research, mixed methods approaches may prove superior in increasing the integrity and applicability of the findings.