보건의료전문직 교육 연구에서 실재론적 인터뷰를 위한 로드맵: 비판적 분석에 근거한 권고사항 (Med Educ. 2024)

Med Educ. 2024 Jun;58(6):697-712.doi: 10.1111/medu.15270. Epub 2023 Dec 11.

A roadmap to realist interviews in health professions education research: Recommendations based on a critical analysis 

Charlotte E Rees 1 2, Corinne Davis 3, Van N B Nguyen 4, Dominic Proctor 5, Karen L Mattick 6

실재론적 면담(realist interview), 그냥 반구조화 면담과 뭐가 다를까?

📄 Rees CE, Davis C, Nguyen VNB, Proctor D, Mattick KL. A roadmap to realist interviews in health professions education research: Recommendations based on a critical analysis. Medical Education. 2024;58(6):697–712. doi:10.1111/medu.15270

---

🧭 들어가며: "효과가 있었나요?"에서 "누구에게, 어떤 상황에서, 왜?"로

교육 프로그램을 평가할 때 우리는 흔히 "이 프로그램이 효과가 있었나?"를 물어요. 그런데 교육 현장에 있어 본 분이라면 아실 거예요. 같은 워크숍이라도 어떤 사람에게는 잘 맞고 어떤 사람에게는 별 소용이 없고, 어떤 기관에서는 잘 굴러가는데 다른 기관에서는 그렇지 않죠.

 

실재론적 접근(realist approaches) 은 바로 이 지점을 파고들어요.

실재론 연구자들은 일반적으로 교육적 개입이 어느 정도까지 효과가 있는지(결과), 누구에게 어떤 상황에서 그런지(맥락), 그리고 어떻게 그런지(기제)를 풀어내고자 한다.

"Realist researchers typically attempt to unpack the extent to which educational interventions work (outcomes), for whom under what circumstances (contexts) and how (mechanisms)."

 

이 논문은 Medical Education의 "Focus on Research Methods" 시리즈 논문이에요. 실재론적 평가(realist evaluation)에서 가장 많이 쓰이는 자료 수집 방법인 실재론적 면담(realist interview) 을 어떻게 설계하고, 수행하고, 보고하고, 비평할지 안내하는 "로드맵"이죠. 저자들은 자신들의 실재론적 평가 연구 두 편을 사례로 들고, 지난 10년간 주요 HPE 학술지에 실린 실재론적 평가 12편을 비판적으로 분석한 뒤, 12가지 권고안을 내놓아요.

 

저자들이 이 논문을 쓴 이유는 간단해요.

실재론적 면담은 연구 대상 주제에 대한 참여자의 관점과 경험을 끌어내는 데 주로 초점을 맞추는 해석주의 관점의 질적 연구 면담과 다르다. 전자는 프로그램 이론을 구축하고, 검증하고, 정교화하는 데 초점을 맞추기 때문이다.

"Realist interviewing differs from qualitative research interviewing from an interpretivist standpoint because the former focuses on building, testing and/or refining programme theory, whereas the latter typically focuses on eliciting participants' views and experiences of a topic of inquiry."

 

질적 연구 면담 방법은 HPE 문헌에 잘 정리돼 있지만, 실재론적 면담은 점점 많이 쓰이는데도 제대로 정리된 안내가 없었다는 거예요.

---

📚 배경: 실재론적 접근의 핵심 개념

1. 왜 교육 연구에 실재론적 접근인가?

논문은 이 문장을 인용하며 실재론적 접근을 소개해요.

… 어떤 것도 모든 곳에서, 모든 사람에게 효과가 있지는 않다 … 맥락은 정말로 프로그램 결과에 차이를 만든다.

"… nothing works everywhere or for everyone … context really does make a difference to programme outcomes."

 

교육은 여러 요소(교육과정, 교육자, 학습자)가 상호작용하고, 다양한 집단과 수준이 얽혀 있고, 결과도 여러 가지인 복잡한 개입(complex intervention)이에요.

교육과 같은 복잡한 개입에서는 과정이 필연적으로 맥락에 의존하기 때문에, 투입으로부터 산출을 항상 예측할 수 있는 것은 아니다.

"In complex interventions, such as education, the outputs are not always predictable from the inputs because the process is inevitably context-dependent."

 

실재론적 접근은 이 복잡성을 통제할 대상이 아니라 인정하고 분석할 대상으로 봐요. 그리고 "무엇이, 누구에게, 어떤 상황에서, 어느 정도로, 어떻게, 왜 효과가 있는가(what works, for whom, in what circumstances, to what extent, how and why)"라는 섬세한 질문을 던질 수 있게 해주죠.

2. 꼭 알아야 할 용어들

논문의 용어집(Box 1)에서 핵심만 추려볼게요. 📖

용어	설명
맥락(context)	개입이 작동하는 기제를 형성하는, 역동적이고 관계적인 특성
기제(mechanism)	프로그램 결과를 만들어내는, 대개 눈에 보이지 않는 구조, 과정, 실체. 맥락에 민감하다.
결과(outcome)	맥락에 민감한 기제가 만들어내는, 예상했거나 예상하지 못한 프로그램의 결과
CMO 배열(CMO configuration, CMOC)	맥락, 기제, 결과 사이의 인과적 연결
프로그램 이론(programme theory)	프로그램이 어떻게, 왜, 어떤 상황에서 결과를 만들어내는지에 대한 이론
중범위 이론(middle-range theory)	프로그램 이론보다 추상적이고 기존 지식과 연결해주는 공식 이론. 교육 이론 등이 여기 해당한다.
생성적 인과(generative causation)	관찰 가능한 사건이 왜 일어나는지를 설명하는, 경험을 넘어서지만 실재하는 것
과학적 실재론(scientific realism)	세계와 그 구조, 기제가 우리 의식과 독립적으로 존재한다고 보는 관점
비판적 실재론(critical realism)	과학적 실재론에 동의하되 사회적, 역사적, 정치적 측면을 전면에 내세우는 관점
RAMESES II	실재론적 평가의 보고 기준

실재론적 방법론은 크게 둘로 나뉘어요. 기존 연구 문헌을 종합하는 실재론적 종합(realist synthesis, realist review) 과, 면담이나 설문 같은 1차 자료를 수집하는 실재론적 평가(realist evaluation) 예요. 설문이나 척도 같은 양적 방법은 주로 결과와 맥락을 평가하는 데 쓰이고, 실재론적 면담은 결과를 만들어내는 기제를 풀어내는 데 특히 유용하다고 해요.

실재론적 접근은 검증할 수 있을 만큼 구체적이면서도 전이될 수 있을 만큼 충분히 추상적인 설명적 중범위 이론을 만들어내며, 일이 왜, 어떻게 일어날 수 있는지를 설명한다. 이른바 '생성적 인과'다.

"Realist approaches create explanatory middle-range theories that are concrete enough to be tested but sufficiently abstract to be transferrable and explain why and how things may occur, so-called 'generative causation'."

실재론적 접근의 이러한 유연성, 그리고 이론적인 것과 실천적인 것을 결합할 수 있는 능력은 HPE를 연구하는 사람들에게 대단히 매력적이다.

"This flexibility of realist approaches, and the ability to combine the theoretical and the practical, is extremely attractive to those researching HPE."

---

🔍 실재론적 면담 vs "일반적인" 해석주의 면담

논문의 Box 2를 표로 정리하면 차이가 한눈에 보여요.

구분	실재론적 면담	"일반적인" 해석주의 면담
목적	맥락, 기제, 결과와 그 상호작용을 밝혀 프로그램을 평가	연구 주제에 대한 참여자의 주관적 관점과 경험을 끌어냄
이론	프로그램 이론의 구축, 검증, 정교화에 초점	근거이론처럼 이론을 구축하기도 하고, 면담 설계나 결과 해석에만 쓰거나, 이론이 없을 수도 있음
면담 단계	보통 여러 단계로 진행되고, 단계마다 면담 질문지가 달라짐	보통 하나의 질문지로 한 단계에 진행 (종단 연구 제외)
면담 스타일	면담자가 학습자 역할과 교사 역할을 오감	대체로 참여자 주도 (면담자가 참여자에게서 배움)
질문 유형	탐색적 질문(이론 구축)에서 확인적 질문(이론 검증/정교화)으로 이동	대체로 탐색적 질문
분석	배열적 실재론 분석(configurational realist analysis)에 최적화된 자료 수집	질적 자료 분석(HPE에서는 주로 주제분석)에 최적화된 자료 수집

---

💬 실재론적 면담이란 무엇이고, 왜 쓰는가?

이 섹션도 인용으로 시작해요.

실재론적 면담은 프로그램이 어떻게, 어디서, 언제, 왜 효과가 있거나 없는지에 대한 명제를 탐구한다. 추적하는 것은 프로그램의 이야기다.

"Realist interviews investigate propositions about how, where, when and why programmes are and are not effective. It is the programme's story that is pursued."

 

실재론적 면담은 이론 주도적(theory-driven)이고 대체로 반구조화된 형태예요. 목적에 따라 프로그램 이론을 수집하거나(gleaning), 정교화하거나(refining), 공고히 하는(consolidating) 데 초점을 맞추죠(Manzano).

1. 이론 수집 단계: 탐색적 질문 

프로그램 이론을 수집하는 단계에서는 프로그램이 어떻게 작동하는지(또는 안 하는지), 누구에게, 어떤 상황에서 그런지 묻는 탐색적 질문(exploratory questions)을 써요. "왜"와 "어떻게" 질문으로 참여자가 생각하는 인과관계를 끌어내는 거죠.

그래서 면담자가 질문할 때 실재론 용어를 명시적으로 쓰지는 않더라도, 본질적으로는 맥락, 기제, 결과, 그리고 맥락-기제-결과 배열(CMOC)(맥락, 기제, 결과 사이의 인과적 연결)에 대한 정보를 의도적으로 끌어내는 질문을 던지고 있는 것이다.

"So, while interviewers do not necessarily use realist terminology explicitly in their questioning, they are essentially asking questions purposefully eliciting information about contexts, mechanisms, outcomes and context-mechanism-outcome configurations (CMOCs) (the causal links between contexts, mechanisms and outcomes)."

2. 이론 정교화와 공고화 단계: 확인적 질문 

이론을 정교화하고 공고히 하는 단계에서는 확인적 질문(confirmatory questions)을 써요. Pawson은 이것을 교수-학습 기능(teaching-learning function) 과 개념적 초점화 기능(conceptual focusing function) 이라고 불렀어요. 이 단계에서는 Pawson의 말처럼 이렇게 돼요.

연구자의 이론이 면담의 주제가 되고, 참여자는 그 이론을 확인하거나 반증하기 위해, 그리고 무엇보다 그 이론을 정교화하기 위해 그 자리에 있다.

"the researcher's theory is the subject matter of the interview, and the subject is there to confirm or falsify and, above all, to refine that theory"

 

면담자가 초안 프로그램 이론을 참여자에게 "가르치듯" 제시하고, 참여자는 그것을 지지하거나, 반박하거나, 수정해요. 이 단계로 갈수록 질문은 참여자마다 덜 표준화되고 프로그램 이론의 발달 단계에 맞춰 개별화돼요.

3. 전문성의 분업과 교사-학습자 순환 

Pawson은 면담자와 참여자 사이에 전문성의 분업(division of expertise) 이 있다고 봤어요.

• 면담자: 초기 이론화와 지금까지의 자료를 바탕으로 프로그램 결과와 맥락에 대한 전문성을 가진 사람
• 참여자: 결과를 만들어내는 기제, 특히 자기 자신의 추론 과정(reasoning processes)에 대한 전문가

또 Pawson과 Tilley는 프로그램 수혜자(subjects)는 맥락이나 결과보다 기제에 더 민감하고, 프로그램 설계자나 운영자(practitioners)는 맥락, 기제, 결과 모두에 민감하다고 봤어요. 하지만 누구도 "전체 이야기(whole story)"를 다 알지는 못하죠.

결국 교사와 학습자의 역할은 실재론적 면담 과정 전반에 걸쳐 역동적이고 서로 바뀔 수 있는 것으로 여겨지며, 이는 참여자가 때로는 교사로(그리고 면담자는 학습자로) 행동하는 교사-학습자 순환으로 이어진다.

"Ultimately, the teacher and learner roles are seen as dynamic and interchangeable throughout the process of realist interviews, leading to a teacher–learner cycle, with participants sometimes acting as teachers (and interviewers as learners)."

---

🗺️ 실재론적 면담의 다섯 단계

1단계. 초기 프로그램 이론 개발하기(developing initial programme theory) 

실재론적 면담의 주된 목적이 프로그램 이론 "구축"이라 하더라도, 면담자는 면담을 설계하기 전에 이미 개입이 어떻게, 어떤 맥락에서 작동하는지에 대한 초기 믿음을 갖고 있어요. 초기 프로그램 이론은 실재론적 종합, 프로그램 설계자나 운영자의 가정 탐색, 사례 연구나 문서 검토 같은 탐색적 연구로 만들 수 있어요. 그리고 이 초기 이론이 표집, 면담 질문, 분석 방식까지 영향을 미치죠.

2단계. 표집과 표본(sampling/sample) 

• 목적 표집과 이론적 표집(purposive and theoretical sampling) 이 핵심이에요. 프로그램 이론에 기여할 수 있는 사람을 골라야 하죠.
• 보통 프로그램 운영자(설계자, 진행자)를 먼저 면담해서 이론을 수집하고, 그다음에 프로그램 이용자(참여자) 를 면담해요.
• 프로그램이 이해관계자(예: 의사와 간호사)나 기관(예: 1차 의료와 2차 의료)에 따라 다르게 작동할 것 같다면, 그 하위 집단이 이후 표집을 이끌어야 해요.

그럼 몇 명이나 면담해야 할까요?

실재론적 면담의 최소 권장 인원은 존재하지 않는다.

"No suggested minimum number of realist interviews exists."

 

적절한 인원은 이론 수집, 정교화, 공고화를 위한 자료의 적절성(relevance)과 엄밀성(rigour)으로 결정돼요. 그래서 처음 계획한 인원이 있더라도 자료의 질과 범위, 표집의 다양성에 따라 조정할 "여유(wiggle room)"가 필요하다고 해요. Manzano는 보건 분야 실재론적 평가에서 39~100명의 면담을 한 사례를 들었고, 개입 실행의 여러 시점에서 같은 사람을 반복 면담하는 것의 이점도 강조했어요.

3단계. 면담 그 자체(the interview itself) 

면담 질문지는 단계에 따라 구조화 정도가 달라져요. 논문에 실린 질문 예시(RAMESES II의 "starter set"에서 가져온 것)를 보면 감이 와요. 🎤

• 도입 질문: "[프로그램]에 어떻게 관여하셨는지(또는 접하셨는지) 말씀해 주시겠어요?" ("Can you tell me what your involvement in (or contact with) … [programme] has been?")
• 결과와 맥락을 끌어내는 질문: "[특정 이해관계자 집단]에게 [프로그램]의 결과가 무엇이었다고 생각하세요?" ("what do you consider the outcomes of [programme …] to have been for [specific stakeholder group]?")
• 결과와 기제를 끌어내는 질문: "저희는 [프로그램]이 어떻게 그런 결과를 만들어내는지 궁금해요. 프로그램이 어떻게 [참여자가 말한 결과]를 일으켰다고, 또는 일으키는 데 도움을 줬다고 생각하세요?" ("We are curious about how [programme …] causes its outcomes. How do you think the programme has caused, or helped to cause [outcome identified by participant?]")
• 이론을 검증하는 질문(교사-학습자 순환): "[프로그램]이 실제로 어떻게 작동하는지에 대해 여러 생각이 있고, 장소나 사람에 따라 다르게 작동할 것 같아요. 그 생각 중 하나는 [주요 기제에 대한 짧은 설명]이에요. 여기서/선생님께는 그런 식으로 작동한 적이 있나요? 예를 들어주실 수 있나요?" ("there are lots of ideas about how [programme …] actually works, and we think it probably works differently in different places or for different people. One of those ideas is [brief description of main mechanism]. Has it worked at all like that here/for you? Can you give an example?")

저자들의 교수개발 평가 사례에서는 단계별로 이런 질문을 썼어요.

• 이론 수집 면담: "기관에서 교수개발의 의도된 결과는 무엇인가요?", "그게 왜 그렇게 된다고 생각하세요?", "그러면 사람들은 어떤 기분이 드나요?"
• 이론 정교화 면담: "지금 발전 중인 프로그램 이론이 선생님께 얼마나 납득이 되나요?", "선생님 경험상 그 결과와 연결될 만한 기제는 무엇일까요?"
• 이론 공고화 면담: "그 맥락을 그 기제와 얼마나 연결 지으시나요?", "사람들이 그렇게(예: 몰입하거나 안심하게) 느낄 때 결과는 무엇인가요?"

💡 실제 면담 장면에서 배우는 것: "네"라고만 답하는 참여자

이 논문에서 제가 가장 유용하다고 느낀 건 실제 면담 발췌문을 분석한 Box 5예요.

첫 번째 사례에서 면담자는 초기 프로그램 이론의 일부를 제시해요. "혼합 교수법이 성찰을 촉발해서(기제) 기술과 지식이 향상됐다(결과)고 많은 사람이 생각하는데, 선생님도 그랬나요?" 참여자의 대답은 딱 한 마디였어요. "네(Yes)." 저자들은 이 장면을 이렇게 분석해요.

Mukumbang 등은 교사-학습자 기능의 위험 중 하나가, 참여자가 면담자(교사)가 제시한 프로그램 이론에 그냥 동의(또는 묵종)하는 것이라고 지적했는데, 여기서 우리가 경험한 것이 바로 그것이었다. 참여자는 면담자의 부분적인 프로그램 이론에 그냥 동의했다.

"Mukumbang et al. suggested that a risk with the teacher–learner function is that participants simply agree (or acquiesce) with the programme theory presented by the interviewer (teacher), and this is what we experienced here with the participant simply agreeing with the interviewer's partial programme theory."

 

그래서 면담자는 "그럼 워크숍의 능동적, 경험적 학습 환경이 선생님의 학습에 어떻게 기여하고 있나요?"라는 "어떻게" 질문으로 다시 물어요. 그러자 참여자가 "다른 사람들과 토론하고 공유하는 게 기억에 도움이 되고, 그 지식을 어떻게 적용할지 생각해볼 기회가 된다"고 자기 생각을 풀어놓기 시작하죠. 이번에는 참여자가 교사, 면담자가 학습자가 된 거예요. 이것이 개념적 초점화 기능이에요.

 

두 번째 사례에서 면담자는 일부러 이론이 실패하는 경우를 제시해요. "교수개발 활동에 보호된 시간을 확보하기 어렵다는 이야기가 있었는데, 관련이 있다고 보세요?" 그러자 참여자가 "관련이 없는 건 아닌데 현실성이 없다"며 인증(accreditation)이라는 다른 맥락을 꺼내고, 이어서 "교육 요구 충족"이라는 맥락이 너무 모호하다며 초보 교수자와 숙련 교수자를 구분해야 한다고 이론 수정을 제안해요. 묵종을 피하려면 이론이 잘 맞는 경우뿐 아니라 실패하는 경우도 함께 제시하라는 Mukumbang 등의 조언을 실제로 적용한 장면이죠.

4단계. 실재론적 분석(realist analysis) 

분석은 면담 중에 이미 시작되고, 면담자의 질문 방향에 영향을 줘요. 이후 전사와 코딩을 통해 더 공식적으로 이어지고요. 분석자는 배열적 분석(configurational analysis) 을 통해 맥락, 기제, 결과와 그 상호작용(CMOC)을 찾아 프로그램 이론과 사례를 아우르는 중범위 이론을 구축, 검증, 정교화해요. 필요하면 교육 이론을 함께 활용할 수도 있어요.

5단계. 실재론적 면담 보고하기(reporting realist interviews) 

RAMESES II 보고 기준은 자료 수집 방법을 기술하고 정당화할 것, 그리고 그 방법이 프로그램 이론의 구축, 검증, 정교화에 어떻게 기여하는지 설명할 것을 요구해요. 모집 과정과 표집 전략, 그리고 그것이 프로그램 이론 발달에 어떻게 기여하는지도 기술해야 하고요.

---

📊 HPE 실재론적 면담 연구 12편, 얼마나 잘하고 있을까?

저자들은 지난 10년간 5개 주요 HPE 학술지(Academic Medicine, Advances in Health Sciences Education, Medical Education, Medical Teacher, Nurse Education Today)에 실린 실재론적 평가 중 면담을 쓴 12편을 찾아 비판적으로 분석했어요. 결과를 정리하면 이래요.

• 연구 목적: 1편을 제외하고는 프로그램 이론과 관련한 목적이 분명했어요.
• 표집: 절반이 목적 표집(최대 변이 표집 포함), 1편이 편의 표집이었고, 5편은 표집 방법을 아예 밝히지 않았어요.
• 면담 수: 7~53명, 평균 29명으로, Manzano가 검토한 보건 분야 연구(39~100명)보다 대체로 적었어요.
• 참여자: 12편 모두 프로그램 참여자(학습자)를 면담했고, 6편은 설계자나 진행자 같은 운영자도 면담했어요.
• 면담 유형 기술: "반구조화" 5편, 그냥 "면담" 4편, "실재론적" 면담 3편.
• 면담 질문: 8편이 질문 유형을 기술했지만, 실제 질문을 제시한 건 3편뿐이었어요.
• 핵심 문헌 인용: 10편이 Pawson과 Tilley 등 핵심 실재론적 면담 문헌을 인용했고, 2편은 하나도 인용하지 않았어요.
• 교사-학습자 순환: 명시적으로 인용한 건 1편(3편은 암시). 개념적 초점화 기능은 명시적으로 언급한 연구가 없었어요(3편은 암시).
• 자료 수집: 절반은 면담만 사용했고, 나머지는 관찰, 문서 분석, 현장 노트, 오디오 일지 등을 함께 썼어요.
• 분석: 모두 맥락, 기제, 결과를 확인하는 배열적 분석을 했지만, 9편은 맥락, 기제, 결과를 "주제(themes)"로 개념화하는 등 어떤 형태로든 주제분석을 언급했어요.
• 보고 기준: RAMESES II를 충족했다고 보고한 연구는 5편뿐이었어요.

저자들의 진단은 분명해요.

구체적으로, 표집 방법, 면담 유형, 면담 질문에 대한 불충분한 기술, 그리고 핵심 실재론적 면담 방법 문헌을 인용하지 않는 등 방법의 투명성 부족이 흔했다.

"Specifically, a lack of method transparency was common with insufficient articulation of sampling approach, type of interviewing and interview questions and citing seminal realist interviewing methods outputs."

 

또 초보 실재론 연구자는 질문을 잘못 구성해서 실재론적 분석에 필요한 자료를 얻지 못할 위험이 있다고 해요. 저자들이 경험으로 꼽은 "좋지 않은 질문"의 예는 실재론적 면담을 해보려는 분들에게 특히 도움이 될 것 같아요. ⚠️

우리의 경험상, 최적이 아닌 질문에는 지나치게 추상적인 질문을 하는 것, 충분한 예시를 구하지 않는 것, 충분한 맥락적 세부사항을 구하지 않는 것, 그리고 기제, 인과 등에 대한 참여자의 이해를 적절히 탐색하지 않는 것 등이 포함될 수 있다.

"Suboptimal questioning, in our experiences, can include asking too abstract questions; not seeking sufficient examples; not seeking sufficient contextual details; and not adequately probing for participants' understandings of mechanisms, causation and so on."

---

🛠️ 실재론적 면담을 위한 12가지 권고

저자들은 보고 기준, 12편에 대한 비판적 분석, 자신들의 경험을 바탕으로 12가지 권고를 제시해요. 이 권고들은 실재론적 면담자가 자료 수집의 걸림돌을 피하도록 도와서, "실재론적 평가의 핵심 목적을 무너뜨릴 수 있는 최적이 아닌 실재론적 면담을 예방하기 위한(thereby preventing suboptimal realist interviewing that could derail the core purpose of realist evaluation)" 것이에요. 면담자 훈련과 함께, 실재론적 면담자에게 다음을 권고해요.

1. 연구 시작 단계부터 초기 프로그램 이론에 기반한 실재론적 면담 기법을 사용하라.
2. 핵심 실재론적 면담 문헌을 참고하라.
3. 적절한 경우 교사-학습자 순환과 개념적 초점화 기능을 활용하라.
4. 프로그램 이론의 구축, 검증, 정교화에 가장 적절한 것을 기준으로 목적 표집을 하라.
5. 표본 크기의 충분성은 자료가 프로그램 이론의 구축, 검증, 정교화에 얼마나 유용한지로 판단하라.
6. 탐색적 질문과 확인적 질문이 맥락, 기제, 결과, 그리고 무엇보다 인과적 배열(causal configurations) 을 끌어내는 데 적절한지 확인하라.
7. 면담 시작 때 교사-학습자 순환과 개념적 초점화 기능을 쓴다는 것을 참여자에게 분명히 알려라.
8. 참여자가 제시된 프로그램 이론에 반대해도 안전하다고 느낄 수 있는, 심리적으로 안전한 환경을 만들어 묵종(acquiescence)을 피하라.
9. 면담자가 여러 명이라면, 면담 직후 녹음을 들으며 새로 확인된 CMOC를 기록하고 다른 면담자와 공유해서 이후 면담에서 모두가 검증하고 정교화할 수 있게 하라.
10. 현실적 제약이 허락하는 한 면담 직후 최대한 빨리 분석하고, 자료 수집 순서대로 분석해서 CMOC가 발전하는 과정을 파악하라.
11. 면담 유형(예: 실재론적), 표집 방법(예: 목적 표집), 참여자(운영자인지 참여자인지), 이론과 관련한 면담 목적(구축, 검증, 정교화), 면담 질문(예: 온라인 부록), 분석 유형(예: 실재론적)을 명확하고 명시적으로 보고하라.
12. RAMESES jiscmail 같은 실재론적 평가 실천공동체(communities of practice)에 참여해서 학술적 교류와 조언, 지원을 받아라.

---

📝 결론

우리의 비판적 분석은 면담을 사용하는 최근의 HPE 실재론적 평가들이 표집 방법, 면담 유형, 면담 질문을 더 명시적으로 밝히는 데 있어 더 잘할 수 있음을 시사한다.

"Our critical analysis suggests that contemporary HPE realist evaluations using interviewing could do better to make their sampling approach, type of interviewing and interview questions more explicit."

 

저자들은 Pawson의 "면담의 이론화(theorizing the interview)"와 교사-학습자 순환, 개념적 초점화 기능을 더 분명하게 인용하고 적용하라고 권해요. 그 이유는 이거예요.

이는 프로그램 이론의 구축, 검증, 정교화를 가능하게 하는 최적의 실재론적 면담 접근이 사용되었음을 독자에게 확신시키기 위함이다.

"This is to reassure readers that optimal realist interviewing approaches were employed enabling the building, testing and/or refinement of programme theory."

따라서 우리는 다른 HPE 연구자들이 복잡한 HPE 개입을 평가하기 위해 실재론적 면담을 고려해볼 것을 권한다.

"We therefore encourage other HPE researchers to consider realist interviews to evaluate complex HPE interventions."

---

📚 저자들이 추천하는 읽을거리

논문의 Box 6에 실린 추천 문헌이에요. 별표(*)는 이 논문보다 먼저 읽기를 권한 문헌이에요.

• Bronnimann A. How to phrase critical realist interview questions in applied social science research. J Crit Realism. 2021;21(1):1–24.
• Emmel N, Greenhalgh J, Manzano A, et al. (Eds). Doing Realist Research. SAGE; 2018.*
• Greenhalgh T, Pawson R, Wong G, et al. The realist interview. The RAMESES II Project; 2017.
• Manzano A. The craft of interviewing in realist evaluation. Evaluation. 2016;22(3):342–360.
• Manzano A. Conducting focus groups in realist evaluation. Evaluation. 2022;28(4):406–425.
• Mukumbang FC, Marchal B, Van Belle S, et al. Using the realist interview approach to maintain theoretical awareness in realist studies. Qual Res. 2020;20(4):485–515.
• Pawson R. Theorizing the interview. Br J Sociol. 1996;47(2):295–314.
• Pawson R, Tilley N. Realistic Evaluation. SAGE; 1997.*
• Rees CE, Crampton PES, Nguyen VNB, et al. Introducing realist approaches in health professions education research. In: Rees CE, Monrouxe LV, O'Brien BC, et al. (Eds). Foundations in Health Professions Education Research. Wiley Blackwell; 2023:102–121.*
• Westhorp G, Manzano A. Realist evaluation interviewing: A 'starter set' of questions. The RAMESES II Project; 2017.

---

✍️ 마치며: 우리 프로그램 평가에 적용해본다면

교수개발 워크숍, 새로운 교육과정, 학생 연구 프로그램처럼 우리가 평가하는 교육 프로그램은 대부분 "복잡한 개입"이에요. 그런데 이런 프로그램을 평가하면서 면담을 할 때, 우리는 주로 무엇을 묻고 있었을까요?

• 우리 면담은 참여자의 "만족과 경험"을 묻는 데 그치고 있을까요, 아니면 "어떤 상황에서, 무엇을 통해, 어떤 결과가 나왔는지"를 묻고 있을까요?
• 면담을 시작하기 전에, 이 프로그램이 어떻게 작동할 거라는 우리의 가정(초기 프로그램 이론)을 명시적으로 적어본 적이 있을까요?
• 참여자에게 우리의 가설을 보여주고 "정말 그랬나요? 예를 들어주실 수 있나요?"라고 물어본 적이 있을까요? 그리고 참여자가 "네"라고만 할 때, 한 번 더 "어떻게요?"라고 물었을까요?
• 논문을 쓸 때 면담 유형, 표집 방법, 실제 질문을 독자가 판단할 수 있을 만큼 투명하게 보고하고 있을까요?

실재론적 면담은 면담자가 듣기만 하는 사람이 아니라, 이론을 제시하고 함께 다듬는 사람이 된다는 점에서 일반적인 질적 면담과 꽤 달라요. 프로그램 평가를 고민하는 분, 그리고 실재론적 평가 논문을 심사하는 분들께 실용적인 체크리스트로 쓰기 좋은 논문입니다. 😊

 

---

1 | 서론 (INTRODUCTION) 

실재론적 종합(realist synthesis)과 실재론적 평가(realist evaluation) 같은 실재론적 접근(realist approaches)은 최근 몇 년 동안 보건의료전문직 교육 연구(health professions education research, HPER)에서 인기가 높아졌다.1 실재론적 연구자(realist researchers)는 일반적으로 교육적 중재(educational interventions)가 어느 정도 효과가 있는지[결과(outcomes)], 누구에게 어떠한 상황에서 효과가 있는지[맥락(contexts)], 그리고 어떻게 효과가 있는지[기제(mechanisms)]를 풀어내고자 한다. HPER에서 점차 주목받고 있는 실재론적 자료수집 방법은 실재론적 인터뷰(realist interviewing)이다. 따라서 이 논문은 특히 HPER의 일부로 실재론적 인터뷰를 활용하고 있거나 활용을 고려하는 연구자들을 지원하고자 한다. 실재론적 접근을 처음 접하는 독자들을 돕기 위해 모든 실재론적 용어 및 실재론 관련 용어의 용어집(glossary)을 제공한다(아래 상자 1 참조). 여기서 다룰 수 있는 것보다 더 상세하게 실재론적 접근의 철학적 기원(philosophical origins)을 포함한 폭넓은 소개를 원하는 독자들에게는 다른 문헌들을 먼저 읽을 것을 권한다.1–3

상자 1 | 주요 실재론적 용어 및 실재론 관련 용어의 용어집(알파벳순) (Box 1 | Glossary of key realist and realist-related terms [in alphabetical order]) 

용어(Term)	정의(Definition)	출처/추가 읽을거리(Source/further reading)
개념적 초점화(Conceptual focusing)	참여자에게 자신의 사고(thinking)와 의사결정(decision-making)을 바탕으로 인터뷰어의 프로그램 이론(programme theory)에 대한 자신의 관점을 표현할 기회를 제공하는 것.	Pawson13
맥락(Context)	“실재론적 접근에서 맥락은 중재가 작동하는 기제를 형성하는 역동적이고 관계적인 특성(dynamic and relational features)으로 개념화된다.”	Rees et al.1,p. 273
맥락–기제–결과 구성(CMO configuration, CMOC)	실재론적 접근에서 “…맥락(context), 기제(mechanism), 결과(outcomes) 사이의 인과적 연결(causal links)”.	Marchal et al.4,p. 83
비판적 실재론(Critical realism)	세계와 그 구조(structures) 및 기제(mechanisms)가 우리의 의식(consciousness)과 독립적으로 존재한다고 보지만, 사회적·역사적·정치적 측면을 전면에 둔다. 이러한 구조적 요인(structural factors)은 형평성(equity), 다양성(diversity), 포용성(inclusion)과 관련될 수 있다.	Given14
생성적 인과성(Generative causation)	“관찰 가능한 사건(observable events)이 왜 발생하는지를 설명하는, 경험을 초월하지만 실제로 존재하는 실체(trans-empirical but real existing entity)”.	Bloom & Moren15,p. 60
기제(Mechanism)	실재론적 접근에서 맥락에 민감한 기제(context-sensitive mechanisms)는 일반적으로 프로그램 결과(programme outcomes)를 생성하는 숨겨진 구조(structures), 과정(processes) 또는 실체(entities)이다.	Rees et al.1
중범위 이론(Middle-range theory)	프로그램 이론보다 더 추상적이며 기존 지식으로 이어지는 가교를 제공하는 공식 이론(formal theories). 중범위 이론에는 예를 들어 교육 이론(educational theories)이 포함된다.	Marchal et al.4
객관주의(Objectivism)	“…의미(meaning)가 어떠한 의식과도 독립적으로 대상(objects)에 존재한다고 주장하는 인식론적 개념(epistemological notion)”.	Crotty16,p10
결과(Outcome)	실재론적 접근에서 결과는 맥락에 민감한 기제에 의해 생성되는, 프로그램의 예상된 또는 예상하지 못한 결과(expected or unexpected results)로 기술된다.	Rees et al.1
프로그램 이론(Programme theory)	프로그램이 어떻게, 왜, 그리고 어떠한 상황에서 결과를 산출하는지에 관한 이론.	Marchal et al.,4 Pawson & Tilley17
RAMESES II	실재론적 평가를 위한 RAMESES(Realist and Meta-narrative Evidence Syntheses Evolving Standards; 실재론적 및 메타내러티브 근거 종합을 위한 발전적 기준) II 보고 기준(reporting standards).	Wong et al.18
과학적 실재론(Scientific realism)	세계와 그 구조 및 기제가 우리의 의식과 독립적으로 존재한다고 본다.	Brekke et al.19
주관주의(Subjectivism)	지식(knowledge)은 사람들이 의미 구성(sense-making) 활동을 통해 사회적으로 구성(socially constructed)한다고 가정한다.	Rees et al.1
교수자–학습자 순환(Teacher–learner cycle)	실재론적 인터뷰 동안 참여자는 때로 교수자(teacher)로서 인터뷰어에게 프로그램에 대한 자신의 경험을 설명하며, 때로는 이러한 역할이 뒤바뀌어 인터뷰어가 발전 중인 이론을 설명한다[가르친다(teaching)].	Pawson13
이론 공고화(Theory consolidating)	이론 공고화 인터뷰(theory consolidation interviews)는 확인적(confirmatory) 성격을 띠며, 프로그램 이론이 지지되는지, 기각되는지, 또는 수정이 필요한지를 이끌어내는 것을 목적으로 한다.	Manzano5
이론 수집(Theory gleaning)	이론 수집 인터뷰(theory gleaning interviews)는 탐색적(exploratory)이며, 초기 프로그램 이론(initial programme theory)이 서로 다른 실제 환경(real-world settings)에 얼마나 적합한지를 가늠하는 것을 목적으로 한다.	Manzano5
이론 정교화(Theory refining)	이론 정교화 인터뷰(theory refining interviews)는 관련 맥락, 기제, 결과 사이의 관계를 확립한다.	Manzano5

실재론적 평가는 교육이 복잡하고(complex), 사회적이며(social), 맥락에 특수하다(context-specific)고 이해하므로, 서로 다른 사람들에게, 서로 다른 상황에서, 서로 다른 이유로 다르게 작동할 수 있다고 본다. 또한 실재론적 평가는 이론 기반(theory-based)이며, 프로그램 이론, 즉 중재가 어떻게, 왜, 그리고 어떠한 조건에서 결과를 산출하는지에 관한 이론의 구축, 검증, 정교화를 우선시한다.4

 

• 실재론적 종합이 이차 자료원(secondary data sources), 예를 들어 동료심사를 거친 학술지 논문(peer-reviewed journal articles)과 회색문헌(grey literature)을 사용하는 반면,
• 실재론적 평가는 이론을 구축하고, 검증하고 및/또는 정교화하기 위해 일차 자료원(primary data sources), 예를 들어 인터뷰와 설문지(questionnaires)를 활용한다.

 

설문지와 척도(scales) 같은 양적 방법(quantitative methods)은 결과와 맥락을 평가하는 데 흔히 사용되며, 실재론적 인터뷰는 결과를 생성하는 기제(outcome-generating mechanisms)를 풀어내는 데 특히 도움이 되는 것으로 여겨진다.1 인터뷰는 단독으로든 다른 방법과 결합해서든 실재론적 평가에서 흔히 주된 자료수집 방법으로 사용된다.5

 

실재론적 인터뷰는 해석주의적 관점(interpretivist standpoint)의 질적 연구 인터뷰(qualitative research interviewing)와 다르다. 전자가 프로그램 이론의 구축, 검증 및/또는 정교화에 초점을 두는 반면, 후자는 일반적으로 탐구 주제에 관한 참여자의 관점과 경험을 이끌어내는 데 초점을 두기 때문이다.1,6 실재론적 인터뷰와 “전형적인” 해석주의적 인터뷰(‘typical’ interpretivist interviews)의 차이를 요약한 내용은 상자 2를 참조하라. 질적 연구 인터뷰는 HPER 문헌에서 잘 설명되어 있지만,7–9 실재론적 인터뷰는 실재론적 평가의 자료수집 방법으로 점점 더 많이 사용되고 있음에도 그렇지 못하다(아래 표 1 참조). 따라서 저자들은 방법론 문헌(methodology literature)에 관한 지식과 실재론적·질적 인터뷰에 관한 자체 경험을 바탕으로,10–12 주로 실재론적 연구를 비교적 처음 접하는 사람들을 위해 이번 「연구방법 집중 조명(Focus on Research Methods)」 논문을 작성했다. 이 논문이 평가자(evaluators)에게 실재론적 인터뷰를 최적으로 수행하고 보고하는 데 도움을 주고, 심사자(reviewers)와 편집자(editors)에게 실재론적 인터뷰를 더 쉽게 비판적으로 평가하는 데 도움을 주기를 바란다. 이 논문의 예시 사례에 대한 개요는 상자 3을 참조하라. 저자들은 두 사례의 공통점, 즉 모두 교수개발 중재(faculty development interventions)에 실재론적 인터뷰를 활용한다는 점과 함께 차이점도 고려하여 이 두 사례를 선정했다. 예를 들어, 수퍼비전 훈련(supervision training)의 실재론적 평가는 호주의 특정 주 전체에 걸친 중재(state-wide intervention)와 관련되는 반면,10,11 교수개발(faculty development)의 실재론적 평가는 영국 전역의 여러 서로 다른 교수개발 중재와 관련된다.12

상자 2 | HPER에서 실재론적 인터뷰와 “전형적인” 해석주의적 인터뷰의 차이 (Box 2 | Differences between realist interviews and ‘typical’ interpretivist interviews in HPER) 

항목	실재론적 인터뷰(Realist interviews)	“전형적인” 해석주의적 인터뷰(‘Typical’ interpretivist interviews)
목적(Aim)	맥락(contexts), 기제(mechanisms), 결과(outcomes) 및 그 상호작용(interactions)을 식별하여 프로그램을 평가한다.	탐구 주제에 관한 참여자의 주관적 관점(subjective views) 및/또는 경험을 이끌어낸다.
이론(Theory)	프로그램 이론의 구축, 검증 및/또는 정교화에 초점을 둔다.	근거이론 방법론(grounded theory methodology)에서처럼 인터뷰가 탐구 주제에 관한 이론을 구축하는 데 기여할 수 있다. 그렇지 않은 경우 이론은 자료수집 이전에 인터뷰 설계를 돕기 위해 사용되고 및/또는 자료수집 이후에 질적 연구결과(qualitative findings)를 이해하기 위해 사용될 수 있으며, 또는 이론이 없을 수도 있다.
인터뷰 단계(Interview phases)	실재론적 인터뷰에는 일반적으로 서로 다른 단계가 포함되며, 인터뷰 질문지(interview schedules)도 단계에 따라 달라지는 경우가 많다.	종단적 질적 연구(longitudinal qualitative research)를 제외하면, 인터뷰는 일반적으로 하나의 인터뷰 질문지를 사용하여 한 단계에서 실시한다. 다만 질문은 자료수집 과정 전반에 걸쳐 정교화될 수 있다. 종단적 질적 연구에는 참여자와의 반복 인터뷰가 포함될 수 있다.
인터뷰 방식(Interviewing style)	실재론적 인터뷰어는 일반적으로 학습자 역할(learner role)—참여자가 맥락, 기제, 결과 및 CMOC를 어떻게 인식하는지 참여자에게서 배우는 역할—과 교수자 역할(teacher role)—참여자에게 자신의 초기 프로그램 이론을 가르치는 역할—을 번갈아 맡는다.	특히 반구조화 인터뷰(semi-structured interviews)와 비구조화 인터뷰(unstructured interviews)는 일반적으로 참여자가 주도한다. 따라서 인터뷰어가 참여자에게서 배운다.
인터뷰 질문 유형(Interview question types)	일반적으로 탐색적 질문(exploratory questions)[이론 구축(theory building)]에서 확인적 질문(confirmatory questions)[이론 검증/정교화(theory testing/refinement)]으로 이동한다.	특히 반구조화 인터뷰와 비구조화 인터뷰에서 일반적으로 탐색적 질문을 사용한다.
분석 접근법(Analytical approach)	구성적 실재론적 분석(configurational realist analysis)을 위한 최적의 자료수집을 지향한다.	질적 자료분석(qualitative data analysis)을 위한 최적의 자료수집을 지향한다. HPER에서는 대개 어떤 형태의 주제분석(thematic analysis)을 사용한다.

1.1 | 실재론적 접근이란 무엇인가? (What are realist approaches?) 

…어떤 것도 모든 곳에서 또는 모든 사람에게 효과가 있는 것은 아니다…맥락(context)은 실제로 프로그램 결과(programme outcomes)에 차이를 만들어낸다.21,p. 4

상자 3 | 두 가지 예시 사례의 개요 (Box 3 | Overview of two illustrative cases) 

항목	수퍼비전 훈련의 실재론적 평가(Realist evaluation of supervision training)10,11	교수개발의 실재론적 평가(Realist evaluation of faculty development)12
개요(Overview)	다양한 보건의료 및 대인서비스 전문직(healthcare and human services professions)의 수퍼바이저(supervisors)를 대상으로 단기간 수퍼비전 훈련 프로그램(brief-duration supervision training programme)[반일 워크숍(half-day workshops): 연구 1]과 장기간 수퍼비전 훈련 프로그램(extended-duration supervision training programme)[반일 워크숍과 평균 9주 동안의 종단적 음성일지(longitudinal audio-diaries): 연구 2]에 대한 실재론적 평가를 수행했다.	영국 17개 의과대학의 교수개발 책임자(faculty development leads)와 구성원(members)을 대상으로 실재론적 인터뷰 32건을 활용하여 교수개발에 대한 실재론적 평가를 수행했다.
인터뷰 단계(Interview phases)	연구 1: 단기간 중재의 실재론적 평가에는 두 단계에 걸친 실재론적 인터뷰 53건이 포함되었다. 워크숍 개발자/진행자(workshop developers/facilitators)와의 인터뷰 10건(1단계)과 워크숍에 참여한 수퍼바이저와의 인터뷰 43건(2단계)이었다. 연구 2: 장기간 중재의 평가에는 두 단계에 걸친 실재론적 인터뷰 48건, 즉 시작 시점 인터뷰(entrance interviews) 25건(1단계)과 종료 시점 인터뷰(exit interviews) 23건(3단계)이 포함되었으며, 그 사이에 종단적 음성일지 176건(2단계)을 수집했다. 이 음성일지는 교육적 중재이자 자료수집 방법으로 기능했으며, 인터뷰어는 수퍼바이저의 음성일지를 들은 후 이메일 교신(email correspondence)을 통해 추가적인 실재론적 질문을 했다(자세한 내용은 아래 표 1 참조).	이 실재론적 평가에는 세 단계가 포함되었다. 먼저 기존의 동료심사 문헌(existing peer-reviewed literature)을 토대로 초기 프로그램 이론을 개발했다(1단계). 이어 영국 의과대학 전반의 주요 이해관계자(key stakeholders)를 대상으로 한 실재론적 인터뷰에서 이 이론을 사용하여 프로그램 이론을 수집(glean), 정교화(refine), 공고화(consolidate)했다(2단계). 이후 이를 교수개발 프로그램 설계자를 위한 일련의 권고사항을 수립하는 토대로 사용했다(3단계).
이론 중심성(Theory-driven)	실재론적 인터뷰는 저자들의 앞선 실재론적 종합(realist synthesis)에서 생성된 프로그램 이론을 정교화하고 개발하는 데 기여했다.20	특히 실재론적 평가 보고를 위한 RAMESES II 지침에 부합하게,18 이 실재론적 평가는 특정 교수개발 중재보다는 하나의 현상(phenomenon), 즉 교수개발을 이해하기 위한 프로그램 이론을 개발하고자 했다(자세한 내용은 아래 표 1 참조).

 

실재론적 접근(realist approaches)은 실제 세계의 보건의료전문직 교육(health professions education, HPE)을 그 풍부한 복잡성(complexity)을 온전히 포함하여 연구하는 데 매우 적합하다. 이러한 복잡성에는 서로 상호작용하는 여러 구성요소(interacting components), 예를 들어 교육과정 구성요소(curriculum components), 교육자(educators), 학습자(learners)가 포함될 수 있고, 다양한 학습자와 협력기관(partner organisations)처럼 여러 집단 또는 수준(groups or levels)이 관여할 수 있다. 또한 지식(knowledge), 기술(skills), 전문직업성(professionalism), 팀워크(team-working)의 평가처럼 가능한 결과가 여러 가지일 수 있으며, 중재가 맞춤화(tailored)될 수도 있다. 예를 들어 학습자에게 서로 다른 실습 배치(placements)가 제공될 수 있다.22 교육과 같은 복잡한 중재(complex interventions)에서는 과정이 필연적으로 맥락 의존적(context-dependent)이므로, 투입(inputs)으로부터 산출(outputs)을 언제나 예측할 수 있는 것은 아니다.

 

실재론적 접근은 소위 맥락(contexts), 즉 기제에 영향을 미치는 관계적이고 역동적인 특성(relational and dynamic features),23 기제(mechanisms), 즉 일반적으로 결과를 생성하는 숨겨진 과정, 실체 또는 구조,24,25 그리고 결과(outcomes) 사이의 상호작용을 탐색함으로써, 과학적 접근에서처럼 복잡성을 통제하는 대신 복잡성을 인정하고 분석할 수 있게 한다.1 실재론적 접근을 통해 연구자는 무엇이 효과가 있는지, 누구에게, 어떤 상황에서, 어느 정도, 어떻게, 왜 효과가 있는지와 같은 미묘한 차이를 포착하는 연구질문(research questions)을 제기할 수 있다.17 실재론적 접근은 초기 프로그램 이론(initial programme theory)에서 출발하며, 이 이론은 연구 과정에서 검증되고 발전한다. 실재론적 접근은 검증할 수 있을 만큼 구체적이면서도 다른 상황에 전이할 수 있을 만큼 충분히 추상적인 설명적 중범위 이론(explanatory middle-range theories)을 생성하며,4 사물이 왜, 어떻게 발생할 수 있는지를 설명한다. 이것이 이른바 “생성적 인과성(generative causation)”이다.4

 

실재론적 접근은

 

• 과학적 실재론(scientific realism)[세계와 그 구조 및 기제가 우리의 의식과 독립적으로 존재한다고 보는 관점] 또는
• 비판적 실재론(critical realism)[이에 동의하면서 사회적·역사적·정치적 측면을 전면에 두는 관점], 그리고
• 객관주의적 또는 주관주의적 인식론(objectivist or subjectivist epistemology)[앎의 본질(nature of knowing)]에 토대를 둔다.1

 

실재론적 접근의 철학적 토대(philosophical foundations)에 관한 더 상세한 설명은 다른 문헌에서 찾아볼 수 있다.1–3 앞서 언급했듯이, 주요 실재론적 방법론(realist methodologies)은 두 가지다.

 

• 기존 연구 근거(existing research evidence)를 종합하는 실재론적 검토(realist review)[실재론적 종합(realist synthesis)이라고도 함]와
• 경험적 자료수집(empirical data collection)을 포함하는 실재론적 평가(realist evaluation)이다.

 

실재론적 평가는 특정 방법에 얽매이지 않으며, 연구질문과 연구팀의 존재론적·인식론적 토대(ontological and epistemological foundations)에 가장 적합한 접근을 채택할 수 있다. 이러한 실재론적 접근의 유연성(flexibility)과 이론적인 것과 실천적인 것을 결합할 수 있는 능력은 HPE를 연구하는 사람들에게 매우 매력적이다.

1.2 | 실재론적 인터뷰란 무엇이며, 왜 사용하는가? (What is realist interviewing and why use it?) 

실재론적 인터뷰(realist interviews)는 프로그램이 어떻게, 어디서, 언제, 왜 효과적이며 또 효과적이지 않은지에 관한 명제(propositions)를 탐구한다. 추적하는 것은 프로그램의 이야기(programme’s story)이다.6,p. 1

 

실재론적 인터뷰는 이론 중심적(theory-driven)이며 일반적으로 반구조화(semi-structured)되어 있다.5,6,13,17,26,27 실재론적 인터뷰는 프로그램 이론(programme theory)을 수집(gleaning), 정교화(refining) 및/또는 공고화(consolidating)하는 데 초점을 두는데,5 프로그램 이론은 다음에 관한 이론이다. “프로그램 설계자(또는 관련된 다른 행위자)가 중재가 어떻게, 왜, 그리고 어떠한 조건에서 그 목적에 도달할 것으로 기대하는지를 설명하는 일련의 가정(set of assumptions).”4,p. 83

 

인터뷰어가 프로그램 이론을 수집하고자 할 때 인터뷰 질문은 탐색적(exploratory)이라고 할 수 있으며,6 프로그램이 어떻게 작동하는지(또는 작동하지 않는지), 누구에게, 어떠한 상황에서 작동하는지에 관한 질문이 포함된다. 따라서 인터뷰어가 질문할 때 반드시 실재론적 용어를 명시적으로 사용하는 것은 아니지만, 본질적으로 맥락(contexts), 기제(mechanisms), 결과(outcomes), 맥락–기제–결과 구성(context-mechanism-outcome configurations, CMOCs)[맥락, 기제, 결과 사이의 인과적 연결(causal links)]에 관한 정보를 의도적으로 이끌어내는 질문을 하고 있는 것이다.4–6 이는 흔히 인터뷰어가 “왜(why)”와 “어떻게(how)”라는 질문을 사용하여 참여자의 인과성(causality)에 관한 생각을 이끌어낸다는 것을 뜻한다.26 이러한 이론 구축(theory-building) 접근에서 Pawson과 Tilley는 인터뷰어의 프로그램 이론이 인터뷰 과정 내내 “다소 잠복한 채 머물러 있을(lurk somewhat dormantly)” 수 있다고 설명한다.17,p. 180

 

그러나 인터뷰어가 프로그램 이론을 정교화 및/또는 공고화하고자 할 때에는 확인적(confirmatory)이라고 할 수 있는 인터뷰 질문, 또는 Pawson이 교수–학습 기능(teaching-learning function)과 개념적 초점화 기능(conceptual focusing function)이라고 부르는 질문을 사용할 수 있다.13,17 여기서 “연구자의 이론이 인터뷰의 주제이며, 연구대상자는 그 이론을 확인하거나 반증하고, 무엇보다 정교화하기 위해 그 자리에 있다.”13,p. 299 따라서 인터뷰어는 참여자에게 프로그램 이론 초안(draft programme theory)을 제시하고 의견을 요청함으로써 가르치는 데 적극적인 역할을 한다. 이 과정에서 참여자는 인터뷰의 학습자로 자리매김하며, 프로그램 이론을 지지하거나, 기각하거나, 수정한다.5,6,27–29 이러한 인터뷰 단계에서는 결과 패턴(outcome patterns)을 정교화하기 위해 참여자 전반에 걸쳐 질문을 덜 표준화하고, 프로그램 이론의 발전 단계에 더 맞춤화한다.5 인터뷰의 마지막 단계인 공고화(consolidation) 단계에서는 “여러 CMO 계열(families of CMOs)에 속하는 더 적은 수의 CMO”를 더욱 상세하게 검토한다.5,p. 356 이 접근은 유연하며, Manzano는 프로그램 이론의 수집과 정교화가 같은 차수의 인터뷰 안에서 이루어질 수도, 서로 다른 차수에서 이루어질 수도 있고, 공고화 단계는 다른 자료수집 단계와 함께 진행될 수 있다고 제안한다.5

 

Pawson은 실재론적 인터뷰에서 인터뷰어와 참여자 사이에 전문성의 분담(division of expertise)이 있다고 제안한다.

• 인터뷰어는 초기 이론화(initial theorising) 및/또는 그때까지의 자료수집을 바탕으로 프로그램 결과와 맥락에 관한 전문성과 통찰을 가진 것으로 여겨지며, 참여자는 결과를 생성하는 기제, 특히 자신의 추론 과정(reasoning processes)에 관한 전문가로 여겨진다.13,17 또는 실재론적 포커스그룹(realist focus groups)에서처럼 집단의 추론 과정(group reasoning processes)에 관한 전문가일 수 있다.28
• 또한 Pawson과 Tilley는 소위 “연구대상자(subjects)”, 즉 프로그램 수혜자(programme recipients)는 맥락과 결과보다는 기제에 더 민감하게 반응하는 반면, 소위 “실무자(practitioners)”, 예를 들어 프로그램 진행자(programme facilitators)와 프로그램 설계자(programme designers)는 맥락, 기제, 결과 모두에 민감하게 반응할 것이라고 제안했다.17 이들은 “평가자(evaluators)”, 즉 인터뷰어가 이론에 관한 전문성을 가지고 CMOC에 관한 예상도 가지고 있을 것이라고 제안했다.17
• 이들은 프로그램 연구대상자와 실무자가 이야기의 일부는 알고 있지만 “전체 이야기(whole story)”를 제공할 수는 없다고 주장한다.17,p. 163 궁극적으로 교수자와 학습자 역할은 실재론적 인터뷰 과정 전반에서 역동적이며 서로 교환 가능한 것으로 간주되고, 그 결과 교수자–학습자 순환(teacher–learner cycle)이 나타나 참여자가 때때로 교수자가 되고 인터뷰어가 학습자가 된다. 예를 들어 참여자가 기제와 관련된 자신의 사고 과정처럼 발전 중인 프로그램 이론에 관해 인터뷰어에게 가르치는 경우가 있으며, 이를 개념적 초점화 기능(conceptual focusing function)이라고 설명한다.5,6,13,17 따라서 이러한 사항은 아래에서 논의하듯이 인터뷰 참여자를 선택할 때 중요하게 고려해야 한다.

2 | 실재론적 인터뷰의 다섯 가지 핵심 단계 (FIVE KEY STAGES OF REALIST INTERVIEWING) 

2.1 | 초기 프로그램 이론 개발 (Developing initial programme theory/theories) 

실재론적 인터뷰어는 실재론적 인터뷰의 주된 목적이 프로그램 이론 구축일 때에도, 인터뷰를 설계하기 전에 일반적으로 중재가 어떻게, 그리고 어떤 맥락에서 작동하는지에 관한 초기 믿음(initial beliefs)[이론 또는 이론들(theory/theories)]을 가지고 있다. 초기 프로그램 이론(initial programme theory/theories)은 실재론적 종합(realist syntheses), 프로그램 설계자·관리자(managers)·실행자(implementers)의 가정에 대한 탐색, 또는 사례연구(case study)나 문서검토(document review)와 같은 탐색적 연구(exploratory research)를 통해 생성할 수 있다.4 이러한 초기 프로그램 이론은 표집/표본(sampling/sample), 인터뷰 질문, 질문 방식과 분석 접근법을 포함하여 인터뷰 설계에 영향을 준다. 일단 개발된 초기 프로그램 이론은 자료수집 전반에 걸쳐 계속 수집되고, 정교화되고, 공고화된다.13

2.2 | 표집/표본 (Sampling/sample) 

실재론적 인터뷰에서는 목적표집(purposive sampling)과 이론적 표집(theoretical sampling)이 핵심이며, 프로그램 이론의 수집, 정교화 및/또는 공고화에 기여할 수 있는 능력을 바탕으로 참여자를 선정한다.5,6,17,27,29 또한 프로그램 이론을 더욱 충실하게 밝히기 위해 참여자의 다양성(participant diversity)이 중요하다.

 

• 일반적으로 프로그램 설계자와 프로그램 진행자 같은 프로그램 실무자(programme practitioners)를 먼저 인터뷰하며[흔히 이론 수집(theory gleaning)을 목적으로],
• 그 후 프로그램 참여자 같은 프로그램 이용자(programme users)를 인터뷰한다.5,6,29

 

Nguyen 등의 연구도 그러했다.10 프로그램 이론이 서로 다른 이해관계자(stakeholders), 예를 들어 의사와 간호사, 및/또는 서로 다른 조직 환경(organisational settings), 예를 들어 일차의료(primary care)와 이차의료(secondary care)에 따라 프로그램이 다르게 작동할 수 있음을 시사한다면, 관심 대상인 이러한 하위집단(sub-groups)이 지속적인 표집(ongoing sampling)에 반영되어야 한다.5,6

 

실재론적 인터뷰에 대해 제안된 최소 인터뷰 건수는 없다.6 수용 가능한 실재론적 인터뷰 건수는 혼합방법 연구설계(mixed-methods study design)에서 수집할 수 있는 다른 형태의 자료와 함께, 이론의 수집, 정교화 및/또는 공고화를 위한 실재론적 인터뷰 자료의 관련성(relevance)과 엄밀성(rigour)에 의해 결정된다.5,28 따라서 연구자가 실재론적 인터뷰 건수에 관한 최초 계획을 가지고 있을 수 있지만, 인터뷰어는 수집된 자료의 질(quality)과 포괄 범위(coverage), 그리고 표집의 다양성에 따라 어느 정도의 조정 여지를 필요로 할 가능성이 높다.5 실제로 실재론적 평가자는 “서로 다른 상황에서 서로 다른 집단에게 서로 다른 결과”를 예상하므로,28,p. 416 하위집단에 대한 자료수집과 분석이 핵심이다. 초점은 언제나 프로그램 이론의 구축, 검증 및/또는 정교화와 관련된 자료의 질에 두어야 하지만, Manzano는 표본 크기(sample sizes)가 작더라도 많은 양의 자료가 필요할 수 있고 때로는 긴 인터뷰가 필요할 수도 있다고 제안한다.5 다만 그녀는 다른 형태의 질적·양적 자료수집과 함께 많은 수의 인터뷰, 예를 들어 39–100건을 활용한 여러 보건 관련 연구를 인용한다. 또한 Manzano는 인터뷰어가 프로그램 이론을 추가로 개발하고, 검증하고, 정교화할 수 있도록 중재 시행 과정의 서로 다른 시점(timepoints)에 정보제공자(informants)를 반복 인터뷰하는 것의 잠재적 이점을 지지한다.5

2.3 | 인터뷰 자체 (The interview itself) 

자료수집에 앞서 평가팀은 실재론적 인터뷰 질문지(realist interview schedule)를 개발해야 한다. 인터뷰 질문지는 인터뷰 과정의 서로 다른 단계와 프로그램 이론의 구축, 검증, 정교화 중 어디에 초점을 두는지에 따라 구조화 수준(level of structure)이 달라질 가능성이 높다.

 

• 먼저 프로그램 내 참여자의 역할과 프로그램에 대한 관점 및 경험을 포함하여, 평가 대상 프로그램에 참여자의 주의를 기울이게 하는 질문으로 시작한다.5
  • 예를 들어 “귀하가 …[프로그램]에 어떻게 관여해 왔는지(또는 접촉해 왔는지) 말씀해 주시겠습니까?”라고 질문한다.30,p. 1
• 인터뷰의 목적이 프로그램 이론을 수집하는 것, 즉 프로그램 개발 과정의 초기 단계에 해당한다면, 인터뷰 질문지에는 결과, 기제, 맥락 및 이러한 구성 요소(configurational elements) 사이의 연결에 관한 참여자의 생각을 이끌어내는 탐색적 질문이 포함된다.
  • 예를 들어 결과와 맥락에 관한 정보를 이끌어내기 위해 인터뷰어는 “[특정 이해관계자 집단]에 대해 [프로그램 …]의 결과는 무엇이었다고 생각하십니까?”라고 물을 수 있다.30,p. 1
• 결과와 기제에 관한 정보를 수집하기 위해서는
  • “[프로그램 …]이 어떻게 그 결과를 유발하는지 궁금합니다. 이 프로그램이 [참여자가 식별한 결과]를 어떻게 유발했거나 유발하는 데 도움을 주었다고 생각하십니까?”라고 물을 수 있다.30,p. 2
• 인터뷰의 목적이 이론을 정교화하고 공고화하는 것이라면, 인터뷰 질문지에는 교수자–학습자 기능(teacher-learner function)과 개념적 정교화 기능(conceptual refinement function)의 요소가 포함된다.
  • 예를 들어 “[프로그램 …]이 실제로 어떻게 작동하는지에 관해서는 여러 가지 생각이 있으며, 저희는 아마도 서로 다른 장소나 서로 다른 사람들에게 다르게 작동할 것이라고 생각합니다. 그중 한 가지 생각은 [주요 기제에 대한 간략한 설명]입니다. 이곳에서/귀하에게도 조금이라도 그런 방식으로 작동했습니까? 예를 들어 주시겠습니까?”라고 질문한다.30,p. 2

 

상자 4는 상자 3의 두 예시 사례에서 사용한 실재론적 인터뷰 질문지의 개요를 제시한다. 실재론적 인터뷰 질문의 추가적인 실제 예시는 환자 퇴원을 주도하는 병원 직원에 대한 실재론적 평가를 다룬 Manzano의 문헌5과, 남아프리카공화국에서 집단 기반의 항레트로바이러스 치료 순응도 향상 중재(group-based antiretroviral treatment adherence-enhancing intervention)를 실재론적으로 평가한 Mukumbang 등의 문헌27을 참조하라.

2.4 | 실재론적 분석 (Realist analysis) 

이 논문은 실재론적 인터뷰에 초점을 두므로 실재론적 분석을 심도 있게 다루지는 않지만, 상자 4는 실재론적 분석 과정(realist analytic process)이 자료수집 중에 시작되어 인터뷰어의 질문 방향(line of questioning)에 영향을 미친다는 점을 보여준다. 마찬가지로 상자 5는 예시 사례의 인터뷰어가 프로그램 이론을 구축하고, 검증하고 및/또는 정교화하기 위해 인터뷰 중 즉석에서 이루어지는 실재론적 분석(in-the-moment realist analysis)의 일부로 교수자–학습자 기능과 개념적 정교화 과정(conceptual refinement process)을 어떻게 활용하는지 보여준다. 다만 이러한 분석 과정은 일반적으로 인터뷰의 전사(transcription)와 실재론적 인터뷰 전사본(realist transcripts)의 코딩(coding)을 통해 보다 공식적으로 이어진다. 연구자는 Atlas.ti 또는 NVivo 같은 소프트웨어를 사용하여 코딩 과정의 엄밀성(rigour)과 방법론적 투명성(methodological transparency)을 높일 수 있다.31–33 여기서 분석자는 일반적으로 실재론적 구성분석(realist configurational analysis)을 수행하여, 맥락, 기제, 결과 및 CMOC를 통한 이들의 상호작용을 식별하고 프로그램 이론뿐 아니라 사례 전반에 걸친 중범위 이론(middle-range theory)을 구축하고, 검증하고 및/또는 정교화한다.1,31 도움이 된다면 구성분석 과정에 관련 교육 이론(educational theory)을 포함할 수도 있다. 실재론적 인터뷰의 구성분석에 관한 자세한 내용은 다른 문헌에서 찾아볼 수 있다.31–33

2.5 | 실재론적 인터뷰 보고 (Reporting realist interviews) 

실재론적 평가를 위한 RAMESES II 보고 기준(reporting standards)은 실재론적 평가를 사용하는 연구의 일관성(consistency)과 엄밀성을 높이는 것을 목적으로 한다. 보고 기준은 자료수집 방법을 기술하고 정당화(justified)해야 하며, 그 방법이 프로그램 이론의 구축, 검증 및/또는 정교화에 어떻게 기여하는지 설명해야 한다고 권고한다.18 또한 모집 과정(recruitment process)과 표집 전략(sampling strategy)을 기술하고, 이것이 프로그램 이론의 개발과 정교화에 어떻게 기여하는지도 설명해야 한다.18

3 | HPER에서 실재론적 인터뷰에 대한 비판적 분석 (CRITICAL ANALYSIS OF REALIST INTERVIEWING IN HPER) 

HPER 분야에서 실재론적 인터뷰의 인기가 높아지는 현상을 검토하고, 이러한 인터뷰의 질을 높이는 방법을 파악하기 위해, 저자들은 지난 10년 동안 주요 HPER 학술지 다섯 곳, 즉 Academic Medicine, Advances in Health Sciences Education, Medical Education, Medical Teacher, Nurse Education Today에 출판된 인터뷰를 활용한 모든 실재론적 평가를 찾아보았다. 프로그램 이론(programme theory)과 구성분석(configurational analyses) 같은 실재론의 핵심 원칙(core realist tenets)을 명시적으로 언급한 연구 12편을 확인했다. 실재론적 평가의 보고 기준과 실재론적 인터뷰에 관한 원래의 문헌에서 도출한 원칙을 바탕으로 이 논문들을 비판적으로 검토했다.13,17,18

상자 4 | 두 예시 사례의 실재론적 인터뷰 질문지 문항 예시 (Box 4 | Examples of realist interview schedule questions in the two illustrative cases) 

항목	수퍼비전 훈련의 실재론적 평가(Realist evaluation of supervision training)10,11	교수개발의 실재론적 평가(Realist evaluation of faculty development)12
인터뷰 질문지(Interview schedules)[요청 시 제공(available on request)]	세 가지 실재론적 인터뷰 질문지를 사용했다. (1) 워크숍 개발자/진행자용, (2) 워크숍 직후 수퍼바이저용, (3) 종단적 음성일지(longitudinal audio-diary) 단계 완료 시 수퍼바이저용.	세 가지 실재론적 인터뷰 질문지를 사용했다. (1) 이론 수집(theory gleaning), (2) 이론 정교화(theory refining), (3) 이론 공고화(theory consolidation).
인터뷰 참여자 준비(Interviewee preparation)	워크숍 개발자/진행자 대상 실재론적 인터뷰에서는 인터뷰어가 실재론적 인터뷰를 사용할 것이라는 점과 그 의미를 참여자에게 안내했다. 예를 들어 “저는 실재론적 접근(realist approach)을 사용할 예정입니다…이것은 제가 귀하에게 질문을 하여…귀하의 의사결정 이면에 있는 추론(reasoning)을 더 잘 이해하고자 한다는 뜻입니다…워크숍의 결과가 무엇이라고 생각하시는지, 그리고 왜 그렇게 생각하시는지 질문할 것입니다”라고 안내했다.	실재론적 인터뷰 전에 모든 참여자에게 설명서(information sheets)를 보내어 실재론적 연구설계(realist study design)[맥락, 기제, 결과의 개념에 대한 간략한 설명 포함], 인터뷰에서 예상할 사항, 그리고 어느 단계에서든 참여를 철회할 권리(right to withdraw)를 설명했다.
탐색적 질문(Exploratory questions)	워크숍 개발자/진행자에게 예상된 및/또는 실제 결과(anticipated and/or actual outcomes)[예: “워크숍의 결과가 무엇이라고 생각하십니까?”], 기제(mechanisms)[예: “어떻게 그러한 결과로 이어졌습니까?”], 맥락(contexts)[“어떠한 상황에서 이러한 결과가 나타났다고 생각하십니까?”]에 관한 탐색적 질문을 했다. 워크숍 참여자에게도 결과[예: “워크숍이 귀하에게 가져온 즉각적인 결과는 무엇이었습니까?”], 기제[예: “워크숍이 [이러한 결과]를 어떻게 유발했거나 유발하는 데 도움을 주었다고 생각하십니까?”], 맥락[예: “어떤 상황이 이러한 결과로 이어졌습니까?”]에 관한 탐색적 질문을 했다.	이론 수집 인터뷰는 탐색적이었으며, 초기 프로그램 이론이 서로 다른 실제 환경(real-world settings)에 얼마나 적합한지를 가늠했다. 질문 예시는 다음과 같다. “귀 기관에서 교수개발(faculty development)의 의도된 결과(intended outcomes)는 무엇입니까?” “이러한 결과는 어느 정도 달성되고 있습니까?” “왜 그러한 일이 일어난다고 생각하십니까?” “그것은 사람들에게 어떤 느낌을 갖게 합니까?” “그러한 일이 일어날 수 있게 하는 데 중요한 구조(structures) 또는 과정(processes)은 무엇입니까?” “예를 들어 주시겠습니까?”
확인적 질문(Confirmatory questions)	워크숍 개발자/진행자용 인터뷰 질문지는 인터뷰어에게 다음과 같이 안내했다. “검증(testing), 정교화(refining), 반박(refuting)을 위해…CMO 구성(CMO configurations)을 요약하라”[교수자–학습자 순환(teacher–learner cycle)]. 워크숍 참여자용 인터뷰 질문지는 인터뷰어에게 참여자와 함께 프로그램 이론을 검증하도록 안내했다. “수퍼비전 훈련 워크숍이 실제로 어떻게 작동하는지에 관해서는 여러 가지 생각이 있으며, 저희는 아마도 서로 다른 장소나 서로 다른 사람들에게 다르게 작동할 것이라고 생각합니다. 그중 한 가지 생각은…입니다[교수자–학습자 순환]. 이곳에서/귀하에게도 조금이라도 그런 방식으로 작동했습니까? 예를 들어 주시겠습니까?[교수자–학습자 순환 및 개념적 초점화 기능(conceptual focusing function)].”	이론 정교화 인터뷰는 관련 맥락, 기제, 결과 사이의 관계를 확립했다. 질문 예시는 다음과 같다. “발전 중인 프로그램 이론은 귀하가 보시기에 어느 정도 타당하게 느껴집니까?” “귀하의 환경에서 가장 관련성이 높거나 가장 관련성이 낮은 부분은 무엇입니까?” “귀하의 경험에서 그 결과와 연관될 수 있는 기제는 무엇입니까?” “사람들이 그런 느낌을 갖도록 하려면 어떤 종류의 기관 맥락(institutional context)이 필요하겠습니까?” “예를 들어 주시겠습니까?”[교수자–학습자 순환 및 개념적 초점화 기능]. 이론 공고화 인터뷰는 확인적 성격을 띠었다. 거의 최종 형태에 도달한 프로그램 이론(near-final programme theory)에서 맥락, 기제, 결과 사이의 연결에 초점을 두었다. 질문 예시는 다음과 같다. “거의 최종 형태에 도달한 이 프로그램 이론은 귀하가 보시기에 어느 정도 타당하게 느껴집니까?” “어떤 부분이 가장 타당하게 또는 가장 덜 타당하게 느껴집니까?” “귀하는 그 맥락을 그 기제와 어느 정도 연관 짓습니까?” “사람들이 그런 느낌, 예를 들어 참여하고 있다는 느낌(engaged) 또는 안도감(reassured)을 가질 때 결과는 무엇입니까?” “이 CMOC는 귀하의 환경에서 어떻게 전개됩니까?” [교수자–학습자 순환 및 개념적 초점화 기능]

상자 5 | 예시 사례에서 교수자–학습자 기능과 개념적 정교화 과정의 시연 (Box 5 | Demonstration of the teacher–learner function and conceptual refinement processes in the illustrative cases) 

사례 1: 수퍼비전 훈련의 실재론적 평가 (Case 1: Realist evaluation of supervision training)10,11

발췌(Excerpt)	분석(Analysis)
인터뷰어(Interviewer): 저희가 문헌에서 확인한 바에 따르면, 많은 사람이 혼합 교수법(mixed pedagogical approach)이 자신의…기술과 지식을 향상하는 데 매우 도움이 되었다고 생각했습니다[결과(outcomes): 기술과 지식]. 그것이 자신의 성찰(reflection)을 촉발했기 때문입니다[기제(mechanism): 능동적/경험적 학습(active/experiential learning)]. 귀하도 그러했습니까?	인터뷰어는 장기간 훈련에 참여하는 수퍼바이저에게 저자들의 실재론적 종합에 근거한 초기 프로그램 이론의 일부를 제시한다.20 Pawson의 이론 중심적 인터뷰(theory-driven interview)에 따르면,13 이는 인터뷰어가 자신을 교수자로, 따라서 참여자를 학습자로 자리매김하여 프로그램 결과와 기제를 가르친 뒤, 추가 설명을 요청하는 질문을 하는 것과 관련된다.
참여자(Participant): 네.	Mukumbang 등은 교수자–학습자 기능의 한 가지 위험이 참여자가 인터뷰어[교수자]가 제시한 프로그램 이론에 단순히 동의하는 것[또는 순응하는 것(acquiesce)]이라고 제안했다.27 여기에서도 참여자는 인터뷰어가 제시한 부분적인 프로그램 이론에 단순히 동의했으며, 저자들은 바로 이러한 상황을 경험했다.
인터뷰어: 그렇다면 워크숍의 능동적이고 경험적인 학습환경(active and experiential learning environment)은 귀하의 학습에 어떻게 기여하고 있습니까?	인터뷰어는 자신이 찾고 있는 맥락과 기제에 관한 구체적인 정보를 얻지 못했으므로, “어떻게(how)”라는 질문으로 참여자의 응답을 촉진한다(prompt). 이는 Mukumbang 등이 예시한 개념적 초점화 기능을 실행하는 것이다.27
참여자: 제 생각에는 실제로 활발한 토론에 참여하는 것[기제(mechanisms): 동료학습(peer learning)]이 내용을 기억하는 데 도움이 됩니다[결과(outcomes): 지식]…하지만 다른 사람들과 토론하고 공유할 기회를 갖는 것[기제(mechanisms): 동료학습]은 기억하는 데 도움이 되고, 그 지식을 어떻게 적용할 것인지 실제로 생각해 볼 기회를 줍니다[결과(outcomes): 지식과 실천(knowledge and practice)].	이 시점에서 참여자는 자신의 생각을 제시한다. 따라서 자신을 교수자로, 인터뷰어를 학습자로 자리매김하며, 워크숍에서 자신의 경험을 바탕으로 결과를 생성하는 기제를 추가로 설명한다. 이는 Pawson이 논의한 개념적 정교화 과정(conceptual refinement process)의 예다.13
인터뷰어: 그렇다면 다른 사람들과 토론하는 것[기제(mechanisms): 동료학습]이 내용을 더 잘 기억하는 데 도움을 주고[결과(outcomes): 지식], 더 나은 성찰도 촉발한다는 말씀이군요[결과(outcomes): 성찰]? 참여자: 네.	이 질문은 인터뷰어가 참여자의 발언에 대한 자신의 이해를 공유함으로써 이론을 검증하고 정교화하는 데 도움을 준다.

사례 2: 교수개발의 실재론적 평가 (Case 2: Realist evaluation of faculty development)12

발췌(Excerpt)	분석(Analysis)
인터뷰어: [기제(mechanism): 참여(engagement)에 관해 논의하면서] 언급된 어려움 중 하나는 사람들이 교수개발 활동을 할 수 있도록 보장된 시간(protected time)을 확보하지 못한다는 것입니다[맥락(context): 접근성(accessibility)]…이것이 관련 있다고 생각하십니까?	Mukumbang 등은 인터뷰 참여자의 순응(acquiescence)을 피하기 위해, 이론에 따라 중재가 작동한 사례와 작동하지 않은 사례를 제시할 것을 제안했다.27 여기서 인터뷰어는 교수자–학습자 기능을 활용하여 대화의 초점을 이론이 성립하지 않을 가능성으로 옮긴다. 이는 역량 향상(improved competence)이라는 결과와 관련되지만, 전사본(transcript)에 명시적으로 나타나 있지는 않다.
참여자: 관련이 없다는 뜻은 아닙니다. 다만 누가 이 보장된 시간을 제공하는가 하는 문제가 생기기 때문에, 특별히 실현 가능한 것은 아니라는 것입니다.…제가 인증(accreditation)으로 넘어가 보자면[맥락(context): 인증], 그것은 교육 요건(teaching requirement), 경험과 기술의 증빙 때문에 매우 매력적입니다.	그 결과 참여자가 교수자 역할을 맡고 인터뷰어가 학습자 역할을 맡는다.13 참여자가 자신의 경험을 공유하면서, 추가 정교화가 필요한 프로그램 이론의 한 측면이 식별된다.
인터뷰어: 그렇다면 사람들의 교육적 필요(educational needs)를 충족시키는 것처럼[맥락(context): 교육적 필요 충족(meeting educational needs)], 사람들이 참여하도록 하는 다른 방법[기제(mechanism): 참여(engagement)]에 관해서는 어떻게 생각하십니까?	맥락–기제 연결(context-mechanism linkages) 중 하나에 의문이 제기되었다는 것을 깨달은 인터뷰어는, 문제가 된 기제[참여(engagement)]에 연결되는 다른 맥락을 명확히 하고자 한다.
참여자: 제 생각에는 그것[맥락(context): 교육적 필요 충족]이 조금 모호합니다. 초보 교수자(novice teacher)부터 경험 많은 교수자(experienced teacher)까지 가능한 것이 아주 다양합니다. 이들은 언제나 더 나아질 수 있고, 언제나 더 효과적일 수 있으며, 언제나 더 큰 영향을 미칠 수 있기 때문입니다. 이 모델이 그것을 담아내는지는 잘 모르겠습니다.	참여자는 이어 모델의 맥락 부분에 있는 결함에 대한 자신의 인식을 공유하고, 그 결과 정교화 방안, 예를 들어 초보 교수자와 경험 많은 교수자에 관한 맥락을 제안한다. 이는 Pawson이 논의한 개념적 정교화 과정의 예다.13

 

일부 중재는 단일 중재, 예를 들어 농촌 몰입 훈련 프로그램(rural immersion training programme)이었던 반면,34 다른 중재는 여러 환경에서 시행되었다. 예를 들어 전국적인 역량 기반 의학교육 사업(national competency-based medical education initiative)이 서로 다른 가정의학 프로그램(family medicine programmes)에서 시행되었다.35 또한 일부 연구는 특정 중재보다는 현상(phenomena), 예를 들어 기억에 남는 첫 경험(memorable firsts)에 초점을 두었다.36 중재가 다양했음에도 프로그램 이론과 관련된 연구의 목적은 한 사례를 제외하고 모두 명확했으며(표 1 참조), 나머지 모든 연구는 프로그램 이론의 구축, 검증 및/또는 정교화에 기여했다.

 

표집(sampling)과 관련하여, HPER 분야의 이 연구들 가운데 절반은 최대변이 표집(maximum-variation sampling)을 포함하여 어떤 형태로든 목적표집(purposive sampling)을 사용했고, 한 편은 편의표집(convenience sampling)을 사용했다. 다섯 편은 표집 접근법을 누락했으므로 보고 기준에 부합하지 않았다.18 연구당 인터뷰 건수는 7건37부터 53건10까지 다양했으며, 평균은 연구당 29건이었다. 따라서 표본 크기는 Manzano가 보건 분야의 실재론적 평가를 간략히 검토하면서 확인한 규모, 즉 인터뷰 39–100건보다 대체로 작았다.5 12편 중 6편은 설계자/진행자 같은 프로그램 실무자와의 인터뷰를 포함했고, 모든 연구가 프로그램 참여자[즉 학습자(learners)]와의 인터뷰를 포함했으므로, 6편은 두 집단 모두를 포함했다. 다섯 편은 인터뷰를 “반구조화(semi-structured)”, 네 편은 “인터뷰(interviews)”, 세 편은 “실재론적(realist)”이라고 기술했다. 12편 중 8편이 인터뷰에서 어떤 유형의 질문을 했는지 기술했지만, 인터뷰 질문을 명시적으로 제공한 연구는 세 편뿐이었다.12,35,38 한 연구에서는 인터뷰 질문이 불명확했다.37 열 편은 Pawson과 Tilley17(n = 9), Pawson13(n = 4), Manzano5(n = 4), Mukumbang 등27(n = 2)과 같은 주요 실재론적 인터뷰 문헌을 인용했다. 두 편은 주요 실재론적 인터뷰 문헌을 전혀 인용하지 않았다.34,39 Pawson의 교수자–학습자 순환(teacher–learner cycle)13을 명시적으로 인용한 논문은 한 편뿐이었으나,40 세 편은 인터뷰에 대한 설명에서 이 순환을 암시했다. Pawson의 개념적 초점화 기능(conceptual focusing function)13을 명시적으로 언급한 논문은 없었지만, 세 편은 이를 암시했다. 이러한 결과는 Manzano의 검토와 일치한다.5 그녀가 2004–2013년에 출판된 보건 분야의 실재론적 평가 논문을 간략히 검토한 결과, 대부분의 논문이 인터뷰 질문을 명시적으로 제공하지 않은 채 전통적인 반구조화 인터뷰를 사용했고, 그 때문에 Pawson의 교수자–학습자 기능13이 사용되었는지 평가하기 어려웠다. 또한 다른 학자들은26 초보 실재론적 연구자(novice realist researchers)가 실재론적 인터뷰 질문을 부적절하게 표현할 위험이 있으며, 이로 인해 실재론적 분석을 위한 실재론적 자료를 추출하는 능력에 부정적 영향을 줄 수 있다고 제안했다. 예를 들어 부적절한 질문은 인터뷰어가 맥락, 기제, 결과를 서로 연결하여 인과적 설명(causal explanations)을 이끌어내는 것을 방해할 수 있다.26 저자들의 경험에서 미흡한 질문(suboptimal questioning)에는 너무 추상적인 질문을 하는 것, 충분한 예시를 요청하지 않는 것, 맥락에 관한 충분한 세부사항을 요청하지 않는 것, 그리고 기제와 인과성 등에 관한 참여자의 이해를 충분히 탐색하지 않는 것이 포함될 수 있다.

 

흥미롭게도, Manzano가 보건 분야의 실재론적 평가와 관련하여 이전에 확인했듯이,5 HPER 분야에서도 12편의 연구 중 절반에서 인터뷰가 유일한 자료수집 방법이었으며, 나머지 연구는 관찰(observation)(n = 3), 문서분석(document analysis)(n = 2), 현장노트(field notes)(n = 2), 음성일지(audio-diaries)(n = 2) 같은 다른 질적 방법을 포함했다. 양적 지표(quantitative metrics)를 수집한 연구는 한 편뿐이었다.40 또한 모든 연구는 실재론적 구성분석(realist configurational analysis)과 함께 맥락, 기제, 결과를 식별하는 분석을 사용했다. 흥미롭게도 아홉 편은 어떤 형태로든 주제분석(thematic analysis)을 언급했다. 이들은 맥락, 기제, 결과를 주제(themes)로 개념화하거나, 주제분석의 한 형태인 프레임워크 분석(framework analysis)의 단계를 사용하여 실재론적 구성분석을 체계화했다. 마지막으로 다섯 편의 연구만이10–12,34,40 실재론적 평가의 보고 기준을18 충족했다고 보고했다.

 

결론적으로 저자들은 HPER 분야에서 출판된 실재론적 인터뷰 연구에서 여러 한계를 확인했으며, 이는 실재론적 평가의 보고 기준이 때때로 충족되지 않았음을 의미한다.18 구체적으로, 방법의 투명성(method transparency)이 부족한 경우가 흔했으며, 표집 접근법, 인터뷰 유형, 인터뷰 질문에 대한 설명과 실재론적 인터뷰 방법의 주요 문헌에 대한 인용이 충분하지 않았다.

4 | 실재론적 인터뷰를 위한 저자들의 권고사항 (OUR RECOMMENDATIONS FOR REALIST INTERVIEWING) 

실재론적 평가의 보고 기준,18 HPER에서 출판된 논문에 대한 저자들의 비판적 검토, 그리고 실재론적 인터뷰 경험을 토대로, HPER의 실재론적 인터뷰어에게 12가지 권고사항을 제안한다. 이 권고사항은 실재론적 인터뷰어가 자료수집을 가로막을 수 있는 장애물을 헤쳐 나가고 해결하는 데 도움을 줌으로써, 프로그램 이론의 구축, 검증, 정교화라는 실재론적 평가의 핵심 목적을 빗나가게 할 수 있는 미흡한 실재론적 인터뷰를 예방할 것이다. 인터뷰어 훈련(interviewer training)과 함께, 실재론적 인터뷰어에게 다음을 권고한다.

1. 연구의 맨 처음부터 초기 프로그램 이론(initial programme theory)에 근거한 실재론적 인터뷰 기법(realist interviewing techniques)을 사용하라.
2. 주요 실재론적 인터뷰 문헌을 활용하라.5,13,17,27,28
3. 해당되는 경우 교수자–학습자 순환(teacher–learner cycle)과 개념적 초점화 기능(conceptual focusing function)을 사용하라.
4. 프로그램 이론의 구축, 검증 및/또는 정교화에 가장 관련성이 높은 것이 무엇인지에 따라 실재론적 인터뷰에 목적표집(purposive sampling)을 사용하라.
5. 프로그램 이론을 구축하고, 검증하고 및/또는 정교화하는 데 자료가 얼마나 유용한지(data’s utility)를 기준으로 표본 크기의 충분성(sample size sufficiency)을 결정하라.
6. 프로그램 이론을 구축하고, 검증하고 및/또는 정교화할 수 있도록, 탐색적 질문(exploratory questions)과 확인적 질문(confirmatory questions)이 맥락, 기제, 결과, 그리고 무엇보다 인과적 구성(causal configurations)을 이끌어내는 데 적합한지 확인하라.
7. 인터뷰를 시작할 때 교수자–학습자 순환과 개념적 초점화 기능을 사용할 것임을 인터뷰 참여자에게 명확히 설명하라.
8. 심리적으로 안전한 환경(psychologically safe environment)을 조성하여, 필요할 경우 인터뷰 참여자가 제안된 프로그램 이론에 안전하게 이의를 제기할 수 있다고 느끼게 하라. 이를 통해 순응(acquiescence)을 피하라.
9. 인터뷰어가 여러 명인 프로젝트에서는 인터뷰 직후 음성녹음(audio-recording)을 듣고 새롭게 식별된 CMOC를 기록하여 동료 인터뷰어와 공유하라. 그러면 모든 인터뷰어가 후속 인터뷰에서 새롭게 식별된 CMOC를 검증/정교화할 수 있다.

표 1 | 인터뷰를 활용한 보건의료전문직 교육의 실재론적 평가 개요 및 핵심 특징 (TABLE 1 | Overview and core features of health professions education realist evaluations employing interviewing)

 

저자(Author)	중재: 평가 목적(Intervention: evaluation aim)	표집; 참여자(Sampling; participants)	인터뷰 유형, 이론 관련 목적, 인터뷰 질문[제시된 경우](Interview type, theory purpose, and interview questions [if cited])	기타 자료수집(Other data collection)	자료분석(Data analysis)	인용된 주요 실재론적 인터뷰 문헌 및 개념(Key realist interviewing outputs & concepts cited)
Bingham et al.34	농촌 몰입 훈련 프로그램(rural immersion training programme): “몰입형 농촌 훈련(immersive rural training)을 받는 의과대학생이 향후 농촌에서 진료하는 것에 개방적인 태도를 갖는 데 맥락과 기제가 어떻게 상호작용하여 기여하는지에 관한 이론을 개발하기 위해”(p. 1398).	목적표집(purposive); 의과대학생 23명.	프로그램 이론을 검증/정교화하기 위한 심층 반구조화 인터뷰(in-depth semi-structured interviews) 23건과 1년 후의 추적 인터뷰(follow-up interviews). 질문은 제시되지 않았지만, 주요 질문 주제[예: 농촌 배경/경험(rural background/experience), 농촌 훈련에 대한 태도]를 포함했다.	없음(None).	실재론적 구성분석(realist configurational analysis)[CMOC 분석]을 포함한 주제분석(thematic analysis).	Manzano5 x Pawson13 x Pawson & Tilley17 x Mukumbang et al.27 x 교수자–학습자 순환(Teacher-learner cycle) x 개념적 초점화(Conceptual focusing) x
Browne et al.40	안전한 투약 교육 프로그램(safe medication administration education programme): “…안전한 투약 교육 프로그램을 통해 습득한 지식과 기술을 실무에 적용하는 것을 가능하게 하거나 제한하는 요인을 식별하기 위해”(p. 2).	목적표집; 1단계(Stage 1): 정책결정자(policymakers) 및 주요 이해관계자(key stakeholders) 6명; 2단계(Stage 2): 전문가(experts) 3명; 3단계(Stage 3): 참여자 및 관리자(managers) 7명.	프로그램 이론을 수집(1단계), 정교화(2단계), 검증(3단계)하기 위한 세 단계의 반구조화 인터뷰 16건. 질문은 제시되지 않았으나, 사람마다 달랐다고 보고했으며(1단계), 추정된 CMO(conjectured CMOs)에 근거한 탐색적 질문을 포함했고(2단계), 추정된 CMO를 추가로 탐색했다(3단계).	1단계: 문서분석(document analysis); 3단계: 관찰(observation), 문서분석, 보고된 중대사건(reported critical incidents), 간호의 질 지표(quality care nursing metrics).	실재론적 구성분석[CMOC 분석]을 포함한 주제분석.	Manzano5 ✓ Pawson13 ✓ Pawson & Tilley17 ✓ Mukumbang et al.27 x 교수자–학습자 순환 ✓ 개념적 초점화 x
Ellaway et al.35	가정의학(family medicine) 분야의 전국적 역량 기반 의학교육 사업(national competency-based medical education initiative): “Triple C[전국적 역량 기반 의학교육 사업]의 시행이 캐나다 전역의 서로 다른 FM[가정의학] 프로그램에 미친 영향에 대해 현재 어떤 견해가 있는가”(p. 1851).	편의표집(convenience); 인터뷰(Interviews): 책임자(leaders) 27명; 포커스그룹(Focus groups): 전공의(residents), 프리셉터(preceptors), 관리자(administrators) 38명.	이론을 구축하고, 논의하고, 수정하기 위한 개별 인터뷰(individual interviews) 27건과 포커스그룹 5회. 인터뷰 질문지를 보충 디지털 부록(supplementary digital appendices)으로 제공했다. 질문은 프로그램과 그 영향에 대한 이해관계자의 성찰(reflections) 및 경험, 결과[예: “Triple C의 시행은 어떤 영향을 미쳤습니까?”], 기제[예: “어떤 환경적 요인(environmental factors)이 효과가 있는 것에 영향을 미쳤습니까?”], 맥락[예: “누구에게 더 잘 작동하며, 어떤 맥락에서, 그리고 왜 그렇습니까?”]을 탐색했다.	없음.	주제분석(thematic analysis), 템플릿 분석(template analysis), CMO 식별/코드화(CMO identification/codification).	Manzano5 x Pawson13 x Pawson & Tilley17 ✓ Mukumbang et al.27,a x 교수자–학습자 순환 x 개념적 초점화 x
Haruta & Yamamoto37	의과대학생 대상 지역사회 병원 기반 전문직 간 교육(community hospital-based interprofessional education, IPE) 프로그램: “일차의료 분야에서 임상실무의 조건(conditions of clinical practice), 의과대학생이 무엇을 어떻게 학습하는지, 그리고 임상실무에서 IPE의 결과 사이의 상호관계를 조사하기 위해”(p. 102).	명시되지 않음(Not stated); 임상실무에 참여하는 임상가(clinicians) 7명[의사, 간호사, 보건의료 관련 전문직(allied health professionals) 포함].	이론을 구축하기 위한 인터뷰 7건. 질문은 제시되지 않음/불명확함.	민족지(ethnography)[학생 보고서(student reports), 평가(assessments), 현장노트(field notes)를 포함한 참여관찰(participant observation)].	실재론적 구성분석[CMOC 분석]을 포함한 주제분석.	Manzano5 x Pawson13 x Pawson & Tilley17 ✓ Mukumbang et al.27,a x 교수자–학습자 순환 x 개념적 초점화 x
Lefroy et al.36	실무 준비도로의 이행(preparedness for practice transition) 과정에서 기억에 남는 첫 경험(memorable firsts): “수련생(trainee)이 과업을 처음 수행할 수 있게(또는 수행할 수 없게) 하는 맥락적 요인(contextual factors)과 기제의 인과적 연쇄(causal chains)를 식별하기 위해”(p. 1037).	명시되지 않음; 인터뷰: 의과대학 최종학년 학생(final-year medical students) 32명 및 초급 의사(junior doctors) 13명; 포커스그룹: 초급 의사와 졸업 후 수련생(postgraduate trainees) 70명.	이론을 검증하고 개발하기 위한 개별 인터뷰 32건과 포커스그룹 10회. 질문은 제시되지 않았으나 저자들은 참여자에게 맞춤화(bespoke)되었다고 밝혔다. 포커스그룹에는 기억에 남는 첫 경험과 그러한 경험에 대한 참여자의 준비도(preparedness)에 관한 논의가 포함되었다.	학습기록(learning logs) 및 음성일지(audio diaries)[의과대학 최종학년 학생], 포커스그룹[의사].	실재론적 구성분석[CMOC 분석]을 포함한 주제분석.	Manzano5 x Pawson13 x Pawson & Tilley17 ✓ Mukumbang et al.27,a x 교수자–학습자 순환 x 개념적 초점화 x
Nguyen et al.10	보건의료 및 대인서비스 종사자(health and human workers)를 위한 수퍼비전 훈련 워크숍(supervision training workshops): “…호주의 주 전체에 걸친 수퍼비전 훈련 프로그램이 어느 정도 작동하는지, 누구에게, 어떠한 상황에서, 그리고 왜 작동하는지 더 잘 이해하기 위해”(p. 1204).	최대변이 표집(maximum-variation); 1단계: 워크숍 개발자 10명; 2단계: 워크숍에 참여한 수퍼바이저 43명.	프로그램 이론을 정교화하고 개발하기 위한 두 단계의 실재론적 인터뷰 53건. 질문은 제시되지 않았으나, 워크숍과 관련된 맥락, 기제, 결과에 대한 참여자의 이해를 이끌어냈다. 저자들은 인터뷰에서 참여자의 정보를 구하는 것과 함께, 피드백을 받기 위해 참여자에게 이론을 제시했다고 밝혔다.	없음.	실재론적 구성분석[CMOC 분석]을 포함한 팀 기반 프레임워크 분석(team-based framework analysis).	Manzano5 ✓ Pawson13 ✓ Pawson & Tilley17 ✓ Mukumbang et al.27 ✓ 교수자–학습자 순환: 암시됨(Implied) 개념적 초점화: 암시됨
Ogrinc et al.39	재향군인병원(Veterans Affairs hospital)의 통합 질 향상 교육과정(integrated quality improvement curriculum): “이 연구는 QI[질 향상(quality improvement)] 교육과정을…입원 내과팀(inpatient internal medicine teams)의 일상적 업무에 통합하는 것을 촉진하거나 방해한 설계 요인(design factors)을 기술한다”(p. 1380).	명시되지 않음; 인터뷰: 전공의 8명; 집단 인터뷰(Group interview): QI 교수자(teachers).	이론을 개발하기 위한 개별 반구조화 인터뷰 8건과 집단 인터뷰 1건. 개별 인터뷰의 질문은 제시되지 않았으며, 저자들은 교육과정과 관련 교수 접근법(teaching approaches)에 관한 지식에 근거한 “표준” 질문이었다고 밝혔다. 집단 인터뷰는 무엇이 효과적이었는지(또는 효과적이지 않았는지)와 교육의 장애요인(barriers to teaching)에 관한 참여자의 성찰을 장려했다.	현장노트(field notes).	주제를 식별하고 C, M, O 패턴에 대응시키는(mapping) 근거이론 접근(grounded theory approach).	Manzano5,a x Pawson13 x Pawson & Tilley17 x Mukumbang et al.27,a x 교수자–학습자 순환 x 개념적 초점화 x
Onyura et al.38	교육학자 프로그램(Education Scholars Programme): “우리의 목표는 집중적 종단 교수개발 프로그램(intensive longitudinal faculty development programming)이 어떻게 변화를 만들어낼 수 있는지에 관한 일관된 설명을 구성하고, 그것을 모델화하는 것이다”(p. 168).	명시되지 않음; 포커스그룹: 프로그램 참여자 79명; 인터뷰: 프로그램 이수자(programme graduates) 15명.	포커스그룹 10회와 반구조화 추적 인터뷰(semi-structured follow-up interviews) 15건. 인터뷰 질문의 최초 설계에 이론이 반영되지 않았으므로 이론 관련 목적이 불명확하다. 포커스그룹에서는 프로그램 참여자에게 프로그램 경험, 개인적/전문적 성장(personal/professional growth), 교육 실천(educational practices)의 변화에 관해 물었다. 반구조화 추적 인터뷰에는 프로그램 결과[예: “프로그램을 이수한 이후 경험한 성공을 말씀해 주십시오”]와 결과에 영향을 미치는 맥락적 요인[예: “어떤 맥락에서 성공을 경험하셨습니까?”]에 관한 질문이 포함되었다. 인터뷰 안내서(interview guide)를 부록으로 수록했다.	없음.	C, M, O 및 그 관계를 식별하는 것을 포함하여 프레임워크 분석(framework analysis)을 활용한 이차 자료분석(secondary data analysis).	Manzano5 x Pawson13 x Pawson & Tilley17 ✓ Mukumbang et al.27,a x 교수자–학습자 순환 x 개념적 초점화 x
Proctor et al.11	교수개발(faculty development): “교수개발에 대한 투자가 직원과 학생의 결과 향상으로 이어질 수 있는 기제를 이해하기 위해”(p. 832).	목적표집; 영국 17개 의과대학의 교수개발 책임자와 구성원 32명.	프로그램 이론을 수집, 정교화, 공고화하기 위한 세 단계에 걸친 실재론적 인터뷰 32건. 발전 중인 프로그램 이론의 안내를 받은 질문은 긍정적인 결과로 이어질 가능성이 높은 맥락, 그 토대가 되는 기제(underpinning mechanisms), 그리고 이들 사이의 관계를 식별하는 것을 목적으로 했다. 모든 인터뷰 단계에서 프로그램 이론을 참여자와 공유하고 피드백을 요청했다[예: “초기 프로그램 이론 중 어떤 부분이 귀하의 환경에서 가장 관련성이 높습니까?”].	없음.	실재론적 구성분석[CMOC 분석].	Manzano5 ✓ Pawson13 ✓ Pawson & Tilley17 ✓ Mukumbang et al.27,a x 교수자–학습자 순환: 암시됨 개념적 초점화: 암시됨
Rees et al.12	장기간 수퍼비전 훈련(extended-duration supervision training): “…이 평가는 ‘수퍼비전 훈련 프로그램이 어느 정도 작동하는지, 누구에게, 어떠한 상황에서, 그리고 왜 작동하는가?’라는 질문에 답하기 위해 장기간 수퍼비전 훈련에 관한 프로그램 이론을 검증하고 개발한다”(p. 1).	최대변이 표집; 시작 시점 인터뷰(Entrance interview): 간호 및 보건의료 관련 전문직 수퍼바이저(nursing & allied health supervisors) 25명; 종료 시점 인터뷰(Exit interview): 간호 및 보건의료 관련 전문직 수퍼바이저 23명.	프로그램 이론을 정교화하고 개발하기 위한 두 단계[1단계 = 시작 시점(entrance), 3단계 = 종료 시점(exit)]에 걸친 실재론적 인터뷰 48건. 인터뷰 질문은 맥락, 지각된 결과(perceived outcomes)[예상된 결과와 실제 결과], 그 토대가 되는 인과적 기제(underpinning causative mechanisms), CMOC를 밝혀내는 데 초점을 두었다.	종단적 음성일지(longitudinal audio-diaries)(2단계).	프레임워크 분석에 포함된 실재론적 구성분석[CMOC 분석]. C, M, O 및 CMOC 식별을 포함한 여러 형태의 기술적 코딩(descriptive coding).	Manzano5 ✓ Pawson13 x Pawson & Tilley17 ✓ Mukumbang et al.27 ✓ 교수자–학습자 순환 x 개념적 초점화 x
Sorinola et al.41	영국 의학교육자를 위한 3일간 교수개발 과정(3-day faculty development course): “이 연구는 FD[교수개발(faculty development)]를 평가하고, 동기(motivation), 참여(engagement), 인식(perception)이 효과적인 FD 활동의 핵심 기제라는 가설(hypothesis)을 검증하기 위해 실재론적 접근을 사용했다”(p. 385).	명시되지 않음; 과정 중 인터뷰(Interviews during course): FD 참여자 33명[의사 및 간호사]; 과정 후 인터뷰(Interviews after course): FD 참여자 12명.	가설로 제시된 기제(hypothesised mechanisms)를 검증하기 위한 두 단계[과정 중과 과정 후]의 인터뷰 45건. 질문은 제시되지 않았으나, 과정 중 인터뷰는 참여자의 동기, 참여, 과정의 유용성/관련성(usefulness/relevance)에 대한 인식을 탐색했다. 과정 후 인터뷰는 행동(behaviour)과 학습(learning)에 대한 장기적 영향을 탐색했다.	관찰(observation).	C, M, O 및 하나의 CMOC 식별을 포함한 여러 형태의 기술적 코딩(descriptive coding).	Manzano5,a x Pawson13 x Pawson & Tilley17 ✓ Mukumbang et al.27,a x 교수자–학습자 순환 x 개념적 초점화 x
Sorinola et al.42	의학교육자를 위한 교수개발(faculty development for medical educators): “이 연구는 FD[교수개발]에서 무엇이 누구에게 왜 효과가 있는지를 알아내기 위해, 맥락(C), 기제(M), 결과(O) 사이의 연결을 설명하는 실재론적 이론(realist theories)을 개발하는 것을 목적으로 했다”(p. 422).	목적표집; 영국 8개 의과대학의 교수개발 조정자(faculty development coordinators) 및 의학교육자 16명.	실재론적 이론을 개발하기 위한 반구조화 인터뷰 16건. 질문은 제시되지 않았으나 맥락, 기제, 결과에 대한 이해관계자의 인식을 식별하는 것을 목적으로 했다. 저자들은 Pawson의 “인터뷰 이론화(theorizing the interview)” 접근을 사용했다고 밝혔으나 관련 용어는 제시하지 않았다.	없음.	실재론적 구성분석[CMOC 분석]을 포함하는 기술적 코딩(descriptive coding), 평가 코딩(evaluating coding), 인과성 코딩(causation coding).	Manzano5 x Pawson13 ✓ Pawson & Tilley17 ✓ Mukumbang et al.27,a x 교수자–학습자 순환: 암시됨 개념적 초점화: 암시됨

 

• a 이 주요 실재론적 인터뷰 문헌들은 HPER의 해당 실재론적 평가와 같은 해 또는 그 이후에 출판되었다. 따라서 해당 HPER 실재론적 평가에서 이 문헌들을 포함했을 것으로 기대할 수는 없다.

 

1. 실무적 제약(pragmatic constraints)이 허용한다면 인터뷰 후 가능한 한 빨리 실재론적 인터뷰 자료를 분석하고, CMOC의 발전 과정(development processes)을 이해하기 위해 자료수집 순서와 같은 순서로 인터뷰를 분석하라.
2. 인터뷰 유형[예: 실재론적(realist)], 표집 접근법[예: 목적표집(purposive)], 참여자[예: 프로그램 실무자 및/또는 프로그램 참여자인지], 이론과 관련된 인터뷰의 목적[예: 이론 구축, 검증 및/또는 정교화], 인터뷰 질문[예: 온라인 보충자료(supplementary online materials)로 제공], 사용한 분석 유형[예: 실재론적 분석]을 명확하고 명시적으로 보고하라.
3. 실재론적 인터뷰에 관한 학술적 교류(scholarly engagement), 조언, 지원을 얻기 위해 실재론적 평가 실천공동체(communities of practice)[예: RAMESES jiscmail]에 참여하라.

5 | 결론 (CONCLUSIONS) 

이번 「연구방법 집중 조명(Focus on Research Methods)」 논문에서는 HPER에서 가장 흔히 사용되는 실재론적 평가 자료수집 방법 중 하나인 실재론적 인터뷰(realist interviewing)를 소개했다. 실재론적 인터뷰가 무엇인지, 해석주의적 관점(interpretivist standpoint)에 입각한 “전형적인” 질적 연구 인터뷰와 어떻게 다른지, 그리고 왜 중요한지를 설명했다. 두 가지 예시 사례연구(illustrative case studies)를 바탕으로 실재론적 인터뷰의 핵심 단계를 개괄했다. 이 단계는 초기 프로그램 이론 개발, 실재론적 표집/표본, 실재론적 인터뷰 자체, 실재론적 분석, 실재론적 인터뷰 보고이다. 지난 10년 동안 주요 HPER 학술지에 출판된 인터뷰를 활용한 실재론적 평가 12편에 대한 비판적 분석을 제공했다. 연구의 중재와 평가 목적, 표집과 참여자, 인터뷰 유형, 이론 관련 목적, 가능한 경우 인터뷰 질문, 해당되는 경우 사용된 기타 자료수집 방법, 자료분석을 제시했다. 또한 이 연구들이 주요 실재론적 인터뷰 문헌5,13,17,27과 개념[즉 교수자–학습자 순환(teacher–learner cycle), 개념적 초점화 기능(conceptual focusing function)]을 어느 정도 활용하며, 실재론적 평가를 위한 RAMESES II 보고 기준에 어느 정도 부합하는지도 검토했다.18 저자들의 비판적 분석은 인터뷰를 사용하는 최근의 HPE 실재론적 평가에서 표집 접근법, 인터뷰 유형, 인터뷰 질문을 더욱 명시적으로 제시할 여지가 있음을 시사한다. 연구들은 주요 실재론적 인터뷰 문헌을 더욱 명시적으로 활용하고 인용해야 한다. 여기에는 Pawson의 “인터뷰 이론화(theorizing the interview)”13와 이에 관련된 교수자–학습자 순환 및 개념적 초점화 기능의 개념을 더욱 분명하게 제시하는 것이 포함된다. 이는 프로그램 이론의 구축, 검증 및/또는 정교화를 가능하게 하는 최적의 실재론적 인터뷰 접근이 사용되었음을 독자에게 확신시키기 위해서다. 연구들은 실재론적 평가의 보고 지침도 따라야 한다.18 저자들은 자신들의 실재론적 평가에서 실재론적 인터뷰가 제공하는 이점을 경험했다. 실재론적 인터뷰는 중재가 어떻게 작동하는지(또는 작동하지 않는지), 누구에게, 어떠한 상황에서 작동하는지를 담고 있는 블랙박스(black box)를 풀어낼 수 있게 해주었다. 따라서 다른 HPE 연구자들에게도 복잡한 HPE 중재를 평가하기 위해 실재론적 인터뷰를 고려하도록 권장한다. 이 논문에 제시한 두 예시 사례와 저자들의 권고사항, 권장 읽을거리(상자 6 참조)가 초보 실재론적 평가자와 경험 많은 실재론적 평가자 모두에게 HPER에서 실재론적 인터뷰를 더 쉽게 수행하고 보고하는 데 도움이 되기를 바란다. HPE 학술지의 심사자와 편집자에게는 저자들의 권고사항이 실재론적 인터뷰를 활용한 실재론적 평가를 더 쉽게 비판적으로 평가할 수 있도록 해주기를 바란다.

상자 6 | 실재론적 인터뷰를 위한 권장 읽을거리 (Box 6 | Recommended reading for realist interviews) 

• Bronnimann A. How to phrase critical realist interview questions in applied social science research [응용 사회과학 연구에서 비판적 실재론적 인터뷰 질문을 표현하는 방법]. J Crit Realism. 2021;21(1),1–24.
• Emmel N, Greenhalgh J, Manzano M, et al. (Eds). Doing Realist Research [실재론적 연구 수행하기]. London: SAGE;2018.*
• Greenhalgh T, Pawson R, Wong G, et al. The realist interview [실재론적 인터뷰]. The RAMESES II Project. www.ramesesproject.org;2017.
• Manzano A. The craft of interviewing in realist evaluation [실재론적 평가에서 인터뷰의 기예]. Evaluation. 2016;22(3):342–360.
• Manzano A. Conducting focus groups in realist evaluation [실재론적 평가에서 포커스그룹 수행하기]. Evaluation. 2022;28(4):406–425.
• Mukumbang FC, Marchal B, Van Belle S, et al. Using the realist interview approach to maintain theoretical awareness in realist studies [실재론적 연구에서 이론적 인식을 유지하기 위한 실재론적 인터뷰 접근의 활용]. Qual Res. 2020;20(4):485–515.
• Pawson R. Theorizing the interview [인터뷰 이론화]. Br J Sociol. 1996;47(2):295–314.
• Pawson R, Tilley N. Realistic Evaluation [실재론적 평가]. London: SAGE Publications;1997.*
• Rees CE, Crampton PES, Nguyen VNB, et al. Introducing realist approaches in health professions education research [보건의료전문직 교육 연구에서 실재론적 접근 소개]. In: CE Rees, LV Monrouxe, BC O’Brien, et al. (Eds). Foundations in Health Professions Education Research: Principles, Perspectives & Practices [보건의료전문직 교육 연구의 기초: 원칙, 관점 및 실천]. West Sussex: Wiley Blackwell;2023;pp.102–121.*
• Westhorp G, Manzano A. Realist evaluation interviewing–A ‘starter set’ of questions [실재론적 평가 인터뷰: 질문의 ‘기본 세트’]. The RAMESES II Project. www.ramesesproject.org;2017.

* 이번 「연구방법 집중 조명(Focus on Research Methods)」 논문을 읽기 전에 이 문헌들을 먼저 읽을 것을 권한다.