Implement Sci2017 Jun 21;12(1):77. doi: 10.1186/s13012-017-0605-9.

A guide to using the Theoretical Domains Framework of behaviour change to investigate implementation problems

 

 

 

 

🧠 행동변화 이론을 활용한 Implementation 문제 해결 가이드

TDF(Theoretical Domains Framework)를 중심으로


의료나 보건 분야에서 현장에 근거기반 지침을 잘 적용하는 것, 즉 implementation은 말처럼 쉽지 않죠.
실제로는 "왜 이렇게 잘 안 될까?"라는 고민으로 끝나는 경우가 많습니다.

이런 상황에서 TDF(Theoretical Domains Framework)는 우리가 행동을 어떻게 이해하고 바꿀 수 있을지에 대해 이론적 틀을 제공해주는 아주 유용한 도구입니다.

이번 포스팅에서는 다음 논문을 바탕으로,
👉 TDF를 활용해 implementation 문제를 어떻게 접근하고 분석할 수 있을지
👉 실제 연구에서는 어떤 식으로 활용하는지
핵심 내용을 쉽게 정리해보려고 해요. 😊


🎯 TDF는 뭐가 좋은가요?

TDF의 가장 큰 장점은 다음 세 가지입니다:

  1. 행동 변화의 이론적 기반을 제공해준다.
  2. 변화를 방해하거나 촉진하는 다양한 요인을 포괄한다.
  3. 문제 분석부터 개입 설계까지 체계적인 연결 고리를 제공한다.

연구진은 이렇게 말합니다:

"The benefits of using the TDF are that it provides a robust theoretical basis for implementation studies, good coverage of potential reasons for implementation problems and… a methodology for progressing from investigation to intervention."
(TDF를 사용하는 장점은 이행 연구에 강력한 이론적 기반을 제공하고, 문제의 잠재적 원인들을 잘 포괄하며… 탐색에서 개입으로 나아가는 방법론을 제공하는 데 있다.)


🔍 실제로는 어떻게 활용되나요?

TDF는 다음과 같은 6단계 절차를 따라 연구에 적용될 수 있어요.

1. 🎯 대상 행동 정하기 (Target Behaviour)

  • “누가, 언제, 어디서, 누구와, 무엇을 다르게 해야 하는가?”를 명확히 정의합니다.
  • 너무 추상적이지 않고, 너무 세부적이지도 않게 행동의 특이성(Behavioural Specificity)을 잡는 게 중요해요.

2. 🧩 연구 설계 선택 (Study Design)

  • 잘 모르는 문제라면 정성적 인터뷰(qualitative interview)
  • 요인 파악과 검증을 원하면 설문(survey)
  • 인터뷰, 관찰, 문서 분석 등을 병행하면 삼각검증(triangulation) 효과도 낼 수 있어요.

3. 👥 표집 전략 (Sampling Strategy)

  • 단일 참여자보다는 다양한 시각을 가진 이해관계자(stakeholders)를 포함하면 더 나은 통찰을 얻을 수 있어요.
  • 예: 환자, 간호사, 관리자, 정책자 등

4. 🎤 인터뷰 질문지 구성 (Interview Schedule)

  • 각 영역마다 열린 질문(open question) + 탐색 질문(follow-up prompts) 구성을 추천해요.
  • 순서는 유연하게 구성하되, 대상 행동에 집중해서 대화를 이끌어야 합니다.

"There is no specific order in which the questions should be asked… we recommend flexibility in the order… to harness the natural flow of the conversation."
(질문의 고정된 순서는 없으며… 자연스러운 대화 흐름을 살릴 수 있도록 순서를 유연하게 운용할 것을 권장한다.)

5. 🗂 자료 수집 (Data Collection)

  • 대면 또는 전화 인터뷰, 포커스 그룹 등으로 수집하며
  • 보통 1:1 인터뷰는 25~45분, 포커스 그룹은 50~90분이 적당하다고 해요.

6. 🧠 자료 분석 (Data Analysis)

  • 연역적 코딩(deductive coding) → TDF의 각 영역에 맞춰 분석
  • 귀납적 분석(inductive analysis) → 신념 진술(belief statements)과 주제 도출

예: “guidelines are just guidelines”, “guidelines are not gospel” →
→ “I can make my decision outside the guidelines” 라는 신념 진술로 정리 가능


⏱ 이 연구 방법, 얼마나 오래 걸릴까요?

보통 전체 연구에는 약 12개월 정도가 소요된다고 해요.
물론 규모, 인력, 연구 목적(논문 vs 내부 평가)에 따라 수개월 ~ 24개월까지 다양합니다.

 

단계 예상  소요 시간
1~3단계 수일~수주
4단계 수주~수개월
5단계 수개월
6단계 수개월

🌱 TDF, 어디에 쓸 수 있나요?

  • 임상 지침의 이행 문제
  • 환자 안전 개입 설계
  • 공중보건 행동(예: 흡연, 운동)
  • 환경 행동(예: 재활용, 에너지 절약)

TDF는 단순히 "왜 변화가 안 되는지"를 이해하는 데 그치지 않고, "어떻게 바꿔야 하는가"로 이어질 수 있도록 돕는 다리 역할을 해요.


🧩 COM-B 모델과의 연결

TDF는 COM-B 모델과도 연계가 가능해요.

"The central tenet of this model is that capability, opportunity and motivation interact to produce behaviour."
(COM-B 모델의 핵심 전제는 역량, 기회, 동기의 상호작용이 행동을 만든다는 것이다.)

 

COM-B는 전체 흐름을 단순하게 보고, TDF는 각각의 요소를 더 깊이 있게 분석하는 역할이라고 보면 돼요.
👉 특히 심리적 역량반영적 동기를 TDF는 훨씬 더 구체적으로 파고들 수 있습니다.


📍 마무리하며

이 가이드는 TDF를 활용해 implementation 문제를 다루고자 하는 사람들을 위한 실제적인 첫 안내서입니다.

그리고 향후 TDF의 적용 방식과 가이드도 계속 발전해 나갈 것이라고 전망하고 있어요.


배경 (Background)

조직, 서비스, 시스템에서 새로운 실천(new practices)을 도입하거나 기존의 실천을 변화시키는 것개인과 집단의 행동 변화를 요구한다. 행동을 변화시키기 위해서는, 해당 행동이 발생하는 맥락(context) 내에서의 행동에 영향을 미치는 요인들을 이해하는 것이 필요하다.

 

행동 이론(Behavioural theories)행동과 행동 변화를 조절한다고 가정되는 구조적·심리적 과정(structural and psychological processes)에 대한 명시적 설명을 제공하므로, 이행(implementation) 문제를 탐색하거나 이행 개입(intervention)을 설계하는 데 중요한 도구가 될 수 있다. 이러한 이론을 통해

  • 행동 변화에 영향을 미치는 요인들(즉, 변화의 촉진 요인과 장애 요인)을 식별하고 [1, 2],
  • 개입이 어떻게, 어떤 맥락에서 효과적인지를 설명하는 변화의 기제(mechanisms of change)를 이해하며 [3,4,5],
  • 이행 개입을 설계하고 실행하는 데 이론적 근거를 제공할 수 있다는 점에서
    그 활용을 보다 명확히 해야 한다는 주장들이 지속적으로 제기되어 왔다 [6–13].

그러나 이러한 주장에도 불구하고, 전문가 실천을 변화시키기 위한 개입(intervention)을 평가한 체계적 문헌고찰(systematic reviews)에 따르면, 이론을 활용해 이행 문제를 평가하거나 개입 설계에 활용했다고 보고한 연구는 소수에 불과한 것으로 나타났다 [8,13,14].

 

이론적 영역 프레임워크(Theoretical Domains Framework, TDF)는 처음에 근거기반 권고사항의 이행과 관련된 의료 전문가의 행동에 영향을 미치는 요인을 식별하기 위해 개발되었으며, 2017년 4월 기준 Web of Knowledge 기준으로 800편 이상의 동료 평가 저널에 인용될 정도로 널리 활용되고 있다. TDF는 33개의 행동 및 행동 변화 이론을 종합하여 12개(후에 14개로 확장됨)의 영역으로 묶은 것이며 [15,16], 이론(theory)이 아니라 이론적 틀(theoretical framework)로서, 요소들 간의 검증 가능한 관계(testable relationships)를 제시하지는 않지만, 행동에 영향을 미치는 인지적, 정서적, 사회적, 환경적 요인들을 조망하는 이론적 렌즈로서의 역할을 한다.

 

TDF는 본래 보건 전문가의 행동을 이해하는 데 활용되었으나, 이후 행동 변화가 중요한 다양한 영역에도 적용되기 시작하였다. 예를 들어, 운동 장애 아동의 신체 활동을 증가시키거나 [17], 뇌졸중 생존자의 활동 수준을 향상시키는 것 [18]과 같은 환자 행동 변화에 적용되었으며, 노인의 외로움을 감소시키거나 [19], 일반 인구의 신체 활동을 촉진하는 데에도 활용되었다 [20]. 본 논문은 특히 이행 연구(implementation research)에 초점을 둔다.

 

TDF는 이행 연구에서 폭넓게 활용되고 있음에도 불구하고, TDF를 실제 연구에 어떻게 적용할 것인지에 대한 공식적 지침(formal guidance)은 아직 존재하지 않는다. 기존 연구에 따르면, 다양한 직종의 보건 전문가들은 TDF를 사용하면서 프로젝트 수행에 대한 자신감이 높아졌고, 보다 폭넓은 시각을 갖게 되었으며, 이행 문제와 잠재적 해결 방안을 이론적 관점에서 이해할 수 있게 되었다고 보고하였다. 반면, TDF 사용 시 시간과 자원의 부족, TDF를 실제 연구에 적용하기 위한 전문성 부족 등의 어려움도 보고되었다 [21]. 이에 따라, 연구 참가자들은 TDF 사용을 지원하기 위한 훈련(training)과 자원(resources)이 필요하다고 제안하였다.

 

본 가이드는 이러한 도전 과제를 해결하고, 이행에 관심이 있는 연구자와 실천가들이 TDF를 보다 효과적으로 활용할 수 있도록 지원하고자 한다.

 

이 가이드는 먼저 행동 이론을 활용해 이행 문제를 조사하고 해결해야 하는 근거를 제시하고, 이어서 TDF의 개발 배경 및 주요 활용 사례를 설명한다. 그 후, TDF를 적용한 연구 설계 방법론—대상 행동(target behaviour)의 선정과 명시, 연구 설계 결정, 표집 전략(sampling strategy), 인터뷰 스케줄 개발, 자료 수집 및 분석 등—을 구체적으로 안내한다. 특히 TDF 활용 시 가장 일반적인 접근법인 정성적 연구(qualitative approaches), 특히 인터뷰(interview) 기반의 연구를 중심으로 다루며, 기타 접근법도 간략히 소개한다. 본 가이드는 다양한 이행 연구 사례들을 통해 방법론적 및 실제적 고려사항을 구체적으로 설명하며, 마지막에는 TDF 사용의 한계, 도전 과제, 그리고 향후 기회에 대해 논의한다.


TDF의 개발 (Development of the TDF)

최근 사회 및 행동과학의 여러 분야를 아우르는 문헌 고찰에서 총 83개의 행동 및 행동 변화 이론(theories of behaviour and behaviour change)이 확인되었다 [22]. 이처럼 관련성이 있을 수 있고, 때로는 중첩되는 많은 수의 이론들 중에서 적절한 이론을 선택하는 일은 매우 도전적일 수 있다. 이러한 복잡성을 줄이고 이행 관련 실천가들이 이론을 보다 쉽게 접근할 수 있도록 돕기 위해, 행동 과학자들과 이행 연구자들로 구성된 팀이 협업하여 TDF(Theoretical Domains Framework)를 개발하였다 [15].

 

TDF는 이행과 관련된 질문에 가장 적절하다고 판단된 33개의 이론으로부터 추출한 128개의 이론적 구성요소(theoretical constructs)를 종합하여 만들어진 통합 이론 프레임워크(an integrated theoretical framework)이다. 이 프레임워크를 개발하기 위해 이 다학제적(cross-disciplinary) 전문가 집단은 다음과 같은 합의(consensus) 과정을 거쳤다:

  1. 행동 변화와 관련된 이론 및 이론적 구성요소의 식별
  2. 이 이론들과 구성요소들을 상위 수준의 이론적 영역(theoretical domains)으로 단순화
  3. 각 이론적 영역의 중요성 평가
  4. 다학제적 평가 및 통합(synthesis)을 통해 영역과 구성요소를 정제
  5. 영역(domain) 목록의 타당화(validation)
  6. 각 구성요소 및 영역에 대한 인식을 탐색하기 위한 인터뷰 질문 개발과 파일럿 테스트

이 프레임워크의 이론적 영역(domains)은 물리적·사회적 환경을 포함하고 있으나, 대부분은 개인의 동기(motivation) 및 역량(capability) 요인에 초점을 둔다. 구분의 명확성을 위해, TDF의 초판(original version)은 본 가이드에서 TDF(v1)으로 지칭된다.

 

이후 TDF는 독립적인 행동과학 전문가 집단에 의해 프레임워크의 구조와 내용을 최적화하기 위한 타당화 작업(validation exercise)을 거쳤다 [16]. 그 결과로 제시된 TDF 버전은 구조와 내용 면에서 기존 버전과 유사하였으며, 약간의 차이를 통해 84개의 이론적 구성요소를 포함한 14개 영역으로 정리되었다. 이를 본 가이드에서는 TDF(v2)로 지칭한다.

 

현재 TDF(v1)과 TDF(v2)는 모두 연구와 실무에서 사용되고 있으며, 두 버전이 구조적으로 유사하므로 사용자의 익숙함이나 선호도에 따라 선택적으로 활용할 수 있다. 두 버전의 비교표는 Table 1에 제시되어 있다.

 


발표된 이행 연구에서 TDF의 활용 (Use of the TDF in published implementation research)

TDF는 다양한 의료 환경(healthcare settings)과 임상 행동(clinical behaviours)에서 광범위하게 적용되어 왔으며, 이는 Implementation Science 저널에서 다룬 주제 시리즈(thematic series)의 주제로도 등장한 바 있다 (http://www.implementationscience.com/series/TDF) [23]. TDF는 다음과 같은 여러 목표와 연구 설계를 가진 연구들의 명시적 기초로 활용되었다:

  1. 행동에 영향을 미치는 요인 식별(Identifying influences on behaviours): 특정 근거기반 행동을 이행하는 데 있어 장벽(barriers)과 촉진 요인(facilitators)을 탐색하는 연구들.
    1. 인터뷰 연구의 예로는 정신분열증 환자의 가족에게 가족 중재를 제공하는 데 있어 장벽과 촉진 요인을 조사한 연구 [24], 적혈구 수혈에 대한 연구 [25, 26], 인간 유두종 바이러스(HPV) 백신 접종에 대해 환자와 논의하는 데 있어 장벽과 촉진 요인을 조사한 연구 [27], 수술 전 검사를 정기적으로 주문하는 데 있어 장벽과 촉진 요인 [28], 무오류 처방을 위한 연구 [29], X-ray 없이 급성 요통을 관리하는 데 있어 장벽과 촉진 요인 [30], 치매 진단 및 관리 [31], 그리고 경미한 외상성 뇌 손상 관리 [32]를 포함한다. 설문지 연구의 예로는 손 위생에 대한 장벽과 촉진 요인 [33], 치과 제공자가 담배 사용 예방 및 금연 상담을 제공하는 데 있어 장벽과 촉진 요인 [34], 산파가 임산부와 함께 금연을 촉진하는 데 있어 장벽과 촉진 요인 [35]을 조사한 연구들이 있다.
  2. 체계적인 개입 설계(Systematic intervention design):
    1. 예를 들어, 일반의사(GPs), 물리치료사(physiotherapists), 카이로프랙터(chiropractors)가 급성 요통을 관리하는 연구 [36, 37], 응급실 직원들이 경미한 외상성 뇌 손상을 관리하는 연구 [38], 병원 임상의들이 의심되는 바이러스성 뇌염 관리에 대한 국가 지침을 준수하는 연구 [39], 비위관(nasogastric tube) 사용의 안전한 사용을 촉진하는 지침 이행 연구 [40] 등이 있다.
  3. 무작위 시험의 과정 평가(Process evaluations of randomised trials):
    1. 근거를 이행하는 효과를 더 잘 이해하기 위한 연구의 예로는 캐나다 CT Head Rule 시험에서 응급의학 의사들을 대상으로 한 연구 [41]가 있다.
  4. 행동 변화 기법(behaviour change techniques)을 식별하는 방법과 보다 넓은 개입 전략(intervention strategies)을 설계하는 데 대한 지침 제공 [7, 42], [43].

TDF는 또한 보건 분야를 넘어서서 활용되었으며, 예를 들어 재활용 행동(recycling behaviours)과 관련된 행동을 변화시키는 데에도 사용되었다 [44]. TDF의 발표된 적용 사례에 대한 참고문헌은 추가 파일 1(Additional file 1)에 제시되어 있다.

 

방법 (Methods)

보건심리학(health psychology), 사회학(sociology), 이행 및 보건서비스 연구(implementation and health services research), 통계(statistics), 그리고 일반의학(general practice), 작업치료(occupational therapy), 카이로프랙틱(chiropractic)을 포함한 다양한 임상 분야(clinical disciplines)를 대표하는 캐나다, 영국, 호주의 연구자들이 2012년 12월에 3일간의 공동 회의(collaborative meeting)에 참여하였다. 이 회의에서는 이행 연구에서 TDF를 사용하는 과학적 근거의 현황을 논의하고, TDF의 활용을 발전시키기 위해 추가 개발이 필요한 영역을 식별하고자 하였다. 이 회의의 구체적인 목적은 다음과 같았다:

  • TDF에 대한 현재의 근거(current evidence)를 검토한다.
  • 근거의 공백(gaps in the evidence)을 식별하고, TDF의 활용을 증진하고자 하는 연구자와 정책 결정자들 사이의 국제적 협력 네트워크를 구축할 계획을 수립한다.
  • TDF를 중심으로 한 일련의 연구 과제들(research agenda)을 개략적으로 정리한다.

참가자들은 TDF를 활용하여 이행 문제를 평가하거나, 개입을 설계하거나, 변화의 메커니즘을 이해한 경험을 가진 사람들이었다. 이들은 TDF 연구의 공백을 검토하고, TDF 사용에 대한 집단적 경험을 바탕으로, 이행 연구에서 TDF를 적용하려는 사람들에게 실질적인 도움이 되는 안내서(guide)가 필요하다는 데 공감하였다.

 

이 안내서를 제작하기 위해, 연구팀은 행동을 선택하는 것부터 자료를 분석하고 보고하는 데 이르기까지, TDF를 적용하는 데 필수적인 핵심 단계(key steps)들을 식별하였다. 그 후, 참가자들의 경험과 전문성을 결집하여 각 단계에 대해 상세히 설명하였다. 또한, 각 단계를 가장 잘 보여주는 문헌 속 사례들을 선정하여, 독자들이 TDF를 어떻게 사용할 수 있는지에 대한 구체적인 설명과 실제 적용 예시를 함께 제공하였다.

 

 

결과 (Results)

이 섹션에서는 TDF 기반 이행 연구에서 사용되는 다양한 방법들을 설명하되, 가이드는 주로 정성적 접근(qualitative approaches)—특히 인터뷰(interviews)와 포커스 그룹(focus groups)—에 중점을 둔다. TDF 기반 연구를 수행하기 위한 단계들은 표 2(Table 2)에 제시되어 있다.


표 2. TDF 기반 이행 연구 수행 단계 (Stages in conducting TDF-based implementation research)

TDF 기반 연구는 다음의 일련의 단계로 구성된다:

  • 변화가 필요한 대상 행동의 선정 및 명확화
  • 연구 설계의 선택
  • 표집 전략의 결정
  • 인터뷰 스케줄 개발
  • 자료 수집 및 분석

각 단계는 구체적으로 설명되며, 발표된 이행 연구 사례에서 발췌한 예시와 함께 제시된다.


1. 대상 행동의 선정 및 명확화 (Select and specify the target behaviour/s)

가장 첫 번째 단계는, 이행 문제를 해결하기 위해 변화가 필요한 행동(behaviours)을 식별하는 것이다. 이러한 행동들은 그 행동이 수행되는 맥락(context) 안에서, 개인 내 다른 행동들이나 타인의 행동들과 상호 의존성(interdependence)을 가지는 경우가 많다. 또한, 해당 행동이 개별 의료 제공자(individual healthcare professionals)에 의해 수행되는지 혹은 의료팀(healthcare teams)에 의해 수행되는지 여부, 행동 수행 기회의 빈도 등도 행동의 복잡성(complexity)을 구성하는 중요한 속성들이다.

 

그 다음 단계는, 이러한 행동들을 다음의 질문에 기반하여 구체적으로 명시(specificity)하는 것이다: "누가, 무엇을, 언제, 어디서, 어떻게, 누구와 함께 다르게 해야 하는가?" 여러 개의 행동이 관련되어 있는 경우, 우선 1~2개의 핵심 행동부터 시작하는 것이 도움이 된다. 행동을 우선순위화할 때 고려해야 할 기준은 다음과 같다:

  1. 그 행동이 얼마나 수정 가능(modifiable)할 것 같은가?
  2. 그 행동이 임상 실천의 바람직한 변화를 이끌어내는 데 얼마나 중심적인 역할을 하는가?
  3. '확산 효과(spillover effect)'—즉, 특정 행동의 변화가 관련된 다른 행동들에 미치는 긍정적 또는 부정적 영향 (문헌에서는 conflicting 또는 facilitating behaviours라고 표현됨) [45]
  4. 측정 가능성(amenability to measurement)

이러한 선택 과정은 대개 문제에 대한 다양한 정보원에 근거한 정밀한 평가, 근거기반 권고사항과 실증 연구(출판된 연구 및 지역 연구)에 대한 신중한 검토를 통해 이루어진다. 어떤 행동을 우선 분석 대상으로 삼을지 결정하는 데에는 불가피한 트레이드오프(trade-off)가 존재한다.

 

행동을 더 명확하게 구체화할수록, 식별되는 촉진 요인과 장애 요인의 특이성(specificity)도 높아진다. 이 과정에는 다음과 같은 세 가지 측면이 포함된다:

  1. 적절한 수준의 행동 특이성 수준(behavioural specificity)을 결정
  2. 누가, 언제, 어디서, 어떻게 그 행동을 수행하는지를 명시
  3. 해당 행동의 복잡성, 행동 순서(action sequences), 팀 수준 행동의 상호의존성 등의 속성을 고려

이제 각각의 측면을 구현된 이행 연구 사례들을 활용하여 설명한다.


행동을 매우 구체적으로 정의하면, 해당 행동에 대한 장애 요인과 촉진 요인을 식별할 가능성이 높아지며, 동시에 다양한 맥락에 적용될 수 있을 정도로 일반성도 확보해야 한다.
예를 들어, 1차 진료(primary care)에서 당뇨병 관리를 조사할 때,

  • 보다 구체적인 서술:
    → “일반의(general practitioners)는 당뇨병 환자의 혈당 수치를 6개월마다 측정한다
  • 덜 구체적인 서술:
    → “일반의가 당뇨병 환자를 가이드라인에 따라 관리한다

보다 구체적인 설명은 누가, 어떤 행동을, 얼마나 자주 수행하는지 명확히 제시하므로, 이행 문제의 근원이 되는 요인을 식별하는 데 더 효과적이다. 따라서, 변화를 목표로 하는 행동이 명확하게 정의될수록 연구 결과 해석의 가능성도 높아진다. 이 정의는 다음과 같은 항목을 포함해야 한다:

  • 누가(who)
  • 무엇을(what)
  • 언제(when)
  • 어디서(where)
  • 얼마나 자주(how often)
  • 누구와 함께(with whom) [43, 46, 47]

또한, 행동은 문제 행동(problem behaviour)이 아니라 목표 행동(target behaviour)의 형태로 정의되어야 한다. 예를 들어,

  • 일반의는 인후통 환자에게 진통제 복용과 충분한 수분 섭취를 권고해야 한다” (목표 행동)
  • 일반의가 인후통 환자에게 항생제를 처방하고 있다” (문제 행동)로 서술해서는 안 된다.

간혹, 한 가지 행동만을 독립적으로 정의하고 타겟팅하는 것이 불가능한 경우도 있다. 예컨대, 일반의가 당뇨병 조절을 개선하도록 돕는 개입을 설계할 경우, 10개 이상의 상호의존적 행동들이 함께 변화되어야 할 수 있다. 이런 경우에는 핵심 행동 두세 가지를 우선순위로 선정하는 방식이 도움이 된다.

 

표 3(Table 3)은 행동 특이성 원칙에 따라 의료 전문가의 행동을 구체화한 예시를 제시한다. 또한, 예를 들어 감염률 감소라는 목표(goal)는 정해져 있지만, 이를 달성하기 위해 어떤 행동이 필요한지 명확하지 않을 수 있다. 이런 경우에는 감사 자료(audit data)의 분석, 이해관계자와의 논의를 통해 관련 행동을 식별하고, 목표 행동에 대한 합의(consensus)를 도출할 수 있다.


2. 연구 설계 선택 (Select the study design)

다른 모든 연구와 마찬가지로, 적절한 연구 설계는 연구 질문(research question)과 해당 분야의 지식 수준(state of knowledge)에 따라 달라진다. 예를 들어,

  • 이행 문제에 대해 알려진 것이 거의 없을 경우, 정성적 인터뷰(qualitative interviews)문제에 대해 더 깊이 탐색할 수 있는 연구 설계를 통해 보다 풍부한 자료(richer data)를 수집할 수 있다. 이러한 접근은 이론 기반 개입(theory-informed interventions)을 개발할 때, 개입에 포함되어야 할 내용에 대한 통찰을 제공할 수 있어 유용하다. 또한 이러한 방식은 개입의 작용 기전(mechanism of action)을 이해하는 데에도 유익할 수 있다.
  • 반면, 문제와 그것에 영향을 미칠 수 있는 요인들에 대한 지식이 어느 정도 축적되어 있는 경우, 설문 조사(survey studies)는 더 많은 사람을 대상으로 행동 변화를 예측하는 요인이나 영역(domains)을 규명하거나, 개입의 작동 메커니즘(예: 매개 분석, mediation analyses)을 탐색하는 데 적합할 수 있다.

또한, 구조화된 관찰(structured observation)이나 문서 분석(documentary analysis)과 같은 방법은 인터뷰 또는 설문조사를 보완(supplement)하는 데 유용할 수 있으며, 데이터 삼각검증(triangulation)을 가능하게 한다. 그러나 이러한 방법들은 모든 TDF 영역을 포괄하기에는 한계가 있다. 예를 들어, 인지(cognitions)는 관찰 가능하지 않거나 문서로 기록되지 않기 때문이다.

 

현재까지 TDF는 주로 연구 프로그램의 탐색적(exploratory) 또는 형성적 단계(formative stage)에서 활용되어 왔으며, 문제 분석(problem analysis)과 개입 개발(intervention development)을 위한 기반을 제공하였다. 이에 따라, 대부분의 연구들은 보건 전문가들이 인식하는 TDF 관련 촉진 요인과 장애 요인을 탐색하기 위해 정성적 인터뷰(1:1 또는 포커스 그룹 인터뷰)를 사용해왔다.

 

그러나 TDF는 이외에도 다양한 연구 설계(research designs)에 적용될 수 있는 잠재력(potential)을 갖고 있으며, 향후 추가적인 방법론 개발이 가능한 분야로는 구조화된 관찰(structured observation), 문서 분석(documentary analysis), 사례연구 설계(case study designs) 등이 있다.


TDF는 설문지 연구(questionnaire studies)에도 활용된 바 있다 (표 4 참조). 현재까지 다음의 행동을 대상으로 TDF 기반으로 검증된(validated) 설문 도구가 3가지 발표되었다:

  • 보건 전문가의 환자 안전 행동(patient safety behaviours)을 측정하는 도구 [48]
  • 일반 인구의 신체 활동(physical activity)을 측정하는 도구 [20]
  • 보편적 보건 전문가 행동(generic health professional behaviours)을 측정하는 도구 [49]

TDF는 또한 체계적 문헌고찰(systematic reviews)에서도 활용될 수 있는 가능성이 있다. 예를 들어, 다양한 연구들에서 행동에 영향을 미치는 요인들을 TDF의 이론적 영역에 따라 종합(synthesise)하거나 (표 5 참조), 효과 크기(effect size)를 이해하는 데 활용될 수 있다 (표 6 참조).


3. 표집 전략 결정 (Decide the sampling strategy)

표적 모집단(target population)에는 반드시 행동 변화의 당사자(adopters)기타 관련 이해관계자(stakeholders)가 포함되어야 한다. 이들은 개인(individuals)(예: 임상의, 환자, 학생, 일반 대중), 쌍(dyads)(예: 임상의와 환자, 교사와 학생), 또는 팀(teams)(예: 임상의와 관리자 팀, 또는 기업 내 업무 그룹)일 수 있다. 변화가 일어나야 할 조직 수준(organisational level)은 개인, 팀, 조직, 또는 인구 집단 등 다양한 수준일 수 있다. 특히, 행동 유형이 다양하고 수행 주체가 여러 개인 혹은 집단일 경우, 변화는 조직의 여러 수준에 걸쳐 조정(coordinated)되어야 할 수 있다 [50].

 

이행 연구에서 표집 전략을 결정할 때 고려해야 할 주요 도전 과제들이 있다. 우선, 대부분의 연구는 자기보고(self-report) 자료에 의존해왔으며, 참여자들은 문제에 대해 편향된 시각(biassed views)을 가질 수 있고, 실패의 원인을 내적 요인(예: 능력, 노력)보다는 외적 요인(예: 환경, 타인)으로 돌리는 경향이 있다 [51, 52]. 따라서, 여러 관점(multiple perspectives)을 포함하는 것이 중요하며, 가능하다면 다양한 자료원(data sources)을 활용해야 한다. 예를 들어,

  • 행동에 영향을 주는 요인에 대한 임상의의 자기보고 자료(interviews and/or surveys),
  • 실제 임상 실무와 정책 문서(practice and policy documents),
  • 행동에 대한 직접 관찰(direct observation) 등이 있다 [53, 54].

이렇게 다양한 자료를 통합하면, 연구 결과의 타당성(validity)이 높아질 수 있다. 이러한 통합을 삼각검증(triangulation)이라 하며, 이는 “문제를 다양한 방법으로 연구하여 보다 포괄적인 그림을 얻는 과정”이다 [55]. 연구자들은 여러 가지 삼각검증 기법(triangulation techniques)을 사용할 수 있으며, 분석 단계해석 단계에서 통합이 이루어질 수 있다 (관련 방법 개요는 O’Cathain 외 [55] 참고).


인터뷰나 포커스 그룹 연구의 표본 크기(sample size)는 일반적으로 표집 절차(sampling procedure)와 연구 대상이 되는 이행 문제에 따라 달라진다. 예를 들어, 최대 변이 목적의 유의표집(purposive sampling for maximum variation)이 사용될 수 있다. 그러나 사전에 최소 표본 수(minimum sample size)를 명시하는 것이 권장된다.

 

Francis 외 연구자들에 따르면, 초기 자료 분석을 위해 최소 10회의 인터뷰를 실시하고, 이후 새로운 주제가 더 이상 나타나지 않을 때까지 추가로 3회의 인터뷰를 실시하는 것이 바람직하다고 한다 (stopping criterion, 정지 기준) [56]. 표본 크기는 또한 다음에 따라 달라질 수 있다:

  • 연구가 다양한 직종의 보건 전문가들을 포함하는지 여부
  • 이들이 통합적으로 분석되는지, 또는 집단별로 구분 분석되는지 여부

복수의 전문가 집단이 포함되며, 이들을 집단별로 분석하고자 할 경우에는, 각 집단에 대해 최소 10명 + 추가 3명의 인터뷰가 권장된다 (Francis 외 [56]).

 

표 7(Table 7)은 TDF 기반의 정성적 인터뷰 연구에서 최대 변이를 확보하기 위한 전문가 집단 선택 사례를 보여준다. 또한, 모든 이해관계자(stakeholders)를 포함하는 포커스 그룹(focus groups)다양한 시각을 수렴하고, 행동에 영향을 주는 외부 요인에만 주목하려는 경향을 줄이는 데 유용할 수 있다. 특정 진료 환경(specific care setting)을 중심으로 포커스를 둘 경우, 최소 3개 그룹의 구성이 권장된다.


4. 인터뷰 스케줄 개발 (Develop interview schedule)

인터뷰 스케줄 (Interview schedule)

다른 모든 인터뷰 기반 연구와 마찬가지로, TDF 기반 인터뷰 연구에서 핵심 단계 중 하나는 인터뷰 스케줄(interview schedule)의 개발이다. 연구자들은 대상 모집단(target population)에 적합한 언어를 사용하는 것을 권장하며, 스케줄을 사전 시험(pilot)하여 질문이 제대로 이해되는지를 확인해야 한다.

 

일반적으로 인터뷰 스케줄은 다음과 같은 구조를 갖는다:

  • 각 이론적 영역(theoretical domain)에 대해 응답자의 초기 반응(first response)을 유도하기 위한 개방형 질문(open-ended question)을 포함하고,
  • 그 후에는 더 깊은 탐색을 위한 추가 질문(follow-up prompts)이 이어진다.

각 질문은 특정 대상 행동(target behaviour)에 직접적으로 초점을 맞추어야 한다. TDF는 특정 행동에 영향을 미칠 수 있는 다양한 요인들을 포괄적으로 고려하도록 설계된 프레임워크이므로, 질문을 던지는 순서에 대한 고정된 규칙은 없다. 오히려, 인터뷰 도중 응답자가 아직 다루지 않은 영역에 해당하는 정보를 자발적으로 제공하는 경우, 대화의 자연스러운 흐름에 따라 해당 영역을 먼저 다루도록 유연성 있게 구성하는 것이 바람직하다.

 

다룰 영역의 수각 영역 내 질문 수대상 행동기존의 연구 증거에 따라 달라질 수 있다. 예를 들어, 기존 연구에서 특정 영역이 해당 행동과 관련성이 낮다고 입증된 경우, 연구자는 그 영역에 대한 질문은 생략하고, 더 관련성이 높은 영역을 심층적으로 탐색하는 데 집중할 수 있다.

 

그러나, 모든 정성 연구와 마찬가지로, TDF를 활용한 코딩(coding)은 인터뷰 전사(interview transcript)에 있는 텍스트만을 분석할 수 있다. 즉, 질문이 제시되지 않은 영역에 대한 데이터는 생성되지 않으므로, 해당 영역은 코딩할 수 없다. 따라서 연구자는 모든 영역을 포함할 가치대상 행동에 대한 기존 증거를 균형 있게 고려하여 인터뷰 스케줄 구성의 범위를 결정해야 한다.

 

또한, 각 영역의 이론적 내용에 대한 깊이 있는 이해, 이행 문제의 맥락(context)에 대한 인식은, 인터뷰 스케줄이 유용한 정보를 최대한 이끌어내는 데 큰 도움이 된다. 기존에 개발된 TDF 기반 설문지(questionnaires)는 인터뷰 스케줄을 개발하는 데 유용한 참고자료가 될 수 있다 [20, 48, 49].

 

TDF 영역을 탐색하기 위한 인터뷰 질문의 예시는 Huijg 외 연구 [49]에서 가져온 것으로, 부록 2(Additional file 2)에 제시되어 있다.

5. 자료 수집 (Collect the data)

TDF(Theoretical Domains Framework)를 활용한 자료 수집은 다음 중 하나 또는 그 이상의 방법을 통해 이루어질 수 있다:

  • 인터뷰(interviews)
  • 설문조사(surveys)
  • 관찰(observation)
  • 문서 분석(documentary analysis)

예를 들어, 병원 내 패스웨이(care pathway)를 구현하여 패혈증 사망률을 감소시키기 위한 연구에서는, TDF를 활용하여 다음과 같은 방식으로 자료를 수집하였다:

  • 치료 팀과의 인터뷰
  • 병동 직원의 행동 관찰
  • 병원 프로토콜 분석
    그리고, 관찰 및 인터뷰를 통해 식별된 행동 변화 기법(behaviour change techniques)은 TDF의 각 영역과 연계(mapping)되어 작용 기전(mechanisms of action)을 밝히는 데 활용되었다 [54].

인터뷰는 개인 또는 그룹 단위로 실시할 수 있으며, 대면(face-to-face) 또는 전화(telephone)를 통해 진행할 수 있다.
연구자들의 경험에 따르면,

  • 1:1 인터뷰는 평균 25~45분
  • 포커스 그룹 인터뷰는 평균 50~90분 정도 소요되었지만,
    이 역시 조사 대상이 되는 행동의 수에 따라 달라질 수 있다.

모든 인터뷰에서와 마찬가지로, 추가 질문(follow-up questions)각 이론적 영역이 대상 문제에 어떻게 기여하는지, 혹은 어떻게 변화 유도에 활용될 수 있는지를 심층적으로 이해하기 위한 핵심이다.

예를 들어,

  • 당신은 x를 수행하는 데 얼마나 자신이 있습니까(how confident are you in doing x)?”라는 질문 다음에,
  • 어떤 점이 당신을 그렇게 자신 있게 만들었나요(what has made you confident)?”라는 후속 탐색 질문을 이어가면,

참여자는 자신의 자신감(confidence)에 대해 구체적으로 설명할 수 있게 되고, 동시에 자신감을 제한하는 상황에 대해서도 성찰할 기회를 가질 수 있다. 대화의 초점을 명확한 대상 행동(target behaviour)에 고정시킴으로써, 일반적인 문제 논의로 흐르는 것을 방지할 수 있다. 또한, 연구 자료를 개발할 때와 마찬가지로, 인터뷰어가 각 영역을 구성하는 이론적 개념(theoretical constructs)을 충분히 이해하고 있다면, 보다 적절하고 깊이 있는 탐색(probing)이 가능하다.


6. 자료 분석 (Analyse the data)

TDF(Theoretical Domains Framework)는 다양한 학문 분야의 연구자 및 실무자들이 사용할 수 있도록 설계되었다. 사용자가 특정 이론의 전문가일 필요는 없지만, 각 영역(domains)과 그 영역이 나타내는 이론적 구성요소(theoretical constructs)에 대한 충분한 이해자료 해석을 용이하게 하는 데 매우 중요하다.

자료 분석은 다음의 두 가지 방식으로 이루어질 수 있다:

  • 연역적 분석(deductive analysis): TDF를 분석 틀로 활용하여 내용 분석(content analysis)을 수행
  • 귀납적 분석(inductive analysis): 텍스트로부터 주제를 도출한 후, 이를 TDF의 영역과 연계하여 해석

일부 연구팀은 이 접근을 바탕으로 예측 설문지(predictive questionnaires)를 설계하여, 정성 분석에서 생성된 가설을 검증하기 위한 정량 데이터를 수집하는 데 활용하기도 하였다 (그림 1 참조). 개입 설계자(intervention designers)는 식별된 이론 영역으로부터 행동 변화 기법(behaviour change techniques)을 다음 중 한 방식으로 선택할 수 있다:

  • 검증된 연결(validated linkages)을 활용해 직접 이론 영역으로부터 선택 [7, 42]
  • 또는, Behaviour Change Wheel(행동 변화 휠)에 연결하여, 개입 기능(intervention functions), 정책 범주(policy categories), 행동 변화 기법(behaviour change techniques) 선택을 안내받는 방식 [43]

코딩 가이드라인 개발 (Develop a coding guideline)

코딩 가이드라인(coding guideline)이란, 특정 데이터셋에 TDF를 어떻게 적용할 것인지에 대한 명확한 지침들(explicit statements)을 말한다. 이러한 지침은, 어떤 텍스트 조각(text segment)이 행동 변화를 유도하는 데 도움이 될 가능성이 있는 특정 영역을 나타내는지에 대해, 연구자의 신뢰 수준(confidence in interpretation)을 판단하는 데 참고가 된다. 코딩 가이드라인은 인터뷰 스케줄을 개발할 때 함께 제작되어야 하며, 자료 수집이 진행되는 동안 반복적으로 갱신(iteratively updated)되어야 한다. 두 명의 연구자가 독립적으로 코딩을 수행하는 방식은, 해석의 불일치(discrepancies)를 논의하고 코딩 가이드라인을 세련화(refine)하여, 코더 간 신뢰도(reliability)를 수용 가능한 수준까지 높이는 데 유용하다.

 

코딩 과정에서 어려움이 발생하는 경우는, 인터뷰어가 응답자의 발화를 충분히 탐색(probe)하지 않아 해당 응답이 어떤 영역과 관련되는지 명확하지 않은 경우가 많다. 따라서, 자료 수집이 종료된 후가 아니라 진행 중에 인터뷰 전사본(transcripts)을 검토함으로써, 이해 수준이 높아짐에 따라 인터뷰 스케줄을 조정(refine)할 수 있고, 더 많은 정보가 생성되도록 설계 개선이 가능하다. 또한, 코딩 팀(coding team)의 많은 불확실성은 다음의 조건이 충족될 경우 예방하거나 해결할 수 있다:

  • 인터뷰어가 해당 이행 문제에 대해 잘 알고 있고,
  • TDF에 대한 이해가 있으며,
  • 기존의 TDF 활용 연구들을 숙지하고 있을 경우

연역적 분석 (Deductive analyses)

인터뷰 전사 자료를 이론적 영역에 따라 코딩하기 (Coding interview transcripts into theoretical domains)

코딩은 참여자의 응답을 전사본(transcript)에서 읽는 것에서 시작하며, 각 응답이 TDF의 영역 정의나 해당 영역 내 구성요소(constructs)와 얼마나 관련이 있는지를 고려한 후, 이를 하나 이상의 이론적 영역(theoretical domains)에 귀속시킨다. 이러한 방식은 지침적 내용 분석(directed content analysis) 기법에 해당하며, 이론과 기존 연구 결과를 토대로 정성 자료의 의미를 해석하고 초기 코드(initial codes)를 생성한다 [57]. TDF 사용에 익숙하지 않은 초심자에게는 다음을 권장한다:

  • 모든 코딩된 텍스트가 반드시 대상 행동(target behaviour)과 관련되어 있어야 하며,
  • 인터뷰 참여자나 포커스 그룹 참가자가 언급할 수 있는 비관련 행동(other behaviours)에는 코딩하지 않도록 주의할 것.

TDF의 각 영역은 행동에 영향을 미칠 수 있는 다양한 요인을 넓게 포괄하기 위해 고안되었지만, 그 목적은 중요한 영역들을 더 심층적으로 탐색하는 데 있다. 일부 텍스트는 여러 영역에 해당되는 것처럼 보일 수 있다. 예를 들어, 의료인의 모든 행동은 맥락(context)에 따라 달라질 수 있기 때문에, 모든 응답을 환경 및 자원(environmental context and resources) 영역에 코딩하고 싶은 유혹이 생긴다. 하지만 이는 지나치게 단순화된 가정(simplistic assumption)이다. 다른 TDF 영역들은 맥락 요인을 보다 세분화하여 실제로 변화가 가능한 요소(amenable to change)를 식별하는 데 도움을 준다. 예컨대:

  • 사회적 맥락(social context)사회적 영향(social influence)
  • 맥락에 의해 유도되는 보상(reinforcement)
  • 상황 특이적인 자기 효능감(beliefs about capabilities)
  • 조직이 특정 행동을 더 쉽게 혹은 어렵게 만드는 구조적 요인(organisational constraints or facilitators)

따라서, 텍스트는 핵심 주제를 가장 잘 반영하는 영역에 코딩되어야 하며, 모든 것을 하나의 영역에 넣으려는 경향은 피해야 한다.

TDF 경험이 없는 연구자는 초기에 자주 만나서 코딩 방식과 문제점을 논의하는 것이 중요하다. 일정 수준 이상 익숙해진 이후에는, 두 명의 연구자가 독립적으로 데이터를 TDF 이론 영역에 따라 코딩하는 것이 바람직하며, 이때는 사전 합의된 코딩 가이드라인(coding guideline)을 활용해 신뢰도(reliability)를 높이는 것이 좋다.


코딩 불일치 해결 (Resolving coding disagreements)

코딩 시 의견 불일치(disagreements)는 드물지 않으며, 이러한 논의는 단순한 기술적 과정뿐 아니라 연구의 본질적 질문에 대한 통찰을 제공할 수도 있다. 코더 간 합의(consensus)를 촉진하기 위해, 다음의 과정을 추천한다:

  • 각 코더가 코딩된 텍스트에 대한 자신의 해석(key meaning)을 설명하고,
  • 해당 영역을 선택한 이유를 논리적으로 제시하며,
  • 왜 다른 영역으로 코딩하지 않았는지에 대한 반론도 함께 제시하고,
  • 서로의 입장을 충분히 청취하고 논의할 기회를 제공해야 한다.

만약 합의가 이루어지지 않는 경우, 해당 주제에 대한 전문가TDF와 이론에 정통한 숙련 연구자와 논의하여 텍스트와 이론적 영역 간의 적절한 연계를 도출할 수 있다. 그래도 하나의 영역으로 합의되지 않을 경우, 양 코더가 선택한 모든 영역에 텍스트를 이중으로 코딩함으로써 합의(consensus)를 형성할 수 있다. 각 텍스트가 어느 이론 영역에 귀속되었는지를 명확하게 문서화(documentation)하는 것이 중요하다.


표 8(Table 8)은 이 과정을 실제로 보여준다.


자료 포화 (Data saturation)

자료 포화(data saturation)는, 수집된 자료가 더 이상 새로운 정보를 제공하지 않을 때에 도달한다. 자료 수집과 분석을 동시에 진행(concurrent)하면, 최종 표본 크기 결정에 도움이 된다 [58]. 자료 포화에 영향을 미치는 요인은 다음과 같다:

  • 연구 설계나 범위(scope) [59]
  • 대상 모집단의 이질성(heterogeneity) [60]
  • 이행 문제의 복잡성(nature of the implementation problem) [61]

신뢰도 (Reliability)

두 명의 코더 간 신뢰도(inter-coder reliability)는 카파 계수(kappa score)와 같은 지표로 측정될 수 있다 [28]. 단순 일치율(percentage agreement)을 계산하는 방식도 사용 가능하다 [62].

  • 카파 계수 > 0.6, 또는
  • 일치율 > 60%일 경우,
    두 코더 간 신뢰도는 수용 가능하다(acceptable reliability)고 판단된다 [63].

또한, Cohen의 kappa가 한계가 있을 때 부정적 일치를 보정하는 PABAK kappa도 사용할 수 있다.


통계 소프트웨어 (Statistical software)

NVivo와 같은 질적 분석용 소프트웨어(qualitative analysis package)는 다음을 가능하게 한다:

  • 자료의 저장, 검색, 코딩, 수정, 재코딩
  • 자료의 체계적 구성 및 연구자 간 공유
  • 신뢰도 분석

이러한 도구는 분석자의 효율성과 코딩 일관성을 높이는 데 유용하다.

 

 

귀납적 분석 (Inductive Analyses)

주제 및 신념 진술 도출 (Generating themes and/or belief statements)

주제 분석(thematic analysis)을 수행할 때에는, 연구자들이 기존에 확립된 분석 절차(methods)를 따르고 [64, 65], 자료 분석에 사용된 절차를 명확히 보고(explicitly report)할 것이 권장된다. 일부 연구자들은, 데이터를 이론적 영역(theoretical domains)에 따라 코딩한 이후, 영역 내에서 더 심층적인 분석을 위해 다음의 방법을 사용하였다:

  • 유사한 기반 아이디어(underlying ideas)를 공유하는 응답들에 대해 상위 주제(overarching themes)를 도출하거나,
  • 각 응답에 대한 구체적인 기반 신념(belief)의 진술(statements of specific underlying beliefs)을 생성

이러한 상위 주제(overarching themes)는, 대상 행동(target behaviour) 수행에 영향을 미친다고 지각된 요인들(perceived influencing factors)을 대표한다. 신념 진술(belief statement)은 유사한 기반 신념을 공유하는 응답들의 집합으로, 이행 문제의 원인 혹은 신념의 영향력을 시사한다 [25].

예를 들어, 다음의 응답들:

  • guidelines are just guidelines
  • guidelines are not gospel
  • there are no rules about going outside guideline

은 다음과 같이 하나의 신념 진술로 묶일 수 있다:
“I can make my decision outside the guidelines” (나는 지침 외부에서도 나의 결정을 내릴 수 있다) [26].

 

시간 효율성을 고려할 때, 한 명의 코더가 신념 진술을 생성하고, 다른 코더가 이를 검토 및 확정(confirm)하는 방식이 유용할 수 있다.
위 예시는 Francis 외 [15]의 연구에 보고된 것으로, 이 단계에서는 다음이 수행되었다:

  • 각 이론적 영역 내에서 인터뷰 응답에 의해 뒷받침되는 신념 진술 목록이 생성되었으며,
  • 각 신념 진술은 인터뷰 내에서 한 번씩만 카운트하여, 전체 인터뷰에 걸친 빈도(frequency count)를 산출하였다.

이러한 분석 절차는, 각 이론적 영역 내에서 상위 주제 및/또는 신념 진술에 대해 빈도 수(frequency counts)가 포함된 목록으로 이어진다. 단, 포커스 그룹 인터뷰(focus group interviews)에서는 신념 진술의 빈도 수 산출은 적절하지 않을 수 있다.
그 이유는 다음과 같다: 다른 참가자의 진술에 동의하여 고개를 끄덕이는 것과 같은 비언어적 행동(nonverbal behaviour)은 기록되지 않거나 포착되지 않을 수 있으며, 사회적 영향(social influence)의 효과로 인해 일대일 인터뷰(one-to-one interviews)에서보다 더 많은 동의 표현이 유도될 수 있기 때문


자료 코딩의 어려움 (Challenges in coding data)

정성 분석에서 흔히 발생하듯이, 데이터를 TDF의 이론적 영역(theoretical domains)에 코딩하는 과정에서도 불확실성이 발생할 수 있다. 그러나 이러한 불확실성은 연구의 진행을 방해해서는 안 되며, TDF 내 이론적 구성요소(theoretical constructs)에 대한 해석이 어느 정도 요구될 수 있다.

 

조사하고자 하는 이행 문제의 특성에 따라, 일부 이론 영역으로의 코딩은 다른 영역보다 더 어려울 수 있다. 실제로, 단일 응답(single response) 안에 복수의 이론 영역이 포함되어 있는 경우가 많고, 종종 하나의 질문에 대한 응답에서 여러 영역이 동시에 언급되기도 한다 (예시는 부록 3 [Additional file 3] 참조).

 

적절한 영역에 코딩하기 위해 텍스트를 나누다 보면, 응답의 맥락이 손실될 수 있기 때문에, 이러한 상황을 피하려면 응답 전체를 식별된 모든 관련 영역에 동시에 코딩할 것을 권장한다. 또한, 어떤 경우에는 훈련된 심리학자나 TDF에 대한 이해도가 높은 연구팀 구성원이 해석을 제공하더라도, 응답이 어느 영역에도 명확히 부합하지 않는 경우가 있다. 이러한 상황은 TDF가 인터뷰 자료 전체를 충분히 포괄할 수 있는지(capacity of the TDF)를 테스트하는 실제적 시험(test)이 되기도 한다. 응답이 어떤 영역에도 맞지 않는 가장 일반적인 이유는 그 발화가 대상 행동(target behaviour)에 대한 것이 아니기 때문이다. 이러한 경우, 행동 명세(behavioural specification)의 적절성을 재검토할 기회로 삼는 것이 바람직하다.

따라서 우리는 다음을 권장한다:

  • 보다 넓은 맥락 정보(wider contextual information)는 별도의 코드로 저장하여
  • 자료 검색(retrieval)이나
  • 참여자의 특성 및 실천 행위에 대한 기술적 요약(descriptive summaries)을 완료할 수 있도록 할 것.

관련 이론 영역의 식별 (Identification of relevant theoretical domains)

이 단계에서는, 개입에서 표적이 되어야 할 이론적 영역(theoretical construct domains)을 식별하는 과정을 수행한다. 이는 특정 신념(beliefs) 또는 주제(themes)의 중요도를 판단하여 결정하며, 기존 연구에서는 다음 세 가지 기준이 적용되었다 [28]:

  1. 특정 신념 또는 주제의 상대적으로 높은 빈도(high frequency)
    • (단, 포커스 그룹 인터뷰에는 적용되지 않음)
  2. 상충되는 신념(conflicting beliefs)의 존재
  3. 대상 행동에 영향을 미칠 수 있는 강한 신념(strong beliefs)의 존재

이 단계를 마치면, 연구자는 이행 문제와 관련 행동에 가장 큰 영향을 줄 가능성이 있는 핵심 이론 영역 목록을 갖게 된다.
표 9(Table 9)는 이 과정을 예시로 보여준다.


부속 자료 안내

본문에 언급된 표 및 그림은 다음과 같은 정보를 제공한다:

  • 표 3: 행동 특이성 원칙에 따른 대상 행동의 명세화
  • 표 4: TDF 설문지를 활용한 병원 환자안전 개입 설계 사례
  • 표 5: TDF를 활용해 1차 진료에서의 당뇨병 관리 장애 요인을 종합한 문헌고찰 예시
  • 표 6: TDF를 활용하여 효과 크기(effect size)를 이해한 골절 후 골다공증 위험 환자 관리 사례
  • 표 7: TDF를 활용하여 행동 영향 요인을 탐색할 때 최대 변이 표본 구성 예시
  • 그림 1(Fig. 1): 인터뷰 전사본을 분석하여 설문지 설계의 이론적 기초를 선택하는 절차를 나타낸 흐름도
  • 표 8: TDF를 활용한 코딩 합의 도출 및 신념 도출 과정 예시
  • 표 9: 개입의 표적이 될 핵심 이론 영역 식별 예시

 


TDF 기반 연구 수행 소요 시간 추정 (Time estimates for conducting research using TDF)

TDF를 활용한 연구에서 각 단계를 완료하는 데 걸리는 시간은, 인력(staff), 연구비(funding), 그리고 일정상의 제약(timing constraints)과 같은 가용 자원에 따라 크게 달라질 수 있다.
다음은 각 단계를 완료하는 데 필요한 대략적인 소요 기간(일, 주, 또는 월 단위)을 제시한 것이다:

  • 1~3단계:
    • 대상 행동 선정 및 명확화, 연구 설계 선택, 표집 전략 결정수일에서 수주가 소요될 수 있다. 특히, 대상 행동을 식별하는 작업은 인터뷰 수행과 사후 작업에 비용이 소요되므로, 해당 행동의 변화가 실질적인 이익을 창출하고 위해를 줄일 수 있다는 충분한 근거가 확보되어야 한다.
  • 4단계:
    • 연구 자료 개발(Developing study materials)에는 수주에서 수개월이 소요될 수 있다. 예: 인터뷰 스케줄과 포커스 그룹용 주제 가이드(topic guides)를 초안 작성, 파일럿 테스트, 최종 확정하는 데 걸리는 시간.
  • 5단계:
    • 자료 수집(Collecting data)은 수개월이 걸릴 가능성이 크다. 경우에 따라 1개월 내에 인터뷰를 완료할 수도 있지만, 필요한 참여자 수나 모집의 어려움에 따라 훨씬 더 오랜 시간이 소요될 수 있다.
  • 6단계:
    • 자료 분석(Analysing the data) 또한 수개월이 소요될 수 있으며, 이는 다음 요소들에 따라 달라진다:
      • 데이터 양
      • 코딩에 참여하는 인력 수
      • 코딩 과정에서 발생하는 불일치의 빈도

요약하면, TDF 기반의 인터뷰 연구는 약 12개월 정도의 시간이 소요될 수 있다. 단, 어떤 연구팀은 수개월 내에 완료하기도 하고, 반대로 최대 24개월까지 소요되는 사례도 있다.  전체 소요 기간은 다음 요인에 따라 달라진다:

  • 연구의 규모(size)범위(scope)
  • 윤리심의 요구사항(ethics requirements)의 복잡도
  • 연구의 엄격성 수준(rigour)
    • 예: 지역적 목적(local purpose)인지, 정식 출판(publication)을 목표로 하는지
  • 연구팀의 기존 전문성(expertise)전담 연구 인력(dedicated research staff) 유무

연구 결과 보고 (Report findings)

TDF 기반 인터뷰 연구의 결과는, 텍스트와 표(table) 형태로 보고되며, 이는 이행 문제에 영향을 미치는 요인들에 대해 풍부하고 명확한 묘사(rich and clear description)를 제공한다.

  • 표(table)에는 다음 요소들이 포함될 수 있다:
    • 인터뷰 전사본에서 인용된 직접 발화(quotations)
    • 해당 발화를 요약한 요약 진술(summary statements)
    • 각 진술 또는 주제의 빈도 수(frequency counts)
    • 주요 주제(emerging themes)
      → 사용된 방법론에 따라 달라진다.

TDF를 사용하여 수집된 데이터를 표 형식으로 정리한 우수 사례는 Patey 외 연구 [28]에 제시되어 있다.


논의 (Discussion)

이 문서는 행동 변화 이론적 영역 프레임워크(Theoretical Domains Framework, TDF)를 정성적 자료 접근법을 통해 이행 문제에 적용하는 절차를 단계별로 안내하는 가이드로, 이행 연구 커뮤니티를 위한 실용적인 자원(resource)으로 개발되었다. TDF를 사용할 때의 주요 이점은 다음과 같다:

  • 이행 연구에 강력한 이론적 기반(theoretical basis)을 제공한다.
  • 이행 문제의 원인이 될 수 있는 요인들을 폭넓게 포괄(good coverage)한다.
  • 다른 도구 및 방법론과 결합하여, 탐색(investigation)에서 개입(intervention)으로 전환할 수 있는 실용적 경로(methodology)를 제공한다.

특히 다학제적(multidisciplinary) 연구 프로그램의 탐색 단계에서 이루어진 많은 연구를 통해 확인할 수 있듯, TDF는 이행 문제를 탐색하고 해결하는 새로운 접근법을 열어 주었다. 향후 연구 방법과 프로그램이 성숙함에 따라, 개입 설계(intervention design)와 향후 TDF 가이드 개선에 있어 TDF의 부가 가치(added value)를 평가할 수 있는 근거가 더욱 축적될 것이다.


TDF의 잠재적 활용 영역 (Potential applications of the TDF)

TDF는 다음과 같은 방식으로 자료 수집을 안내하는 도구로 활용될 수 있다:

  • 인터뷰,
  • 포커스 그룹,
  • 구조화된 관찰(structured observation),
  • 변화의 장벽과 촉진 요인을 식별하기 위한 설문조사(questionnaires) 등.

또한, 이론적 영역과 대상 행동의 수용 간의 관계를 살펴보는 예측 연구(predictive studies)나, 변화의 작용 기전(mechanisms of change)을 규명하는 과정 평가(process evaluations)에도 활용 가능하다. 문헌을 종합하는 체계적 문헌고찰(systematic reviews)에서도 TDF는 증거를 이론적 영역별로 정리(synthesise evidence)하는 데 유용하며, 행동 변화 기법(behaviour change techniques)을 선택하는 데에도 도움이 된다.

 

비록 지금까지는 주로 의료 환경(healthcare settings)에서 임상 행동(clinical behaviours)에 영향을 주는 요인을 탐색하고 이행 개입을 설계하는 데 사용되어 왔지만, TDF는 공중보건(population/public health), 직업건강(occupational health), 그리고 비보건 분야의 행동(ex: 환경, 교통) 개입 설계에도 유효하다.


TDF와 다른 이론 모델과의 연결 (Linking TDF to other theoretical models)

TDF는 최근 개발된 보다 단순한 행동 모델인 COM-B 모델과 연결된 바 있다 [16, 43].

  • COM-B 모델의 핵심 전제는 행동은 역량(capability), 기회(opportunity), 동기(motivation) 간의 상호작용으로 발생한다는 것이다.
  • TDF는 이 중에서도 특히 심리적 역량(psychological capability)과 반영적 동기 과정(reflective motivational processes)에 대해 더 세분화된 이해(granular understanding)를 제공한다 (그림 2 참조).

표 10은 연구자가 참가자와의 접촉 시간이 제한적이었던 상황에서, COM-B와 TDF를 연계하여 효과적으로 포커스 그룹 인터뷰를 구성했던 사례를 보여준다 (Michie 외 [43]도 동일 사례 보고).

 

또한 TDF의 각 영역은 연구자가 다른 관련 이론이나 프레임워크로 확장하는 데 길잡이 역할을 할 수 있다. 예를 들어, 사회적 영향(social influences)환경 맥락과 자원(environmental context and resources) 영역은 조직 수준의 변화 및 시스템 맥락과 관련되며, 다음과 같은 이론들로 확장 가능하다:

  • 정상화 과정 이론(Normalisation Process Theory) [66],
  • 통합 이행 연구 프레임워크(Consolidated Framework for Implementation Research, CFIR) [67],
  • 요크셔 기여 요인 프레임워크(Yorkshire Contributory Factors Framework) [68]

 

 


한계 (Limitations)

이 가이드는 두 가지 주요 한계를 가진다:

  1. 주로 정성적 접근법(qualitative approaches)—특히 인터뷰와 포커스 그룹 자료—에 한정되어 있으며, 설문조사나 관찰 자료 등 다른 수집 방법에 대한 세부 안내는 부족하다.
  2. TDF 적용 사례를 동료 평가 문헌에서 선별하여 제시했지만, 이 과정은 구조화된 합의 절차(structured consensus process)가 아닌 비공식적 절차에 기반했기 때문에, 사례 선택 편향(selection bias)이 있을 가능성도 존재한다.

그러나 이 가이드의 목적은 포괄적 대표성을 확보하는 것이 아니라, 다양한 환경과 이행 문제에서 TDF가 실제 어떻게 적용될 수 있는지를 보여주는 예시 제공에 있었다.


향후 연구 방향 (Directions for future research)

현재까지 일부 연구에서는 개입 전달의 충실도(fidelity of intervention delivery)를 탐색하기 위해 TDF를 사용한 바 있으나, 우리는 TDF 적용의 충실도(fidelity of TDF application)나 TDF 사용의 부작용 또는 의도치 않은 결과(harms or unintended consequences)를 조사한 연구는 확인하지 못했다. 따라서 TDF의 최적 활용(optimal application)을 보장하기 위해, 이러한 주제들은 향후 방법론 연구(methodological research)의 중요한 영역으로 제안된다.


결론 (Conclusions)

본 가이드는, 이행 문제를 이해하기 위해 TDF를 어떻게 적용할 수 있을지에 대한 명확한 안내를 요청한 기존 주장들 [21]에 응답하는 형식으로 개발되었다. 우리가 아는 한, 이와 같은 형태의 가이드는 최초이다. 앞으로 이행과학(Implementation Science) 분야의 연구 방법론과 증거가 축적됨에 따라, 이 가이드의 후속 버전도 함께 발전해 나갈 것으로 기대한다.

 


✅ TDF 기반 이행 연구의 단계별 절차 요약

1단계. 대상 행동 선정 및 명확화 (Select and specify the target behaviour/s)
문헌 분석이나 실증적 연구를 활용하여, 누가 무엇을 어떻게 다르게 해야 근거기반 실천이 향상될 수 있는지를 식별하고 명확히 해야 합니다. → 이 단계에서는 행동을 결과 변수로 측정할 수 있는 실행 가능성(feasibility)을 평가해야 할 수도 있습니다.

 

2단계. 연구 설계 선택 (Select the study design)
연구 설계는 반구조화된 개인 인터뷰, 포커스 그룹, 설문조사, 구조화된 관찰, 문서 분석, 합의적 접근 등을 포함할 수 있습니다.
→ 설계는 반드시 연구 질문에 적합해야 하며, 연구의 탐색개입설명 각 단계에 따라 달라질 수 있습니다.

 

3단계. 연구 자료 개발 (Develop study materials)
기존 연구에서 활용된 도구를 참고할 수 있지만, 구체적인 행동과 맥락에 맞게 자료를 조정해야 합니다.
→ 각 TDF 영역의 이론적 내용을 깊이 있게 이해하는 것이 필수이며,
임상 적합성과 이해 가능성을 확보하기 위해 파일럿 테스트(pilot testing)도 권장됩니다.

 

4단계. 표집 전략 결정 (Decide the sampling strategy)
탐색적 연구에서는 최대 변이 표집(maximum variation sampling)이 적절합니다.
→ 핵심 참여자는 대상 행동을 수행하거나 수행해야 하는 사람들이며, 관리자나 동료 등 다른 이해관계자들도 가치 있는 시각을 제공할 수 있습니다.

 

5단계. 자료 수집 (Collect the data)
기존 연구들에서는 녹음 기반의 인터뷰(대면 또는 전화, 1:1 또는 그룹)나, 종이/온라인 설문조사를 사용했습니다.
→ 효과적인 인터뷰는 표준화된 인터뷰 기술각 TDF 영역의 이론적 내용에 대한 깊은 이해를 요구합니다.

 

6단계. 자료 분석 (Analyse the data)
분석의 목적은, 이행 문제에 가장 관련성이 높은 이론적 영역들을 식별하고, 해당 영역을 맥락과 행동 특이성에 기반하여 구체화하는 것입니다.
→ 정성 연구에서의 코딩은 각 영역의 이론적 내용을 깊이 있게 이해해야 가능하며, 그에 따라 정확한 해석이 이루어집니다.

 

7단계. 결과 보고 (Report findings)
인터뷰 연구의 결과 보고 시, 응답 인용문(quotations), 신념 진술(belief statements), 도메인 분류(domain classification), (필요시) 빈도 정보(frequency)를 표와 함께 제공합니다.
→ 해당 결과를 해석하는 본문 설명은 연구의 목적에 맞게 구성되어야 합니다.

 

 

Version 1[15]
Domain Constructs
Knowledge Knowledge
Knowledge about condition/scientific rationale
Schemas + mindsets + illness representations
Procedural knowledge
Skills Skills
Competence/ability/skill assessment
Practice/skills development
Interpersonal skills
Coping strategies
Social/professional role and identity Identity
Professional identity/boundaries/role
Group/social identity
Social/group norms
Alienation/organisational commitment
Beliefs about capabilities Self-efficacy
Control—of behaviour and material and
Social environment
Perceived competence
Self-confidence/professional confidence
Empowerment
Self-esteem
Perceived behavioural control
Optimism/pessimism
Beliefs about consequences Outcome expectancies
Anticipated regret
Appraisal/evaluation/review
Consequents
Attitudes
Contingencies
Reinforcement/punishment/consequences
Incentives/rewards
Beliefs
Unrealistic optimism
Salient events/sensitisation/critical incidents
Characteristics of outcome expectancies—physical, social, emotional; sanctions/rewards, proximal/distal, valued/not valued, probable/improbable, salient/not salient, perceived risk/threat
Motivation and goals Intention; stability of intention/certainty of intention
Goals (autonomous, controlled)
Goal target/setting
Goal priority
Intrinsic motivation
Commitment
Distal and proximal goals
Transtheoretical model and stages of change
Memory, attention and decision processes Memory
Attention
Attention control
Decision-making
Environmental context and resources Resources/material resources (availability and management)
Environmental stressors
Person × environment interaction
Knowledge of task environment
Social influences Social support
Social/group norms
Organisational development
Leadership
Team working
Group conformity
Organisational climate/culture
Social pressure
Power/hierarchy
Professional boundaries/roles
Management commitment
Supervision
Inter-group conflict
Champions
Social comparisons
Identity; group/social identity
Organisational commitment/alienation
Feedback
Conflict—competing demands, conflicting roles
Change management
Crew resource management
Negotiation
Social support: personal/professional/organisational, intra/interpersonal, society/community
Social/group norms: subjective, descriptive, injunctive norms
Learning and modelling
Emotion Affect
Stress
Anticipated regret
Fear
Burn-out
Cognitive overload/tiredness
Threat
Positive/negative affect
Anxiety/depression
Behavioural regulation Goal/target setting
Implementation intention
Action planning
Self-monitoring
Goal priority
Generating alternatives
Feedback
Moderators of intention-behaviour gap
Project management
Barriers and facilitators
Nature of the behaviours Routine/automatic/habit
Breaking habit
Direct experience/past behaviour
Representation of tasks
Stages of change model
Version 2
Domain (definition) Constructs
1. Knowledge
(An awareness of the existence of something)
Knowledge (including knowledge of condition/scientific rationale)
Procedural knowledge
Knowledge of task environment
2. Skills
(An ability or proficiency acquired through practice)
Skills
Skills development
Competence
Ability
Interpersonal skills
Practice
Skill assessment
3. Social/professional role and identity
(A coherent set of behaviours and displayed personal qualities of an individual in a social or work setting)
Professional identity
Professional role
Social identity
Identity
Professional boundaries
Professional confidence
Group identity
Leadership
Organisational commitment
4. Beliefs about capabilities
(Acceptance of the truth, reality or validity about an ability, talent or facility that a person can put to constructive use)
Self-confidence
Perceived competence
Self-efficacy
Perceived behavioural control
Beliefs
Self-esteem
Empowerment
Professional confidence
5. Optimism
(The confidence that things will happen for the best or that desired goals will be attained)
Optimism
Pessimism
Unrealistic optimism
Identity
6. Beliefs about Consequences
(Acceptance of the truth, reality, or validity about outcomes of a behaviour in a given situation)
Beliefs
Outcome expectancies
Characteristics of outcome expectancies
Anticipated regret
Consequents
7. Reinforcement
(Increasing the probability of a response by arranging a dependent relationship, or contingency, between the response and a given stimulus)
Rewards (proximal/distal, valued/not valued, probable/improbable)
Incentives
Punishment
Consequents
Reinforcement
Contingencies
Sanctions
8. Intentions
(A conscious decision to perform a behaviour or a resolve to act in a certain way)
Stability of intentions
Stages of change model
Transtheoretical model and stages of change
9. Goals
(Mental representations of outcomes or end states that an individual wants to achieve)
Goals (distal/proximal)
Goal priority
Goal/target setting
Goals (autonomous/controlled)
Action planning
Implementation intention
10. Memory, attention and decision processes
(The ability to retain information, focus selectively on aspects of the environment and choose between two or more alternatives)
Memory
Attention
Attention control
Decision making
Cognitive overload/tiredness
11. Environmental context and resources
(Any circumstance of a person’s situation or environment that discourages or encourages the development of skills and abilities, independence, social competence and adaptive behaviour)
Environmental stressors
Resources/material resources
Organisational culture/climate
Salient events/critical incidents
Person × environment interaction
Barriers and facilitators
12. Social influences
(Those interpersonal processes that can cause individuals to change their thoughts, feelings, or behaviours)
Social pressure
Social norms
Group conformity
Social comparisons
Group norms
Social support
Power
Intergroup conflict
Alienation
Group identity
Modelling
13. Emotion
(A complex reaction pattern, involving experiential, behavioural, and physiological elements, by which the individual attempts to deal with a personally significant matter or event)
Fear
Anxiety
Affect
Stress
Depression
Positive/negative affect
Burn-out
14. Behavioural regulation
(Anything aimed at managing or changing objectively observed or measured actions)
Self-monitoring
Breaking habit
Action planning

 

 

 

 

 

Implement Sci2022 Oct 29;17(1):75. doi: 10.1186/s13012-022-01245-0.

The updated Consolidated Framework for Implementation Research based on user feedback

 

 

✅ CFIR 개정판이 나왔다!

― 복잡한 이행 과정을 다루는 프레임워크, 이제 더 형평하게, 더 정밀하게!

🧭 Implementation Science 분야에서 가장 널리 쓰이는 이론적 틀 중 하나인 CFIR (Consolidated Framework for Implementation Research), 그 개정판이 드디어 발표되었습니다! 이번 개정판은 기존 사용자들의 피드백을 바탕으로 구성요소를 보완하고, 형평성(equity)과 다양한 맥락(context)에 더 잘 적용될 수 있도록 개선되었습니다.


🧩 왜 개정이 필요했을까?

연구진은 초기 CFIR 논문에서 사용자들에게 세 가지 질문을 던졌습니다.

(1) 용어와 언어가 일관성 있는가?
(2) 다양한 맥락과 시간 축에서 결과 비교를 촉진하는가?
(3) 새로운 이론 발전에 기여하는가?

그리고 이렇게 말합니다.

“이론화(theorizing)는 반복적이고 순환적인 과정이다. 이론은 더 이상 ‘고정되고 불변하는’ 것이 아니라, 살아 있고, 변화하며, 개선되는 제안과 원칙, 가설의 집합이다.”
“Theorizing is an iterative and recursive process [where] theory is no longer seen as ‘fixed and immutable’ but rather as a living, evolving, improving set of propositions, principles, and hypotheses.”

 

이런 문제의식을 바탕으로, 사용자들로부터 체계적인 피드백을 수집해 CFIR을 개선한 것입니다.


🔄 무엇이 달라졌을까?

📌 구성요소가 더 정교해졌어요

  • 총 48개의 구성요소(constructs)와 19개의 하위 구성요소(subconstructs)
  • 형평성(equity), 로컬 컨텍스트(local context), 기술 인프라(IT infrastructure)
  • Implementation Process 도메인에는 Teaming, Tailoring, Adapting 같은 전략들도 포함!

📌 도메인별 재정비

  • Innovation: ‘intervention’ 대신 ‘innovation’을 사용
  • Outer/Inner Setting: 구분을 명확히 하되, open-systems 관점 강조
  • Individuals: 역할(Roles)과 특성(Characteristics)으로 분리
    → 행동 변화 이론 COM-B 도입!
  • Process: 기존 ERIC 전략 중 일부 추가, 수혜자(recipient) 중심 접근 강조

⚖ 형평성, 단순히 ‘포함’의 문제가 아니다

이번 개정판의 핵심 중 하나는 이행의 형평성(equity in implementation)입니다.

하지만 연구진은 솔직하게 말합니다.

“우리 팀은 형평성 전문성이 부족하고, 위치성(positionality)이 제한적이라 CFIR에서 형평성을 중심에 놓는 긴급한 필요를 충분히 다루지 못했다.”
“Our own team’s lack of equity expertise and our narrow positionality disallow us from addressing the urgent need to adequately center equity within the CFIR.”

 

그러면서 이렇게 제안합니다.

“이행 연구자들은 억압(oppression)에 맞서 싸우기 위해, 각 도메인에서 형평한 이행의 결정 요인이 어떻게 나타나는지를 이해해야 한다.”
“Implementation researchers are uniquely positioned to address oppression by seeking to understand how it manifests across all domains as a determinant to equitable implementation.”

 

그리고 HEIF 같은 형평성 프레임워크와 비판적 인종 이론(Critical Race Theory)을 CFIR과 함께 사용하라고 권유합니다.


🧪 어떻게 사용할 수 있을까?

연구진은 이렇게 강조합니다:

“모든 구성요소를 평가할 필요는 없다. 프로젝트에 적합한 하위 집합을 선택하되, 분석 단계에서는 추가적으로 CFIR 구성요소로 코딩하는 게 좋다.”
“It is often not feasible to assess every construct… data should be coded to additional CFIR constructs during the analysis.”

 

또한, 정량적(validated), 혼합(mixed), 정성적(qualitative) 평가 도구를 개발하고,
구성요소 간 관계(relationship coding)와 인과 분석(coincidence analysis) 등도 적극 활용하자고 제안합니다.


🔮 앞으로의 과제는?

CFIR 개정판은 끝이 아니라 시작입니다. 연구진은 다음의 발전 방향을 제안합니다.

  • 구성요소별 의미 정체성(semantic identity) 탐색
  • 중간 범위 이론(middle-range theory) 개발
  • 다양한 문화·국가 맥락(LMIC) 적용 사례 확대
  • 지속 가능한 형평성 중심 접근의 확립

그리고 이렇게 덧붙입니다:

“우리는 이 프레임워크의 소유자가 아니다. 다른 사람들이 CFIR을 다음 세대로 이끌기를 바란다.”
“We do not own the framework… We extend an open invitation for others within alternative spheres to move the CFIR into the next generation.”


📚 마무리하며

이번 개정판은 단순한 업데이트를 넘어, 사용자와 연구자가 함께 만들어가는 ‘살아 있는 이론’으로서의 CFIR이라는 비전을 보여줍니다. 여러분도 이 커먼 굿(common good)에 참여해보시겠어요?

📎 기술 지원 웹사이트: https://cfirguide.org


배경 (Background)

근거 기반 혁신(Evidence-Based Innovations, EBI)을 실행에 옮기려는 많은 노력들이 실패로 끝나는 경우가 너무 많다 [1, 2]. 이는 실행을 위한 계획이 정교하게 마련되어 있음에도 불구하고 그렇다 [3].

  • 무작위 대조 시험(Randomized Controlled Trials)에서는 수많은 맥락적 요인(contextual factors)이 통제된 환경에서 혁신이 검증된다.
  • 그러나 이행과학(Implementation Science)은 실제 세계에서는 맥락적 요인이 실행 노력에 유리하게도, 불리하게도 작용하는 '능동적이고 역동적인 힘'이라는 현실을 수용한다 [4,5,6,7].

 

맥락적 요인을 개념화하는 데 도움을 주는 이론들은 대개 결정 요인 프레임워크(Determinant Frameworks) 안에 통합되어 있다 [8, 9]. 이러한 프레임워크는 이행 노력의 결과에 영향을 미치는 결정 요인(determinants, 즉 장애 요인 또는 촉진 요인)을 구체적으로 설명한다. 결정 요인 프레임워크는 복잡하고 역동적인 맥락(context)을 설명하기 위한 핵심 개념, 용어, 정의들을 제공하며, 이러한 맥락을 측정하기 위한 필요 불가결한 도구로 작용한다 [10]. 이행과학이라는 학문은 일반화된 이론 구축(generalized theory-building)성공적인 실행을 위한 실용적 접근(practical approaches)의 개발이라는 두 가지 축을 아우르며, 연구자와 실무자 모두 결정 요인 프레임워크를 활용하고 그로부터 이득을 얻는다 [11].

 

이행연구 통합 프레임워크(Consolidated Framework for Implementation Research, CFIR)는 이행과학 분야에서 가장 많이 인용되는 프레임워크 중 하나이며, 2009년 발표 이후로 Implementation Science 저널에서 가장 많이 열람된 상위 다섯 논문 중 하나로 등재되어 있다 [12]. Kirk 등은 2015년에 CFIR을 실제로 활용한 26편의 논문을 리뷰하였으며, 대부분의 사용자들이 혼합 방법(mixed methods, n = 13) 또는 질적 방법(qualitative methods, n = 10)을 사용하였고, 이행 이후 단계(post-implementation phase, n = 15)에서 CFIR을 활용하였다고 보고하였다 [13]. 결정 요인 프레임워크로서 CFIR의 궁극적인 목적은, 이행의 효과성(implementation effectiveness)이라는 결과 변수(종속 변수)에 대한 장애 요인과 촉진 요인(determinants, 독립 변수)을 예측하거나 설명하는 데 있다 [8].

 

따라서 결정 요인 프레임워크는 맥락적 결정 요인을 효과적으로 다루기 위한 실행 전략(implementation strategies)의 선택을 돕고 [14], 이행 결과를 예측하기 위한 가설(hypotheses)을 사전적으로 생성하거나, 혹은 다양한 이행 환경 간의 결정 요인의 차이를 분석함으로써 결과를 사후적으로 설명할 수 있다 [11, 13, 15].

 

이행과학자들은 이제 이론을 적용하면서 매번 개선하는 '이론 구축(theory-building)'의 과학에 참여해야 한다는 요청을 받고 있다. 이 과정에서 이론화(theorizing)는 반복적이며 순환적인 과정(iterative and recursive process)이 된다 [16]. 즉, 이론은 불변하는 것이 아니라, 실증적 결과(empirical findings)를 바탕으로 지속적으로 다듬어져야 할 대상으로 간주되어야 한다. 이러한 인식 아래, 초기 CFIR 논문에서는 프레임워크가 발전할 수 있어야 한다는 전제를 바탕으로 비판적 피드백을 적극적으로 요청하였다 [17]. 본 연구의 목적은 경험 많은 CFIR 사용자들로부터 피드백을 수렴하여, 이 프레임워크를 개정하는 데 반영하는 것이었다.

 

방법 (Methods)

VA Ann Arbor Healthcare System의 기관생명윤리위원회(IRB)는 본 연구가 38 CFR 16의 요구사항으로부터 면제됨을 선언하였으며, 면제 사유는 제2범주(category 2)에 해당됨에 근거하였다.

자료 수집 (Data Collection)

피드백은 두 가지 출처로부터 수집되었다:
(1) 체계적인 검색을 통해 수행된 문헌 검토(literature review),
(2) CFIR을 사용한 논문을 출판한 저자들을 대상으로 한 설문조사(survey).


문헌 검토 (Literature Review)

우리는 CFIR에 대한 피드백이 포함된 논문을 확인하기 위해 문헌 검토를 수행하였다. 이 목적에 가장 효율적인 검색 기준은 논문의 제목(title) 및/또는 초록(abstract)에 CFIR이 언급되어 있는 경우였다(자세한 검색 전략은 Additional file 1 참고). SCOPUS와 Web of Science 데이터베이스에서 CFIR이 발표된 2009년부터 2020년 7월 6일까지의 논문을 검색하였으며, 총 376편의 논문이 검색되었다. 이에는 다음이 포함되었다:

  • (1) 원저 논문(original research),
  • (2) 체계적 문헌고찰(systematic reviews),
  • (3) CFIR을 프레임워크로 평가(evaluation)한 논문.

두 명의 연구자(MOW, CMR)는 검색된 논문 중 약 10%에 해당하는 40편의 원문(full text)을 독립적으로 읽고, CFIR에 대한 피드백 내용을 추출하였다. 추출 과정에서 불일치가 발생한 경우에는 토론을 통해 합의에 도달하였다. 이후 한 명의 연구자(MOW)가 나머지 논문을 모두 읽고 CFIR 관련 구절을 추출하였다. 그 결과, 총 59편의 논문만이 CFIR에 대한 피드백을 포함하고 있음이 확인되었다.


저자 대상 설문조사 (Author Survey)

우리는 문헌 검토에 포함된 논문의 교신저자(corresponding author) 중 중복을 제거한 334명에게 2020년 8월 설문조사를 시행하여, CFIR 사용 경험에 대한 심층적인 피드백을 수집하고자 하였다. 설문조사의 구성은 다음과 같다:

  • 첫째, 응답자가 CFIR을 어떻게 사용했는지에 대한 정보를 수집하였다(예: CFIR을 사용하여 수행한 프로젝트 수 등; 표 1 참조).
  • 둘째, 응답자에게 Flottorp et al.이 제시한 '판단기준(sensibility criteria)'에 근거하여 결정 요인 프레임워크로서의 CFIR을 평가하도록 요청하였다. 이 기준에는 적용 가능성(Applicability), 단순성(Simplicity) 등이 포함된다 [18] (표 2 참조).
  • 셋째, 응답자에게 전체 프레임워크뿐 아니라 기존의 도메인(domains) 및 구성 요소(constructs)에 대해 자유롭게(open-ended) 피드백을 제시하도록 요청하였다.
  • 마지막으로, 추가하거나 제거해야 할 도메인 및 구성 요소에 대한 제안 사항도 요청하였다(전체 설문지는 Additional file 2 참조).

설문조사 초대장은 이메일을 통해 설문 링크를 포함한 형태로 발송되었다.

 

자료 분석 (Data Analysis)

폐쇄형 문항(closed-ended questions)에 대한 응답은 기술 통계(descriptive statistics)를 사용하여 분석하였다.
개방형 문항(open-ended questions)에 대한 응답은 출판된 문헌에서 추출한 구절들과 함께 Microsoft Excel에서 통합되었으며, 다음과 같은 수준에서 각각 별도의 매트릭스(matrix)로 정리되었다:

  • 프레임워크 수준 (framework level)
  • 도메인 수준 (domain level): 각 도메인별로 하나의 매트릭스
  • 구성요소 수준 (construct level): 각 구성요소별로 하나의 매트릭스

각 매트릭스는 개별 피드백 항목별로 하나의 행(row)을 포함하고, 피드백의 출처(즉, 설문조사 또는 문헌)를 명시하였다. 각 분석자(CMR, LJD, JCL)는 여기에 자신의 메모와 해당 피드백을 어떻게 처리할지에 대한 추천 사항을 입력할 수 있는 별도의 열(column)을 가졌다.

 

추가 문헌 검토는 다음의 경우에 수행되었다:

  • (1) 사용자가 특정 문헌을 추천했을 때,
  • (2) 사용자가 고차원적 이슈(high-level issue)를 제기했지만, 구체적인 해결책을 제시하지 않았을 때 — 예를 들어, 어떤 구성요소가 너무 포괄적이라는 지적은 있었지만, 구체적인 하위 구성요소(subconstructs)를 제안하지 않은 경우.

 

연구팀은 모든 피드백 항목을 각자 독립적으로 검토하며 메모와 권고사항을 추가한 후, 2020년 9월부터 2022년 2월까지 매주 약 3시간씩 회의를 진행하면서 CFIR 개정사항에 대해 논의하고 합의(consensus)에 도달하였다.


연구자 위치성 (Positionality)

본 연구팀 구성원 모두는 백인(white), 시스젠더(cisgender) 여성이다. 우리는 미국 재향군인 건강관리청(Veterans Health Administration, VHA)에 소속되어 있으며, 이 조직은 미국 내 최대 통합 보건의료 시스템이다. VHA는 1,000개 이상의 의료센터, 지역사회 기반 외래 클리닉, 기타 기관들을 운영하며, 등록된 960만 명의 미국 군 출신 재향군인(Veterans)을 진료한다.

  • LJD와 JCL은 원래의 CFIR 프레임워크를 개발한 연구자들이다.
  • JCL2006년부터 VHA 산하의 Quality Enhancement Research Initiative (QUERI) 프로그램에서 이행과학 분야에 종사해왔으며, 보건서비스 조직 및 정책(Health Services Organization and Policy) 분야의 박사 학위를 보유하고 있다.
  • LJDVHA에 합류하기 전까지 20년간 경영 컨설팅 분야에서 일했으며, 생체통계학(biometrics)과 공중보건(public health) 분야의 두 개 석사 학위를 보유하고 있다. 그녀는 2007년부터 VHA QUERI 프로그램에 참여하였다.
  • CMR은 질적 분석가(qualitative analyst)로, 지난 10년간 CFIR을 사용하여 이행 평가(implementation evaluations)에서 질적 자료를 수집·분석·해석한 경험을 보유하고 있다.
  • MOW는 제한 면허 사회복지사(Limited License Master’s Social Worker, LLMSW)이며, 현재 연구 조교(research associate)로 활동 중이다.

비록 LJD와 CMR은 VHA 외부 프로젝트 수십 건에 자문을 제공하고, 수백 명의 CFIR 사용자들을 교육한 바 있지만, 이들의 활동 대부분은 미국의 보건의료 환경 안에서 이루어졌다.

결과 (Results)

개요 (Overview)

체계적 문헌 검색을 통해 총 376편의 논문과 연락처가 확인된 334명의 고유 저자가 확인되었으며, 이 중 59편의 논문에서 CFIR에 대한 피드백이 포함되어 있었다. 이들 59편의 논문 중 대부분은 미국의 보건의료 환경에서 수행된 연구였고, 27%(n = 16)는 교육, 농업, 지역사회와 같은 비보건 분야(non-healthcare settings)에서, 8%(n = 5)는 저소득 및/또는 중간소득 국가(LMICs)에서 수행된 연구였다 (추가 정보는 Additional file 3 참조).

 

총 응답률은 47%(n = 157/334)였으며, 실제 설문을 완료한 비율은 40%(n = 134/334)였다. 응답자 중 약 20%는 CFIR을 5개 이상의 프로젝트에서 사용했다고 응답하였고, 65% 이상은 2개 이상의 프로젝트에서 사용했다고 보고하였다. 80% 이상의 응답자는 CFIR을 보건의료 환경에서 사용했으며, 이를 자료 수집, 분석 및 해석 과정에 활용하였다(표 1 참조). 응답자의 50%는 CFIR이 이행과학 연구자(implementation science researchers)에게 사용하기 쉽다고 느꼈지만, 비연구자(non-researchers)에게는 사용이 쉽다고 느낀 비율이 단 16%에 불과했다. 또한, 58%는 CFIR이 필요 이상으로 복잡하다고 응답하였다.
한 응답자는 다음과 같이 밝혔다:

“CFIR은 지나치게 복잡하고 사용하기 어렵습니다. 저는 CFIR을 5년 넘게 배우고 사용해왔지만, 사용할수록 더 어렵고 해석하기 힘들다는 생각이 듭니다.” (설문 응답 중)

 

그러나 다른 응답자는 다음과 같이 지적하였다:

“이행 연구 자체가 원래 어려운 분야이며, CFIR의 복잡성이 전체적인 난이도에 대해 부당하게 비난받는 경우도 있다고 봅니다.” (설문 응답 중)

 

또한, CFIR이 복잡하다고 느껴지는 주된 이유로는 '구성요소의 수'가 자주 언급되었지만, 동시에 많은 사용자들이 프레임워크에 빠져 있는 주제(missing themes)가 있다고 지적하였다. 응답자의 거의 전원이 기존 도메인(domain)이나 구성요소(construct)의 수정 또는 추가를 제안하는 질적 피드백을 제공하였다.


감각성 기준(Sensibility Criteria) 평가

Flottorp 등(Flottorp et al.)의 기타 감각성 기준(sensibility criteria)에 대해서는 응답자의 절반 이상이 긍정적으로 평가하였다.
대부분의 응답자는 다음과 같이 느꼈다:

  • CFIR은 다양한 환경에서 적용 가능하다(Applicability across settings): 67%
  • 다양한 혁신에 적용 가능하다(Applicability across innovations): 81%
  • 결정 요인(determinants)을 보고하는 데 유용하다: 77%
  • 이행 전략(implementation strategies)을 설계하는 데 유용하다: 65%
  • 도메인 및 구성요소의 명칭이 이해하기 쉬웠다: 77%
    (자세한 내용은 표 2 참조)

CFIR 개정 사항 (CFIR Updates)

표 3업데이트된 CFIR의 도메인(domain)과 구성요소(construct)의 명칭 및 정의를 상세히 보여주며, 사용자 편의를 위해 Additional file 6에도 동일한 내용이 포함되어 있다. 논문 본문에는 분량 제한(word limits)이 있어 세부사항을 모두 서술할 수는 없지만, 다음의 추가 파일을 통해 자세한 정보를 확인할 수 있다:

  • Additional file 4: 원래 CFIR의 구성요소들을 업데이트된 구성요소들과 대응(mapping)한 표
  • Additional file 5: 위 매핑표에 사용자 피드백을 근거로 한 업데이트의 논리적 근거(rationale) 추가
  • Additional file 6: 업데이트된 CFIR 구성요소의 간략 및 상세 설명을 포함. 이는 원래 CFIR의 설명과 문헌 검토에서 수집된 피드백, 기타 관련 문헌에 근거함

13012_2022_1245_MOESM6_ESM.docx
0.40MB
13012_2022_1245_MOESM4_ESM.docx
0.06MB
13012_2022_1245_MOESM5_ESM.docx
0.17MB

 

표 3: 업데이트된 CFIR 도메인 및 구성요소 정의 (전체 표는 원문 또는 Supplementary Materials 참조)

 

이후의 섹션에서는, CFIR 업데이트의 핵심 내용을 요약하고, 자세한 내용은 추가 자료 및 CFIR Outcomes Addendum [19]를 참고하라고 독자에게 안내한다.

 

전체 프레임워크 (Overall Framework)

도메인과 구성요소의 명칭 및 정의는, 다양한 혁신(innovations)과 맥락(settings)에 보다 널리 적용될 수 있도록 하기 위한 사용자들의 제안에 따라 수정되었다 [30,31,32,33,34,35]. 이러한 수정에는 다음과 같은 세 가지 주요 용어 변경이 포함된다:

  1. ‘Intervention’ 대신 ‘Innovation’이라는 용어를 사용하였다. 이는 Rogers의 정의에 따라, “새롭게 인식된 아이디어, 실천, 또는 사물(any idea, practice, or object perceived as new)”은 모두 혁신(innovation)으로 간주될 수 있기 때문이다 [36].
  2. ‘Patients’ 대신 ‘Recipients’를 사용하였다. 즉, 해당 혁신으로부터 혜택을 받도록 의도된 사람들(individuals intended to benefit from the innovation)을 의미한다.
  3. ‘Deliverers’는 해당 혁신을 전달하거나 수행하는 사람들(individuals involved in delivering the innovation)을 지칭하는 데 사용된다.

또한, 우리는 ‘이해관계자(stakeholders)’라는 용어를 모두 삭제하였으며, 대신 “이행 노력의 결과에 영향력이나 권력을 가진 사람들(people who have influence and/or power over the outcome of implementation efforts)”이라는 표현을 사용하여, 자료 수집을 위한 표본(sample)을 식별하는 과정에서 이러한 사람들을 지칭하도록 하였다.

 

결과적으로, 모든 도메인과 구성요소는 적어도 ‘경미한 수정(minor revisions)’ 이상을 거쳤다.


인식 vs. 현실에 대한 논의 (Perception vs. Reality)

일부 설문 응답자들은 CFIR이 '인식(perceptions)'을 측정하려는 것인지, 아니면 '현실(actual features)'을 측정하려는 것인지 명확하지 않다고 응답하였다. 예를 들어, 한 응답자는 다음과 같이 지적하였다:

“이 프레임워크가 이행자의 인식(PERCEPTIONS)을 다루는 것인지, 아니면 프로그램의 실제 특성을 반영하려는 것인지 구분하기 어렵습니다. 두 가지 모두 중요해 보입니다.” (설문 응답 중)

 

이러한 우려에 완전히 답변하려면 평가 이론(assessment theory)에 대한 기반 설명이 필요하다. 그러나 우리는, CFIR 구성요소에 대한 질문에 대한 응답은 설정(context) 내 경험에서 비롯된 객관적 현실(objective reality)과 주관적 인식(subjective perceptions)이 혼합된 형태로 나타날 가능성이 높음을 인정한다(자세한 논의는 “Discussion” 섹션 참조).


구성요소 및 하위 구성요소의 추가 (Constructs and Subconstructs)

프레임워크에서 누락된 주제(missing themes)를 보완하고, 각 도메인을 보다 정교하게 발전시키기 위해 새로운 구성요소(constructs)와 하위 구성요소(subconstructs)가 추가되었다. 이로 인해, Innovation 도메인을 제외한 모든 도메인에서 구성요소와 하위 구성요소의 수가 증가하였다. 업데이트된 CFIR은 총 5개 도메인에 걸쳐 48개의 구성요소와 19개의 하위 구성요소를 포함하며, 이 중 한 도메인은 두 개의 하위 도메인(subdomains)을 포함한다. 각 도메인별 변화는 아래 섹션에서 요약되며, 이들은 출판된 문헌의 피드백(참고문헌으로 표기) 및 설문조사 응답을 바탕으로 이루어진 연구팀의 합의(consensus)에 근거한 결정임을 밝힌다.

 


혁신 도메인 (Innovation Domain)

도메인 수준 (Domain Level)

설문 응답자들 중 상당수는 CFIR이 ‘혁신(innovation)’ 자체를 평가하려는 것인지, 아니면 그 혁신을 실행하기 위한 전략(implementation strategy)을 평가하려는 것인지에 대해 의문을 제기하였으며, 두 개념을 명확하게 구분하는 것이 어렵다고 느꼈다. 기존 문헌에서도 혁신과 실행 전략 간에 명확한 경계가 없다는 점이 이행의 복잡성(implementation complexity)을 증가시키는 요인임을 지적해왔다 [22]. 하지만 혁신(innovation)실행 전략(implementation strategy)을 구분하는 것은 다음 두 가지 목적에서 반드시 필요한 과정이다:

  1. 이행 결과(implementation outcomes)에 대한 정확한 인과 귀속(attribution)을 가능하게 하며,
  2. 향후 개입 대상 영역을 명확히 식별할 수 있도록 한다 [28].

이러한 이유로, 개정된 CFIR에서는 사용자에게 혁신(다른 말로 “the thing” [20, 25] being implemented)이 무엇인지 명확히 정의하고, 그 혁신과 실행 전략 간의 경계(boundary)를 설정하도록 안내하고 있다.
또한, 우리는 사용자가 혁신을 정의할 때 참고할 수 있도록 ‘보고 지침(reporting guideline)’의 활용을 권장한다 (표 3 참조).


구성요소 및 하위 구성요소 (Constructs and Subconstructs)

Innovation 도메인의 각 구성요소 이름에는 모두 ‘Innovation’이라는 단어가 추가되었으며, 이를 통해 사용자가 이 도메인의 초점이 실행 전략이 아닌 ‘혁신 자체’에 있다는 점을 인식할 수 있도록 하였다.

 

특히 Innovation Complexity(혁신의 복잡성) 구성요소의 정의는 대폭 수정되었다. 기존에는 “이행의 어려움(difficulty of implementation)”이라는 문구가 포함되어 있었으나, 이는 혁신보다는 실행에 초점을 맞추는 표현이었다. 따라서 개정된 정의에서는 이를 “혁신 자체가 복잡한 경우(the innovation is complicated)”라는 표현으로 대체하여, 초점을 ‘혁신’에 명확히 맞추도록 하였다.


외부 환경 도메인 (Outer Setting Domain)

도메인 수준 (Domain Level)

일부 사용자는 외부 환경(Outer Setting)을 여러 수준(levels)으로 나눌 것을 제안하였고, 반면 다른 사용자들은 외부 환경과 내부 환경(Inner Setting)을 통합하자고 제안하며, 두 환경 간의 경계를 이해하기 어렵다고 호소하였다. 초기 CFIR 논문의 Additional file 1에서는 외부 환경과 내부 환경의 경계를 “겹쳐져 있고(irregular), 불규칙하며, 굵고 회색으로 표시된 선(overlapping, irregular, and thick grayed lines)”으로 시각화하여, 이 둘 사이의 경계가 항상 명확하지 않다는 점을 강조하였다 [17].

 

Lengnick-Hall 등은 이러한 현실을 더욱 확장하여, 연구자들이 ‘개방형 시스템(open-systems)’ 관점을 채택할 것을 제안하였다. 이 관점은 외부와 내부 맥락 간의 상호의존성(interdependence)을 강조하며, 조직을 단순-복잡, 경직-유연, 느슨한 연결-강한 연결과 같은 다양한 수준에서의 상호의존적 시스템의 일부로 간주하게 한다 [37].

 

이러한 개방형 시스템 관점을 수용하는 것이 개념적으로는 도전이 될 수 있지만, 조직의 성과에 영향을 미치는 내부 및 외부 요인을 구분하는 것은 조직과학(organization science)의 핵심 원리 중 하나이다 [38]. 이 구분은 개입(intervention)의 초점을 어디에 맞출 것인지를 결정하는 데에도 중요하다.

 

따라서 개정된 CFIR은 외부 환경과 내부 환경이라는 두 개의 도메인을 유지하면서, 사용자가 자신의 연구 맥락에서 외부 환경과 내부 환경을 객관적으로 정의하도록 안내하고 있다. 필요한 경우, 외부 환경 내에 존재할 수 있는 다양한 수준들(multiple levels of the Outer Setting)을 정의하도록 장려한다.


구성요소 및 하위 구성요소 (Constructs and Subconstructs)

일부 구성요소는 사용자들이 이름이 직관적이지 않거나 (예: Cosmopolitanism), 혼란을 유발한다고 판단한 경우 (예: Peer Pressure) 이름이 변경되었다.

 

또한, 기존의 ‘Patient Needs and Resources(환자의 요구와 자원)’는 두 가지 상이한 주제—환자의 요구에 대한 인식(awareness of needs)과 요구의 우선순위화(prioritization of needs)—를 포함하고 있다는 사용자들의 피드백에 따라 세 개의 구성요소로 분리되었으며, 이 중 일부는 내부 환경 도메인(Inner Setting Domain)과 개인 도메인(Individuals Domain)으로 이동되었다 [39].

 

여러 사용자는 외부 환경 도메인이 미비하게 개발되어 있다(underdeveloped)고 지적하였다 [40, 41]. 이에 따라 개정된 CFIR은 다음과 같은 새로운 구성요소를 추가하여 외부 환경 내 맥락적 영향력을 포착하고자 하였다:

  • 지역 태도(Local Attitudes): 지역사회의 사회문화적 가치와 신념(sociocultural values and beliefs)
  • 지역 조건(Local Conditions): 경제적, 환경적, 정치적, 기술적 조건들(economic, environmental, political, and/or technological conditions)

이러한 구성요소들은 외부 환경 내의 조직들이 혁신의 실행과 전달(delivery)을 얼마나 지지할 의지와 능력을 갖추고 있는지를 설명하는 데 중요하며 [42–47], 이행의 형평성(equity in implementation)에도 영향을 줄 수 있다. 예를 들어, Housing First와 같은 모델은 지역사회 기관의 지지를 필요로 하며 [48], LMICs(저·중소득 국가)에서 자주 나타나는 자원 제약(resource constraints)을 설명하는 데에도 이러한 구성요소가 유용하다 [42].

 

기존 CFIR의 ‘External Policies and Incentives(외부 정책과 인센티브)’는 지나치게 포괄적이라는 이유로 여러 개의 새로운 구성요소로 분리되었으며, 예를 들어 다음과 같은 항목들이 강조되었다:

  • 재정(Financing): 외부 자금 조달의 중요성 [46, 49–51]
  • 외부 압력(External Pressures)의 다양한 형태:
    • 사회적 압력(Societal Pressure): 사회 운동이나 시위(social movements and protests)로부터의 압력 [45]
    • 시장 압력(Market Pressure): 경쟁하거나 모방해야 하는 동종 기관으로부터의 압력
    • 성과 평가 압력(Performance Measurement Pressure): 공개적으로 보고되는 목표를 달성해야 한다는 압력

내부 환경 도메인 (Inner Setting Domain)

도메인 수준 (Domain Level)

일부 사용자들은 내부 환경(Inner Setting)팀이나 부서(teams or units) 수준을 반영하여 여러 수준(levels)으로 구분할 것을 제안하였다 [52, 53, 54]. 이에 따라, 우리는 사용자가 자신의 내부 환경을 객관적으로 정의하도록 안내하였으며, 필요시 추가적인 수준을 설정할 수 있도록 지침을 추가하였다. 예를 들어, Safaeinili 등은 CFIR을 다음의 세 가지 중첩된 수준에 맞게 조정하였다:
(1) 파일럿 클리닉(pilot clinics),
(2) 동료 클리닉(peer clinics),
(3) 보다 큰 보건 시스템(the larger health system) [54].


구성요소 및 하위 구성요소 (Constructs and Subconstructs)

내부 환경 도메인에는 여러 가지 비판에 대응하기 위해 새로운 구성요소 및 하위 구성요소가 추가되었다.
예를 들어, ‘문화(Culture)’ 구성요소는 너무 포괄적이다는 지적이 있었으며, 한 응답자는 다음과 같이 표현하였다:

“결국 이건 ‘이게 어디에 속해야 할지 모르겠는 항목은 다 여기로 넣는’ 그런 범주가 되어버립니다.”
(설문 응답 중)

 

또한 사용자들은 CFIR에서 형평성(equity)에 대한 고려가 부족하다고 지적하였으며 [40, 42], 특히 다음과 같은 사회 구조적 문제를 구체적으로 언급하였다:

“우리가 제공하는 진료의 일부분처럼 자리 잡고 있는 인종차별(racism), 가부장제(patriarchy), 여성혐오(misogyny)”
(설문 응답 중)

 

이에 따라 Culture 구성요소 아래 네 가지 하위 구성요소(subconstructs)가 새롭게 추가되었다:

  • 인간 평등 중심성(Human Equality-Centeredness)
  • 수혜자 중심성(Recipient-Centeredness)
  • 제공자 중심성(Deliverer-Centeredness)
  • 학습 중심성(Learning-Centeredness)

이들은 이행의 형평성에 영향을 줄 수 있는 결정 요인들(determinants)을 사용자가 보다 명확히 파악할 수 있도록 돕는다.


또한, 우리가 별도로 발표한 동반 논문(The CFIR Outcomes Addendum) [19]에서 설명했듯이, ‘이행 기후(Implementation Climate)’와 ‘이행 준비도(Readiness for Implementation)’는 개정된 CFIR에서 제거되었다. 이 두 구성요소에 대해 의견을 제시한 사용자는 많지 않았으나, 일부는 이들의 의미와 구조 내 하위 구성요소의 중첩(nesting)에 대해 의문을 제기하였다. 예컨대,

  • 리더십 참여(Leadership Engagement),
  • 사용 가능한 자원(Available Resources),
  • 지식 및 정보에 대한 접근성(Access to Knowledge and Information)
    은 모두 ‘이행 준비도’ 안에 포함되어 있었다.

비록 많은 이들이 이행 기후와 준비도가 여러 결정 요인들의 함수(function of multiple determinants)임을 인정하고 있지만, 정확히 어떤 결정 요인들이 그것을 구성하는지에 대한 합의(consensus)는 없는 상태이다. 이에 따라, 우리는 이 두 구성요소를 보다 적절하게 재분류하였으며, 이를 이행 결정 요인과 결과 간의 경로상에 위치한 ‘선행 평가(antecedent assessments)’로 재정의하였다 [55]. 이 재분류는 CFIR Outcomes Addendum [19]에 반영되어 있다.

 

개인 도메인 (Individuals Domain)

도메인 수준 (Domain Level)

많은 사용자들은 CFIR이 “개인 수준의 구성요소(individual-level constructs)가 충분하지 않다”고 느꼈으며 [45], CFIR에서 정확히 어떤 ‘개인’이 포함되는지도 불분명하다고 지적하였다 [45,46,47,56,57,58,59].
또한, 기존 개인 도메인의 구성요소들이 다른 도메인의 구성요소들과 중복(overlap)되며, 더 중요한 개인 수준의 특성들을 제대로 포착하지 못하고 있다고 평가하였다.
한 사용자는 이러한 피드백을 다음과 같이 요약하였다:

“CFIR은 ‘누가 그 개인들인가’ 그리고 그들의 ‘기저 특성(underlying characteristics)’에 더 집중해야 합니다.”
(설문 응답 중)

 

이러한 이유로, Individuals Domain은 대폭 재구성되었으며, 두 개의 하위 도메인(subdomains)으로 나뉘게 되었다:

  • 역할(Roles)
  • 특성(Characteristics)

역할 하위 도메인 (Roles Subdomain)

기존 CFIR에서는 여러 개인의 역할(roles)이 세 개의 도메인에 흩어져 존재했다:

  • Patient Needs and Resources(환자의 요구와 자원)는 외부 환경(Outer Setting)에 포함되어 있었고,
  • Leadership Engagement(리더십 참여)는 내부 환경(Inner Setting)에 포함되어 있었으며,
  • 구체적인 실행 관련 역할들(예: 공식 임명된 내부 실행 리더 Formally Appointed Internal Implementation Leaders)은 과정 도메인(Process Domain)에 포함되어 있었다.

이제 이러한 역할들은 모두 새로 신설된 역할 하위 도메인으로 이동되었으며, Implementation Team Members(이행 팀 구성원)추가적인 역할들도 포함되었다 [60]. 또한, Formally Appointed Internal Implementation LeaderChampion이라는 두 구성요소는 사용자들이 두 역할을 명확히 구분하지 못한다는 피드백 [61]과 champions에 대한 문헌 리뷰의 결과 [62]에 따라, ‘Implementation Leads(이행 리더)’라는 단일 구성요소로 통합되었다.


특성 하위 도메인 (Characteristics Subdomain)

사용자들은 기존의 특성 구성요소들이 다른 도메인의 구성요소와 중복된다고 지적하였다. 예컨대, ‘Knowledge and Beliefs(지식과 신념)’는 혁신 도메인(Innovation Domain)의 모든 구성요소와 중복되는 경향이 있었다. 또한, 기존 도메인이 다음과 같은 더 중요하고 실질적인 개인 특성들을 포착하지 못한다는 점도 문제로 지적되었다 [46, 47, 59]:

  • 전문적 역할 및 정체성(professional roles and identities)
  • 기술 및 역량(skills and capabilities)
  • 자율성(autonomy)
  • 개입 수준(level of involvement)

이러한 이유로, 일부 사용자들은 CFIR의 개인 도메인을 행동 변화 이론을 통합한 Theoretical Domains Framework (TDF)와 결합해서 사용해왔다. TDF는 “수많은 행동 변화 이론을 단순화하고 통합하여, 이론을 보다 쉽게 타 학문에서도 접근하고 사용할 수 있도록 만들기 위한 목적”으로 개발되었다 [63].

 

또한, COM-B 시스템행동 변화의 핵심 영역을 단순하게 구조화한 이론적 모델로서, 행동 이론가들의 합의(consensus)와 형법학에서 자발적 행동(volitional behavior)을 정의하는 전제 조건 원칙을 바탕으로 개발되었다 [29].

 

이에 따라, 기존 CFIR의 개인 특성 구성요소들은 제거되었으며, 그 자리에 Michie 등(Michie et al.)의 COM-B 시스템 [29]에 기반한 구성요소들이 새롭게 포함되었다.

 

COM-B 시스템은 인간의 행동이 다음 세 가지 범주에 의해 형성된다고 본다:

  • 역량(Capability): 예, 기술(skills)
  • 기회(Opportunity): 예, 자율성(autonomy)
  • 동기(Motivation): 예, 몰입(commitment)

COM-B 구성요소들은 TDF의 14개 도메인과 각각 연결(mapping)되어 있으며, 이를 통해 CFIR 사용자는 총 84개의 행동 변화 관련 이론적 구성요소들의 저장소(repository)로 접근할 수 있다. 또한, 사용자는 필요시 자신만의 구성요소를 추가하고 이를 COM-B에 매핑할 수 있도록 권장된다. 예를 들어 다음과 같은 이론, 모델, 프레임워크를 활용할 수 있다:

  • 행동 변화(Behavior Change) 관련:
    • TDF [63, 64]
    • 계획된 행동 이론(Theory of Planned Behavior) [65]
    • 사회 생태 이론(Social Ecological Theory) [66]
      → 이는 혁신 수혜자(Innovation Recipients) 및 혁신 제공자(Innovation Deliverers)에 적용 가능
  • 촉진(Facilitation)프로젝트 관리(Project Management) 관련:
    → Implementation Facilitators 및 Implementation Leads에 관련된 구성요소 제시 가능 [67–70]
  • 리더십(Leadership) 관련:
    → 고위 및 중간 관리자(High- and Mid-Level Leaders)에 적용 가능 [67, 68]

마지막으로, 우리는 ‘Need(요구)’ 구성요소를 새롭게 추가하였다. 이는 모든 이해당사자(constituents)에게 중요한 결정 요인이라는 피드백 [56]에 기반하며, 기존 CFIR의 ‘Patient Needs and Resources’ 구성요소의 핵심 측면을 포착하기 위한 목적이다.

 

이행 과정 도메인 (Implementation Process Domain)

도메인 수준 (Domain Level)

우리는 사용자들이 자신의 전반적인 접근 방식 또는 이행 과정 프레임워크(implementation process framework)를 명시하도록 권장하는 지침을 추가하였다. 예를 들어, Interactive Systems Framework와 같은 모델이 여기에 해당한다 [71]. 이러한 지침은 ‘혁신(Innovation)’과 ‘이행 과정(Implementation Process)’ 및 그에 수반되는 실행 전략(implementation strategies)을 명확하게 구분하는 데 도움을 준다. 일부 사용자들은, 이행 과정 도메인이 맥락적 요인(contextual factors)이 아니라 전략(strategies)을 포함하는 것처럼 보인다며 CFIR 내 포함 여부에 의문을 제기하였다.

 

이에 대해 우리는 다음과 같이 명확히 설명한다:

이 도메인의 목적은 각 이행 과정이 실행 중 ‘어느 정도로’ 발생하였는지를 포착하고, 그것이 이행 결과에 어떤 영향을 미쳤는지를 평가하는 것이다.

 

또한, 2009년 이후 축적된 과학적 진전(scientific advancement)과 여러 이행 프레임워크 및 집단 수준 변화 이론(collective-level change theories)에서 공통적으로 강조되는 요소들을 반영하여, 개정된 CFIR에는 추가 구성요소들이 포함되었다 [8, 72].

 

어떤 이행 프레임워크(process framework)를 사용하는지, 그리고 어떤 실행 전략을 선택하는지에 따라 [26, 27], 사용자는 이 도메인에 다른 적절한 구성요소들을 추가할 수 있다.


구성요소 및 하위 구성요소 (Constructs and Subconstructs)

개정된 CFIR에서는 이행 과정 도메인의 구성요소 수를 확장하였다. 이는 기존 프레임워크에서 핵심적인 과정(processes) 및 전략(strategies)이 누락되어 있다는 비판에 대응한 것이다. 비록 Expert Recommendations for Implementing Change (ERIC)에서 제시한 73가지 이행 전략 전체를 CFIR에 포함하는 것은 범위 밖이지만, 그 중 일부 우수 실행 전략(best practices)이 선택적으로 포함되었다:

  • 팀 구성(Teaming) [42, 46, 73]
  • 요구 평가(Assessing Needs) [46, 47]
  • 맥락 평가(Assessing Context)
  • 전략 맞춤화(Tailoring Strategies) [14]
  • 적응(Adapting) [45, 74, 75]

특히, 혁신을 조정(adapt)하는 것의 중요성은 기존 문헌에서 강조되어 왔으며 [76], 개정된 CFIR은 ‘혁신’뿐만 아니라 ‘이행 환경(setting)’도 함께 조정해야 함을 강조하고 있다 [77].

 

또한, ‘요구 평가: 혁신 수혜자(Assessing Needs: Innovation Recipients)’와 ‘참여 촉진: 혁신 수혜자(Engaging: Innovation Recipients)’라는 구성요소의 추가는, 개정된 CFIR이 혁신 수혜자(Innovation Recipients)를 중심에 두고, 그들의 요구와 참여를 이행 형평성(equity in implementation)의 중요한 결정 요인으로 간주하도록 사용자들을 안내하는 데 목적이 있다.

 

 

논의 (Discussion)

CFIR 초판(original CFIR article)에서는 사용자들에게 다음의 세 가지 핵심 질문에 대한 성찰(reflection)을 논문으로 출판해줄 것을 요청한 바 있다:

  • (1) 프레임워크의 용어 및 언어는 일관성이 있는가?
  • (2) 이 프레임워크는 시간이 지남에 따라 다양한 맥락 및 연구 간의 결과 비교를 촉진하는가?
  • (3) 이 프레임워크는 새로운 이론적 발전(theoretical development)을 자극하는가?

이러한 질문에 대한 피드백은 CFIR의 발전에 활용되었다. 그러나 문헌 고찰에 포함된 376편 중 단 59편(15.7%)만이 CFIR 개선을 위한 피드백을 포함하고 있었다. 반면, 이번 설문조사를 통해 이 비율은 2.5배 증가하여, 전체 334명의 저자 중 40%가 피드백을 제공하였다.

 

우리는 Kislov 등 [16]의 주장을 되새기며, ‘이론화(theorizing)’란 반복적(iterative)이고 순환적(recursive)인 과정이며, 이론은 더 이상 ‘고정되고 불변하는(fixed and immutable)’ 것이 아니라, 살아 있고 변화하며 발전하는 일련의 제안들, 원칙들, 가설들이라는 관점에 공감한다. 우리의 작업은 각 연구에서 이론을 적용할 때마다 그 이론을 구성하는 하나의 요소로써 기여한다.


구성요소의 추가(addition of constructs)는 개정된 CFIR이 기존에 발표된 다른 프레임워크들과 더 잘 정렬(alignment)되도록 한다. 예를 들어, Nilsen과 Bernhardsson은 17개의 결정 요인 프레임워크(determinant frameworks)를 명확히 구분되는 차원들(dimensions)을 기준으로 평가하였다. 그 결과, CFIR 초판은 이들 중 12개 차원 중 10개만을 다루고 있었으나, 개정된 CFIR은 다음과 같은 구성요소를 추가함으로써 이제 12개 전부를 포괄하게 되었다:

  • Individuals Domain의 'Characteristics: Opportunity' 구성요소: 전담 시간(dedicated time)을 포착
  • Inner Setting Domain의 'Structural Characteristics: Physical Infrastructure' 하위 구성요소: 물리적 환경(physical environment)을 포착 [41]
  • 또한, Outer Setting의 확장은 개정된 CFIR이 다른 실행 및 정책 프레임워크들 [18, 78–80]과 더욱 긴밀하게 정렬되도록 한다.

프레임워크의 범위와 목적 (Framework Scope and Purpose)

우리가 별도로 발표한 동반 논문(CFIR Outcomes Addendum)에서 자세히 설명했듯이, 일부 사용자들은 CFIR의 확장을 제안하였다. 그 내용은 다음과 같다:

  • (1) 이행 결과(implementation outcomes)와 혁신 결과(innovation outcomes)를 포함할 것,
  • (2) 혁신 수혜자(innovation recipients)로부터 수집한 혁신 결과의 결정 요인들(determinants)을 포함할 것 [19].

하지만 이러한 제안은 CFIR의 범위(scope) 밖에 해당한다. CFIR은 ‘이행 결정 요인 프레임워크(implementation determinant framework)’로 정의되며, 이행 결과에 대한 장애 요인과 촉진 요인(barriers and facilitators to implementation outcomes)을 기술하기 위해 고안된 것이다 [8, 17]. 

 

CFIR Outcomes Addendum은 타 프레임워크들에 기반하여 이행 결과를 식별하는 데 도움이 되는 상위 수준(high-level)의 지침을 제공하며 [81, 82], CFIR 구성요소에 대한 자료는 이행 결과에 ‘영향력이나 권력을 가진 사람들’로부터 수집되어야 함을 명확히 한다. 실제 이행에 참여하지 않은 수혜자(recipient)로부터 수집된 데이터는 ‘혁신의 결정 요인과 결과’에 대한 정보의 원천으로 사용되어야 한다.


구성요소의 조작화 (Construct Operationalization)

CFIR은 일반화된 프레임워크(generalized framework)이지만, 교육, 농업, 지역사회, 저소득 및 중간소득 국가 등 다양한 혁신 및 맥락에 맞추어 변형(adaptations)되어 사용되어 왔다 [42, 46, 47, 54] (자세한 내용은 Additional file 3 참조).

 

비록 CFIR은 각 구성요소에 대한 비교적 상세한 정의를 제공하고 있지만 [9], 사용자들이 자신의 맥락과 혁신 전달에 참여하는 개인에게 의미 있는 방식으로 해당 구성요소를 조작화(operationalize)하는 것이 필수적이다. 즉, 각 구성요소를 해당 맥락에 맞게 조정하고, 그에 적합한 언어를 사용하는 방식으로 구체화할 필요가 있다.


구성요소 선택 (Construct Selection)

개정된 CFIR은 구성요소의 수를 크게 확장하였다. 하지만 프레임워크의 모든 구성요소를 평가하는 것은 현실적으로 불가능한 경우가 많으며, 모든 프로젝트에 모든 구성요소가 적용되는 것도 아니다. 따라서 목적에 맞는 구성요소 하위 집합을 선택하기 위해, 사용자는 다음과 같은 근거를 활용할 수 있다:

  1. 전문가와의 합의 중심 논의(consensus discussions) 또는 설문조사(surveys)
  2. 실증 연구(empirical studies) 또는 과거 연구
  3. 조직 수준[40] 또는 개인 수준[63, 83]의 변화(change)에 관한 이론, 정책 이론(policy theories)

예를 들어, Klein 등(Klein et al.)이 개발한 7개의 구성요소로 구성된 이행 모델한 연구에서 평가의 초점을 좁히는 데 활용되었다 [84, 85]. 모든 경우에 있어, 기존 구성요소로 포착되지 않는 주제를 탐색하기 위해 반드시 개방형 질문(open-ended questions)을 통해 자료를 수집하고 분석할 필요가 있다. 또한, 설령 일부 구성요소만을 자료 수집의 틀로 사용하더라도, 분석, 해석, 또는 보고 단계에서는 CFIR의 다른 구성요소를 기준으로 자료를 추가적으로 코딩하는 것이 바람직하다.


구성요소 측정 (Construct Measurement)

대다수의 CFIR 사용자는 구성요소를 평가하기 위해 질적 방법(qualitative methods)을 사용한다 [13]. 그러나 최근에는 정량적 평가 접근법(quantitative assessment approaches)을 채택하는 사용자도 늘어나고 있다. 이에는 질적 데이터를 수량화(quantify)하는 방법, 즉 각 구성요소에 대해 긍정–부정(valence), 약함–강함(strength)의 등급을 부여하는 평가 방식이 포함된다 [86, 87].

 

측정 과정에서의 핵심 도전 과제는 무엇을 측정할 것인가에 대한 초점이다. 몇몇 사용자는 구성요소가 ‘인식(perceptions)’을 포착하려는 것인지, ‘객관적 현실(objective reality)’을 측정하려는 것인지에 대한 명확한 설명을 원했다. 이에 따라, 우리는 구성요소 수준에서 CFIR 사용자들이 구성요소가 “어느 정도로(the degree to which)” 나타나는지를 질문하도록 명시적으로 안내한다. 사람들의 응답은 보통 직장 내 사회적 상호작용을 통해 형성된 인식과 공유된 의미(perceptions and shared meanings)뿐 아니라, 구체적인 요인이 존재하는지 여부에 대한 객관적 판단(objective consideration)에 기반하여 결정된다 [88]. 

 

따라서 “어느 정도로(the degree to which)” 구성요소가 발현되는지를 평가하는 접근은, 주관적 판단과 객관적 사실이 혼합된 응답을 유도할 가능성이 높다. 예를 들어, ‘구조적 특성: 정보기술 인프라(Structural Characteristics: IT Infrastructure)’는 전자 의무기록 시스템(EHR)의 존재 여부라는 객관적 사실뿐 아니라, 그 시스템이 내부 환경에서의 기능적 수행을 얼마나 잘 지원하는지에 대한 주관적 인식까지도 함께 포착할 수 있다.


이행 맥락(context)을 측정하는 도구에 대한 체계적 문헌 고찰(systematic reviews)이 여러 차례 수행되었으며, 이들 연구는 측정 도구의 부재와 검증 필요성(measure validation and development)에 대한 지속적인 필요를 공통적으로 보고하였다 [89–95].

정량적 측정 도구를 개발할 때에는 이론적 기반(theoretical foundation)과의 긴밀한 연계가 필수적이며, 측정 도구의 검증은 구성요소가 포착하고자 하는 이론적 구조의 경험적 타당성(empirical validity)을 입증하는 것과 관련이 있다. 이에는 적절한 응답 척도(response scale)의 사용도 포함된다 [96].

 

Lewis 등(Lewis et al.)은 원래 CFIR 구성요소에 대한 측정 도구 리뷰를 수행하였으며 [10], 행동 건강 영역의 의료 전문가 또는 리더에게 배포된 설문지를 타당성(validity)과 실용성(pragmatism)이라는 다차원 기준에 따라 평가하였다 [97, 98]. 가장 높은 평가를 받은 도구들은 대부분 자가 보고(self-rating) 방식이며, Likert 척도(Likert-type scales)를 사용하였다. 

 

개정된 CFIR에서는, 각 구성요소 정의 앞에 ‘어느 정도로(the degree to which)’라는 문구를 추가함으로써, 명확한 구성요소 명칭(label)과 정의(definition)와 함께, 정량적 도구 개발 시 구성 타당도(construct validity) 및 내용 타당도(content validity)를 평가하기 위한 강력한 출발점을 제공한다.


이행의 형평성 (Equity in Implementation)

개정된 CFIR은 이행의 형평성과 관련된 결정 요인(determinants)을 보다 잘 평가할 수 있도록 새로운 구성요소들을 포함하고 있지만, 우리는 사용자들에게 다음과 같은 점을 강력히 권고한다: 형평성, 정의(justice), 또는 차별 금지(non-discrimination)에 관한 이론을 CFIR과 결합하여 이행의 모든 측면을 바라보는 렌즈로 삼기 위해 형평성 전문가(equity experts)와 협력하라 [99, 100].

 

예를 들어, Allen 등은 공중보건 비판적 인종 실천(Public Health Critical Race Praxis)을 활용하여 CFIR을 재구성하였고, 구조적 인종차별(structural racism)이 형평성 프로그램의 이행 전반에 어떻게 영향을 미치는지를 모든 구성요소를 통해 분석하였다 [101].수십 년에 걸친 연구들은 개인의 특성(예: 인종 race) 및 구조적 요인(예: 의료 접근성 access to care)이 서비스 및 건강 결과에서의 불평등을 어떻게 드러내는지를 보여주었다 [102].

 

그러나 이제 우리는 더 상위의 구조적 원인(upstream)을 바라보아야 하며, 겉보기에는 개인 요인처럼 보이는 결정 요인들(spurious individual-level determinants)을 넘어서서, 그러한 결과의 근원이 되는 인종차별과 기타 억압 체계(racism and other systems of oppression)의 역할을 인정해야 한다 [103–105].

 

Lett 등은 우리에게 다음과 같은 질문을 던지며 형평성을 중심에 둘 것을 요구한다 [99]:

이 연구에 대표되는 집단은 누구인가?
이 연구는 어떤 식으로 해를 끼칠 수 있는가?

 

이를 위해 우리는 다음과 같은 요소들을 인식하고 실천할 필요가 있다:

  • 자신의 위치성(positionality)을 이해하기: 우리가 누구인지, 그리고 누가 이행에 대한 영향력과 권한을 가져야 하는지에 대한 인식
  • 지역사회와의 협업 및 형평성 전문 연구자들과의 깊이 있는 협력
  • 연구에서 시급함(urgency)보다 지속가능성(sustainability)을 우선시하는 태도

우리 연구팀 역시 형평성 전문성의 부족과 제한된 위치성(narrow positionality)으로 인해, CFIR 내에서 형평성을 충분히 중심에 두는 급박한 필요성(urgent need)을 온전히 해결할 수 없음을 인정한다.


그럼에도 불구하고, 이행과학 연구자들은 억압(oppression)에 맞서 싸울 수 있는 독특한 위치에 있다. 우리는 이행의 형평성(equitable implementation)을 위협하는 억압의 양상이 모든 도메인에서 결정 요인으로 어떻게 나타나는지를 이해함으로써 이를 해결할 수 있다. 전문 실천 내에서 형평성을 중심에 두고(centering equity), 협업적 비판(collaborative critique)과 성찰적 방법(reflexive methods)을 내재화하기 위한 역량을 구축하는 접근법은 이미 존재하며, 이를 통해 실질적인 변화를 이끌어낼 수 있다 [106].

 

우리는 역사적으로 배제되어 온 집단(historically excluded groups)의 구성원을 이행 및 평가 과정에 포함시키고, 그들과 권력을 공유하는 방식으로 기존의 억압 체계를 전복(subvert)할 기회를 적극적으로 모색해야 한다. 예를 들어, 혁신을 처음 실행할 때, 형평성을 고려한 이행 전략을 도출하기 위해 다층적 접근법(multilevel approach)을 사용할 수 있다 [100]. 이에는 다음과 같은 전략이 포함된다:

  • 수혜자 및 지역사회 구성원들을 이행 전략 및 혁신의 선정과 조정 과정에 참여시키는 것

이행을 평가할 때는, 형평성에 초점을 둔 프레임워크(equity-focused framework) (예: HEIF [107])와, 보다 넓은 이론적 관점 (예: 비판적 인종 이론(critical race theory) [101, 108])을 CFIR과 결합하여 결정 요인 및 이행 결과를 식별해야 하며,
역사적으로 배제되어 온 수혜자와 제공자(historically excluded recipients and deliverers)를 이 평가 과정에 의도적으로 포함시켜야 한다 [99].

한계점 (Limitations)

이번 설문조사는 문헌 검색을 통해 확인된 저자들만을 대상으로 발송되었으며, 해당 문헌 검색은 2020년 7월 이전에 발표된 논문 중 제목(title) 및/또는 초록(abstract)에 CFIR이 포함된 논문으로 한정되었다. 그 결과, 다음과 같은 귀중한 피드백들이 누락되었을 가능성이 있다:

  • (1) 다른 결정 요인 프레임워크를 사용한 이행 과학자 및 실무자들,
  • (2) CFIR을 사용했으나 논문 제목 또는 초록에 이를 명시하지 않은 저자들,
  • (3) 2020년 7월 이후 CFIR 관련 논문을 발표한 저자들.

 

경험이 부족한 사용자나 비사용자(non-users)를 포함하는 것이 CFIR의 원리와 설계 범위를 넓히는 데 기여할 수도 있다. 그러나 우리는 CFIR 사용 경험이 있는 연구자들로부터의 피드백에 집중하는 전략적 선택을 하였다. 이들은 CFIR을 실제로 적용해 본 경험을 통해 프레임워크의 문제점과 개선 방향에 대한 직접적인 통찰을 가지고 있기 때문이다. 2020년 7월 이후 문헌을 검색하여 반영하는 것은 불가능했으나, 그 대신 대규모 사건(예: COVID-19 팬데믹)이 이행과 혁신 전달(delivery)에 미치는 영향을 포착하기 위해 'Outer Setting: Critical Incidents'라는 새로운 구성요소를 추가하였다. 또한, 많은 설문 응답자들이 CFIR을 어떻게 적용할지, 특정 구성요소 쌍(dyads)이나 클러스터(cluster)를 어떻게 구분할지를 명확히 해달라고 요청하였다. 이번 논문에서는 이 점을 충분히 다루지 못했지만, 향후 사용자들을 위한 실용적 적용 가이드(practical application guide)를 출판할 계획이다. 제한점과 미비점이 존재하고 CFIR은 여전히 진화가 필요한 프레임워크이지만, 이번 개정판은 이행과학 분야에 필요한 여러 중요한 업데이트를 제공한다.


향후 연구 (Future Research)

이번 개정된 CFIR은 사용자 피드백에 기반한 점진적 변화(incremental change)를 반영한 것으로, 응답자의 약 3분의 2가 2편 이상의 연구에서 CFIR을 실제로 사용한 경험을 갖고 있었다. CFIR (및 기술 지원 웹사이트 [110])은 공공 자원(public resource)이자 공동 재화(common good)로서, 모두에게 무료로 열려 있으며, 앞으로도 지속적으로 발전해 나가야 한다.

 

우리는 이행과학자들에게 다음을 촉구한다: 형평성 및 정의, 경영학, 조직과학 등의 다른 분야 연구자들과 협업하여 CFIR의 지속적 발전에 기여하고, 더 넓은 사용자 공동체(user community)로부터의 피드백을 바탕으로 이 프레임워크를 더욱 심화·확장시켜라.


우리의 비판과 성찰에 대한 요청(call for critique and reflection)은 다른 연구자들 역시 공감하고 있다 [16, 111]. 우리 팀은 이러한 발전을 지원(support)할 수는 있지만, CFIR의 소유자(owner)가 아니며, 세계를 대표하는 집단도 아니다. 따라서 우리는 다양한 영역의 연구자들에게 CFIR의 다음 세대로의 도약을 위한 열린 초대(open invitation)를 보낸다.

 

앞으로 필요한 발전 과제는 다음과 같다:

  • 형평성을 고려하여 프레임워크를 조작화(operationalize)
  • 저·중소득국(LMIC)과 같은 특정 상황에 맞게 프레임워크를 조정(adapt)
  • 다른 결정 요인 프레임워크와의 비교(mapping)를 통해 공백(gaps)을 식별하고, 동의어(synonymy) 및 다의어(polysemy) 문제(construct fallacies) 해결
  • 정성적, 혼합, 정량적 방법 개발 및 적용
  • 검증된 측정 도구(validated measures)의 지속적인 개발
  • 프레임워크의 반복적 진화(iterative evolution)를 위한 이론적 기반 구축
  • 각 구성요소 간의 관계 및 이행 결과와의 관계에 대한 탐색
  • 각 구성요소의 의미적 정체성(semantic identity)을 명확히 하기 위한 탐색

또한, 경험적 연구 결과에 대한 체계적 문헌고찰(systematic reviews)이 필요하며, 이는 프레임워크 전반에 걸친 이론적 개념을 정교화하는 데 필수적이다. 구성요소 간의 상호관계를 이해하기 위해서는 중간 범위 이론(middle-range theories)의 개발이 필요하다 [16]. 우리 팀은 인과성(causation) 및 관계 코딩(relationship coding)의 사용을 탐색하였으며, 이를 통해 결정 요인들이 특정 이행 프로젝트 내에서 어떻게 상호작용하는지를 분석하고자 하였다 [113, 114]. 예를 들어, Kerins 등(Kerins et al.)은 ‘메뉴 라벨링(menu labeling)’ 이행 프로젝트에 대한 체계적 문헌고찰을 바탕으로, 구성요소 간의 관계를 포함한 CFIR의 수정 버전을 개발하였다 [45]. 또한, 동시 발생 분석(coincidence analysis) 및 기타 새로운 분석 방법들원하는 결과로 이어지는 구성요소의 클러스터(cluster)를 탐색하는 데 활용될 수 있다 [115].


결론 (Conclusion)

이번 CFIR의 개정은 점점 커지고 있는 사용자 공동체의 피드백을 반영한 것이다. 비록 다양한 업데이트가 있었지만, 개정된 각 구성요소는 원래 CFIR과의 매핑(mapping)이 가능하므로, 장기적 연속성(longitudinal consistency)을 보장할 수 있다. 우리는 사용자들이 개정된 CFIR을 적용할 수 있도록 다양한 부속 문서(additional files)를 제공하였고, 기술 지원 웹사이트(technical assistance website) 또한 CFIR을 지원하도록 업데이트될 예정이다 [110]. 과거에 피드백을 주신 사용자들께 깊은 감사를 표하며, 미래의 사용자들도 CFIR을 공동 재화(common good)로서 계속 비판하고 발전시켜 나가기를 독려한다.

 

 

 

📘 CFIR 개정판 – Innovation 도메인

✅ 프레임워크 안내 (Framework guidance)

CFIR은 이행 결과(implementation outcomes)에 대해 영향력(power) 또는 영향(influence)을 가진 개인들로부터 데이터를 수집하기 위해 사용됩니다. → 관련 개인을 식별하고 결과를 선정하는 방법은 CFIR Outcomes Addendum을 참고하세요 [19]. CFIR을 프로젝트에 적용하기 전, 반드시 충분히 조작화(operationalize)해야 하며, 다음을 포함해야 합니다:

  1. 각 도메인의 주제를 명확히 정의할 것 (도메인별 안내 참조)
  2. 구성요소의 일반적인 언어를 프로젝트에 맞게 구체적인 언어로 바꿀 것
  3. 업데이트된 CFIR에 포함되지 않은 중요한 주제를 포착하기 위한 구성요소를 추가할 것

I. Innovation 도메인

Innovation: “혁신(innovation)”이란 이행되고 있는 ‘무엇(the thing)’을 의미합니다.
예: 새로운 임상 치료법, 교육 프로그램, 도시 서비스 등 [20].

 

Project Innovation: 이행 중인 혁신의 특성(예: 유형, 핵심 요소 vs. 조정 가능한 요소)을 명시하고, 공식 보고 지침(published reporting guideline)을 기반으로 문서화할 것을 권장합니다 [21–24]. 특히, ‘이행이 완료된 후에도 지속되는 것(the thing)’으로서의 혁신과, 이 혁신을 실행하기 위해 사용된 실행 과정 및 전략(implementation process and strategies)을 구별해야 합니다 [20, 25, 26, 27, 28].


🧩 Innovation 도메인의 구성요소 및 정의

  • A. Innovation Source (혁신의 출처)
    → 이 혁신을 개발하고/또는 명시적으로 후원한 집단이 신뢰할 수 있고, 평판이 좋고, 믿을 만하다고 여겨지는 정도
  • B. Innovation Evidence Base (혁신의 근거 기반)
    → 이 혁신이 효과성을 뒷받침하는 충분한 근거(evidence)를 가지고 있는 정도
  • C. Innovation Relative Advantage (혁신의 상대적 이점)
    → 이 혁신이 현재의 관행이나 다른 가용 혁신에 비해 우월한 정도
  • D. Innovation Adaptability (혁신의 조정 가능성)
    → 이 혁신이 현지 맥락(local context)이나 요구(needs)에 맞게 수정, 맞춤화, 정제될 수 있는 정도
  • E. Innovation Trialability (혁신의 시험 가능성)
    → 이 혁신이 소규모로 시범적(pilot)으로 적용되거나 테스트될 수 있는 정도,
    그리고 실패 시 되돌릴 수 있는 정도
  • F. Innovation Complexity (혁신의 복잡성)
    → 이 혁신이 복잡하게 구성되어 있는 정도.
    예: 범위(scope), 연결 관계 수, 단계 수 등으로 인해 복잡하게 느껴질 수 있음
  • G. Innovation Design (혁신의 설계)
    → 이 혁신이 어떻게 설계되고, 구성되고(assembled), 통합되고(bundled), 제시되는지(presented)에 따라
    패키징이 잘 되어 있는지의 정도
  • H. Innovation Cost (혁신의 비용)
    → 구매 비용(purchase cost)과 운영 비용(operating cost)이 적절하게 감당 가능한 정도

 

감사합니다. 이번에는 Table 3의 II. Outer Setting 도메인 부분을 충실히 번역해드리겠습니다. 요청하신 대로 표 형태는 자연스러운 서술형으로 풀어내고, 중요 개념은 굵게 표시, 전문 용어는 영어 병기로 병기하였습니다.


II. 🏙️ Outer Setting 도메인

Outer Setting은 Inner Setting(내부 환경)이 속해 있는 환경을 의미합니다.
예를 들어, 병원 시스템(hospital system), 학군(school district), 주(state) 등이 이에 해당하며, 하나의 Outer Setting 안에 여러 수준(multiple levels)이 존재할 수 있습니다. 예: 지역사회(community), 시스템(system), 주(state) 등

Project Outer Setting(s)에서는 해당 프로젝트의 실제 외부 환경이 무엇인지, 예: 유형, 위치, 그리고 Outer/Inner Setting 간의 경계 등을 문서화해야 합니다.


주요 구성요소와 정의

  • A. Critical Incidents (중대한 사건)
    → 혁신의 이행 및 전달을 방해하는 대규모 또는 예기치 못한 사건들의 영향력
    • Large-scale and/or unanticipated events disrupt implementation and/or delivery of the innovation.
  • B. Local Attitudes (지역적 태도)
    → 지역 사회의 사회문화적 가치(sociocultural values)신념(beliefs),
    예: 수혜자를 돕는 데 있어 책임을 공유해야 한다는 인식 등
    이러한 태도가 혁신의 이행 및 전달을 지지하도록 Outer Setting에 영향을 주는 정도
    • Sociocultural values (e.g., shared responsibility in helping recipients) and beliefs (e.g., convictions about the worthiness of recipients) encourage the Outer Setting to support implementation and/or delivery of the innovation.
  • C. Local Conditions (지역적 조건)
    경제적, 환경적, 정치적, 기술적 조건이 Outer Setting이 혁신을 지원할 수 있도록 도와주는 정도
    • Economic, environmental, political, and/or technological conditions enable the Outer Setting to support implementation and/or delivery of the innovation.
  • D. Partnerships & Connections (파트너십 및 연결)
    Inner Setting이 외부 기관과 연결되어 있는 정도,
    예: 의뢰 네트워크(referral networks), 학술 협력(academic affiliations), 전문 조직 네트워크 등
    • The Inner Setting is networked with external entities, including referral networks, academic affiliations, and professional organization networks.
  • E. Policies & Laws (정책 및 법률)
    법률, 규제, 전문 단체의 지침과 권고사항, 또는 인증 기준(accreditation standards)이
    혁신의 이행 및 전달을 지원하는 정도
    • Legislation, regulations, professional group guidelines and recommendations, or accreditation standards support implementation and/or delivery of the innovation.
  • F. Financing (재정 지원)
    → 외부 기관(external entities)으로부터의 자금 지원(예: 보조금, 환급 등)이
    혁신의 이행 및 전달을 위해 사용 가능한 정도
    • Funding from external entities (e.g., grants, reimbursement) is available to implement and/or deliver the innovation.

G. External Pressure (외부 압력)

외부 압력은 혁신의 이행 및 전달을 유도하거나 촉진하는 외부 요인들입니다.
이 구성요소는 아래 하위 구성요소(subconstructs)로 포함되지 않는 외부 압력 테마를 포착하는 데 사용합니다.

External pressures drive implementation and/or delivery of the innovation.
Use this construct to capture themes related to External Pressures that are not included in the subconstructs below.

  1. Societal Pressure (사회적 압력)
    언론 캠페인, 시민단체, 사회운동, 시위 등이 혁신의 이행 및 전달을 유도
    1. Mass media campaigns, advocacy groups, or social movements or protests drive implementation and/or delivery of the innovation.
  2. Market Pressure (시장 압력)
    동종 기관의 경쟁 또는 모방 욕구가 혁신의 이행을 촉진
    1. Competing with and/or imitating peer entities drives implementation and/or delivery of the innovation.
  3. Performance Measurement Pressure (성과 평가 압력)
    품질 기준, 벤치마킹 지표, 서비스 목표 등이 혁신의 이행 및 전달을 유도
    1. Quality or benchmarking metrics or established service goals drive implementation and/or delivery of the innovation.

 

 

 

III. 🏥 Inner Setting 도메인

Inner Setting이란 혁신(innovation)이 실제로 실행되는 환경을 의미합니다. 예: 병원(hospital), 학교(school), 도시(city) 등
여러 개의 Inner Setting이 존재할 수 있고, 각각의 Inner Setting 안에는 여러 수준(levels)도 존재할 수 있습니다. 예: 부서(unit), 강의실(classroom), 팀(team) 등

Project Inner Setting(s)에서는 해당 프로젝트 내의 실제 Inner Setting(유형, 위치, Outer/Inner Setting 간의 경계 등)을 명시해야 합니다.

구성요소 A~D는 주의사항이 포함되어 있습니다:

Note: 구성요소 A~D는 혁신의 이행 및 전달 여부와 관계없이 Inner Setting에 항상 존재하는 지속적 특성(persistent general characteristics)이다.


A. Structural Characteristics (구조적 특성)

→ Inner Setting 내에서의 인프라 구성요소들이 기능적 수행(functional performance)을 어떻게 지원하는지의 정도를 포착
→ 하위 구성요소 외의 구조적 특성을 포착하고자 할 때 사용할 수 있음

  1. Physical Infrastructure (물리적 인프라)
    → 공간 배치(layout), 물리적 자산(material features) 등이 Inner Setting의 기능적 수행을 얼마나 지원하는지
  2. Information Technology Infrastructure (정보기술 인프라)
    → 통신, 전자 문서화, 데이터 저장, 관리, 분석 시스템 등이 기능적 수행을 어떻게 지원하는지
  3. Work Infrastructure (업무 인프라)
    → 개인 및 팀 간 업무 분장, 인력 구성, 팀 구성 등의 조직화 정도

B. Relational Connections (관계적 연결)

→ Inner Setting 내에서 공식적 또는 비공식적인 인간관계, 네트워크, 팀 간 연결
내부 및 외부 경계(예: 구조적·전문적 경계)를 넘나들며 얼마나 높은 품질로 유지되는지


C. Communications (의사소통)

→ Inner Setting 내부 및 경계를 넘는 다양한 주체들 간의 공식적·비공식적인 정보 공유 관행의 품질


D. Culture (문화)

→ Inner Setting 내에서 공유되는 가치관(values), 신념(beliefs), 규범(norms)의 수준
→ 하위 구성요소(subconstructs)로 구체적 주제를 포착 가능

  • 1. Human Equality-Centeredness (인간 평등 중심성)
    → 인간 존재의 타고난 가치와 존엄에 대한 공유된 신념과 규범
  • 2. Recipient-Centeredness (수혜자 중심성)
    수혜자의 욕구를 이해하고 존중하며, 배려하려는 공유된 가치와 규범
  • 3. Deliverer-Centeredness (제공자 중심성)
    서비스를 제공하는 사람들의 요구와 경험에 대한 공유된 가치와 배려
  • 4. Learning-Centeredness (학습 중심성)
    심리적 안전성, 자기 성찰, 지속적 개선, 데이터 기반 학습에 대한 가치와 규범

 

📌 E ~ K: 이행과 직접 관련된 Inner Setting 구성요소

Note: 구성요소 E ~ K는 '혁신의 이행 및/또는 전달(implementation and/or delivery)'에 특화된 요소입니다.


  • E. Tension for Change (변화에 대한 긴박성)
    → 현재 상황이 더 이상 받아들일 수 없으며, 반드시 변화가 필요하다는 인식의 정도
    • The current situation is intolerable and needs to change.
  • F. Compatibility (적합성)
    → 해당 혁신이 기존의 워크플로우, 시스템, 프로세스와 얼마나 잘 맞는지
    • The innovation fits with workflows, systems, and processes.
  • G. Relative Priority (상대적 우선순위)
    → 해당 혁신의 이행이 다른 이니셔티브와 비교하여 얼마나 중요한 과제로 인식되는지
    • Implementing and delivering the innovation is important compared to other initiatives.
  • H. Incentive Systems (인센티브 체계)
    유형 또는 무형의 보상·장려(incentives and rewards) 혹은 불이익·처벌(disincentives and punishments)이
    혁신의 이행을 촉진하거나 억제하는 정도
    • Tangible and/or intangible incentives and rewards and/or disincentives and punishments support implementation and delivery of the innovation.
  • I. Mission Alignment (사명 정렬성)
    → 해당 혁신이 Inner Setting의 전체 목표, 목적, 가치, 전략적 방향성과 일치하는 정도
    • Implementing and delivering the innovation is in line with the overarching commitment, purpose, or goals in the Inner Setting.

J. Available Resources (사용 가능한 자원)

→ 혁신을 이행하고 전달하는 데 필요한 다양한 자원이 실제로 사용 가능한 정도

Use this construct to capture themes related to Available Resources that are not included in the subconstructs below.

하위 구성요소(Subconstructs):

  1. Funding (재정)
    이행 및 전달에 사용 가능한 자금이 있는지
    1. Funding is available to implement and deliver the innovation.
  2. Space (공간)
    이행을 위한 물리적 공간이 충분히 확보되어 있는지
    1. Physical space is available to implement and deliver the innovation.
  3. Materials & Equipment (물품 및 장비)
    필요한 물자와 장비가 적시에 공급 가능한지
    1. Supplies are available to implement and deliver the innovation.

  • K. Access to Knowledge & Information (지식 및 정보 접근성)
    → 혁신의 이행을 위해 필요한 지침(guidance)이나 교육(training)얼마나 쉽게 접근 가능한지
    • Guidance and/or training is accessible to implement and deliver the innovation.

 

 

IV. 🧑‍🤝‍🧑 Individuals 도메인

Individuals: 개인의 역할(roles)과 특성(characteristics)을 다루는 도메인


👥 Roles 하위 도메인 (Roles subdomain)

Project Roles: 프로젝트에 적용되는 역할들을 문서화하고, 이들이 Inner Setting 또는 Outer Setting 중 어디에 위치하는지를 명시해야 합니다.

구성요소별 정의

  • A. High-level Leaders (고위 리더)
    주요 의사결정자, 임원진, 이사급 인사 등 권한이 매우 높은 인물들
    • Individuals with a high level of authority, including key decision-makers, executive leaders, or directors
  • B. Mid-level Leaders (중간 리더)
    → 고위 리더의 감독을 받으며 다른 구성원을 관리하는 중간 수준의 리더
    • Individuals with a moderate level of authority, including leaders supervised by a high-level leader and who supervise others
  • C. Opinion Leaders (오피니언 리더)
    다른 사람들의 태도나 행동에 비공식적으로 영향을 미치는 인물
    • Individuals with informal influence on the attitudes and behaviors of others
  • D. Implementation Facilitators (이행 촉진자)
    → 주제 전문가(subject matter expert)로서 이행을 지원하거나, 코칭하거나, 돕는 역할
    • Individuals with subject matter expertise who assist, coach, or support implementation
  • E. Implementation Leads (이행 리더)
    혁신의 이행을 주도하는 역할을 맡은 사람
    • Individuals who lead efforts to implement the innovation
  • F. Implementation Team Members (이행 팀 구성원)
    이행 리더와 협력하며 혁신 실행을 함께 수행하는 인물들.
    이상적으로는 혁신 제공자(Deliverers)와 수혜자(Recipients)를 포함하는 것이 좋음.
    • Individuals who collaborate with and support the Implementation Leads to implement the innovation, ideally including Innovation Deliverers and Recipients
  • G. Other Implementation Support (기타 이행 지원자)
    이행 리더 또는 팀 구성원을 지원하는 사람들
    • Individuals who support the Implementation Leads and/or Implementation Team Members to implement the innovation
  • H. Innovation Deliverers (혁신 제공자)
    혁신을 직접 또는 간접적으로 제공하는 개인
    • Individuals who are directly or indirectly delivering the innovation
  • I. Innovation Recipients (혁신 수혜자)
    혁신을 직접 또는 간접적으로 받는 개인
    • Individuals who are directly or indirectly receiving the innovation

🧠 Characteristics 하위 도메인 (Characteristics subdomain)

Project Characteristics: → 프로젝트 내 각 역할의 개인적 특성들을 COM-B 시스템 [29] 또는 역할별 이론(role-specific theories)에 기반해 문서화합니다.

구성요소별 정의

  • A. Need (요구)
    → 개인이 생존, 웰빙, 개인적 충족 등에서 결핍을 갖고 있으며, 이 결핍은 혁신의 이행/전달을 통해 해결될 수 있음
    • The individual(s) has deficits related to survival, well-being, or personal fulfillment, which will be addressed by implementation and/or delivery of the innovation
  • B. Capability (역량)
    → 개인이 관계를 맺는 능력, 지식, 기술 등 역할 수행에 필요한 역량을 갖추고 있는 정도
    • The individual(s) has interpersonal competence, knowledge, and skills to fulfill Role
  • C. Opportunity (기회)
    → 개인이 역할을 수행할 수 있도록 하는 가용성, 범위, 권한(scope, power)을 갖춘 정도
    • The individual(s) has availability, scope, and power to fulfill Role
  • D. Motivation (동기)
    → 개인이 해당 역할을 수행하려는 의지를 갖고 있는 정도
    • The individual(s) is committed to fulfilling Role

 

 

 

V. ⚙️ Implementation Process 도메인

Implementation Process: 혁신을 이행하기 위해 사용되는 활동과 전략
Project Implementation Process: 프로젝트에서 사용된 이행 과정 프레임워크 [8] 및/또는 구체적 활동과 전략 [26, 27]을 문서화해야 합니다. 이 때, 이행이 끝난 뒤에도 지속되는 혁신(the innovation) 자체와, 그 혁신을 실행하기 위한 이행 과정(the implementation process)을 구분해야 합니다 [20, 25, 28].


구성요소별 정의

  • A. Teaming (팀 구성)
    → 개인들이 의도적으로 협력하고, 과업을 조정하며, 혁신을 이행하기 위해 함께 일하는 정도
    • Join together, intentionally coordinating and collaborating on interdependent tasks, to implement the innovation.
  • B. Assessing Needs (요구 파악)
    우선순위, 선호도, 요구 사항에 대한 정보를 수집하는 활동 
    Collect information about priorities, preferences, and needs of people.
    (※ 하위 구성요소에 포함되지 않는 주제를 포착할 때 사용할 수 있음.)
    • 1. Innovation Deliverers (혁신 제공자)
      → 혁신을 제공하는 사람들의 우선순위, 선호도, 요구를 파악하여 이행 및 전달 전략 수립에 활용
      • Collect information about the priorities, preferences, and needs of deliverers to guide implementation and delivery of the innovation.
    • 2. Innovation Recipients (혁신 수혜자)
      → 수혜자의 우선순위, 선호도, 요구를 파악하여 이행 및 전달 전략 수립에 반영
      • Collect information about the priorities, preferences, and needs of recipients to guide implementation and delivery of the innovation.
  • C. Assessing Context (맥락 파악)
    → 혁신의 이행/전달에 있어 장애 요인과 촉진 요인을 식별 및 평가하는 활동
    • Collect information to identify and appraise barriers and facilitators to implementation and delivery of the innovation.
  • D. Planning (계획 수립)
    → 역할과 책임 정의, 구체적인 단계 및 마일스톤 설정, 성공 기준을 사전에 명시
    • Identify roles and responsibilities, outline specific steps and milestones, and define goals and measures for implementation success in advance.
  • E. Tailoring Strategies (전략 맞춤화)
    → 장애 요인에 대응하고, 촉진 요소를 활용하며, 맥락에 맞게 조정하기 위해 이행 전략을 선택하고 조작화하는 활동
    • Choose and operationalize implementation strategies to address barriers, leverage facilitators, and fit context.
  • F. Engaging (참여 유도)
    → 이행 과정 또는 혁신 자체에 적극적으로 참여하도록 독려하는 활동
    Attract and encourage participation in implementation and/or the innovation.
    (※ 하위 구성요소에 포함되지 않는 주제를 포착할 때 사용 가능)
    • 1. Innovation Deliverers (혁신 제공자 참여 유도)
      제공자가 이행 팀에 참여하거나 혁신을 제공하도록 유도
      • Attract and encourage deliverers to serve on the implementation team and/or to deliver the innovation.
    • 2. Innovation Recipients (수혜자 참여 유도)
      수혜자가 이행 팀에 참여하거나 혁신에 적극 참여하도록 유도
      • Attract and encourage recipients to serve on the implementation team and/or participate in the innovation.
  • G. Doing (실행)
    → 혁신을 작은 단위로 나누어 실험적으로 적용하거나, 점진적으로 최적화하는 실행 방식
    • Implement in small steps, tests, or cycles of change to trial and cumulatively optimize delivery of the innovation.
  • H. Reflecting & Evaluating (성찰 및 평가)
    이행 또는 혁신의 성공 여부에 대한 양적·질적 데이터 수집 및 토의
    Collect and discuss quantitative and qualitative information about the success of implementation and/or the innovation. (※ 하위 구성요소에 포함되지 않는 주제를 포착할 때 사용할 수 있음)
    • 1. Implementation (이행 평가) 이행 성공 여부에 대한 평가
    • Collect and discuss quantitative and qualitative information about the success of implementation.
    • 2. Innovation (혁신 평가) 혁신 자체의 효과나 영향에 대한 평가
    • Collect and discuss quantitative and qualitative information about the success of the innovation.
  • I. Adapting (조정)
    → 혁신과/또는 내부 환경(Inner Setting)을 조정 및 통합하여 실제 업무 과정에 잘 정착되도록 하는 활동
    • Modify the innovation and/or the Inner Setting for optimal fit and integration into work processes.

 

Learn Health Syst2020 Apr 2;5(2):e10226. doi: 10.1002/lrh2.10226. eCollection 2021 Apr.

Multi-level analysis of the learning health system: Integrating contributions from research on organizations and implementation

 

 

 

🧠 보건의료 조직에서 ‘학습’을 일으키는 힘: 다층적(multilevel) 관점이 중요한 이유

우리가 병원이나 의료기관에서 ‘질 향상(Quality Improvement)’이나 ‘환자 중심 진료(Patient-Centered Care)’ 이야기를 들을 때마다 드는 궁금증이 있어요. "그런 변화를 조직 전체로 어떻게 퍼뜨릴 수 있을까?" 그리고 "의료 조직은 정말로 '학습(learning)'할 수 있을까?"

 

오늘 소개할 논문은 바로 이 질문에 답해주는 연구예요. 미국 의료기관을 포함한 복잡한 진료 조직들이 '학습 건강시스템(Learning Health System, LHS)'으로 진화하려면 어떤 요인들이 조직 내·외부에서 작용하는지다층적(multilevel) 관점에서 분석한 내용이에요.


📊 연구팀이 제안한 핵심 프레임워크

연구자들은 아래와 같은 전제를 공유합니다.

Deep learning addresses the root causes of problems and questions underlying assumptions. It requires alignment and collaboration across multiple levels of organization and complex multilevel thinking.”
→ “심층 학습(deep learning)은 문제의 근본 원인(root causes)을 다루고, 그 기저에 있는 가정(assumptions)을 질문하는 것이다. 이를 위해서는 조직 내 다양한 수준들 간의 정렬(alignment)과 복잡한 다층적 사고(multilevel thinking)가 필요하다.”

이를 바탕으로 제시한 다층적 프레임워크는 아래 그림처럼 구성되어 있어요.

  • 일반 환경(General Environment): 정치·사회·기술 조건, 정책, 외부 기관 등
  • 운영 환경(Operating Environment): 지불자, 경쟁자, 커뮤니티, 외부 평가기관 등
  • 조직 수준(Organizational Level): 목표, 전략, 자원, 학습 지원 시스템
  • 중간 관리자(Mid-management Level): 전략 실행 및 학습 촉진
  • 팀/부서(Unit/Team Level): 간호 부서, 진료팀 등 집단 학습 주체
  • 개인 수준(Individual Level): 진료자 개인의 행동과 태도

💡 세 가지 실제 사례로 살펴본 적용 예시

📌 사례 1: 미국 중환자실(ICU) 감염 예방 프로젝트

처음에는 단순한 감염관리(intervention for catheter infections) 프로젝트였지만, 점점 조직문화 변화와 병원 간 협력으로 확장되었어요.

“They recognized the importance of factors beyond the boundaries of the participating ICUs, particularly organization-level support from senior hospital managers…”
→ “연구자들은 중환자실을 넘어서는 요인들, 특히 병원 고위 관리자들의 조직 수준 지원의 중요성을 인식했다.”

📌 사례 2: 호주의 병원 질 향상 프로그램

정부 기준 준수에 몰입한 나머지, 병원 내부 학습 문화가 충분히 형성되지 못했어요.

“Senior hospital leaders' concentration on compliance with state and federal regulations led them to underestimate the time and resources needed to plan and mobilize support for fundamental change.”
→ “병원 경영진이 정부 규제 준수에 집중한 나머지, 근본적인 변화를 위한 시간과 자원 필요성을 과소평가했다.”

📌 사례 3: 스웨덴의 류마티스 관절염 등록 시스템

국가·지역·의사·환자 간 전방위적 정렬(alignment)과 공유의사결정(shared decision-making)을 통해 성공적인 학습 시스템이 만들어졌어요.

“The registry’s progress and learning contributions were substantially aided by alignment of supportive forces at the level of the nation, the regions, care organizations, physicians, and patients.”
→ “등록 시스템의 발전과 학습 기여는 국가, 지역, 진료 조직, 의사, 환자 간의 정렬 덕분에 가능했다.”

 


🎯 우리가 던질 수 있는 질문들

연구자들은 단순한 요인 나열이 아니라, 요인 간 상호작용을 보는 것이 중요하다고 강조합니다. 아래는 이 논문에서 제안한 질문 유형이에요.

  • 외부 인센티브는 내부 학습을 어떻게 유도하거나 방해하는가?
  • 리더는 어떤 가치를 중시하고, 그것이 학습 문화에 어떤 영향을 주는가?
  • 조직 내 서로 다른 하위문화(subculture)들은 어떻게 학습에 기여하거나 충돌하는가?

✨ 마무리하며: 진정한 '학습하는 의료 조직'을 만들려면

To support the kind of learning envisioned by the LHS model, it is valuable for researchers to unpack the complex multilevel, interactions of factors influencing learning within entire organizations and delivery systems.
→ “LHS 모델이 그리는 학습을 실현하려면, 조직과 시스템 전반에서 학습에 영향을 주는 복잡한 다층적 상호작용을 면밀히 분석해야 한다.”

 

이 논문은 단지 학습의 '결과'가 아니라, 그 과정과 조건을 정밀하게 탐색한 연구입니다. 의료 교육자, 병원 관리자, 정책 결정자 등 보건의료 조직의 변화에 관심 있는 분들에게 아주 유용한 참고가 될 수 있어요.

 


1 서론 (Introduction)

미국을 비롯한 여러 산업화된 국가의 보건의료 조직은 비용 절감, 질 향상, 건강 불평등 감소, 그리고 고령 인구에 대한 돌봄이라는 압력에 직면해 있다¹⁻³. 이들은 또한 지불 방식과 예산, 치료법과 기술, 소유권, 조직 구조, 진료 전달 방식의 변화 등 다양한 중대한 변화에도 적응해야 한다²,⁴⁻⁸.

 

점점 더 많은 보건의료 리더들과 연구자들은 이러한 도전에 대응하기 위해 신속한 학습(rapid learning), 혁신(innovation), 새롭게 등장하는 디지털 기술의 활용(exploitation of emerging digital technologies), 그리고 시스템 재설계(system redesign)질 향상(quality improvement)에 대한 역량 개발을 통해 진료 시스템이 적응할 수 있다고 보고 있다. 이러한 비전은 Learning Health System (LHS, 학습하는 건강시스템)⁹⁻¹³과 Learning Organizations (학습 조직)¹⁴⁻¹⁹에 대한 논의에서 포착된다. 미국국립의학한림원(National Academy of Medicine, NAM)은 “지속적으로 학습하는 건강의료 시스템(Continuously Learning Health Care System)”을 다음과 같이 정의한다:

“과학과 정보학(science and informatics), 환자-임상의 간의 파트너십(patient-clinician partnerships), 인센티브(incentives), 그리고 문화(culture)가 연계되어, 치료의 효과성(effectiveness)과 효율성(efficiency)을 지속적이고 실시간으로 개선할 수 있도록 촉진하고 가능하게 하는 시스템”(원문: “one in which science and informatics, patient-clinician partnerships, incentives, and culture are aligned to promote and enable continuous and real-time improvement in both the effectiveness and efficiency of care”)¹³(p.17)

 

이 논문에서는, 보건의료 조직 및 시스템 학습에 대한 현재의 논의가 보다 다양한 요인의 상호작용으로 인해 발생하며, 이러한 요인은 개별 진료 조직 내부 및 외부다수의 수준(multiple levels)에서 작용한다는 이해를 강화하고자 한다. NAM과 다른 학자들¹⁵,¹⁶의 관점에 따르면, 학습 건강시스템(LHS)에 속한 진료 조직은 환경에서 새로운 지식과 혁신을 탐색(scan)하고, 이를 선택, 시도, 시험(select, try, and test)하며, 내부 데이터 및 경험으로부터 학습하고, 다른 조직과의 비교(comparison)를 통해 지식과 개선 역량을 증진시킨다.

 

NAM이 제시한 학습 시스템의 주요 특성은 다음과 같다:

  • 실시간 증거 접근(real-time access to evidence)
  • 진료 경험의 디지털 기록(digital capture of the care experience)
  • 환자, 가족, 타 돌봄 제공자와의 강한 파트너십(strong partnerships with patients, families, and other caregivers)
  • 지속적 개선과 가치 기반 진료(high-value care)를 장려하는 인센티브 구조
  • 완전한 투명성(full transparency)
  • 리더십이 주도하는 학습 문화(leadership-instilled culture of learning)
  • 팀 훈련 및 역량 개발, 시스템 분석, 피드백 등 학습 및 개선을 위한 지원적 프로세스(supportive processes such as team training and skill building, systems analysis, and feedback for continuous learning and system improvement)¹³(p.18, Table S2)

여러 학습 조직 이론들과 마찬가지로, NAM의 LHS 모델은 학습을 인지적 변화보다는 관찰 가능한 행동 변화(observable, behavioral changes)로 개념화한다²⁰. 이러한 행동주의적 관점(behavioral view)은 조직 학습(organizational learning)을 다음과 같이 정의한다:

“더 나은 지식과 이해를 통해 행동을 개선하는 과정”
(“the process of improving actions through better knowledge and understanding”)²¹(p.803)

 

LHS 프레임워크는 개별 의료 조직, 진료 전달 시스템, 조직 네트워크²², 그리고 국가 및 국제적 건강 시스템²³에도 적용 가능하며, 본 논문에서는 진료 조직(care organizations)에 중점을 둔다.

 

기존 연구들은 조직 내부 요인이 학습과 개선에 어떻게 영향을 미치는지를 탐구해왔다. 예를 들면, 개인의 훈련과 실무 중 학습,²⁴ 팀워크, 리더십, 정보기술, 지식관리, 조직문화 등이 있다¹⁸,²⁵⁻³⁴. 또한 다음과 같은 조직 외부 환경 요인(environmental influences)도 학습에 영향을 미치는 것으로 밝혀졌다:

  • 진료 조직 간 협력(collaboration among care organizations)³⁵
  • 외부 연구자들과의 파트너십(partnerships with external researchers)³⁶
  • 학습을 지원하는 연구 및 혁신 활동을 위한 자금 지원(funding for research, innovation, and other activities)²⁹
  • 가치 기반 진료 및 기타 진료 개선 활동을 위한 지불 체계(payment for high value care)²⁵,²⁹

 


2 연구 질문 (Questions of Interest)

보건의료 분야를 포함한 다양한 산업에서 조직 학습(organizational learning)에 영향을 미치는 요인들이 조직 내부와 외부의 여러 수준(multiple levels)에서 작용한다는 것은 널리 인정되고 있다²⁸,³⁰,³⁷,³⁸. 특히 보건의료에서 다층적(multilevel) 학습 수준을 살펴보는 것은 매우 중요하다. 그 이유는 진료 조직과 진료 전달 시스템의 조직적 복잡성(organizational complexity), 그리고 이들이 외부 기관 및 조건(external agencies and conditions)의존하고 있다는 점 때문이다.

 

이러한 복잡성을 제대로 설명하려면 직업군의 다양성과 상호의존성(occupational diversity and interdependence), 전문직 내 위계 구조와 관리자 간의 상호작용, 그리고 업무 수행에 영향을 미치는 외부 요인과 제약 조건(external influences and constraints)을 모두 포괄할 수 있는 다층적 접근(multilevel approach)이 필요하다³⁹. 따라서 다층적 관점(multilevel perspective)은 학습 건강시스템(Learning Health System)을 지향하는 보건의료 조직에게 실질적인 실행 지식(actionable knowledge)을 제공할 수 있는 연구를 진전시키는 데 큰 가능성을 지닌다.

 

그러나 현재까지 보건의료 분야의 조직 및 시스템 학습을 규명하기 위한 공통적이고 포괄적인 다층적 분석 틀(comprehensive, multilevel framework)은 존재하지 않는다. 이러한 한계를 극복하기 위해, 본 연구는 조직 과학(organization science)과 이행 과학(implementation science)의 통찰을 바탕으로, 보건의료 분야의 조직 학습 연구를 촉진할 수 있는 분석 틀(framework)을 개발하고자 한다.


3 연구 방법 (Methods)

우리는 먼저,

  • 관련 분야에서 제안된 유용한 세 가지 다층적 분석 틀(three helpful multilevel frameworks)을 검토하였다. 이후, 이들 틀과 기존의 연구에서 도출된 통찰들을 통합하여, 각 시스템 수준(system levels)에서 학습에 영향을 미치는 요인들(factors influencing learning)을 보여주는 통합 프레임워크(integrated framework)를 구성하였다.
  • 이러한 다층적 관점(multilevel perspective)의 기여를 설명하기 위해, 우리는 특정 진료 개선(specific care improvements)과 지속적인 시스템 학습(enduring system learning)을 목표로 하는 세 가지 이니셔티브(initiatives)의 개발 사례에 이 프레임워크를 적용하였다.
  • 이어, 인센티브(incentives), 문화(culture), 리더십(leadership)이라는 세 가지 핵심 영역이 학습에 영향을 미치는 요인 간의 수준 간 관계(cross-level relations)에서 어떻게 작용하는지를 강조하였다. 이 세 가지는 수준 간 역학과 상호작용을 이해하기 위한 풍부한 연구 영역(fertile areas for research)이다.
  • 마지막으로, 본 프레임워크와 그에 기반한 다층적 시각(multilevel perspective)이 가지는 연구적 및 실천적 함의(research and practice implications)에 대해 논의하며 글을 마무리한다.

4 결과 (Results)

4.1 세 가지 다층적 분석 틀 (Three Multilevel Frameworks)

보급(dissemination), 이행(implementation), 조직 변화(organizational change), 공중보건(public health) 등에 관한 다양한 연구와 분석 틀들은, 영향력 있는 요인들이 작용하는 시스템 수준(system levels)을 식별해왔다⁴⁰⁻⁴⁴. 이러한 수준은 개인(individual)작업팀(work-team)에서 시작하여, 특정 조직 또는 진료 시스템의 환경(environment)에 이르기까지 폭넓다.

 

다층적 접근(multilevel approaches)은 일반적으로 영향 요인의 목록을 제시하며, 이들 요인 간의 수준 간 관계(cross-level relationships) 가능성도 인정한다. 비록 여기서 검토하는 프레임워크들은 본래 보건의료 분야의 조직 학습(organizational learning in health care)을 목적으로 개발된 것은 아니지만, 학습 건강시스템(Learning Health System, LHS) 연구에 충분히 기여할 수 있다.


4.1.1 이행 연구 통합 프레임워크 (The Consolidated Framework for Implementation Research)

이행 연구 통합 프레임워크(Consolidated Framework for Implementation Research, CFIR)는 이행 과학(Implementation Science) 분야에서 가장 널리 인용되는 프레임워크 중 하나다⁴⁰,⁴⁵. CFIR은 지식 전달(knowledge transfer), 근거 기반 실천의 이행(implementation of evidence-based practice), 성과 확산(dissemination), 조직 변화(organizational change)에 관한 19개의 기존 개념화 및 프레임워크를 경험적 연구 결과와 함께 통합한 것이다.

 

최근에는 CFIR의 다양한 구성요소(constructs)를 위한 표준화되고 검증된 측정도구(standard, validated measures)를 활발히 개발하는 연구자 커뮤니티의 활동 덕분에, 연구 도구로서의 유용성(research utility)이 점차 높아지고 있다⁴⁶.

 

CFIR은 총 다섯 개의 영역(domains)에 걸쳐 구성요소들을 정의한다:

  • 개입의 특성(Intervention Characteristics)
  • 이행이 일어나는 조직의 외부 환경(Outer Setting)
  • 조직 내부 구조 및 문화(Inner Setting)
  • 관여된 개인(Individuals)
  • 이행 과정(Implementation Process)

이 중 Inner Setting에서는 팀, 부서, 서비스 수준(team, unit, and service levels)뿐 아니라 조직 전체 수준까지 고려하도록 설계되어 있다.

 

CFIR은 원래 근거 기반 실천의 이행(evidence-based practice implementation)을 연구하기 위해 고안되었지만, 다층적 관점(multilevel perspective)다수의 구성요소는 집단 학습(collective learning)과 조직 전반의 개선 프로그램에 관한 연구에도 활용되고 있다. 예를 들어, 미국 재향군인 보건청(Veterans Health Administration)은 효과적인 학습 건강 시스템(effective learning health care system)이 되기 위한 노력을 안내하고 평가하기 위해 CFIR을 활용한다⁴⁷.

 

CFIR은 학습에 관한 연구를 가능하게 하는데, 그 이유는 다음과 같은 요소를 포함하고 있기 때문이다: 학습 분위기(learning climate) 구성요소는 다음과 같은 조건을 포함한다:

  • 리더들이 팀 구성원의 의견을 적극적으로 수렴
  • 팀원들이 변화 과정의 핵심 파트너로 인정받으며, 새로운 방법을 시도할 수 있는 심리적 안전감(psychological safety)을 느낌
  • 팀원들이 성찰(reflection)과 평가(evaluation)에 충분한 시간과 공간을 가짐

이 외에도 CFIR의 기여는 다음과 같다:

  • 다섯 개 영역 간의 상호작용(interaction among the five domains)을 강조
  • 공식적으로 임명된 내부 리더(formally appointed, internal implementation leaders)비공식 챔피언(informal champions) 또는 오피니언 리더(opinion leaders) 간의 구분

하지만 CFIR을 LHS 연구와 실제에 적용할 때 몇 가지 한계도 존재한다. 이 프레임워크는 본래 개별 근거 기반 실천의 이행(discrete evidence-based practices)을 위한 연구를 위해 개발되었고, 지금도 주로 그 목적에 사용되고 있기 때문에, LHS 구축에 요구되는 조직 전반의 광범위한 변화(broad organizational changes)에는 다소 제약이 있다. 예를 들어,

  • Outer Setting 포함된 주요 구성요소들은 시장 역학(market forces), 지식(knowledge), 기술(technology), 사회적 규범과 가치(social norms and values)와 같은 중요한 외부 요인을 충분히 포함하지 않으며, 이들 요소는 모두 조직 학습에 영향을 줄 수 있는 요인이다.
  • 또한 Inner Setting 다음과 같은 중요한 조직 요소들을 다루지 않는다:
    • 진료 경험의 디지털 기록(digital capture of the care experience)
    • 환자와의 파트너십(partnerships with patients)
    • 시스템 공학 등 학습 지원 프로세스(supportive processes such as systems engineering)

CFIR은 정보 기술(information technology)을 오직 개입의 특성(intervention characteristic) 또는 개입에 관한 지식 접근성에 영향을 미치는 요소로만 언급하고 있다. 또한, 이 프레임워크는 조직 내 각 수준의 리더들이 변화 프로그램에서 어떤 역할을 수행하는지에 대해서도 명확하게 구분하지 않는다.


4.1.2 사회생태학적 틀 (The Social-Ecological Framework)

사회생태학적 관점(social-ecological perspective)은 건강 행동(health behavior)과 공중보건(public health) 분야의 연구와 실천에서 널리 사용되는 관점이다⁴⁴,⁴⁸,⁴⁹. 이 관점은 건강 행동에 영향을 미치는 다층적 결정 요인(multilevel determinants of health behavior)을 식별한다. 이 관점에 기반하여, Tabak 등⁴³은 다음과 같이 수준을 구분하는 사회생태학적 분석 틀(socio-ecological framework)을 제시하였다:

  • 개인 수준(individual)
  • 조직 수준(organization): 병원, 서비스 조직, 고용 기관 등을 포함
  • 지역사회 수준(community): 지방 정부, 지역 공동체 등
  • 시스템 수준(system): 병원 시스템 또는 정부/정책 수준 등

이 프레임워크를 학습 건강시스템(LHS) 연구에 확장 적용할 경우의 장점 중 하나는, 다음과 같은 명시적 전제(explicit assumptions)를 포함하고 있다는 점이다⁴⁴,⁴⁹:

  • 영향 요인들은 동일 수준 내(intra-level) 및 수준 간(inter-level)에서 상호작용한다
  • 외부 요인 중 일부는 즉각적인 영향을 미치는 지역사회 수준의 요인(community factors)이며, 다른 일부는 보다 일반적이고 지연된 영향을 미치는 시스템 수준(system-level) 요인이라는 점을 구분한다

예컨대, 지역사회 내 이용 가능한 서비스, 주민의 자가관리(self-management) 능력, 보건의료 제공자와의 상호작용 역량 등은 진료 행위뿐 아니라 조직 학습(organizational learning)에도 영향을 줄 수 있다¹⁹.

 

그러나 이 프레임워크는 개인 건강 행동(individual health behavior)에 영향을 미치는 프로그램 및 요인들에 집중하기 때문에, 학습 또는 LHS 운영의 연구에 CFIR만큼 쉽게 적용되지는 않는다. 더불어, 이 틀에서 제시하는 지역사회와 시스템 수준 간의 유망한 구분(promising distinction) 역시, 조직 학습에 영향을 미치는 모든 요인들을 충분히 포괄하기에는 부족하다. 예를 들어,

  • 학습 협력체(learning collaborative)에 속한 진료 제공 조직들은 서로의 학습에 직접 영향을 미칠 수 있다. 그러나 이 조직들은 반드시 지리적으로 인접한 지역사회(community)에 속해 있는 것은 아니며, 사회생태학적 프레임워크에서 말하는 “community” 범주와 일치하지 않을 수 있다.

따라서 사회생태학적 용어를 조직 학습에 억지로 적용하기보다는, 다음과 같은 조직이론(organizational literature)의 구분을 따르는 것이 더 유용해 보인다:

  • 조직 운영에 직접 영향을 미치는 조건들 (이를 “과업 환경(task environment)” 또는 “근접 환경(close environment)”이라고도 한다)⁵⁰
  • 보다 일반적이고, 즉각적이지 않은 영향을 미치는 조건들 (이를 “일반 환경(general environment)”이라고 한다)

여기서 근접/운영 환경(immediate, operating environment)은 다음을 포함한다:

  • 조직 간 협력 및 경쟁(interorganizational cooperation and competition)
  • 규제(regulations)
  • 지불 및 수입의 출처(sources of payment and revenue)

반면, 더 멀리 있는 일반 환경(general environment)은 다음을 포함한다:

  • 과학 및 기술 발전(scientific and technological developments)
  • 사회경제적 조건(socio-economic conditions)
  • 정치적 조건(political conditions)

4.1.3 조직 변화 프레임워크 (Organizational Change Framework)

세 번째 프레임워크로서, 보건의료 분야의 조직 변화에 대한 연구에서 파생된 분석 틀을 추가하면, 앞서 제시한 두 프레임워크를 보건의료 조직 및 시스템 수준의 학습(organizational and system-wide learning)에 적용할 때 발생하는 일부 간극(gaps)을 보완할 수 있다⁵¹. Ferlie와 Shortell은 이 프레임워크를 진료 조직 또는 전달 시스템 전반의 진료 질 향상(care quality improvement)을 위한 이니셔티브에 처음으로 적용하였다.

 

이들은 다음과 같이 주요 조직 변화에 영향을 미치는 네 가지 수준(four main levels)을 제시하였다:

  • 개인(individual)
  • 집단 또는 팀(group or team)
  • 조직 전체(overall organization)
  • 보다 큰 시스템 또는 환경(larger system or environment)

여기서 시스템/환경 수준(system/environment level)은 보건의료의 정치경제적 구조와 시장(political economy and markets)뿐 아니라, 규제기관(regulatory bodies), 지불기관(payment bodies), 조직의 관행 및 성과에 관한 공유 정보(shared information)제도적 요인(institutional forces)을 포함한다.

 

각 수준에서는 리더십(leadership), 조직문화(culture), 팀 개발(team development), 정보 기술(information technology)이라는 핵심 속성(core properties)이 조직 변화에 영향을 미치며, 동시에 이러한 변화에 영향을 받는다. 이러한 핵심 속성들이 조직 수준의 학습과 개선을 지지하고 정렬(aligned and supportive)되어 있을 때, 이는 NAM¹³과 여러 학자들이 정의한 LHS의 특징과 매우 유사해진다. 이와 마찬가지로, 이 모델의 핵심 속성들은 Singer 등¹⁸이 제안한 학습 기반 모델에서 제시된 조직 내 학습의 구성 요소들(intraorganizational “building blocks”)과도 상당히 겹친다.

 

이 프레임워크는 조직 수준의 학습에 관한 연구(organization-level learning)에 중요한 함의를 제공한다.

  • 개인 수준의 학습은, 그것이 다른 팀원, 팀 단위, 조직 전체의 학습으로 이어지려면, 의사소통과 관리(communication and management)를 통해 공유되어야 한다.
  • 마찬가지로, 은 근거 기반 실천(evidence-based practices)을 실행하거나⁵², 질 향상 활동(quality improvement)에 참여함으로써⁵³ 더 높은 수준의 학습에 기여할 수 있다.
  • 조직 수준의 학습은 이러한 하위 수준 학습을 통합(synthesize)하고, 그로부터 얻은 지식을 전략적 우선순위와 조직 목표 달성에 적용한다.

이 프레임워크의 또 다른 기여는, 조직 외부 환경(extra-organizational environment)의 영향—특히 외부 인센티브와 타 조직들—에 주목한다는 점이다.

  • 특히, 저자들은 조직 간 관계(interorganizational relations)를 경쟁(competitive)과 협력(cooperative)으로 구분하는데, 이는 학습에 대한 중요한 시사점을 갖는다. 예를 들어, 경쟁은 혁신적인 조직들이 지식과 유익한 관행을 공유하지 않도록 만들 수 있다.
  • 이 프레임워크는 또한 전체 조직(whole organizations)내부 학습이나 특정 개선을 위한 컨텍스트로 기능할 뿐만 아니라, 그 자체로 변화를 겪는 주체라는 점을 인식한다는 데서 중요한 기여를 한다.

계획된 변화(planned change)가 LHS의 역량을 형성할 수 있는 것처럼, 비의도적 조직 변화(unintended organizational changes)예: 리더십 교체(leadership transitions), 내부 권력 갈등(internal power struggles), 외부 명령(external mandates), 외부 변화에의 적응(adaptation), 환경적 선택(environmental selection) 등⁵³—도 마찬가지로 영향을 줄 수 있다.

 

이 프레임워크는 또한 정보기술(information technology)의 중요성을 강조하는데, 이는 NAM 모델¹³과 최근의 여러 조직 및 시스템 학습 모델들¹²,²³에서도 중심적인 역할을 차지한다. 정보기술은 다음과 같은 새로운 가능성을 창출한다:

  • 지식을 신속하게 수집 및 통합(rapidly gathering and synthesizing knowledge)
  • 현재의 성과를 평가(assessing current performance)
  • 관리자 및 실무자에게 피드백 제공(feedback to managers and practitioners)

이 프레임워크는 리더십과 문화의 구분(distinction between leadership and culture)을 명확히 한다는 점에서, NAM이 제시한 “리더십이 주입한 문화(leadership-instilled culture)”¹³(p.18) 개념과 차이가 있다. 문화를 리더십과 구분함으로써, 학습 문화(learning culture)를 형성하는 데 영향을 미칠 수 있는 리더십 외의 다양한 요인도 함께 살펴볼 수 있도록 한다. 또한 문화를 조사 대상의 핵심 요소(focal area for investigation)로 삼는 것은, 다음과 같은 요소들이 학습에 미치는 영향을 분석할 수 있게 한다:

  • 조직 내부의 신념과 가정, 업무 방식의 차이 및 단절(internal differentiation and fragmentation in beliefs, assumptions, and work routines)⁵⁴,⁵⁵

이 프레임워크는 학습에 영향을 미치는 요인들 간의 정렬(alignment)에 주목함으로써, 외부 요인이 조직 학습에 미치는 영향을 이해하는 데에도 기여한다. 예를 들어,

  • 진료량(volume)이 아닌 진료의 가치(value)에 기반한 지불 인센티브(payment incentives)는, 진료 제공 조직이 환자 중심 진료(patient-centered care)를 실현하고, 지역사회 서비스와 연계하여 인구 건강(population health)을 증진하려는 학습 노력을 강화할 수 있다⁵⁶.
  • 이러한 외부 인센티브와 정책은, 조직의 자체적인 전략 및 질 향상 목표(strategy and goals for improving care)와 정렬(alignment)될 때, 조직 학습을 더욱 촉진시킬 수 있다.

하지만 이 프레임워크에도 한계는 있다. 하나는 정치경제(political economy)와 같은 광범위한 요인에 비해, 즉각적 운영 조건(immediate operating conditions)의 영향에 대한 관심이 상대적으로 부족하다는 점이다. 또한, 앞서 소개한 두 프레임워크와 마찬가지로, 중간 관리자(mid-level management)와 경영진(executives) 또는 팀 리더(team leaders)의 역할을 명확히 구분하지 않는다. 그러나 중간 관리자는 조직 학습²⁸,⁵⁷ 및 변화²⁸,⁵⁸,⁵⁹에서 핵심적인 역할을 수행하는 경우가 많다.


4.2 조직 학습에 영향을 미치는 요인의 다층적 분석 틀

그림 1(Figure 1)은 조직 학습(organizational learning)에 영향을 미치는 다층적 시스템 수준의 요인들(factors at multiple system levels)을 통합적으로 보여주는 프레임워크를 제시한다. 이 프레임워크는 앞서 설명한 세 가지 프레임워크와 보건의료 분야의 조직 학습 연구에서 확인된 다양한 수준(levels)과 요인(factors)을 포함하고 있다(그림 1 참조).

 

또한 표 1(Table 1)은 본 다층적 프레임워크가 기존 프레임워크들과 어떻게 연결되면서도 차별화되는지를 보여주는 요약표이다. 표에는 CFIR에서의 구성요소들(constructs)과 조직 변화 프레임워크에서의 속성들(properties) 중, 가장 관련성 높은 요인들이 나열되어 있다. 사회생태학적 프레임워크(socio-ecological framework)에서의 심리사회적 요인(psychosocial factors)은 지면 관계상 생략되어 있다.

(그림과 표의 세부 설명은 각 이미지에 부속된 캡션에서 제공됨)
FIGURE 1: 조직 학습에 영향을 미치는 요인들(Factors influencing organizational learning)
TABLE 1: 다층적 프레임워크 구성의 근거(Constructing the multilevel framework)

 

이 다층적 프레임워크는 기존 프레임워크들처럼, 동일 수준 내와 수준 간(inter- and intra-level)의 요인들 간 상호작용(interactions)을 전제로 한다. 특히 이 프레임워크는 요인들 간의 정렬(alignment) 또는 불일치(misalignment)가 미치는 영향을 강조한다.

  • 예를 들어, 이 프레임워크는 다음과 같은 질문을 제기할 수 있게 한다: 조직 내외부 인센티브(external and intraorganizational incentives)가 LHS 실행을 장려하는 데 있어 서로 보완적인가, 아니면 상충되는 방향으로 작용하는가?
  • 또한, 이 프레임워크는 다음과 같은 사고를 유도한다: 조직 내 리더가 학습 시스템을 구축하려는 경우, 그들이 운영하는 성과 평가 및 보상 시스템(performance assessment and reward processes)이 단순히 좁은 성과 기준을 달성하게 유도하는가, 아니면 현재의 관행에 대해 질문하고 반성하는 태도를 장려하여 근본적인 학습(fundamental learning)을 촉진하는가⁶⁰.

그림 1표 1에서 제시된 일반 환경(general environment)에는 학습에 간접적으로 영향을 미치는 행위자 및 조건들이 포함된다. 예를 들면:

  • 민간 및 공공의 의사결정자(private and public decision makers)와 그들의 정책 및 규제(policies and regulations)
  • 과학적, 임상적, 기술적 지식과 혁신을 개발하는 주체들
  • 사회적, 경제적, 정치적 조건들
  • 전문직 및 교육 관련 조직들의 활동

운영 환경(operating environment)에는 조직의 내부 운영 및 학습에 즉각적이고 직접적으로 영향을 미치는 행위자와 조건들이 포함된다. 구체적으로는:

  • 지불자(payers)
  • 외부 진료 제공자(external care providers)
  • 환자 및 지역사회 집단(patients and community groups)
  • 공급업체(suppliers)
  • 자문 조직(consulting organizations)
  • 진료를 감독하는 기구(boards 등)
  • 경쟁자(competitors)

조직 수준(organizational level)에서는 다음과 같은 요소들이 포함된다:

  • 조직의 목표(goals), 전략(strategies), 자원(resources), 학습 및 진료 개선을 위한 운영 지원(operational support)
  • 지식 관리(knowledge management)정보기술 역량(IT capacities)
  • 조직 문화(culture)
  • 성과 평가 및 보상 체계(performance assessment and reward system)

중간 관리자 수준(mid-management level)

  • 시스템 학습에서 중간 리더의 중요성을 반영하기 위해 그림 1에 포함되었으며, 앞서 다룬 세 가지 프레임워크에서는 공식적으로 제시되지 않았던 수준이다.

팀/부서 수준(team/unit level)

  • 간호 부서(nursing units), 지원 부서(support departments), 일차 진료팀(primary care teams) 등에서 집단 학습(group learning)이 이루어질 수 있는 다양한 하위 집단에 주목한다.

개인 수준(individual level)

  • 진료 제공자 및 기타 직원의 능력과 행동을 포착하며, 이들이 공유 학습(shared learning)에 어떻게 영향을 미칠 수 있는지를 반영한다.

그림 1에서 하위 수준들이 상위 수준에 포개어(nested) 표현되어 있는 것은, NAM이 제시한 LHS 모델¹³에서처럼, 학습을 촉진하는 특성들(예: 지지적 리더십)이 다수의 수준에서 작동하며 서로 정렬될 때, 조직 학습이 보다 용이하게 발생한다는 전제를 시각적으로 표현한 것이다.

 

NAM의 제안에 따르면, 과학적 지식에 기반한 조직 학습을 보장하려면, 진료 제공 조직은 외부 지식을 수집, 관리, 실행하기 위한 내부 메커니즘을 자체적으로 개발해야 한다. 또한, 진료 경험을 데이터화하고 임상 지식으로 전환할 수 있는 기술과 프로세스도 마련해야 한다. NAM이 주장하듯이, 조직이 환자와 함께, 환자로부터 학습하려면, 지역사회 및 환자 집단과의 유대(ties to communities and patient groups)를 구축해야 한다.

 

뿐만 아니라, 진료 과정을 환자 중심으로 운영하는 임상 미시시스템(clinical microsystems)을 개발하고, 진료에 대한 공동 의사결정(shared decision-making)을 보장해야 한다¹⁹,⁵². 아울러, 환자로부터의 학습 내용을 조직 내부 지식과 돌봄 지침으로 전환하는 프로세스도 개발되어야 한다. 이 외에도, 수준 간 정렬(alignment across levels)이 요구되는 요인들은 이후 단락들에서 추가로 논의될 것이다.


4.3 학습의 다층적 분석 (Multilevel Analysis of Learning)

진료 조직 학습(care organization learning)에 대한 이 다층적 관점(multilevel perspective)의 가치는, 세 가지로 문서화된 개선 이니셔티브(improvement initiatives)에 이를 적용함으로써 잘 드러난다.

  • 그 첫 번째 사례는 병원 중환자실(ICU)에서 도관 관련 감염(catheter-related infections)을 줄이기 위해 근거 기반 절차(evidence-based procedures)의 이행을 돕는 질 향상 개입(quality-improvement intervention)으로 시작되었다⁶¹.
    • 연구자들은 이 개입이 실행되는 과정을 관찰하면서, 참여한 ICU의 경계를 넘어서는 요인들(factors beyond the boundaries), 특히 조직 수준에서의 지원(organization-level support)—즉, 병원 고위 관리자들(senior hospital managers)이 유닛 수준의 실행 노력(unit-level implementation efforts)에 보여주는 지원의 중요성을 인식하게 되었다. 연구팀은 점차 그들의 목표를 확대하여, 조직 및 중간 관리자 수준(mid-management level)에서의 안전 문화(safety culture)를 재구성하는 방향으로 나아갔다. 또한, 병원 개선 협력체(hospital improvement collaboratives)를 개발함으로써, 병원들의 운영 환경(operating environments)에서 작용하는 외부 동력(forces)을 이행 전략에 포함시켰다. 이러한 프로그램 목표, 전략, 이행 방식의 변화는 병원 학습이 어떻게 예방 가능한 의료관련 위해를 줄이는 방향으로 작동할 수 있는지에 대한 다층적 이해(multilevel view)가 발전하고 있음을 반영한다⁶²,⁶³.
    • 연구자들은 이후 미시간 주(Michigan)에서 성공적으로 수행된 전 주(statewide)의 감염관리 개선 협력체사후(post hoc) 분석하면서 다층적 관점을 더욱 확장했다⁶². 이들은, 팀 수준의 실천 변화(team-level practices)는 다른 병원의 감염관리 전문가들로부터의 동료 압력(peer pressure)협력체 내 병원들 간에 보여준 모범 사례(peer examples)에 의해 촉진되었다는 결론을 내렸다. 이러한 규범적 압력(normative pressures)은 병원 운영 환경(operating environment)에서 기원한 것으로, 병원 직원들이 성과 데이터를 공유하고, 주 전역의 안전 목표를 달성하려는 노력을 장려했다⁶².
  • 두 번째 이니셔티브는 호주의 네 개 병원이 야심찬 질 향상 프로그램(quality program)을 도입하도록 돕기 위한 것이었다⁶⁴.
    • 이 프로그램은 LHS의 많은 원칙들을 내포하고 있었으며, 높은 질의 진료(high quality care)를 리더십의 목표, 운영 방식, 병원 문화에 내재화(embed)시키는 것을 목표로 했다. 3년간의 시범(trial) 동안 한 병원은 프로그램을 중도에 중단했고, 나머지 병원에서도 이행 속도와 일관성이 예상보다 떨어졌다. 결과적으로 8개의 질 지표 중 단 하나에서만 개선이 나타났다⁶⁵.
    • 저자들은 자신들의 결과에 대한 다층적 분석(multilevel analysis)을 직접 제공하지는 않았지만, 이 관점을 적용함으로써 프로그램 성공을 제한한 주요 요인들을 식별하고 분류할 수 있었다. 병원의 운영 환경에서 가장 영향력 있는 요인들안전 훈련과 임상 질·안전에 대한 보고 요건에 관한 주 정부의 엄격한 기준(strict state standards)이었다. 이에 따라 병원의 질 관리 담당자(quality managers)들은 이 기준을 충족하는 데 집중하게 되었고, 이는 곧 질 향상 프로그램에 대한 시간과 관심이 분산(diverted)되는 결과를 낳았다⁶⁶. 여기에 더해, 정부 정책의 변화, 병원의 인증 평가(accreditation review) 등도 질 향상 프로그램에 대한 관심을 분산시켰다.
    • 조직 수준(organizational level)에서는, 병원의 고위 및 중간 관리자(senior and mid-level leaders)들이 다른 도전과제와 우선순위에 직면해 있었으며, 이는 질 향상 프로그램에 대한 헌신(dedication)을 방해했다. 더 나아가, 병원 경영진이 정부 규제 준수에 집중한 나머지, 직원의 태도 및 행동 변화를 위한 시간과 자원의 요구를 과소평가(underestimate)한 것도 문제였다.
    • 유닛 및 개인 수준(unit and individual levels)에서는, 임상의들(clinicians)이 행동 및 문화의 근본적 변화를 위한 경영진의 지원 부족(insufficient support)을 지적했다. 특히, 직속 관리자와 상위 관리자 모두로부터의 지원이 부족했다고 보고되었다. 또한, 수준 간 상호작용(cross-level interaction)이 또 하나의 장애 요인이 되었는데, 이는 현장 직원(front-line staff)과 관리자(managers) 간에 질 보장을 위한 접근 방식에 대한 정렬 부족(limited alignment)에서 기인했다.
  • 세 번째 이니셔티브는 스웨덴에서의 류마티스 관절염 등록 시스템(rheumatoid arthritis registry) 구축에 관한 것이며, 15년 간의 회고적 연구(retrospective study)를 통해 보고되었다³¹.
    • LHS 모델에서 상정한 바와 같이, 진료 제공 조직들은 일반 환경 및 운영 환경(general and operating environments)에서 새롭게 사용 가능해진 정보기술(information technologies)을 채택하였다. 이러한 기술들은 점차적으로 약물 효과에 대한 임상적 학습(clinical learning)을 위해 등록 시스템(registry)을 활용하는 데 기여하였다. 진료 조직 내에서는 보건 정보 기술(health information technology)이 환자 중심 진료(patient-centered care)를 가능하게 했으며, 이는 학습 시스템의 핵심 가치 중 하나였다. 이와 같은 진료 접근 방식은 다음과 같은 전산화 절차의 개발 덕분에 더욱 효과를 발휘했다: 환자가 내원 전 증상을 직접 입력할 수 있는 시스템, 건강 상태 점수의 신속한 계산, 증상 및 과거 치료를 종단적으로 시각화하는 기능, 그리고 진료자와 환자가 함께 치료 옵션에 대해 공동 의사결정(shared decision-making)을 할 수 있도록 하는 데이터 기반 상호작용.
    • 이 등록 시스템이 시스템 학습(system learning)에 기여한 내용을 완전히 다층적으로 기술(multilevel account)하기 위해서는, 이 등록 시스템이 스웨덴 전자 건강 기록 시스템(electronic health records system)이라는 더 넓은 컨텍스트 내에 구축되었다는 점을 이해해야 한다⁶⁷. 등록 시스템의 발전과 학습 기여는 다음과 같은 여러 수준에서의 지지적 힘들의 정렬(alignment of supportive forces)에 의해 실질적으로 촉진되었다: 국가 수준, 지역(County Councils), 진료 조직(병원과 산하 클리닉), 의사(physicians), 환자(patients).
    • 스웨덴 보건복지부(Ministry of Health)와 지역협의회 연맹(Federation of County Councils)은, 병원과 의사 간 협력적 정보 교환(collaborative information exchange)을 위한 제도적 기반을 마련하고, 등록 시스템의 개발 및 유지 비용을 지원했다. 국가 단일 환자 식별자(national patient identifier)와, 국가 수준의 상호운용 가능한 데이터 교환 시스템(national, interoperable data exchange)을 위한 기반이 갖춰진 점도, 데이터 수집 및 통합(data collection and aggregation)을 촉진했다.
    • 개별 병원들은 데이터 공유에 참여하고 입력 비용도 분담했다. 의사들(physicians)은 등록 시스템 개발 과정에서 필요한 데이터 요소를 직접 제안했으며, 등록 데이터가 임상 치료에 기여함을 인정하고, 공유의사결정(shared decision-making)열려 있는 태도를 보였다. 환자들(patients) 역시, 이 전자 등록 시스템이 가능하게 한 더 풍부하고 협의적인 의사소통을 가치 있게 여겼던 것으로 보인다.
    • 만약 의사나 환자가 등록 시스템을 다른 가치관이나 태도로 대했더라면, 공유의사결정의 기반은 더 약했을 수 있다. 또한, 만약 이 등록 시스템이 국가 및 지역 수준에서의 강력한 제도적 지원(institutional support)을 받지 못했더라면, 개발자들은 전혀 다른 방향으로 개발을 진행해야 했을 것이다. 예컨대 미국에서는, 진료 시스템과 새로운 보건 정보 기술 개발자들이 훨씬 더 분절된 기술적, 재정적, 규제 환경(fragmented technical, financial, and regulatory environment)에 직면해 있다. 이로 인해, 여러 경쟁적 arthritis 등록 시스템들이 출현하게 되었으며, 이들은 전문 학회, 정부 및 민간 재정 지원 기관, 산업계, 병원 등 다양한 출처로부터 지원과 개발을 받으며 병렬적으로 존재하고 있다⁶⁸.

요약하자면, 이 세 가지 사례는 조직 학습에 다층적 관점을 적용하는 것이 가지는 분석적 및 실천적 가치(analytic and practical value)를 잘 보여준다.

  • 감염관리 연구자들(infection control researchers)은 자신들의 이니셔티브를 수행하는 과정에서 점진적으로 이 다층적 관점(multilevel perspective)을 개발하였고, 이를 통해 병원 외부의 전문가 동료와 규범이 병원 내부의 팀 및 조직 수준 학습에 영향을 미치는 방식을 새롭게 발견하였다.
  • 반면 나머지 두 사례는 원 논문에서 다층적 접근을 명시적으로 적용하지는 않았다. 그러나 이 사례들에 대한 재검토(reexamination)를 통해, 다층적 접근을 적용할 때의 이점이 분명히 드러난다.
    • 예컨대, 호주 병원 질 향상 프로그램의 경우, 엄격한 외부 기준 준수에 지나치게 집중(overemphasis)한 것이 시스템 수준 학습(system learning)에 어떤 일반화 가능한 영향(generalizable influences)을 미쳤는지를 밝혀볼 수 있었다⁶⁵. 이러한 재분석(reanalysis)은 또한, 시스템 수준 학습은 다양한 수준 내외의 영향력 있는 요인들 간의 상호작용과 정렬(supportive interactions and alignments)에 본질적으로 의존한다는 사실을 시사한다.

 

 

4.4 수준 내 및 수준 간 관계 (Relations Within and Across Levels)

앞서 소개된 사례연구들이 시사하듯, 다층적 분석(multilevel analysis)에 정밀성을 더하기 위해서는, 연구자들이 수준 간 관계(cross-level relations)를 면밀히 조사할 필요가 있다. 본 절에서는 공유 학습(shared learning)과 질 향상(improvement)에 있어 조직 및 이행 연구자들(organizational and implementation researchers)이 특히 중요하다고 밝혀온 세 가지 영역에서의 관계들(potential relations)을 고찰한다. 표 2(Table 2)는 각 영역에 대해 제기될 수 있는 연구 질문들(research questions)을 제시하고 있으며, 다른 유형의 영향 요인들에 대해서도 이와 유사한 질문들이 개발될 수 있다.

TABLE 2. 리더십, 인센티브, 조직문화에 관한 연구 질문(Research questions on leadership, incentives, and culture)


4.4.1 인센티브 (Incentives)

진료 전달 시스템(delivery system)의 운영 환경(operating environment)에 존재하는 외부 성과 기반 인센티브(external performance incentives)와, 조직 내부의 인센티브, 구조, 프로세스와의 정렬(alignment with intraorganizational incentives, structures, and processes)은, 해당 시스템이 진료의 질과 효율성을 향상시키기 위해 학습할 수 있을지, 또 어떻게 학습할지를 결정짓는 데 중대한 영향을 미칠 수 있다.

 

예컨대, 최근 확산되고 있는 가치 기반 지불(value-based payment) 이니셔티브⁷,⁸,⁶⁹는 진료 재설계(care redesign)에 대한 학습을 촉진할 수 있다. 그러나 이러한 이니셔티브가 조직 성과(organizational performance)에 미치는 잠재적이거나 실증적인 효과는 아직 확립되지 않았으며⁵⁶, 이들이 개인 및 조직 차원의 다른 행동 양식에 미치는 영향에 대해서는 광범위한 논쟁이 존재한다.

 

적절하게 설계된 인센티브연구(research), 전문직 교육(professional education), 진료 조정(care coordination), 고가치 진료(high value care) 제공과 같은 활동을 지원함으로써 시스템 수준 학습(system learning)을 촉진할 수 있다²⁹. 그러나 일부 분석가들은, 현재의 지불 프로그램들이 진료 결과의 질 향상을 이끌어낼 수 있을지, 혹은 단지 원치 않는 부작용과 의도하지 않은 결과만 초래할지를 의문시한다. 예를 들어:

  • 측정되지 않거나 보상받지 않는 진료 관행의 소홀(neglect of unmeasured or unrewarded practices)
  • 내재적 동기의 감소(reduced intrinsic motivation)⁷⁰
  • 지름길 선택(short-cutting) 혹은 부정행위(cheating)⁶⁹

또한, 성과 기반 인센티브는 조직 내부 혹은 조직 간의 협업(collaboration)을 위축시키고⁶⁹, 단기 성과(short-term results)에 대한 주의를 과도하게 집중시켜, 실험(experimentation), 혁신(innovation), 개선 프로그램의 체계적 평가(systematic evaluation)를 억제함으로써 학습 기회를 감소시킬 수 있다⁷¹.

 

인센티브 간 정렬 및 이들이 학습에 미치는 영향(alignment and impact on learning)을 조사하기 위해, 연구자들은 표 2의 질문들과 유사한 질문들을 설정할 수 있다. 예를 들어, 외부 인센티브가 어떻게 내부의 제재(sanctions)와 보상 시스템(rewards)으로 전환되는지, 또 이러한 내부 구조들이 개인, 팀, 조직 수준의 학습에 어떤 영향을 미치는지를 탐구할 수 있다.

 

 

4.4.2 조직문화 (Culture)

학습 건강시스템(LHS)의 과정과 성과에 대한 문화적 영향(cultural influences)진료 제공 조직 및 시스템 내부는 물론 외부에서도 발생한다. 사회적 규범(norms), 가치(values), 신념(beliefs)의 점진적 변화는, 진료 제공 조직들로 하여금 학습을 수행하고 학습을 지원하는 특성들을 개발할 수 있도록 하는 압력과 기회를 동시에 제공할 수 있다. 예를 들어, 건강의 사회적 결정 요인(social determinants of health)에 대한 인식이 높아지면서, 지불자(payers)와 진료 전달 시스템(delivery systems)은 인구 건강(population health)을 증진하기 위한 방안을 모색하고 있다⁷²,⁷³. 이러한 방향으로 나아가기 위해, 진료 제공자들과 그들의 리더들은 조직의 목표와 운영 방식에 대한 기본적인 가정을 재고(rethinking basic assumptions)하는 근본적인 조직 학습(fundamental forms of organizational learning)에 참여해야 한다⁶⁰.

 

마찬가지로, 투명성(transparency)과 공공 정보 공개(public disclosure)에 대한 기대가 높아짐에 따라, 진료 제공 조직들은 외부 지향적 조직문화(outward facing organizational cultures)를 개발하도록 유도되고 있다⁷⁴. 이러한 문화는 단지 이사회(board)나 전문직 리더(professional leaders)와 같은 내부 이해관계자(internal stakeholders)의 만족을 추구하는 데 그치지 않고, 조직 간 협력 및 학습(interorganizational collaboration and learning)을 장려할 수 있다.

 

조직 내부에서의 문화가 학습에 미치는 영향에 대한 많은 논의들은, 조직 전체에 걸쳐 존재하는 공유된 가치, 규범, 신념, 가정(shared values, norms, beliefs, and assumptions)에 주목하며, 이러한 요소들이 학습을 지지하거나 학습의 장벽을 극복한다는 점에 초점을 맞춘다. 예를 들어,

  • 팀워크(teamwork)와 표준화된 진료(standardized care)를 중시하는 문화의 형성은 공유 학습(shared learning)을 촉진하며²⁹,
  • 새로운 아이디어에 대한 개방성(openness to new ideas), 차이에 대한 존중(appreciation of differences), 심리적 안정감(psychological safety)을 장려하는 문화는, 투명성(transparency)과 통찰 및 우려의 공유(sharing of insights and concerns)를 가능하게 한다¹⁸,⁷⁵,⁷⁶.
  • 이러한 총체적 접근 방식(holistic approach)은, 지배적인 규범과 가치, 신념이 공유 학습을 지지하는지 혹은 저해하는지를 묻는 질문(표 2 참조)을 연구에 제기할 수 있게 해준다.

공유된 문화의 효과를 조사하는 것 외에도, 분석가들은 진료 시스템 또는 조직 내 문화 요소들 간의 불일치(divergence among cultural elements)를 탐구함으로써 새로운 통찰을 얻을 수 있다⁵⁴.

  • 하나의 진료 전달 시스템 내에 여러 조직 간 문화적 차이가 있을 수 있으며,
  • 단일 조직 내에서도 직급(ranks), 직종(occupations: 예. 간호사 vs 의사), 부서(예. 입원 vs 외래), 임상 전문 분야(clinical specialties), 운영 단위(operating units)에 따라 문화적 차이(cultural differences)가 존재할 수 있다.
  • 예컨대, 고위 리더(senior leaders)는 실험과 혁신의 가치(value of experimentation and innovation)에 대해 부서장이나 일선 직원들과는 다른 신념을 가질 수 있다.

마지막으로, 연구자들은 조직의 실제 실행에서 나타나는 암묵적 가정과 행동(implicit assumptions and behavior in practice)을 면밀히 조사해야 한다. 이러한 요소들은 다음과 같은 조직의 문화적 상징(cultural symbols)—예컨대 공식 슬로건, 유행어, 보상식 등—이나, 공표된 규범과 가치(espoused norms and values)—예컨대 비전 선언문(vision statements)—과는 구분된다⁷⁷. 실제 문화와 문화적 불일치의 영향을 탐구하기 위해, 연구자들은 표 2에 제시된 것과 같은 질문들을 제기할 수 있다. 예를 들어, 리더의 행동 속에 드러나는 학습에 대한 암묵적 가정과 규범은 무엇인가?, 또는 하위문화(subcultures)의 차이와 이를 처리하는 조직의 관행이 학습에 어떤 영향을 미치는가?라는 질문이 있을 수 있다.

 

 

4.4.3 리더십 (Leadership)

리더(Leaders)조직과 그 일반 환경(general environment), 운영 환경(operating environment) 사이를 연결하는 매개자 역할을 수행한다³⁰,³⁹. 이 과정에서, 그들은 조직 내부 시스템 학습(internal system learning)을 유도하고 지원할 수 있다¹³,¹⁸,²⁹.

  • 본 다층적 프레임워크는 분석가들이 진료 시스템의 이사회(governing boards) 및 최고경영진(executives)
    • 웰니스(wellness)에 대한 강조 증가, 개인용 디지털 기술(personal digital technology)의 보급일반 환경 내의 강력한 요인들어떻게 해석하고 이에 대응하는지를 면밀히 살펴보도록 유도한다.
    • 마찬가지로, 진료 조직 간의 통합(consolidation)과 같은 운영 환경 내 주요 영향 요인들에 대해 이들이 어떤 시각을 가지고 있으며, 어떻게 대응하는지를 분석하는 것 또한 중요하다.
    • 이를 바탕으로 연구자들은, 조직의 비전(vision), 사명(mission), 전략(strategies) 수립 방식이 학습에 어떤 영향을 미치는지를 분석할 수 있다¹³,¹⁴,²⁵,⁷⁷.

조직 내부에서는, 다양한 수준의 리더들(leaders at several organizational levels)학습에 역할을 수행하는데, 이들은 조직 전략을 실행에 옮기고, 새로운 진료 관행의 이행(implementation of new care practices)과 질 향상(quality improvement)에 영향을 미친다⁷⁸,³⁷. 리더들은 다음과 같은 활동을 수행할 수 있다:

  • 정보와 지식의 통합 및 확산(synthesize and diffuse information and knowledge)
  • 공유된 목표 설정 및 중재(set mutually shared goals; establish and mediate strategic priorities)
  • 자원(resource)훈련(training) 제공
  • 일선 직원(front line staff)에게 학습 기회를 제공하고, 그들의 의견을 청취하며, 피드백을 제공하여 권한을 부여(empowerment)
  • 이해관계자 통합(integration of stakeholders)
  • 혁신에 대한 지지 및 챔피언 역할(innovation championing)
  • 외부 환경의 도전과 기회에 대응(address external environmental challenges and opportunities)¹⁸,⁵⁹,⁷⁹⁻⁸¹

따라서 표 2에서 제안된 바와 같이, 모든 수준의 리더들이 중시하고, 보상하며, 지원하는 실천과 가치(practices and values)를 조사하는 것이 연구자들에게 매우 중요하다. 그 후, 연구자들은 리더들의 행동이 학습을 얼마나 촉진하는지, 상호 간에 정렬되어 있는지, 그리고 인센티브와 같은 다른 영향 요인들과 얼마나 정렬되어 있는지를 평가할 수 있다.

 

특히, 연구자들은 중간 관리자(mid-level managers)가 고위 리더십의 변화 전략(senior leadership change strategies)을 어떻게 중재(mediate)하며, 경우에 따라 그 전략을 근본적으로 변화시키는지에 대한 다양한 과정들을 식별할 수 있다⁸⁰. 예를 들어, 호주 병원의 질 향상 프로그램 연구에서는⁶⁵, 질 관리 담당자(quality managers)와 기타 중간 관리자들이, 병원 경영진과 주정부가 제시한 프로그램 목표를 재해석(reinterpreted program objectives)하였으며, 이로 인해 질 중심 문화(culture of quality)를 형성할 수 있는 기회가 약화되었다는 사실이 드러났다.


5 논의 (Discussion)

본 논문에서 개발된 다층적 관점(multilevel perspective)과 그림 1(Figure 1)에 제시된 프레임워크는, 연구자들이 복잡한 보건의료 조직(complex health care organizations) 내에서의 학습(learning)을 조사하고, 이 학습이 조직 내로 어떻게 확산(diffusion)되며, 조직이 단기 목표를 달성하고 외부 변화에 따른 장기적 도전과제를 해결하는 데 어떤 역할을 하는지를 탐구하는 데 유용한 지침(guide)이 될 수 있다.

 

보건의료 서비스 제공의 질 편차(care quality variation)와 상당한 자원 낭비(substantial waste)는⁸², 긴급한 문제를 해결하기 위한 단발성(one-off)이고 1차원적인 해결책(first-order solutions)에 의존하는 것의 한계를 시사하며⁷⁵, 심층 학습(deep learning)의 필요성을 강조한다. 심층 학습은 문제의 근본 원인(root causes)을 다루고, 그 기저에 놓인 가정(assumptions)을 질문하는 과정이다⁶⁰. 이는 조직 내 다양한 수준들 간의 정렬과 협력(alignment and collaboration across multiple levels), 그리고 복잡한 다층적 사고(complex multilevel thinking)를 필요로 한다.

  • 그림 1의 프레임워크는 연구자 및 실무자가 개선과 학습에 영향을 미치는 다양한 요인들을 광범위하게 탐색(scan)할 수 있도록 도와주며, 기존에 간과되었던 요인들 간의 상호작용(interactions among influential factors)을 발견하게 해줄 수 있다. 핵심 요인들과 그들 간의 관계는 잠재적 영향력, 이론적 중요성, 변화 가능성(amenability to change)을 기준으로 평가될 수 있다.
  • 연구자들은
    • 영향력 있는 수준들과 그 안의 핵심 요소들을 예비적으로 고려한 후, 그 중 일부 수준 및 요인(subset of levels and factors)을 선택하여 체계적 자료 수집(systematic data gathering)과 정교한 분석(rigorous analysis)을 수행할 수 있다.
    • 이 다층적 프레임워크는 연구 결과의 보고(reporting of research findings)에도 적용 가능하다.
    • 연구자들이 자신들의 연구에서 탐구한 수준(levels), 요인(factors), 관계(relations)를 명시함으로써, 후속 검증을 위한 경험적 기반의 가설(empirically grounded hypotheses) 형성에 기여할 수 있고, 다양한 연구들 간의 결과 통합(synthesis of findings across studies)을 촉진할 수 있다.
  • 관리자(managers)실무자(practitioners) 역시
    • 이 프레임워크를 계획 수립 도구(planning tool)로 활용할 수 있다. 각 수준별로, 학습을 촉진하고 지원하기 위해 필요한 자원(resources), 인센티브(incentives), 교육(training), 기술 조합(skill mix), 팀 구조(team structure), 시간 배분(time allocations) 등을 고려할 수 있으며,
    • 이러한 요인들의 비용(cost)과 이용 가능성(availability), 상호 지원 여부, 수준 간 정렬 최적화 방법(best alignment across levels) 등을 평가할 수 있다.

 

미국의학한림원(NAM)과 다른 LHS 및 학습 조직 advocates들은, 진료 제공 조직과 전체 전달 시스템을 변혁(transform)하기 위한 복잡하고 야심찬 목표들(complex and ambitious targets)을 제시해왔다. 이를 달성하기 위해서는, LHS 모델이 상정하는 학습의 형태를 어떻게 개발하고 지원할 수 있는지에 대한 가장 핵심적인 경로(the most critical paths)를 규명하는 연구(research)가 필요하다. 이를 위해, 연구자들은 전체 조직과 진료 시스템 내에서 학습에 영향을 미치는 요인들 간의 복잡한 다층적 상호작용(complex multilevel interactions of factors)을 정밀하게 분석(unpack)하는 노력이 중요할 것이다.

 

 

 

이 그림(Figure 1)은 조직 학습(organizational learning)에 영향을 미치는 요인들다층적(multilevel) 구조로 보여주는 시각적 도식입니다. 중심에서 바깥쪽으로 퍼져나가는 동심원 구조를 통해, 개인(individual) 수준에서 시작하여 팀/유닛(team/unit), 중간 관리자(mid-management), 조직(organization), 운영 환경(operating environment), 일반 환경(general environment)까지 다양한 수준에서 작용하는 요인들(factors)을 설명합니다.

 

🧍 Individual (개인 수준)

  • 핵심 요인: 기술(skills), 태도(attitudes), 지식(knowledge), 챔피언 역할(championing), 공유 학습(shared learning), 환자 참여(patient engagement)
  • 📌 개인 수준에서는 진료 제공자나 직원 개개인의 능력과 태도가 조직 학습에 중요한 영향을 미칩니다. 특히 환자와의 상호작용, 학습에 대한 열의, 다른 사람들과의 지식 공유가 핵심입니다.

👥 Team/Unit (팀/유닛 수준)

  • 핵심 요인: 팀워크(teamwork), 임상 마이크로시스템(clinical microsystems), 분위기(climate), 학습/개선 활동, 업무 루틴(routines), 워크플로우(workflows), 수평적·수직적 의사소통
  • 📌 특정 부서나 진료팀 단위에서는 공동 작업과 의사소통 방식이 학습을 촉진하거나 저해할 수 있습니다. 팀 문화와 개선 활동의 일상화가 중요합니다.

🧑‍💼 Mid-management (중간 관리자 수준)

  • 핵심 요인: 리더십(leadership), 인센티브, 자원(resources), 지원 체계(supportive systems), 하위문화(subcultures)
  • 📌 중간관리자는 조직 전략을 현장에 연결하고, 실행을 중재하며, 리더십과 현장 사이에서 가교 역할을 합니다. 이들의 영향력은 종종 과소평가되지만, 핵심적입니다.

🏢 Organization (조직 수준)

  • 핵심 요인: 리더십, 전략, IT, 지식관리(knowledge management), 조직 문화/하위문화(culture/subcultures), 인센티브, 자원, 지원 시스템
  • 📌 조직은 전체적인 전략과 구조, 학습을 지원하는 인프라를 갖추는 것이 중요합니다. 조직 문화는 여러 하위문화(subcultures)로 구성될 수 있으며, 이 간의 조화도 중요합니다.

🌐 Operating Environment (운영 환경)

  • 핵심 요인: 지불자/인센티브(payers/incentives), 자금(funding), 외부 진료기관과의 경쟁/협력, 커뮤니티, 환자 그룹, 이해관계자
  • 📌 조직 외부의 운영 환경은 즉각적이고 실질적인 영향을 미칩니다. 예를 들어, 건강보험 지불 방식이나 정부 규제는 병원의 전략과 학습 방향을 바꿔놓을 수 있습니다.

🌍 General Environment (일반 환경)

  • 핵심 요인: 과학 및 임상 지식(science, clinical knowledge), 기술 발전, 사회·경제·정치적 조건, 전문직 및 교육 기관
  • 📌 가장 바깥의 환경은 직접적인 영향을 주진 않지만, 장기적으로 조직이 학습해야 할 방향과 변화의 필요성을 만들어냅니다. 예를 들어, 디지털 헬스 기술이나 건강 불평등에 대한 사회적 인식이 변화 방향에 영향을 줍니다.

 

 

✅ 다층적(multilevel) 프레임워크 구성의 근거 설명

1️⃣ 일반 환경 (General environment)

  • CFIR에서는 ‘Outer Setting(외부 환경)’으로 분류되며, 여기에는 정책, 인센티브, 환자의 요구 및 자원 등이 포함됨.
  • 사회생태학적 관점에서는 ‘System(시스템)’ 수준에 해당함.
  • 조직 변화 관점에서는 정치경제, 시장, 제도적 요인 등의 환경(environment)으로 설명됨.
  • 이 수준을 포함한 이유: 정책, 제도, 환자 기대치 등과 같은 변화 속도가 느리고 더 먼 거리의 환경 조건들이 조직 학습에 미치는 영향을 탐색하기 위함.

2️⃣ 운영 환경 (Operating environment)

  • CFIR에서는 외부 조직과의 연결(linkage), 동료 압력(peer pressure) 등을 포함하는 Outer Setting의 일부로 간주됨.
  • 사회생태학적 모델에서는 ‘Community(지역사회)’ 수준에 해당함.
  • 조직 변화 관점에서는 인센티브, 타 조직과의 관계환경적 요인으로 나타남.
  • 이 수준을 포함한 이유: 지불 인센티브, 경쟁자, 협력 기관 등과 같은 보다 즉각적이고 동적인 영향 요인들을 구분하기 위함.

3️⃣ 조직 수준 (Organization)

  • CFIR에서는 ‘Inner Setting(내부 환경)’ 중에서도 서비스, 유닛, 팀 수준의 구조적 특성, 문화, 리더십, 자원, 지식 정보 등 다양한 요인을 포함함.
  • 사회생태학적 모델에서는 그냥 ‘Organization’ 수준으로 표현됨.
  • 조직 변화 모델에서는 전체 조직의 핵심 속성(리더십, 문화, 팀 개발, 정보기술)을 강조함.
  • 이 수준을 포함한 이유: 널리 사용되는 용어로서의 조직 수준을 채택하고, 핵심 속성 간의 정렬(alignment)이 학습에 미치는 효과를 강조하며, 리더십과 문화의 구분 필요성을 부각하기 위함.

4️⃣ 중간 관리자 수준 (Mid-management)

  • CFIR에서는 별도 수준으로 구분되어 있지 않음. 다만, ‘Implementation Process’ 내에서 계획, 실행, 평가, 공식적 리더의 역할 등이 다뤄짐.
  • 사회생태학적 모델에서는 이 수준이 구분되어 있지 않음.
  • 조직 변화 모델에서는 핵심 속성은 적용되지만 별도 수준으로 구분되어 있지 않음.
  • 이 수준을 포함한 이유: 변화를 실행하는 주체로서가 아닌, 공유 학습의 촉진자로서 중간 관리자들의 역할을 강조하고, 그들의 영향력을 반영하기 위해 별도 수준으로 포함.

5️⃣ 팀/유닛 수준 (Team/Unit)

  • CFIR에서는 ‘Inner Setting’의 변이(variation across teams)와 Implementation Process(오피니언 리더, 챔피언, 반영 및 평가 등) 요소로 다뤄짐.
  • 사회생태학적 모델에서는 별도로 포함되어 있지 않음.
  • 조직 변화 모델에서는 팀/그룹 수준의 핵심 속성(core properties)으로 포함됨.
  • 이 수준을 포함한 이유: 팀 차원의 프로세스가 조직 수준과 개인 수준 학습에 모두 영향을 미친다는 점을 강조하기 위함.

6️⃣ 개인 수준 (Individual)

  • CFIR에서는 ‘Involved Individuals’로서, 개인의 속성, 개입에 대한 인식, 행동 등을 포함함.
  • 사회생태학적 모델에서는 ‘Individual’ 수준으로 명확히 포함됨.
  • 조직 변화 모델에서는 개인의 기술, 동기, 행동(예: 팀워크, 기술 사용)을 다룸.
  • 이 수준을 포함한 이유: 개인 수준의 학습은 팀 학습에 기여할 수 있고, 개인이 조직 학습의 챔피언 역할을 하며, 환자를 조직 학습 과정에 참여시키는 매개자로 기능할 수 있기 때문.

📌 참고: 용어 설명

  • CFIR (Consolidated Framework for Implementation Research): 근거 기반 개입을 실제 현장에 적용할 때 영향을 미치는 요인을 다층적으로 분석하는 이론적 틀. 여기서 Outer/Inner Setting, Process, Individuals 등이 주요 영역.
  • Socio-ecological Model: 건강 행동에 영향을 미치는 요인을 개인, 조직, 지역사회, 시스템 수준으로 구분해 설명하는 접근.
  • Organizational Change Framework: 조직 내 변화가 어떻게 일어나는지를 리더십, 문화, 정보기술 등 핵심 속성을 중심으로 설명.

 

 

💬 조직 학습을 위한 리더십, 인센티브, 조직문화 관련 핵심 연구 질문들

이 표에서는 조직 학습(organizational learning)과 개선(improvement)을 촉진하기 위해 주목해야 할 세 가지 주요 요소—인센티브(incentives), 조직문화(culture), 리더십(leadership)—와 관련된 연구 질문들을 제안하고 있습니다.


🎯 1. 인센티브(Incentives)에 관한 질문

  • 운영 환경(operating environment), 조직 수준, 중간 관리자, 유닛 수준에서 제공되는 인센티브들이 서로를 어떻게, 얼마나 강화하거나 약화시키는가?
  • 진료 시스템의 리더들은 외부 인센티브를 어떻게 내부 지침과 보상 체계로 전환(translating external incentives into internal directives)하고 있는가?
    이 번역 과정은 공유 학습과 실험(learning and experimentation)을 장려하는가, 아니면 중간 관리자와 직원들이 좁은 성과 지표에만 집중하도록 만드는가?
  • 외부 및 내부 인센티브는 조직 간 협력을 통한 학습(collaboration for learning among organizations)에 어떤 영향을 미치는가?

🌐 2. 조직문화(Culture)에 관한 질문

  • 사회적 규범, 가치, 환자 기대의 변화는 조직의 학습과 변화(organizational learning and change)에 대한 새로운 필요를 만들고 있는가?
    진료 조직들은 이러한 압력에 어떻게 반응하고 있는가?
  • 한 조직 내에서의 지배적인 규범, 가치, 신념은 공유 학습에 대한 수용성을 강화하는가, 약화시키는가?
  • 고위 리더가 실제로 실천하는 가정과 규범(assumptions and norms)은 투명성과 개선 제안의 개방성을 촉진하는가?
    아니면 중간 관리자, 임상의, 직원들의 제안 의욕을 억제하는가?
  • 부서 간 또는 기능 간에 공유된 가치, 가정, 작업 루틴의 유사성은 도전과제에 대한 협업적 성찰과 실험, 경험 기반 학습의 기반이 되는가?
    혹은 하위문화 간 차이(subcultural differences)가 오히려 공유 학습 기회를 줄이는가?
  • 진료과, 직종, 간호팀, 환자 및 그 가족 간의 하위문화 차이조직 학습 역량에 어떤 영향을 미치는가?
    그리고 이 차이를 다루는 통용된 방식은 그 영향력을 증폭시키는가, 완화시키는가?

🧭 3. 리더십(Leadership)에 관한 질문

  • 리더는 학습과 개선에 기여할 수 있는 외부 지식 및 혁신(external knowledge and innovations)을 어떻게 탐색하고, 실행에 옮기는가?
  • 고위, 중간, 유닛 수준의 리더는 어떤 실천과 가치(practices and values)를 인지하고, 측정하고, 보상하고, 모델링하고, 교육하고, 지지하는가?
    이러한 행동은 학습 문화를 구축하는가, 아니면 그 발전을 방해하는가?
  • 리더들의 전략, 목표, 행동은 조직 내 여러 수준에서 얼마나 정렬(alignment)되어 있으며, 이것이 학습과 개선을 지지하는 방식으로 작동하는가?
  • 중간 관리자(mid-level managers)는 고위 리더의 전략을 어떻게 중재(mediate)하는가?
    이들은 이해관계자를 통합하고, 정보를 통합·전파하며, 혁신을 주도하고 촉진하는(champion and facilitate) 역할을 수행하는가?

필요하시면 이 내용을 요약 카드, 슬라이드, 블로그용 마크다운 파일 등으로 정리해드릴 수도 있습니다. 포맷을 말씀해 주세요!

Acad Med2024 Sep 1;99(9):953-958. doi: 10.1097/ACM.0000000000005754. Epub 2024 May 7.

Trainees as Agents of Change: A Theory-Informed Model for Trainee-Driven Curricular Advocacy in Medical Education

 

 

 

👩‍⚕️ 의과대학생이 교육과정을 바꿀 수 있다고요?

― 교육생 주도 교육과정 개혁을 위한 실천적 모델 소개

요즘 의학교육 개혁 이야기, 자주 들으시죠?
그런데 그 중심에 의과대학생, 전공의, 펠로우 같은 '교육생(Trainees)'이 있다면 믿기시나요?
이번 포스팅에서는 Academic Medicine에 실린 한 논문을 바탕으로, 교육생 주도 교육과정 개혁(trainee-driven curricular advocacy)이 어떻게 가능한지, 그리고 어떤 체계적인 접근이 필요한지 소개해보려고 합니다.


🧭 시작은 질문에서

교육과정 개혁에 교육생은 왜, 어떻게 참여해야 할까?

과거에는 교육과정 개혁이 대부분 교수나 기관의 몫이었어요. 하지만 이 논문은 분명히 말하고 있습니다:

"Trainee-driven curricular advocacy therefore relies not only on passionate trainees but also on passionate faculty members."
👉 “교육생 주도 교육과정 옹호는 열정적인 교육생뿐 아니라, 열정적인 교수진에도 의존한다.”

 

즉, 교육생 혼자만의 힘으론 어렵고, 교수진과의 파트너십이 핵심이라는 거죠.


🌱 교육과정 개혁을 위한 실행 모델

이 논문에서 제안하는 모델(model)은 단순한 이론이 아니라, 실제 교육과정 개혁을 추진하기 위해 따라갈 수 있는 단계별 로드맵이에요. (그림은 논문 Figure 2를 참고하세요!)

핵심 단계는 다음과 같아요:

  1. 교육과정의 격차(gap)를 발견하기
  2. 프로젝트의 범위(scope) 설정
  3. 동료 교육생(partners) 및 교수진(faculty mentors)과 팀 구성
  4. 요구도 조사(needs assessment)와 교육과정 맵핑(curriculum mapping)
  5. 학습목표 설정 및 기존 교육과정과의 연결 지점 파악
  6. 이해관계자(stakeholders)에게 제안하고 지지(buy-in) 얻기
  7. 교육과정 실행(implementation)
  8. 평가(evaluation)결과 확산(dissemination)

여기서 포인트는 뭐냐면, 이 과정이 절대 일직선이 아니라는 거예요.
항상 앞으로만 나가는 게 아니라, 필요하면 이전 단계로 돌아가기도 하면서 다듬어가는 '반복적 과정(iterative process)'이라는 거죠.

"This model also highlights that trainee advocacy is an iterative process, with the double-sided arrows linking most steps emphasizing the likelihood of having to go back to previous steps throughout the advocacy process."


🤝 교수님, 도와주세요

이 모델은 교수님들의 역할도 굉장히 중요하게 봅니다.

"Almost every step of the proposed model requires that trainees receive support from faculty."
👉 “제안된 모델의 거의 모든 단계는 교육생이 교수의 지원을 받을 것을 전제로 한다.”

 

예를 들어, 교육생이 어떤 과목에 새 내용을 넣고 싶어도 과목 책임자(course director)나 교육과정 책임자(curriculum director)의 승인 없이는 힘들 수밖에 없죠. 그래서 교수-교육생의 파트너십이 이 개혁의 핵심 축이에요.


📣 끝까지 갔으면, 확산까지

교육과정이 성공적으로 도입됐다면, 그걸 널리 퍼뜨리는 것도 중요합니다.

"Disseminating outcomes of new curriculum initiatives... is one way to encourage the development of exosystem-level reform."
👉 “새로운 교육과정 결과를 확산시키는 것은 외체계 수준의 개혁을 촉진하는 방법 중 하나이다.”

 

여기서 말하는 외체계(exosystem)는, 예를 들어 인증기관(accreditation bodies)이나 국가 교육정책처럼 직접적이지 않지만 교육생에게 영향을 미치는 구조들을 말해요. 이 논문은, 교육생이 주도한 작은 움직임이 교육과정 전체의 변화로 이어질 수도 있다는 희망을 보여줍니다. 그리고 이를 위해 교육생에게 실행 전략과 도전의식을 심어주는 도구(toolkit)가 바로 이 모델인 거죠.


🧩 마무리하며

이 논문이 정말 잘한 건, 단순히 "교육생도 참여해야 한다!"고 외치기만 한 게 아니라, 교육생이 실제로 어떻게 개입할 수 있는지를 단계적으로 제시했다는 점이에요.

"The theory-informed model proposed here can guide trainees toward acting as agents of change in medical education."
👉 “여기 제안된 이론 기반 모델은 교육생이 의학교육에서 변화의 주체로 행동할 수 있도록 안내한다.”


📌 여러분은 어떻게 생각하세요?
여러분의 의과대학에서는 학생이 교육과정을 바꾸는 데 참여할 수 있는 구조가 있나요?
아니면 ‘그건 교수님들 몫’이라고만 생각하고 계셨나요?

작은 질문 하나로 시작된 변화가, 전체 시스템을 흔들 수 있습니다.
학생 여러분, 그리고 교수님 여러분, 함께 해주세요. 🙌

 


의학교육(Medical education)은 지난 한 세기 동안 다양한 개정과 개혁을 거쳐왔다. 예를 들어, 1910년 Carnegie Foundation for the Advancement of Teaching(이하 Carnegie 재단)이 발간한 Flexner 보고서는 의사 훈련의 표준화를 강화하고 의학의 기초과학(fundamental sciences)에 더욱 집중할 것을 권고하였다¹. 하지만 이러한 권고는 그 기준을 충족시킬 자원이 부족한 의과대학들의 폐쇄를 초래했으며, 이러한 학교들은 대개 여성과 유색인종 학생들(marginalized students such as women and students of color)을 주로 교육하던 곳이었다² ³.

 

100년 후, Carnegie 재단은 다시 한번 개혁의 필요성을 제기하며, 표준화된 결과(standardized outcomes)를 충족시키는 데 있어 유연성을 허용하고(예: 역량 기반 의학교육, competency-based medical education), 지식의 통합(integration of knowledge)을 촉진하고, 탐구와 개선의 습관(the habit of inquiry and improvement)을 장려하며, 전문직 정체성 형성(professional identity formation)의 기회를 제공할 것을 권고하였다. 2010년 보고서의 저자들은 이러한 개혁적 요구를 달성하기 위해 “우리는 의학교육을 다시 한 번 변화시켜야 한다(we must transform medical education yet again)”고 강조하며, “의학교육을 새롭게 창의적으로 상상하고, 사려 깊게 발명하자(thoughtfully inventing medical education anew)”고 동료들에게 호소하였다⁴ ⁵. 그러나 이전의 대규모 개혁이 사회적 약자에게 부정적인 영향을 미쳤던 점을 고려할 때, 이번 재설계는 모두에게 공평하게 접근 가능하도록 해야 한다.

 

의과대학생으로서 나는, 교육과정 개혁이 형평성을 보장하기 위해서는 관련된 모든 시각, 특히 교육생(trainees)의 시각이 반드시 고려되어야 한다고 주장하고 싶다. 여기서 교육생이란 의과대학생, 전공의(residents), 펠로우(fellows)를 포함한다. 최근 교육생들은 자신의 교육에 변화를 추구하려는 움직임을 점차 보여주고 있다⁶ ⁷. 예를 들어, 의대생들은 교수들과 협력하여 반인종차별적 교육과정(antiracist curricula)을 발전시키고⁸, 기후 변화가 건강에 미치는 영향을 다루는 강의를 설계하며⁹, 건강 옹호(health advocacy)와 보건시스템 과학(health systems science)에 대한 교육자료를 제작하고¹⁰, 다양성과 건강 형평성(health equity)을 우선시하는 사례 기반 학습(case-based learning)을 수정하고¹¹, 자원 절약(resource stewardship)에 관한 다국가 교육 프로그램을 실행하며¹², 지적 장애인에 대한 진료 교육을 개선하는 등의 활동을 수행해왔다¹³. 전공의와 펠로우들도 완화의료(palliative care)¹⁴, 영상의학(radiology)¹⁵, 신생아학(neonatology)¹⁶ 등 다양한 분야에서 교육과정을 개발해왔다. 더 나아가, 일부 연구에서는 적절한 상황에서 교육생이 주도한 강의가 학습자들에게 더 선호될 수도 있다는 근거도 제시된다¹⁷ ¹⁸. 그럼에도 불구하고, 교육생 주도 교육과정 개혁이 성공하기 위한 구체적인 경로는 아직 명확하지 않다.

 

교육생 중심(curriculum driven by trainees)의 교육과정 옹호(curricular advocacy) 과정을 보다 잘 이해하기 위해서는, 이를 촉진하거나 방해하는 요소들(facilitators and barriers)을 검토하는 것이 중요하다. AMEE의 ASPIRE Award Programme에 참여한 여러 의과대학들은 학생 참여(student engagement)의 우수성에 초점을 맞추고 있으며, 여기서는 다음과 같은 12가지 팁(tips)을 제시한 바 있다: 교육생을 권한 있게 만드는 문화 조성, 공식적인 참여 틀의 개발, 교육과정 설계와 개발 과정에 교육생의 적극적 참여 보장 등이다¹⁹.

 

또한, 교육생 주도 교육과정 프로젝트를 검토한 한 연구에서는 성공적인 교육생 주도 교육과정 옹호를 위한 촉진 요인으로, 학생 리더십을 의도적으로 육성하기, 지역 교수 멘토를 발굴하기, 상부의 지원(top-down support)을 제공하기, 지속 가능성(sustainability)을 확보하기 등을 제시하였다. 그러나 이 연구는 동시에 학생들이 교육과정 변화의 절차와 조직 내 위계(local hierarchies)를 모르는 경우가 많기 때문에, 지역 교수의 지원, 멘토링, 안내가 필수적이라는 점도 강조하였다¹². 이러한 복잡한 제도적 절차를 탐색해야 하는 과제 외에도, 교육생 주도 개혁을 방해하는 또 다른 장애물로는 교육생 참여에 대한 저항(resistance to trainee involvement)을 극복하는 것, 이 과정에서 포용적인 접근법을 정착시키는 것 등이 있다²⁰.

 

 

교육생 주도의 교육과정 개혁(trainee-driven curricular advocacy)은 복잡한 과정이지만, 일부 대학에서는 교육생의 참여를 충분히 뒷받침할 수 있는 창의적인 해결책을 고안해왔다. 그 예로, University of Illinois College of Medicine at Chicago의 Student Curricular Board를 들 수 있는데, 이 기구는 학생들이 기관의 리더십과 협력하여 단기 및 장기 교육과정 개선 프로젝트에 참여할 수 있는 공식적인 기회(formalized opportunity)를 제공한다²¹. 이 사례는 교육생 주도 개혁의 장벽을 극복하기 위해 제도적 지원(institutional support)이 얼마나 중요한지를 보여주는 사례이다.

 

하지만 이러한 프로그램이 존재하지 않는 기관에 다니는 교육생들은 어떻게 해야 할까? 그들은 어떻게 장벽을 극복하고 교육과정 개혁을 주장할 수 있을까? 현재로서는 공식적인 제도적 지원 없이 교육과정 옹호에 참여하고자 하는 교육생들에게 도움이 될 만한 지침은 거의 없거나 전무하다. 위에서 논의된 교육생 주도 옹호의 촉진 요인(facilitators)은 성공적인 실행을 위해 교수나 기관의 참여가 필요하다. 그러나 교육생이 독립적으로 실행할 수 있는 촉진 요인에 대한 문헌은 부족하다.

 

Carnegie 재단이 강조한 바와 같이, 의학교육에서 획일성을 줄이고(decreased rigidity) 개별화된 학습 과정(individualizing the learning process)에 더 집중해야 한다는 요구는 교육과정 개발과 개혁에 교육생을 반드시 참여시켜야 할 시급성(urgency)을 잘 보여준다⁴ ⁵. 하지만 혁신과 지속가능성(innovation and sustainability)에 기반한 교육생 중심의 모델(trainee-centered model)이 부재한다면, 교육생 주도 개혁은 정체 상태에 머물 수밖에 없다.

 

이 글에서 나는 생태학적 체계 이론(Ecological Systems Theory, EST)을 활용하여 위에서 논의된 교육생 주도 교육과정 옹호의 장벽과 촉진 요인에 대한 맥락(context)을 제공하고자 한다²² ²³. 더불어, 이 이론의 틀을 통해 교육생 주도 개혁과 개혁 과정에 영향을 미치는 사회정치적 힘(sociopolitical forces)을 교육생의 시각으로 해석하여 의학교육의 이해를 확장하려 한다. 이어서, 나의 의과대학생 경험을 바탕으로 지역 및 국가 수준의 교육과정 개혁을 위한 실제 옹호 활동 사례를 이론적 토대에 연결하고, 의학교육에서 교육생 주도 개혁을 촉진하는 모델을 제안할 것이다.

 

물론, 의학교육의 영향을 받는 다양한 이해당사자들—예: 환자들—이 존재하지만, 본 모델은 의학교육 체계 내에서 의과대학생(medical student)을 중심에 두고 설계될 것이다. 교육생 옹호자가 직면하는 고유한 장벽들을 해결하기 위해 특별히 설계된, 실행 가능하고 접근 가능한(curricular advocacy) 모델은 현재 존재하지 않기 때문에, 나는 이 모델이 다음과 같은 효과를 갖기를 기대한다.

  • 교육생들이 의학교육의 변화 주체(agent of change)가 되어 교육과정 옹호에 적극 참여할 수 있도록 권한을 부여하고,
  • 보건전문직 교육기관 내 교수진과 행정가들(예: 강의 책임자, 교육과정 부학장 등)이 이러한 노력에 있어 교육생들을 적극적으로 지지하도록 장려하는 것이다.

 

 

의학교육 체계에 대한 생태학적 체계 관점

Ecological Systems Theory(EST)는 개인이 복잡한 사회적·환경적 힘의 그물망 속에서 어떻게 영향을 받는지를 설명하는 이론이다. 이 이론은 의학교육에서 교육생 주도의 교육과정 개혁(trainee-driven curricular advocacy)을 맥락화(contextualize)하는 데 유용한 틀을 제공하며, 교육 시스템의 구성요소들(예: 교육생, 교수진, 기관 등)이 자신이 속한 환경 속에서 어떻게 상호작용하는지를 분석할 수 있게 해준다.

 

EST는 다섯 가지 생태학적 영향 체계(ecological systems of influence)를 제시한다:

  1. 미시체계(Microsystem)
  2. 중간체계(Mesosystem)
  3. 외체계(Exosystem)
  4. 거시체계(Macrosystem)
  5. 시간체계(Chronosystem)²⁴ ²⁵

의학교육에서 이러한 다섯 생태 체계를 개괄함으로써, 이 체계들이 어떻게 작동하고 상호작용하는지에 대한 더 깊은 이해, 나아가 이 체계들이 변화하는 방식과 그 변화가 학습자에게 미치는 영향에 대한 더 섬세한 분석이 가능해진다²⁶. 따라서 EST는 교육생 주도 교육과정 개혁 과정을 더 잘 이해하고, 교육생들이 개혁 과정에서 마주하는 사회정치적 영향력을 분석하는 데 효과적인 틀을 제공한다. 그림 1(Figure 1)은 교육생 교육과정 옹호자(trainee curricular advocates)의 관점에서 본 EST의 다섯 생태 체계를 시각적으로 보여준다.


📊 Figure 1 설명: EST 시각에서 본 교육생 주도 교육과정 옹호(trainee-driven curricular advocacy)의 개요도
EST는 개인이 사회적·환경적 힘의 복잡한 네트워크 속에서 어떻게 영향을 받는지를 설명하며, 그 영향 체계는 미시체계, 중간체계, 외체계, 거시체계, 시간체계로 구성된다²⁴. 이 다이어그램은 이러한 다섯 체계가 의학교육 내 교육생 주도 교육과정 개혁 과정에서 어떻게 작동하는지를 예시적으로 보여준다.
약어: LCME (Liaison Committee on Medical Education), ACGME (Accreditation Council for Graduate Medical Education)


EST의 관점을 통해 교육생 주도 교육과정 개혁 과정을 맥락화함으로써, 그림 1은 이 과정에 영향을 미치는 다양한 층위의 구조적 요소들을 조명한다.

  • 미시체계(Microsystem)는 교육생이 직접적으로 상호작용하는 요소들로, 소속 기관, 해당 기관 내의 특정 부서, 교수진과 스태프, 다양한 강의, 그리고 다른 교육생 등이 포함된다.
  • 중간체계(Mesosystem)는 이 미시체계의 구성요소들 간의 상호작용을 의미한다. 예를 들어, 교수 개개인이나 학과는 교육생과 개별적으로 존재하지만, 학과 간에 교수와 교육생이 공정하고 양방향적으로 상호작용할 경우, 이는 교육생 주도 교육과정 개혁을 촉진하는 역할을 할 수 있다. 이러한 점에서 미시체계와 중간체계는 모두 중요한 요소임을 보여준다.
  • 외체계(Exosystem)는 교육생에게 직접적으로 노출되지는 않지만, 간접적으로 영향을 주는 제도적 구조들을 포함한다.
    예를 들어, LCME(Liaison Committee on Medical Education), ACGME(Accreditation Council for Graduate Medical Education), 미국소아과학회(American Academy of Pediatrics), 미국외과학회(American College of Surgeons) 등은 교육생이 속한 기관 외부에 존재하지만, 인증 기준(accreditation standards)과 면허 시험의 출제 범위를 결정함으로써 간접적 영향을 미친다.
  • 거시체계(Macrosystem)는 학습 환경 전체에 영향을 미치는 문화적 요소를 다룬다. 여기에는 개인 수준에서의 문화적 정체성, 인종/민족, 사회경제적 지위, 의료 분야에 대한 친숙도 등과, 사회적 수준에서의 지역/국가의 정치, 학교의 지리적 위치 등 다양한 요인이 포함된다.
  • 마지막으로, 시간체계(Chronosystem)모든 체계에 걸쳐 시간에 따른 변화를 포착하며, 교육생이 처한 환경의 진화, 의학교육의 목표 변화, 교육생이 속한 사회정치적 환경의 변화 등을 포괄한다.

EST를 활용해 교육생 주도 교육과정 개혁 과정을 탐색하면, 교육생들이 직면하는 영향 체계의 복합성을 명확하게 드러낼 수 있다.
예를 들어, 미시체계와 중간체계가 교육생 옹호 활동에 미치는 영향을 분석하면 다음과 같은 점이 드러난다.

  • 자신의 학교에서 새로운 교육 개입(intervention)을 필수 교육과정에 도입하고자 하는 의과대학생관련 교수들과 연결되어 있지 않다면, 해당 프로젝트의 목표를 진전시키기 어려울 수 있다.
  • 반대로, 강력한 교수진의 지지(faculty support)는 교육생 주도의 개혁을 성공적으로 이끄는 핵심 요소가 될 수 있으며, 이는 University of California, San Francisco와 Harvard Medical School에서의 반인종차별 교육과정 개혁 사례에서 잘 드러난다⁸.

미시체계와 중간체계의 중요성은 이 주제에 관한 기존 연구들에서도 입증되었으며, 지역 교수 멘토십(local faculty mentorship)과 상부의 지지(top-down support)가 교육생 주도 교육과정 옹호의 핵심 촉진 요인(key facilitators)으로 확인된 바 있다¹². 따라서 EST를 활용해 교육생 옹호자에게 영향을 미치는 체계들을 분류하고 명확히 제시하는 것은, 이들의 개혁 활동에서 마주하는 장벽과 촉진 요인을 이해하고 맥락화하는 데 매우 유용하다.


의학교육에서 교육생 주도 교육과정 옹호를 위한 이론 기반 모델 개발

생태학적 체계 이론(EST)을 활용하여 의학교육 시스템을 교육생, 교수진, 국가 수준의 기관들 간 복잡한 관계망으로 구성된 체계로 이해한 후, 다음으로 제기되는 질문은 ‘이해를 넘어선 실행’의 문제이다. 이처럼 복잡한 시스템을 교육생이 어떻게 탐색하며, 기존에 교수나 제도적 지원이 없는 상태에서도 어떻게 교육과정 개혁에 참여할 수 있을까?

 

나는 지역 및 국가 수준에서 교육과정 개혁을 위한 교육생 옹호 활동을 수행한 경험에 기반하여²⁷, EST를 의학교육 시스템에 적용하고, 교육생이 의학교육에서 변화의 주체(agent of change)가 될 수 있도록 구체적인 실행 단계를 제시하는 모델을 개발하였다. 이 모델은 교육생이 자신이 속한 기관 내에서 또는 국가 수준에서 교육과정 옹호 활동을 수행할 때 따라갈 수 있는 명확한 단계들을 제공한다.

 

그림 2(Figure 2)는 이 모델을 시각화한 것으로, 교육생 옹호 활동은 반복적이고 순환적인(iterative) 과정임을 강조하며, 옹호 과정 중 여러 단계들을 다시 되짚게 되는 가능성이 높다는 점을 시사한다.


📊 Figure 2 설명: 의학교육에서 교육생 주도 교육과정 옹호를 촉진하는 모델

이 모델은 교육생 옹호자(trainee advocates)가 자신의 기관 내에서든, 국가 수준에서든 교육과정 옹호를 수행할 때 따라갈 수 있는 구체적 단계들(concrete steps)을 제시한다. 전통적으로 이 모델은 교육생이 발견한 교육과정의 격차(curriculum gap)를 출발점으로 삼는다. 그러나 이미 진행 중인 개혁 활동에 참여하고자 하는 교육생은 이 모델의 어느 단계에서든 참여할 수 있다. 또한 이 모델은 옹호 활동이 반복적 과정(iterative process)임을 강조하며, 대부분의 단계들이 양방향 화살표(double-sided arrows)로 연결되어 있다는 점은 이전 단계로 되돌아가야 할 가능성이 높음을 시사한다. 그리고, 점선 화살표와 박스(dotted arrow and box)는 반드시 요구되지는 않지만, 교육생 주도 교육과정 개혁의 결과를 외부에 공유·확산(dissemination)하는 것도 고려되어야 함을 나타낸다.


이 모델이 제시하는 교육과정 개혁의 진행 과정은 전통적으로 교육생이 식별한 교육과정의 격차로부터 시작된다. 그러나, 이미 다른 교육생이나 교수진이 진행 중인 개혁 활동에 합류하려는 교육생은 이 모델의 어느 지점에서든 진입 가능하다. 교육생이 자신이 해결하고자 하는 교육과정의 격차(curricular gap)를 식별한 이후에는, 자신이 제안하는 프로젝트의 범위(scope)를 비판적으로 검토해야 한다²⁸.

  • 프로젝트가 자신이 속한 기관 내부(curriculum within their institutions)에 국한될 경우, 미시체계(microsystem)와 중간체계(mesosystem)가 가장 주요한 분석 틀이 될 것이다. 하지만 모든 기관은 외체계(exosystem)거시체계(macrosystem)의 영향을 받기 때문에, 이 수준들은 간접적으로라도 교육생의 개혁 역량에 영향을 미친다.
  • 반대로, 교육생의 옹호 목표가 ‘국가적 기준(national standards)’을 변화시키는 것이라면, 외체계와 거시체계의 중요성은 더욱 커진다.

따라서 교육생은 옹호 과정의 초기에 자신이 추구하는 교육과정 개혁의 범위를 명확히 정의해야 한다. 물론, 미시체계 내 개혁을 목표로 시작한 프로젝트라도, 이후에는 다른 생태 체계로 확대될 수 있다. 하지만 외체계 수준의 변화를 추구하는 옹호 과정은, 미시체계에서의 변화 과정보다 완전히 다른 전략을 요구한다.

 


교육과정의 격차(gap)를 식별하고 프로젝트의 범위(scope)를 명확히 한 후, 교육생은 해당 교육과정 격차를 해결하는 데 관심을 공유하고 옹호 활동 과정에서 협력할 동료 교육생들(peer trainees)을 찾아야 한다. 특히 교육 단계가 서로 다른 교육생 간의 협력은 역할의 공평한 분배(equitable distribution of responsibilities)를 가능하게 하고, 장기적인 참여(longitudinal trainee engagement)를 촉진하는 데 도움이 된다. 이와 동시에, 교육생은 자신이 변화를 추구하는 체계(예: 미시체계 또는 외체계) 내에서 지도자적 위치에 있는 교수진(faculty partners with leadership positions)을 전략적으로 파악해야 한다. 예를 들어,

  • 교육생이 속한 기관에서 교육과정 개발이나 강의에 참여하고 있는 교수진은 종종 강의 책임자(course directors), 프로그램 디렉터(program directors), 또는 교육과정 결정에 관여하는 기타 인물들과의 연결고리를 가지고 있다. 이러한 네트워크는 교육생 주도 교육과정 개혁 프로젝트의 지지를 확보하는 데 핵심적 역할을 할 수 있다. 따라서 지역 교수진(local faculty)과의 협력은 미시체계 수준의 개혁을 성공적으로 추진하는 데 거의 필수적이다.
  • 반면, 국가 수준의 조직(national-level organizations)에서 활동하는 교수진과의 파트너십은 외체계 수준의 변화(exosystem-level change)를 추진하는 데 도움이 될 수 있다. 그러나 이러한 교수진은 미시체계 내 개혁을 실현하는 데는 직접적인 도움이 되지 않을 수 있다. 이러한 이유로, 교육과정 개혁의 범위(scope)를 명확히 규정하는 작업은 효과적인 팀 구성을 가능하게 해주며, 다층적 교수 멘토십(multilayered faculty mentorship)의 중요성을 시사한다.

즉,

  • 미시체계 내 멘토십은 지역 수준의 변화(local change)를 돕고,
  • 외체계 내 멘토십은 국가적 수준의 변화(national change)를 가능하게 해준다.

동료 및 교수진 파트너 구성 이후, 교육생은 자신이 해결하고자 하는 교육과정 격차를 보다 심층적으로 이해해야 한다. 교육생은 해결하고자 하는 구체적인 지식(knowledge), 기술(skills), 행동(behaviors), 태도(attitudes)의 결핍(deficiencies)을 파악하기 위해, 초기 요구도 조사(initial needs assessment)를 수행해야 한다²⁹. 요구도 조사를 수행할 때에는 설문조사(surveys)³⁰, 인터뷰(interviews)³¹ 등 다양한 조사 기법을 사용할 수 있으며, 무엇보다 교육생이 개혁을 추구하는 체계(미시체계 또는 외체계)를 중심으로 조사가 설계되어야 한다.

 

요구도 조사 이후에는 교육과정 맵핑(curriculum mapping)을 수행해야 한다. 이 과정에서는 기존 교육과정에서 이미 해당 격차와 관련된 내용이 있는지 여부를 파악하게 되며, 이는 다음과 같은 목적에 기여할 수 있다:

  • 기존에 활용 가능한 자료 및 도구들을 수집하여 새로운 교육과정 개발 과정에 활용할 수 있고,
  • 특정 주제에 관심 있는 학습자의 요구를 현재 교육과정이 얼마나 수용할 수 있는지를 평가하는 수단이 될 수 있다³².

 

요구도 조사(needs assessment)와 교육과정 맵핑(curriculum mapping)을 완료한 후, 교육생은 학습목표(learning objectives)를 설정하고, 새롭게 개발한 교육내용을 기존 교육과정의 어느 부분에 통합할 수 있을지 식별해야 한다. 새로운 교육과정을 직접 개발하는 것 외에도, 교육생은 기존 교육과정 자료(preexisting curricula)를 검색해보는 것도 권장된다. 예를 들어, MedEdPORTAL (https://www.mededportal.org/)과 같은 데이터베이스를 통해 이미 해당 격차를 다루고 있는 자료가 있는지를 탐색해볼 수 있다.

 

그 다음 단계로, 교육생은 자신이 설계한 교육과정 계획(curriculum plan)을 관련 이해관계자(stakeholders)에게 제시할 준비가 되어야 한다. 이해관계자란, 의대/레지던시/펠로우십의 교육과정에 영향을 미치는 모든 사람들을 포괄하며,
예를 들어:

  • 강의 책임자(course directors)
  • 교육과정 책임자(curriculum directors)
  • 임상 지도교수(clinical instructors)
  • 국가 수준의 교수 리더(national faculty leaders)
  • 학장(deans) 등이 이에 해당한다.

이 단계에서는, 교육생과 교수 파트너가 협력하여 현재 의학교육에서의 격차를 명확히 전달하고,
제안된 교육과정 변경사항을 기존 구조에 어떻게 통합할 수 있을지 전략적으로 설명하는 데 중점을 두어야 한다.


이 시점에서, 교육생은 이해관계자의 지지를 획득했는지 여부(stakeholder buy-in)를 확인하게 된다.

  • 지지를 얻었다면, 교육과정 실행 단계로 나아갈 수 있다.
  • 지지를 얻지 못했다면, 교육과정을 수정하고 보완하는 작업을 반복해야 한다.

제안한 개혁안에 대해 이해관계자의 지지를 확보한 이후, 교육생은 본격적인 교육과정 실행(curriculum implementation)을 시작할 수 있다.


교육과정이 실행된 후에는 평가(assessment), 검토(evaluation), 개선(improvement)의 과정이 뒤따라야 한다.
신규 교육과정은 다음과 같은 영역에 대해 평가되어야 한다:

  • 학습자의 만족도(learner satisfaction)
  • 학습된 지식(knowledge gained)
  • 행동 변화(behavior change)

이러한 평가를 통해, 교육생은 교육과정을 개선할 부분을 파악하고, 학습자의 요구에 보다 잘 부응할 수 있게 된다.


한편, 교육생 주도 교육과정 개혁의 성공을 위해 필수는 아니지만, 성과를 외부에 확산(disseminating outcomes)시키는 것은 외체계 수준(exosystem-level)의 개혁을 촉진하는 하나의 방법이 될 수 있다. 특히 현재 필수 교육과정에 포함되지 않은 주제를 다루는 경우, 그 영향은 더욱 크다. 교육생은 자신이 개발한 교육과정을 지역(local) 및 국가(national) 학술대회에서 발표하거나, 동료 평가 학술지(peer-reviewed journals)에 논문으로 출판하도록 권장되어야 한다.

 

만약 인증기관(accreditation organizations)이 교육생이 식별한 교육과정 격차의 중요성을 인식하고 관련 기준을 변경한다면, 각 기관은 일정 수준의 교육과정 변경을 수행하지 않으면 인증을 상실할 위험에 처하게 된다. 물론, 각 기관은 이 기준을 어떻게 충족할지는 자율적으로 결정할 수 있지만, 새로운 주제가 추가되는 경우에는 모든 기관에서 최소 수준의 교육과정 변경이 불가피하게 된다. 이러한 방식은, 새로운 기준과 관련된 교육과정 개혁을 위해 각 기관의 교육생 옹호자가 일일이 미시체계 내 지지를 확보해야 하는 부담을 줄일 수 있다.

 

하지만 주의할 점도 있다. 이러한 확산 노력(dissemination efforts)이 국가 수준의 교육과정 변화(national-level curriculum change)로 직결되지 않을 수도 있다. 이는 외체계 수준 개혁을 실현하고자 하는 교육생들에게 좌절감을 줄 수 있다.

 

 

교수진을 위한 특별 고려 사항

내가 이 모델을 개발하면서 설정한 주요 목표는 두 가지였다.

  1. 교육생이 교육과정 옹호자(curricular advocates)로 성장하여 교육과정 개혁 활동에 적극 참여하도록 돕는 것,
  2. 그리고 교수진이 이러한 교육생들의 노력을 지지하도록 유도하는 것이다.

제안된 모델의 거의 모든 단계는 교수의 지지(faculty support)를 필요로 한다. 따라서 교육생 주도 교육과정 옹호(trainee-driven curricular advocacy)는 단지 열정적인 교육생만으로는 충분하지 않으며, 열정적인 교수진의 참여 또한 필수적이다. 나는 이 모델이 교수들에게 다음과 같은 변화를 촉진하기를 바란다:

  • 교육생의 교육과정 옹호 활동을 적극적으로 지지하려는 동기를 부여하고,
  • 소속 기관의 교육과정 개발 및 개혁 과정이 교육생에게 보다 개방적이고 참여 가능하도록 만드는 방법에 대해 행정가들이 다시 생각해보는 계기가 되기를 바란다.

결론

교육생 주도 교육과정 옹호는 본질적으로 복잡한 과정이다. 지금까지의 문헌들은 이 과정을 촉진할 수 있는 요소를 주로 기관 수준(institutional level)에서만 다루어 왔으며, 교육생 개인 수준에서의 요인들은 상대적으로 간과되어 왔다¹² ¹⁹. 물론, 지금까지도 교육생 주도로 성공한 교육과정 개혁 프로젝트 사례들은 다양하게 존재한다⁸–¹⁶. 그러나 교육생이 실제 옹호 활동을 수행하는 데 있어, 그 과정을 안내해주는 문헌은 거의 없었다. 이번에 제안한 이론 기반 모델(theory-informed model)은 교육생이 의학교육에서 변화를 이끄는 주체(agent of change)로서 행동할 수 있도록 안내해줄 수 있다.

 

나는 이 모델이 교육생들이

  • 교육과정 옹호 과정(curriculum advocacy process)에 더 잘 준비되어 참여할 수 있도록 돕고,
  • 의학교육에 지속적이고 긍정적인 영향을 미칠 수 있다는 자신감과 역량을 갖도록 지원해주기를 진심으로 바란다.

 

 

🔍 그림 구조 해설 (안쪽에서 바깥쪽으로)

🧍 Trainee (교육생)

가장 중심에 있는 존재로, 모든 체계의 영향을 받는 당사자입니다. 교육과정 개혁을 시도하는 주체입니다.


🟠 Microsystem (미시체계)

  • 직접적으로 상호작용하는 환경입니다.
  • 예: 소속 기관, 학과, 강의, 교수진, 직원, 다른 교육생들 등
  • 교육생이 일상적으로 마주치는 공간이죠.

교육과정 개혁이 여기서 시작되는 경우가 많습니다.


🟡 Mesosystem (중간체계)

  • 미시체계 구성 요소들 간의 상호작용입니다.
  • 예: 학과 간 협력, 교수진과 학생 간 협업 등
  • 양방향적 상호작용이 공정하고 활발할수록 개혁의 가능성이 커집니다.

🔵 Exosystem (외체계)

  • 교육생이 직접 관여하지 않지만 영향을 받는 제도나 조직
  • 예: 인증 기준(accreditation standards), 면허 시험 요구사항, LCME, ACGME 등
  • 이 체계의 변화는 국가 수준의 교육과정 변화와 연관됩니다.

🟣 Macrosystem (거시체계)

  • 문화적, 사회적, 정치적 요소들로 이루어진 광범위한 배경
  • 예: 지역 및 국가의 정치 상황, 학교의 지리적 위치, 교육생의 문화 정체성, 사회경제적 지위 등
  • 학습환경 전체에 영향을 미치는 가치와 신념이 여기에 포함됩니다.

⏳ Chronosystem (시간체계)

  • 시간의 흐름에 따른 변화를 포착합니다.
  • 예: 인증 기준의 진화, 사회적 담론의 변화, 정치적 전환 등
  • 교육생이 속한 모든 체계에 시간 축(time dimension)에서 영향을 미칩니다.

🧩 이 그림이 주는 메시지

이 도표는 단순히 구조를 나열하는 것이 아니라,
👉 교육생이 교육과정 개혁을 시도할 때 얼마나 다층적인 시스템의 영향을 받는지를 시각적으로 보여줍니다.

예를 들어,

  • 한 학생이 교육과정 내에 기후 변화 교육을 추가하고 싶다고 한다면,
    • Microsystem에서는 담당 교수와 강의 구조가 문제일 수 있고,
    • Exosystem에서는 이 주제가 면허시험에 반영되는지가 관건이 될 수 있습니다.
    • Chronosystem에서는 사회 전반의 관심 변화가 영향을 미칠 수 있겠죠.

✅ 요약

이 그림은 교육생이 교육과정 개혁을 주도하는 과정에서 단순히 개인의 열정만으로는 부족하며,
복합적이고 상호작용적인 체계를 고려해야 함을 강조합니다.
EST는 그런 복잡성을 체계적으로 분석하고 설계할 수 있는 프레임워크를 제공합니다.

 

이 그림(Figure 2)은 의학교육에서 교육생 주도 교육과정 개혁(trainee-driven curricular advocacy)을 촉진하기 위한 실행 단계 모델을 시각적으로 나타낸 것입니다. 그림의 핵심 목적은 교육생이 실제로 교육과정을 개혁하려 할 때 따라갈 수 있는 구체적 단계들을 제시하는 것이며, 이 모델은 반복 가능하고 비선형적인(iterative and non-linear) 과정임을 강조합니다.


🔄 전체 구조 개요

이 그림은 12개의 주요 단계로 구성된 순환형 흐름도로, 대부분의 단계는 양방향(double-sided) 화살표로 연결되어 있어, 상황에 따라 언제든 이전 단계로 돌아가야 할 수도 있다는 점을 강조하고 있습니다. 또한 점선 박스와 화살표(dotted arrow and box)는 선택적으로 진행할 수 있는 단계를 나타냅니다.


🧩 단계별 설명

  1. Trainee-identified curriculum gap
    → 교육생이 교육과정 내 결핍 또는 문제점을 인식함.
  2. Define scope of project
    → 프로젝트의 범위와 영향력을 명확히 규정 (기관 내인지, 국가 수준인지 등).
  3. Identify peer and faculty partners
    같은 관심을 가진 동료 교육생교수진 파트너십을 구축.
  4. Perform needs assessment and curriculum mapping
    → 요구도 조사(needs assessment)와 교육과정 맵핑(curriculum mapping)을 수행하여 현재 상황을 분석.
  5. Develop new curriculum
    → 교육과정의 학습 목표 및 구조를 설계하고, 필요한 경우 기존 교육과정을 참고해 개발.
  6. Revise new curriculum
    → 피드백을 반영해 교육과정을 반복적으로 수정 및 보완함.
  7. Achieve buy-in for curriculum initiative
    → 이해관계자(stakeholders)로부터 승인과 지지(buy-in)를 얻음.
    (예: 강의 책임자, 학과장, 교육과정 위원회 등)
  8. Implement trainee-driven curriculum change
    → 실제로 교육과정을 실행함.
  9. Assessment and evaluation
    → 실행 결과를 바탕으로 학습자 반응, 지식 습득, 행동 변화 등을 평가함.
  10. Make improvements to curriculum
    → 평가 결과를 바탕으로 지속적으로 개선함.
  11. (Optional) Dissemination of outcomes
    논문, 학술대회, 워크숍 등을 통해 성과를 외부에 공유.
    → 외체계(exosystem) 수준의 개혁을 촉진할 수 있는 방법이 될 수 있음.

🔁 왜 반복적인가?

이 모델에서 거의 모든 단계가 양방향 화살표로 연결되어 있는 이유는,
교육과정 개혁이 결코 단순한 직선적 과정이 아니라는 점을 보여주기 위함입니다.

예를 들어:

  • 이해관계자의 buy-in을 얻지 못하면 다시 교육과정을 수정해야 하고
  • 평가에서 문제점이 발견되면 다시 개선 과정을 거쳐야 하죠.

"This model... highlights that trainee advocacy is an iterative process, with the double-sided arrows linking most steps emphasizing the likelihood of having to go back to previous steps throughout the advocacy process."

J Clin Transl Sci2021 May 14;5(1):e126. doi: 10.1017/cts.2021.789. eCollection 2021.

Understanding and applying the RE-AIM framework: Clarifications and resources

 

 

 

💡 RE-AIM 프레임워크에 대한 오해들, 이제는 바로잡아야 할 때

– RE-AIM과 PRISM의 현재와 미래

안녕하세요 😊
오늘은 이행 과학(Implementation Science) 분야에서 오랫동안 사랑받아온 프레임워크인 RE-AIM과 그것에 대해 우리가 흔히 가지고 있는 오해(misconceptions)들을 짚어보려고 해요.

그동안 RE-AIM을 써보셨거나 들어보셨다면, ‘이거 평가할 때만 쓰는 거 아냐?’ ‘다섯 개 항목 다 써야 하는 거 아냐?’라는 생각 한 번쯤 해보셨을지도 몰라요.
하지만 최근 논문에서는 이처럼 널리 퍼진 오해들에 대해 조목조목 정리하고, RE-AIM의 최신 방향과 자원들까지 소개해줍니다.


🔍 RE-AIM은 뭐였더라?

RE-AIM은 1999년에 제안된 프레임워크로, 연구 결과가 실제 현장에 잘 적용되기 위한 다섯 가지 핵심 요소를 제시해요.

  • Reach (도달률)
  • Effectiveness (효과성)
  • Adoption (채택률)
  • Implementation (이행도)
  • Maintenance (지속성)

초기에는 평가(evaluation) 중심으로 많이 활용되었지만, 지금은 기획, 실행, 확산, 개선 전 과정에 적용되는 종합 프레임워크로 확장되었죠.


❗ 많이들 헷갈리는 RE-AIM 오해들

논문에서는 RE-AIM에 대한 13가지 오해를 정리해요. 그 중 대표적인 것들 몇 가지를 소개할게요.

1. “RE-AIM은 평가용 프레임워크잖아?”

사실 RE-AIM은 처음부터 '연구를 실제로 연결하는 도구'로 설계되었어요.
논문에서는 이렇게 강조하죠:

“RE-AIM has always been designed to help translate research into practice.”
→ "RE-AIM은 항상 연구를 실천으로 전환하는 데 도움을 주기 위해 설계되어 왔다."

 

기획할 때도, 교육할 때도, 실행 중 피드백을 줄 때도, RE-AIM을 활용할 수 있어요.


2. “도달률이랑 채택률은 비슷한 말 아닌가요?”

많은 사람들이 이 두 개념을 헷갈려해요.
하지만 Reach는 프로그램의 ‘대상자’ 수준에서 얼마나 많이 참여했는지를 말하고,
Adoption그 프로그램을 실행하려는 기관이나 제공자가 실제로 ‘채택했는가’를 보는 거예요.

“Reach is measured at the level of the individual… Adoption is measured at one or more levels of the organizational or community setting.”


3. “RE-AIM은 대형 연구에서나 쓰는 거지...”

NOPE!
작은 커뮤니티 프로젝트나 예산이 거의 없는 상황에서도 RE-AIM은 충분히 쓸 수 있어요.
논문에서도 실제 사례들을 소개하며 강조합니다:

“Many successful projects described use of RE-AIM with low budgets or even no budget.”
→ “예산이 적거나 전혀 없는 프로젝트에서도 RE-AIM을 성공적으로 활용한 사례들이 다수 보고되었다.”


4. “RE-AIM은 정량 데이터만 다루지 않나요?”

RE-AIM도 질적 자료(qualitative data)를 아주 중요하게 여겨요.
요즘은 적응(adaptation), 맥락(context), 형평성(equity) 같은 복잡한 요소를 이해하기 위해 혼합 방법(mixed methods)을 적극 권장하고 있어요.


🧭 RE-AIM의 현재 위치는? PRISM과 함께 진화 중!

요즘 RE-AIM은 PRISM이라는 이름으로 한층 더 발전하고 있어요.

PRISMPragmatic Robust Implementation and Sustainability Model의 약자로,
RE-AIM의 다섯 가지 요소에 더해

  • 정책 요인
  • 이행 기반 구조
  • 건강 형평성
  • 비용(cost)
    같은 요소들을 포함해서 현장의 맥락을 더 잘 반영할 수 있는 실용적 도구로 쓰이고 있어요.

“The changes to RE-AIM have been in response to growing knowledge in implementation science and practice and include… context, adaptations, health equity, and costs.”


📚 어디서 더 배울 수 있을까?

RE-AIM 공식 웹사이트인 www.re-aim.org에서는

  • 체크리스트 ✔
  • FAQ ❓
  • 오해 정리 슬라이드 📊
  • PRISM 통합도 📌
    등 유용한 자료를 계속 업데이트하고 있어요.
    적용 전 자가진단 체크리스트도 꼭 한 번 써보세요!

✨ 마무리하며 – 프레임워크는 살아있다

프레임워크는 고정된 틀이 아니라, 변화하는 환경과 연구에 따라 계속 진화하는 도구예요.
논문은 이렇게 강조하며 마무리해요:

“TMFs should change and adapt over time so that they do not become ossified.”
→ “TMF는 시간이 지남에 따라 변화하고 적응해야 하며, 고착되어서는 안 된다.”

 

RE-AIM도 예외가 아닙니다.
우리가 제대로 이해하고, 유연하게 적용해나간다면, RE-AIM은 여전히 강력한 실행 과학의 동반자예요.

📌 읽어주셔서 감사합니다!


서론 (Introduction)

Implementation science(이행 과학)theories, models, or frameworks(TMFs: 이론, 모형, 또는 프레임워크)의 도움을 받는다. 이러한 TMF들은 (a) 연구 설계와 가설 생성, 측정 도구 선택, 분석 과정을 안내하고, (b) 일반화 가능성을 높이며, (c) 결과를 개선하거나 최소한 그 과정을 이해하는 데 기여한다 [1,2]. 이러한 이유로 TMF의 활용은 이행 과학 분야에서 연구 제안서의 자금 지원을 결정짓는 기준이 되었다. 그만큼 TMF들은 새로운 연구 결과와 응용을 반영하여 시간에 따라 발전해야 한다 [3]. 그러나 TMF의 진화를 따라가고, 이를 실제 연구에 적용하고 실행 가능한 형태로 바꾸는 일은 결코 쉽지 않다 [4].

 

이행 과학 분야에는 150개가 넘는 TMF가 존재하고 있으며 [5], 이들은 유형, 목적, 사용 방식 면에서 다양하기 때문에 연구 목적에 가장 적합한 TMF를 선택할 수 있도록 정리하고 분류하는 작업이 필요하다 [1]. 이와 동시에 연구자들이 TMF를 선택하거나 설명할 때, 최초 논문이나 단일 리뷰에만 의존하지 않고, 가장 최근의 문헌과 자료를 검토하는 것이 매우 중요하다. TMF들은 적용 맥락이나 대상 행동에 따라 진화하기 때문이다. 예를 들어, PARIHS 프레임워크는 수정과 보완을 거쳐 iPARIHS라는 이름으로 재소개되었다 [6]. 이러한 점은 특히 중요하다. Kislov 등의 주장에 따르면 TMF는 데이터, 새로운 과제, 변화하는 상황에 따라 진화해야 하며, 고정되고 경직되어서는 안 된다 [3].

 

그러나 TMF에 관한 논문과 논의가 방대하고 복잡하기 때문에, 연구자들이 특정 TMF에 대해 가장 핵심적인(seminal) 논문이나 리뷰에서 제시한 해석에만 의존하게 되는 경향은 충분히 이해할 수 있다. 그 결과, 초기의 분류 방식이 이후에도 이행 과학 수업, 교육 프로그램, 교과서, 후속 연구, 리뷰 논문, 리뷰의 리뷰 등에서 반복적으로 재생산된다. 이러한 과정을 거치며 TMF가 새로운 방식으로 적용되거나, 확장되거나, 경험적으로 검증되거나, 새로운 환경이나 인구집단에 적용되는 동안 이루어진 진화나 정교화가 간과되기 쉽다.

 

이러한 경향은 RE-AIM 프레임워크에서도 동일하게 관찰된다 [7,8]. 많은 TMF 리뷰에서는 TMF를 설명(explanatory)용, 과정(process)용, 결과(outcome)용과 같이 서로 배타적인 유형으로 분류하거나, 계획(planning), 평가(evaluation), 개선(improvement) 중 오직 하나의 용도에만 사용할 수 있는 것으로 경계를 설정한다. 그러나 실제로는 이러한 경계가 모호하며, 일부 TMF는 여러 범주에 동시에 해당될 수 있다. RE-AIM의 핵심 개념들과 측정 지표들 역시 초기 발표 이후 새로운 데이터와 연구 방법, 이행 과학의 발전에 따라 진화해 왔다. 이 논문에서는 이러한 이슈와 그로 인해 생긴 오해에 대해 자세히 논의하고자 한다.

 

TMF의 활용과 관련된 혼란을 방지하고 줄이려는 노력은 매우 중요하다. 이해 부족이나 TMF의 진화로 인한 오해를 명확히 밝히는 작업은 이행 과학의 발전을 가속화할 수 있다. 이는 TMF의 활용을 지나치게 제한하거나 혁신을 억제하며, 연구자들에게 부정적인 영향을 미치는 등 원하지 않는 결과를 줄이는 데에도 기여할 것이다.

 

이 논문의 목적은 다음 네 가지이다.

  1. RE-AIM 프레임워크가 시간이 지나면서 어떻게 진화해 왔는지 요약하고, 이 진화가 어떤 오해와 관련되어 있는지를 밝힌다.
  2. RE-AIM에 대한 구체적인 오해(misconceptions)를 식별하고, 이에 대해 정정 설명을 제공한다.
  3. RE-AIM의 사용과 관련된 혼란을 해소할 수 있는 자료와 자원(resources)을 제시한다.
  4. TMF 개발자, 논문 심사자, 저자, 과학 문헌 사용자들에게 TMF 오해의 빈도를 줄이거나 영향을 줄이기 위한 권고(recommendations)를 제공한다.

 

RE-AIM의 진화 (The Evolution of RE-AIM)

많은 TMF(theories, models, or frameworks)는 적용 범위가 다양한 환경, 인구집단, 주제로 확장됨에 따라, 그리고 과학적 진보에 부응하여 시간이 지나면서 진화한다. 예를 들어, EPIS(Exploration, Preparation, Implementation, Sustainment) 프레임워크는 처음에는 보다 선형적인 형태(linear form)로 구상되었지만 [9], 국제적 맥락에서의 적용을 통해 순환적 모델(circular model)로 진화하였다.

 

RE-AIM 프레임워크는 20년 이상 전에 처음 개념화된 것으로, 과학적 근거가 실제 정책이나 실행으로 전환되는 데 있어 발생하는 잘 알려진 실패와 지연 문제를 해결하고자 고안되었다 [10]. RE-AIM은 내적 타당성(internal validity)뿐만 아니라 외적 타당성(external validity, 예: 일반화 가능성)의 중요성을 강조하고, 모든 RE-AIM 차원에서 투명한 보고(transparency in reporting)를 강조한 핵심 TMF 중 하나로 자리 잡았다 [7].

 

RE-AIM은 공중보건, 행동과학, 이행 과학 분야 전반에서 가장 널리 사용되는 기획 및 평가 프레임워크 중 하나이며 [7], 기획, 평가(가장 빈번함), 또는 둘 다의 목적으로 명시적으로 사용된 논문만 해도 700편이 넘는다. RE-AIM은 다양한 임상, 지역사회, 기업 환경을 포함하여 광범위한 설정과 인구, 건강 문제에 걸쳐 적용되어 왔으며 [7, 11, 12], 정책 및 환경 변화(policy and environmental change) 분야에서도 활용되어 왔다.

 

RE-AIM의 다섯 가지 핵심 차원(dimension)은 개인 수준(individual level)뿐 아니라 여러 생태학적 수준(ecologic levels)에서 작동하며 측정된다. (예: 보건 시스템의 직원 및 환경 수준에서 가장 흔히 적용되지만, 지역사회 및 국가 수준에서도 자주 활용됨). 주요 차원은 다음과 같다:

  • 도달률(Reach)효과성(Effectiveness): 개인 수준
  • 채택률(Adoption)이행도(Implementation): 직원, 조직, 시스템 또는 정책 수준
  • 지속성(Maintenance): 개인 수준과 조직/시스템/정책 수준 모두 [7]

표 1(Table 1)에서는 각각의 RE-AIM 차원에 대해 정의, 보고 권고사항, 예시를 요약하고 있다. 리뷰에 따르면 RE-AIM의 모든 지표가 항상 보고되지는 않으며, 예를 들어 채택률과 지속성은 상대적으로 덜 보고되는 경향이 있다 [13, 14]. 최근에는 이 프레임워크를 실제 적용하기 전에 이해관계자와 함께 사전에(priori) 논의하여 어떤 차원을 우선 개선할지, 어떤 차원은 제외할지, 어떤 것은 어떻게 측정하고 실행할지 결정하는 ‘실용적 적용(pragmatic application)’에 더 큰 강조가 이루어지고 있다 [7, 15, 16]. 이러한 진화적 변화는 Glasgow 외 연구진이 정리한 논문 [7]에서 자세히 논의되며, 그 내용은 아래에 간략히 요약되어 있다.

📌 표 1. RE-AIM 각 차원의 명확화 및 보고 기준 요약
(RE-AIM: Reach, Effectiveness, Adoption, Implementation, Maintenance)

 

곧 학술지 Frontiers in Public Health에 출간될 “Use of the RE-AIM Framework: Translating Research to Practice with Novel Applications and Emerging Directions” 주제 논문에서는 RE-AIM을 활용한 기획, 적응, 평가 사례와 최근 활용 방향의 확장을 잘 보여주는 우수 사례와 실천적 가이드를 제시하고 있다.

 

RE-AIM의 원 출판 논문인 Glasgow 외 연구진의 논문 [10]에서는 “RE-AIM 평가 모델은 참여자와 환경의 도달률(reach) 및 대표성(representativeness)을 강조한다”고 명시하고 있으며(p. 1322), 이는 RE-AIM을 단지 “평가 모델(evaluation model)”로만 오해하고 분류하는 원인이 되었을 수 있다 [17]. 그러나 후속 연구에서는 기획, 확산 설계, 전이 연구(translational science) 전반에 걸친 연구 설계에 있어서의 RE-AIM의 가치가 명확히 강조되었다. RE-AIM은 이후 Evidence-Based Cancer Control Programs 데이터베이스에 포함된 근거 기반 암 예방 프로그램의 일반화 가능성 평가에도 통합되었고 [18], NIH와 다양한 재단의 이행 과학 연구 자금 공고에서도 추천 TMF로 지정되었다.

 

RE-AIM은 앞으로도 계속 진화하면서, 현실 평가(realist evaluation)에서 제기되는 “어떤 개입 구성요소가, 어떤 이행 전략과 함께, 누구에게, 어떤 맥락에서, 어떻게, 왜, 그리고 얼마나 오래 효과적인가”라는 질문에 답하는 데 적합한 위치에 있다 [19]. 이러한 맥락적 증거(contextualized evidence)는 현장의 상황에 맞춰 효과적인 개입을 복제하거나 적절히 수정(adapt)할 수 있게 해준다. RE-AIM은 ‘어떤 개입이 전반적으로 효과적인가?’라는 질문보다, ‘인구 건강과 관련된 여러 차원과 맥락 속에서 그 개입이 효과적이거나 효과적이지 않은 이유는 무엇인가?’라는 보다 실천적이고 세분화된 질문에 더 관심을 둔다.

 


RE-AIM의 이해와 활용: 흔한 오해와 그에 대한 정정
(Understanding and Using RE-AIM: Common Misconceptions and Clarifications)

아래에서 설명하는 내용은 RE-AIM 프레임워크에 대해 자주 발생하는 오해(misconceptions)를 설명하고 이에 대한 정정 및 해설을 제공한다. 이 오해들은 RE-AIM을 실제로 활발히 연구에 적용해 온 전문가들로 구성된 National RE-AIM Working Group의 회원들을 대상으로 한 설문조사(polling)를 통해 확인되었다 [20]. 이 그룹에는 본 논문의 저자들뿐만 아니라, RE-AIM의 주요 개발자, RE-AIM 관련 논문을 가장 많이 발표한 연구자들, RE-AIM.org 웹사이트 운영자들이 포함되어 있다.

 

이들은 RE-AIM과 관련된 논문 심사(review panels), 원고 리뷰(manuscript review), 학술대회 발표, 교육 프로그램, 초청 강의 등에 자주 참여하며, 이 과정에서 반복적으로 제기된 질문이나 혼란을 통해 오해 사례를 확인하였다. 또한 RE-AIM 웹사이트로 접수된 문의들도 이러한 오해를 파악하는 데 도움이 되었다.

 

물론 이러한 오해의 빈도(frequency)를 정량적으로 분석한 체계적 문헌고찰이 추가된다면 그 정당성이 더 강해질 수 있었겠지만, 최근에 출판된 RE-AIM 적용 관련 체계적 문헌고찰들의 결론이 달라질 가능성은 낮다고 판단된다 [12–14]. 더 중요한 점은, 기존 문헌 리뷰만으로는 실제 오해가 발생하는 프레젠테이션, 연구계획서, 논문 심사, 교육 프로그램, 출판되지 않은 문서 등 1차 정보(primary sources)를 포괄할 수 없다는 사실이다.

 

이번 논문에서는 총 13개의 오해(misconceptions)를 표 2(Table 2)에 정리하여, 모델의 진화와 최신 적용 방식에 대한 이해를 돕고자 한다. 이 오해들은 위에서 설명한 과정을 통해 수집되었으며, 중복(redundancy)은 제거하고, 유사한 항목은 통합, 그리고 더 큰 개념적 범주로 조직화하였다. 이 13가지 오해는 빈도나 우선순위에 따라 나열된 것이 아니며, 개념적(conceptual), 방법론적(methodological), 실행적(implementation) 이슈로 분류하여 독자의 이해를 돕는다. 각 오해에 대한 서술적 설명(narrative explanation)은 이어지는 문단에서 개별적으로 제공된다.

📌 표 2. RE-AIM에 대한 오해의 유형
(RE-AIM misconceptions including misunderstanding of the original model, evolution of the model, and the current guidance)
이 표는 다음과 같은 내용을 포함한다:

  • RE-AIM 원래 모델에 대한 오해
  • RE-AIM의 진화 과정에 대한 인식 부족
  • 현재 적용 가이드라인에 대한 오해 또는 미숙지

 

🔹 RE-AIM은 다음의 다섯 가지 핵심 요소로 구성된다:
Reach (도달률), Effectiveness (효과성), Adoption (채택률), Implementation (이행도), Maintenance (지속성)

🔹 PRISMPractical, Robust Implementation and Sustainability Model (실용적이고 견고한 이행 및 지속 가능성 모델)의 약자이다.

🔹 TMFTheories, Models, and Frameworks (이론, 모형, 프레임워크)의 총칭이다.

 

개념적 오해 (Conceptual Issues)

❌ 오해 1: “RE-AIM은 오직 평가(evaluation) 프레임워크이다”

RE-AIM은 단지 평가(evaluation)를 위한 도구가 아니며, 애초부터 연구 결과를 실제로 전환(translation of research into practice)하는 데 도움을 주기 위해 설계되었다 [7, 10, 15, 21]. 초기에는 RE-AIM을 다수 수준(multi-level)의 개입을 대상으로 하는 포괄적 평가 프레임워크(comprehensive evaluation framework)로 개념화하였지만 [10], 그 이후 기획, 이행, 평가, 보고 전반을 포괄하는 도구로 발전하였다.

 

예컨대, 2005년 Klesges 등 [22]은 RE-AIM을 프로그램을 설계(design)하는 도구로 명시적(explicitly)으로 활용할 수 있음을 강조하였고, 2013년 Kessler 등 [23]은 RE-AIM을 기획, 이행, 평가, 보고를 통합한 모델로 설명하며, 외적 타당성(external validity)을 강조하였다.

 

결론적으로, RE-AIM은 단순한 평가 프레임워크를 넘어서서,

  • 실제 적용을 고려한 연구 설계(research-to-practice translation),
  • 확산을 염두에 둔 프로그램 설계(dissemination-focused design),
  • 기획과 설계에서의 맥락 고려(context consideration)
    등을 강조하는 전 주기적 모델로 진화하였다.

❌ 오해 2: “RE-AIM은 개인(individual)과 조직(organizational) 수준에만 적용된다”

RE-AIM은 다양한 사회생태학적 수준(socioecologic levels)에 적용될 수 있으며, 이해 수준의 차이로 인해 혼란이 자주 발생하는 지점이다. 초기 연구들에서는 개인 수준(예: 환자, 직원, 학생)과 조직 수준(예: 병원, 직장, 학교)의 예시만 제시되었고, R(Reach), E(Effectiveness)는 주로 개인 수준, A(Adoption), I(Implementation), M(Maintenance)는 조직 수준에서 논의되어 이러한 오해가 발생한 것으로 보인다. 그러나 이 두 수준에만 국한하겠다는 의도는 애초에 없었다.

 

최근 연구들에서는 RE-AIM이 세 개 이상 수준에서 적용될 수 있음이 명확히 드러났다 [24]. 그 중에서도 ‘채택(Adoption)’ 차원은 특히 다층적(multilevel)으로 확장되어, 개입이 전달되는 환경(setting)을 조직을 넘어 여러 수준의 전달 주체(delivery agents)와 맥락(context)을 포함하도록 넓혀졌다.

 

이는 인간의 행동이 본질적으로 다층적 맥락에서 발생하며, 그 맥락에 의해 영향을 받기 때문이다 [25]. 또한, 정책, 지역사회, 조직 등 다양한 ‘설정(setting)’에서의 개입 노출이 도달률, 집단적 효과(collective impact), 지속적 효과성(sustained effectiveness)을 극대화하기 위해 필요할 수 있다 [24]. 따라서 잠재적 채택 주체(potential adopters)

  • 정책 입안자(policy makers),
  • 행정기관(agencies),
  • 지자체 부서(municipal departments),
  • 지역 단체(community groups) 등 매우 다양할 수 있다.

이러한 정의의 확장(broadened definition)은 채택률 측정을 더욱 복잡하게 만들 수 있다. 예컨대, ‘보건 시스템 내 병원’이 ‘지역 내 보건 시스템’ 안에 위치한 상황처럼, 중첩된 구조(nested structure)가 있을 경우가 많다. 또한, 개입이 다음과 같은 형태라면:

  • 정책 변화(예: 포장 식품의 영양 표시 의무화),
  • 환경 변화(예: 신체활동을 장려하는 공공 공간 개선사업),

이행 전략과 그에 해당하는 측정 지표는 다음과 같은 내용을 포함해야 할 수 있다:

  • 결정권자들의 참여와 관여(participation and engagement of decision-makers),
  • 지원 기관의 협력(cooperation of supportive agencies),
  • 집행자의 활동(implementation by enforcers).

기획, 승인, 실행, 유지 각 단계에서 어떤 이해관계자(key stakeholders)가 중요한지,
누가 프로그램을 유지하거나 집행할 책임을 질 것인지를 명확히 규정하는 것이 핵심이다.
그리고 채택률(adoption)을 정의하고 측정하는 방식은 적용 환경에 맞게 맞춤화(tailored)되어야 한다.


❌ 오해 3: “RE-AIM은 결정요인(determinants), 맥락 요인(contextual factors), 또는 결과 향상을 위한 전략을 포함하지 않는다”

RE-AIM의 초기 논문 및 초기 연구들에서는 결정요인(determinants)을 포함하지 않았던 것이 사실이다. 그러나 RE-AIM은 이후 몇 년 전부터 PRISM 모델로 확장되었다 [7, 26]. PRISM (Practical Robust Implementation and Sustainability Model)

  • RE-AIM의 결과 지표(RE-AIM outcomes)를 중심(도표의 가운데 부분)으로 포함하며,
  • 이 결과에 영향을 미치는 핵심 맥락 요인(contextual factors)을 명시적으로 제시한다(도표의 바깥 부분 참고) [26].

PRISM은 2008년에 개발되었으며, 맥락(context)을 다루고, 연구자 및 실무자들이 기획, 개발, 평가, 지속화를 실용적으로 설계하고 실행할 수 있도록 돕기 위한 가이드로 제안되었다. PRISM은 RE-AIM 결과 외에도 다음과 같은 주요 개념들을 통합하고 있다:

  • Diffusion of Innovations 이론 [27]
  • Chronic Care Model (만성질환 관리모형) [28]
  • IHI의 변화 모델(Institute for Healthcare Improvement Change Model) [29]

📊 [도표 1] Pragmatic Robust Implementation and Sustainability Model (PRISM)
PRISM(자세한 내용은 www.re-aim.org 참고)은 다음과 같은 주요 결정요인(determinants)을 명시한다:

  • 정책(policies)
  • 이행 및 지속성 기반 구조(implementation and sustainability infrastructure)
  • 다층적 조직 관점(multilevel organizational perspectives) [30]

PRISM은 다양한 설정과 주제를 아우르는 개입의 기획, 중간 조정(mid-course adjustment), 평가를 안내하는 데 성공적으로 사용되어 왔다 [16]. PRISM의 원 논문은 160편 이상의 연구에서 인용되고 있으며, 맥락을 개념화하는 도구로서 그 적용 범위와 유용성이 널리 입증되었다 [7, 26, 30]. 또한 Feldstein과 Glasgow, 그리고 RE-AIM 웹사이트에서는 기획 단계에서 각 결정요인을 성찰할 수 있는 질문(reflection questions)도 제공한다 [26].

 

👉 따라서 RE-AIM을 사용할 계획인 연구자와 실무자들은 PRISM을 함께 고려할 것을 권장한다. 모든 연구나 프로그램이 맥락을 포괄적으로 평가할 필요는 없지만, PRISM은 중요한 맥락 요인을 실용적이고 실행 가능하며 강건하게 고려할 수 있는 구조를 제공한다. RE-AIM 공식 웹사이트(re-aim.org)의 새 섹션에서는 PRISM과 RE-AIM의 관계와 관련된 내용을 명확히 설명하고 있다.


❌ 오해 4: “RE-AIM은 장기적 유지(longer term sustainment)를 다루지 않으며, 임의적으로 6개월만 평가 대상으로 한다”

이 오해는 아마도 RE-AIM의 원 논문에서 제시된 다음 문장에서 비롯된 것으로 보인다:

“유지(Maintenance)는 프로그램 종료 후 최소 6개월 동안 평가한다” (maintenance was defined as “at least 6 months following program completion”)

그러나 여기서 강조된(at least) 표현에서도 알 수 있듯, RE-AIM이 유지 기간을 6개월로 한정한다는 의미는 아니며, 평가 시점을 6개월까지만 설정하라는 의미도 아니다. 실제로 6개월 이상 장기적으로 유지 여부를 평가한 연구들이 다수 존재한다 [31].

RE-AIM은 장기적 유지의 의도와 계획(long-term sustainment intentions and plans)까지 포함할 수 있으며, 비록 재정 제약으로 인해 장기 시점에서의 평가가 어려울 수 있어도, 이러한 내용은 설계에 포함되어야 한다 [7].

 

역사적으로 RE-AIM은 조직 수준에서 지속성 또는 유지 개념을 명시적으로 강조한 최초의 프레임워크 중 하나였다. 체계적 문헌고찰에서는 ‘지속성(maintenance)’ 데이터가 자주 보고되지 않는다는 점이 반복적으로 지적되어 왔지만 [14], 최근에는 역동적 맥락(dynamic context) 속에서 장기적 지속성을 이해하는 것의 중요성이 점점 더 강조되고 있다 [32, 33].

 

🔍 이러한 공백을 해소하기 위해, 최근에는 RE-AIM의 확장 모델이 개발되어 다음과 같은 개념을 명시적으로 포함하게 되었다 [34].

  1. RE-AIM 평가를 반복적으로(iteratively) 적용하여, 개입의 전체 생애주기(life cycle) 동안 지속성(sustainability)을 다룸
  2. 역동적 지속성(dynamic sustainability)개입의 진화 가능성(evolvability) 개념을 구체화
    • 이는 원래 개입의 기능과 이행 전략을 지속적 전달하면서,
    • 적응(adaptation) 및 경우에 따라 비이행(de-implementation)을 고려하여,
    • 지속적이고 공정한 건강 결과(sustained and equitable health outcomes)를 산출하는 것을 의미함
  3. 비용(costs)과 형평성(equity)을 지속성에 영향을 미치는 핵심 요인(driving forces)으로 지속적이고 명시적으로 고려

❌ 오해 5: “RE-AIM은 비용(costs)을 포함하지 않는다”

비용 및 경제성 분석(cost and economic analyses)은 모든 이행 환경에서 확산(dissemination) 및 이행(implementation)을 논의할 때 핵심적 이슈이다. RE-AIM에서는 최소한 2013년부터 비용(cost)을 명시적으로 포함해 왔지만, 실제로는 연구 보고서에서 가장 덜 보고되는 요소 중 하나이다. 반면, 비용은 잠재적 채택자(potential adopters) 및 의사결정자(decision makers)들이 가장 우려하는 핵심 요소이기도 하다 [13]. 더욱이, 비용이 보고되는 경우에도 그 방식이 일관되지 않아, 연구 간 비교가 어렵다 [35]. 개입의 복잡성, 이행 전략, 적용 환경에 따라 비용이 달라지므로 비용을 이해하는 작업 자체가 도전적일 수밖에 없다.

 

현재 RE-AIM에서는 비용을 주로 ‘이행(Implementation)’ 차원 아래에서 명시적으로 고려하고 있으며, 이는 수년간 일관되게 유지되어 왔다 [23]. 최근에는 RE-AIM의 다섯 가지 모든 차원에서 목표 결과 달성을 위한 비용 고려를 포함하는 사례도 등장하고 있다 [23]. 예컨대, Rhodes 외 [36]는 개입 참여자(individual participants), 개입 전달자(intervention agents), 설정(setting)여러 수준의 이해관계자 관점에서 비용과 자원 요구를 실용적으로 측정할 수 있는 절차와 지표를 제시하였다. 이러한 다층적 이해관계자 관점(multilevel stakeholder perspectives)에서의 비용 평가는, 연구 결과의 실제 적용 가능성(translation into practice)을 높이는 데 필수적이다 [35].


❌ 오해 6: “RE-AIM은 이행 성과로서 ‘충실도(fidelity)’만을 다룬다”

RE-AIM의 원 논문에서는 이행(Implementation)을 “계획된 대로 프로그램이 제공되었는가”를 평가하는 충실도(fidelity) 중심으로 정의하였다 [10]. 그러나 그 이후 지난 20년 동안 이행 차원은 가장 다양한 구성요소를 갖춘 영역으로 발전해왔다.

현재의 이행 평가 기준은 다음을 포함한다:

  • 개입 제공의 충실도(fidelity to delivering the intervention)
  • 설정/장소 간 이행의 일관성(consistency across settings/sites)
  • 개입 또는 이행 전략의 적응(adaptations)
  • 비용(cost) [7, 23]

이행 차원은 단지 개입이 제공되었는가뿐 아니라, 다양한 설정과 인구집단에 어떻게 통합되었는가, 시간과 맥락에 따라 어떻게 조정(adapt)되었는가를 이해하려는 데 초점이 있다. 특히 적응(adaptation)의 필요성을 식별하고 추적하며 이해하는 일은 이행에서 중심적인 요소이다. 또한 이 차원은 질적 연구 방법(qualitative methods)을 통합하면서 크게 강화되었으며, 이를 통해

  • 어떤 적응이 있었는가뿐만 아니라,
  • 누가 적응을 했고,
  • 왜 그렇게 했으며,
  • 그 결과는 무엇이었는가
    에 대한 심층적 탐색이 가능해졌다 [19, 30, 37, 38].

❌ 오해 7: “RE-AIM은 이행 단계의 시간적 구분(phases)을 고려하지 않는다”

일부 프레임워크(예: EPIS)에서는 이행 단계를 명시적으로 정의하며 [9], 이에 비해 RE-AIM은 시간적 구분이 부족하다는 비판을 받아왔다. 그러나 실제로는, PRISM이 RE-AIM의 각 차원을 이행 단계(planning, early/mid-implementation, sustainment)에 따라 적용할 수 있도록 지원한다 [16].

 

RE-AIM 자체에도 암묵적인 시간 순서(temporal order)가 존재한다. 즉,

  • 프로그램은 채택(adoption)되어야 이행(implementation)될 수 있고,
  • 이행되어야 참여자에게 도달(reach)할 수 있으며,
  • 도달과 이행이 이루어져야 효과(effectiveness)도 발생할 수 있다.

 

실제 이행팀은 RE-AIM 각 차원을 이행 전, 도중, 이후에 각각 어떤 질문을 던질 수 있는지를 고려하고, 이를 PRISM이나 CFIR(Consolidated Framework for Implementation Research) 같은 맥락 결정요인 프레임워크(contextual determinant frameworks)와 짝지어 사용할 수 있다 [26, 39, 40]. 이렇게 하면 각 시간대에 가장 관련성 높은 구성요소를 선택할 수 있고, 이행팀은 이를 기반으로 다음을 보장하는 표적화된 전략(targeted implementation strategies)을 설계할 수 있다:

  • 최대 도달률(maximum reach)
  • 효과(effectiveness)
  • 이행 충실도(fidelity)
  • 지속성(maintenance)

방법론적 오해 (Methods Issues)

❌ 오해 8: “RE-AIM은 정량적 데이터(quantitative data)만 사용한다”

RE-AIM의 각 구성 요소는 항상 정량적 정의를 포함해 왔다. 예를 들어, 도달률(Reach)은 개입 대상이 되는 사람들 중 실제로 개입에 참여한 사람의 수 및 비율, 그리고 그 참여자들의 대표성(representativeness)으로 정의된다. 그러나 도달률에는 단지 숫자뿐만 아니라, 어떤 유형의 대상자가 참여했는지(type of recipients), 참여 또는 비참여의 이유(reasons for participation or nonparticipation)도 포함된다.

 

이러한 “유형”과 “이유”는 인구통계학적 특성, 교통/비용 장벽 언급 빈도 등으로 정량화 가능하지만, 도달률의 핵심 요소인 ‘누가(who)’, ‘무엇을(what)’, ‘왜(why)’, ‘어떻게(how)’ 참여하고 혜택을 얻는가에 대한 깊이 있는 통찰숫자만으로는 파악하기 어렵다. 이는 RE-AIM의 다른 차원에서도 마찬가지이다.

 

이러한 이유로, 질적 연구(qualitative methods)혼합 방법(mixed methods)개입 참여 및 효과에 영향을 주는 요소들을 깊이 있게 탐색할 수 있는 귀중한 도구로 간주되며, 실제로 여러 RE-AIM 리뷰 논문에서도 질적 접근의 활용이 명시적으로 권장되어 왔다¹⁴,²³. Holtrop 등은 2018년에 RE-AIM의 질적 적용에 대한 종합적인 해설 및 가이드를 제시하였다³⁷.


❌ 오해 9: “RE-AIM은 고정적(static)이며 반복적으로(iteratively) 사용되지 않는다”

앞서 언급한 바와 같이, RE-AIM은 프로그램의 기획(planning), 실행(implementation), 지속화(sustainment) 단계에 모두 활용 가능하다. 또한, 특정 시점에서 RE-AIM의 각 차원에 대한 영향(impact)을 평가함으로써 진행 상황을 구조화하여 평가하고, 중간 조정(mid-course adjustment)적응(adaptation)을 위한 지침을 제공할 수 있다¹².

 

RE-AIM은 오랫동안 비공식적으로 반복적(iterative) 의사결정을 돕는 프레임워크로 활용되어 왔으며⁴¹,⁴², 최근에는 Glasgow 외 연구진이 2020년에 RE-AIM의 반복적 적용을 위한 명확한 절차(protocol)를 개발하였다¹⁶. 이 절차는 미국 재향군인 건강 시스템(VA)에서 수행된 다섯 개 연구에 적용되었으며, 프로젝트 팀 내에서의 성찰적 대화(reflective conversation)와 적응 계획 수립(adaptation planning)을 이끌어내는 데 유용한 것으로 나타났다.


❌ 오해 10: “RE-AIM은 다섯 가지 차원을 모두 동일하게 중요하게 보고, 모두 반드시 사용해야 한다”

이 오해는 RE-AIM의 원 출판 논문이 다섯 가지 차원 모두의 중요성을 강조하고, 공중보건에 미치는 잠재적 영향(potential public health impact)은 각 차원 결과의 곱(product)으로 계산될 수 있다고 제안한 데서 비롯되었을 가능성이 있다¹⁰. 하지만 실제 RE-AIM 문헌들을 검토해 보면, 대부분의 연구에서 다섯 차원 모두를 보고하지 않는다는 사실이 일관되게 나타난다¹⁴.

 

이러한 현실적 한계와 고려사항들은, RE-AIM을 실제 적용할 때 이해관계자의 우선순위(stakeholder priorities)를 기반으로 차원의 상대적 중요성과 정보 수집 필요성을 판단하는 실용적 접근(pragmatic approach)을 개발하는 계기가 되었다¹⁵. 즉, 모든 연구에서 다섯 가지 차원을 모두 평가할 필요는 없지만, 다음과 같은 원칙은 중요하다¹⁵:

  • (a) 모든 차원을 한 번쯤 고려해야 하며,
  • (b) 사전에(a priori) 어떤 차원을 우선할지 결정하고, 그 이유를 명시적으로 제시해야 하며,
  • (c) 평가하거나 강화하기로 한 차원에 대해서는 투명한 보고(transparent reporting)가 이루어져야 한다.

이러한 실용적 접근

  • 연구 기획 단계에서 모든 차원을 염두에 두고,
  • 의사결정에 중요하게 작용하는 차원 중심으로 평가를 수행하며,
  • 직접적으로 타깃하지 않은 차원에 대해서도 배경 정보(contextual information)를 제공할 것을 장려한다.

RE-AIM의 실행(Implementation of RE-AIM)

❌ 오해 11: “RE-AIM의 구성 요소들은 서로 구분하기 어렵다”

RE-AIM을 처음 접하는 사용자들은 흔히 도달률(Reach)채택률(Adoption)이 같은 것이라 생각하거나, 채택(Adoption)이행(Implementation)서로 중복되며, 둘 다 고려하는 것이 중요하지 않거나 불필요하다고 결론내리곤 한다. RE-AIM의 구성 요소들이 명확하게 구분되지 않거나(fuzzy boundaries) 중복된다는 우려는, RE-AIM 측정과 적용에 대한 교육 및 가이드라인을 통해 해결되고 있다¹¹.

 

RE-AIM은 직관적으로 이해하기 쉬우며(face validity) 많은 사람에게는 자연스럽게 받아들여지지만, 실제로는 세부적인 차이(nuance)가 존재하며, 적절하게 학습하고 적용하기 위해서는 충분한 이해와 학습이 필요하다.

  • 도달률(Reach)개입의 최종 수혜자개인(individual) 수준에서 측정된다 (예: 환자, 직원).
  • 채택률(Adoption)프로그램을 전달하는 조직 또는 지역사회 수준의 한 개 이상 수준에서 측정되며, 이들 설정 안의 전달자(delivery agents)나 직원(staff) 수준에서도 평가된다 (예: 의료인이 개입을 제공하기로 하거나 훈련을 받기로 결정하는 경우)¹¹.
  • 효과성(Effectiveness)수혜자 수준에서의 결과 (예: 신체활동 증가, 체중 감소)를 의미하고,
  • 이행(Implementation)서비스 제공자 수준에서의 개입 실행 정도 (예: 개입 제공자가 개입 프로토콜을 일관되게 따르는가, 의료 제공자가 환자를 꾸준히 선별(screening)하는가)를 나타낸다.

❌ 오해 12: “RE-AIM은 대규모 연구나 잘 자금이 지원된 평가에만 사용 가능하다”

RE-AIM이 연구 외 환경(nonresearch settings)에서 어떻게 적용되는지를 정리한 최근 보고서에서는, RE-AIM이 “현실 세계(real world)”의 임상 및 지역사회 환경에서 건강 개선을 위한 프로그램, 제품, 서비스의 기획, 평가, 개선에 효과적으로 활용될 수 있음을 강조하였다. 이때의 목적은 일반화 가능한 지식의 생산이 아닌, 특정 인구 집단이나 설정에서의 실질적 개선이었다¹¹.

 

여기에는 예산이 거의 없거나 전혀 없는 프로젝트에서도 성공적으로 RE-AIM을 적용한 사례들이 다수 포함되어 있다. 실제로 데이터 출처, 타임라인, 범위(scope), 규모(scale) 등은 RE-AIM 적용의 실행 가능성 및 자원 요구량에 영향을 준다.

 

예를 들어, RE-AIM 기반 평가에서 가치가 높은 1~2개의 핵심 지표 또는 질적 질문을 선택하고, 이미 존재하는 데이터를 활용하면 범위 내에서 효율적인 평가 수행이 가능하다. 실제로 Frontiers in Public Health의 2015년 특별호에서는, 아주 적은 자원으로도 고령자 신체활동 증진과 낙상 예방 평가에 RE-AIM을 성공적으로 적용한 여러 조직의 사례들이 소개되었다⁴³.


❌ 오해 13: “RE-AIM을 사용하면 다른 이행 과학 프레임워크를 사용할 수 없다”

RE-AIM은 다른 이행 과학 프레임워크들과 병행하여 함께 사용하는 것이 일반적이며, 이는 권장되기까지 한다⁷. 단, 각 프레임워크 간의 호환성(compatibility)이 전제되어야 한다³⁹. 서로 보완적인 정보를 제공하는 프레임워크(process, explanatory, 또는 타 분야 TMFs)를 결합하면, 이행이 왜, 어떻게 성공 또는 실패했는지를 보다 잘 이해할 수 있다³⁹. 다만 다중 프레임워크를 사용할 경우, 각 프레임워크가 어떻게 서로를 보완(supplement)하는지를 설명하는 이론적 근거(theoretical rationale)를 명확히 제시해야 한다¹⁷.

 

예를 들어, Rosen 외 연구팀은 EPIS 프레임워크CFIR을 활용하여 핵심 채택 결정요인(adoption determinant)으로 ‘클라이언트의 요구와 자원(client needs and resources)’을 평가하고, RE-AIM을 사용하여 도달률과 효과성(reach and effectiveness)이라는 이행 성과(implementation outcomes)를 평가하였다⁴⁴.

 

이처럼 RE-AIM을 다른 TMF들과 통합하여 사용하는 예시들www.re-aim.org 웹사이트에 다수 소개되어 있다.


RE-AIM을 위한 자료와 향후 방향
(Resources and Current Directions for RE-AIM)

우리는 앞서 서술한 오해들을 해소하기 위해 여러 조치를 취하고, 다양한 자료를 개발해왔다. 또한, 추가적인 명확화와 지침 제공에 도움이 될 것으로 기대되는 현재 진행 중인 활동들도 간단히 소개한다.


🔧 RE-AIM 웹사이트 개편, 확장 및 기타 자원

위와 같은 오해들을 해소하기 위해서는 동료 평가를 거친 학술 논문(peer-reviewed publications)을 넘어서는 적절한 사용 지침(guidance)이 필요하다. 이러한 필요를 인식하고, National RE-AIM Working Group은 2004년 RE-AIM 적용을 돕기 위한 웹사이트(www.re-aim.org)를 개설하였다²⁰.

이 웹사이트는 다음과 같은 기능과 자료를 제공한다:

  • 정의(definitions)
  • 계산기(calculators)
  • 체크리스트(checklists)
  • 인터뷰 가이드(interview guides)
  • 지속적으로 업데이트되는 검색 가능한 참고문헌 목록(searchable bibliography)

이후 웹사이트는 더욱 확장되어 다음 항목을 포함하게 되었다:

  • 블로그 게시물(blog posts)
  • 슬라이드 자료(slide decks) – 특히 오해(misconceptions)를 주제로 한 자료
  • 웨비나 시리즈(webinar series)
  • 프레임워크 적용 관련 질문과 답변, FAQ
    http://www.re-aim.org/about/frequently-asked-questions/
  • RE-AIM의 근거 기반 문헌 정리

본 논문의 독자들에게 특히 유용한 자료로는 다음 두 가지가 있다:

  • (a) 앞서 소개된 주요 이슈들을 다룬 최신 RE-AIM 요약 슬라이드
    http://www.re-aim.org/recommended-re-aim-slides/
  • (b) PRISM/RE-AIM 통합을 시각화한 새로운 요약 그림
    → 이 그림은 여러 교차 이슈(crosscutting issues)를 강조하며, 위에서 언급한 오해들을 명확히 설명하는 데 도움을 준다⁷.

이 웹사이트는 매월 업데이트되며, RE-AIM 적용을 위한 사례와 가이드를 추가로 제공하는 새로운 섹션도 운영 중이다. 이에는 RE-AIM 사용자가 자가 점검(self-evaluation)할 수 있도록 설계된 체크리스트도 포함되어 있다.
또한, RE-AIM 기획 및 평가 프레임워크의 현재 워킹 그룹이 웹사이트 플랫폼을 통해 다양한 자료와 도구를 보급하는 방식에 대해 기술한 논문도 최근 발표하였다²⁰.


🧩 비연구 환경에서의 RE-AIM 활용

우리는 이미 RE-AIM이 통제된 연구나 대규모 자금 지원이 있는 연구에만 적합하다는 오해에 대해 설명한 바 있다. 하지만 실제로 RE-AIM을 비연구 환경(non-research settings)에 적용하기 위해서는, RE-AIM에 익숙하지 않은 사용자들을 위한 지침과 방향 제시가 필요하다¹¹.

 

기본적인 RE-AIM 개념 및 방법론은 웹사이트에 있는 실용적 도구(pragmatic tools)와, 지역사회 및 임상 환경에서 RE-AIM 모델을 성공적으로 적용한 주요 출판물들을 통해 익힐 수 있다¹¹,¹². 보다 복잡한 문제의 경우에는, 경험 있는 RE-AIM 사용자나 National Working Group과의 상호작용적인 자문(interactive consultation)을 권장한다.


🚀 향후 방향 (Current Directions)

시간이 지나며, RE-AIM의 핵심 원칙과 구성 요소들 중 일부는 유지되었지만, 일부는 상당한 진화를 겪었다⁷.

  • 핵심 원칙과 차원은 여전히 동일하게 유지되고 있으며,
  • 공중보건 영향(public health impact) 및 연구 결과의 일반화 가능성(generalizability)에 대한 강조도 계속되고 있다.

RE-AIM의 변화는 다음과 같은 이행 과학 및 실제 실행에 대한 지식의 진보에 따라 이루어졌다:

  • (a) 핵심 차원의 실행 가능한 정의(operationalization)의 정교화 및 일부 확장
  • (b) 맥락(context), 적응(adaptation), 건강 형평성(health equity), 비용(cost)의 통합
  • (c) 질적 접근(qualitative approaches)의 적용에 대한 구체적 지침 마련

앞으로도 방법론적 접근법과 측정 실천이 발전함에 따라, RE-AIM/PRISM은 Kislov 외의 권고³에 따라 지속적으로 진화할 것으로 기대된다.

 

현재 중점적으로 진행 중인 활동들은 표 3(Table 3)에 요약되어 있으며, 특히 PRISM의 일부로서 맥락(context)에 대한 심층적 평가가 포함되어 있다. 우리는 또한 다음과 같은 분야에 대해 개발 및 검증을 진행 중이다:

  • RE-AIM 차원에 대한 표준화된 설문 측정 도구(standardized survey measures)
  • 반복적 적용(iterative application)을 위한 가이드라인¹⁶
  • 비용, 가치, 지속 가능성(cost, value, sustainability)의 상호 연관성을 해결하기 위한 확장된 RE-AIM/PRISM의 적용³⁴
  • RE-AIM의 대표성 요소(representativeness)가 건강 형평성에 어떻게 기여하는지를 구체화하는 작업

또한, 참여 기반 시스템 역학 모델링(participatory systems dynamic modeling)과 기타 이해관계자 참여 방법(stakeholder engagement methods)과의 통합 가능성도 활발히 탐색 중이다.


📊 표 3. 확장된 RE-AIM/PRISM 프레임워크의 현재 방향과 개발 중인 자원

(Table 3. Current directions and resources under development for the expanded RE-AIM/PRISM framework)

약어 정리

  • PRISM: Pragmatic Robust Implementation and Sustainability Model (실용적이고 견고한 이행 및 지속 가능성 모델)
  • RE-AIM: Reach (도달률), Effectiveness (효과성), Adoption (채택률), Implementation (이행도), Maintenance (지속성)

결론 (Conclusions)

이론, 모형, 프레임워크(TMFs: Theories, Models, and Frameworks)이행 과학(implementation science)의 발전에 큰 기여를 해왔다¹,². TMF들은 시간이 흐르며 새로운 맥락에 적용되고 기존 한계를 해결하기 위해 진화하며, 그 유용성도 향상되어 왔다³. 그러나 이러한 진화는 때때로 TMF의 올바른 적용 방식과 가능성에 대한 혼란을 불러일으킬 수 있다. 이러한 문제점을 고려하여, 우리는 TMF에 대한 오해와 혼란을 줄이기 위한 다음과 같은 권고 사항을 제시한다. 단, 이 권고들이 모든 상황에서 항상 실행 가능하지는 않을 수 있음을 함께 인정한다.


✅ 1. TMF의 주요 수정이나 업데이트가 있을 경우

개발자는 해당 변경 사항이 반영된 학술 논문(scholarly publication)과 기록 보관용 웹세미나(archived webinar)를 제공할 수 있어야 한다. 여기에는 다음 내용을 명확히 포함하는 것이 좋다:

  • 어떤 변경이 있었는가
  • 어떤 문제를 해결하고자 하는가
  • 현재 권장되는 사용법은 무엇인가

특히 "TMF XX의 적응(adaptation)"과 같은 명시적 언어를 사용하여, 이것이 TMF의 수정 혹은 확장 버전임을 독자에게 분명히 해야 한다. 만약 원 개발자가 아닌 제3자가 수정한 경우, 원 개발자와 사전에 논의하고, 그 변경 사항에 대한 동의 여부를 명시하는 것이 바람직하다.


✅ 2. TMF를 요약하거나 분류하는 리뷰어의 경우

비록 어려운 작업이 될 수 있지만, TMF의 최근 문헌과 주요 사용자들의 설명을 확인하여, 해당 TMF에 대한 기술(description)이 정확한지를 반드시 검토해야 한다.


✅ 3. TMF 사용을 고려하는 연구자나 실무자

사용자는 해당 TMF에 대해 최근의 업데이트 여부를 확인하고, 적응 사례(adaptations)가 있는지 명시적으로 탐색해야 한다. 특히 TMF 관련 공식 웹사이트가 있다면 반드시 확인해야 한다. 또한, 최초 논문이나 오래된 리뷰 논문에만 의존하지 말고, 최근 사용 사례들을 인용(cite)해야 한다. 무엇보다도, 자신이 해당 TMF를 사용하는 이유와 방법을 명확히 서술함으로써, 오용(mischaracterization)의 위험을 줄일 수 있다.


✅ 4. TMF 웹사이트 운영자

웹사이트의 눈에 잘 띄는 위치개선 사항 또는 개정 내용을 요약해두고, 흔한 오해(misconceptions)와 그에 대한 대처 방법을 명시하는 것이 필요하다.


Kislov 외³가 강조했듯이, TMF는 시간이 지나며 변화하고 적응할 수 있어야 하며, 고착화(ossification)되어서는 안 된다. 표 3은 현재 RE-AIM이 진화하고 있는 방식과 개발 중인 자원(resource development)을 정리한 것이다. TMF가 변화하고 적응할 때, 연구자와 사용자들이 이러한 변화에 발맞추어 나가는 것이 매우 중요하다. 물론 이러한 오해와 혼란을 완전히 방지하는 것은 불가능할 수 있지만, 본 논문에서 제시한 논의와 권고 사항들이 TMF의 잘못된 적용(misapplication)을 최소화하는 데 기여하기를 기대한다. 우리는 TMF의 개발자, 리뷰어, 사용자들이 함께 논의하고 협력하여 어떤 행동을 취할 수 있을지에 대한 지속적인 대화를 환영한다.

 

 

1. Reach (도달률)

정의

  • 개인 수준(Individual level)에서, 주어진 프로그램·개입에 참여 의사가 있는 대상자 중 실제로 참여한 사람의 절대수, 비율, 그리고 이 참여자가 얼마나 대표성을 띠는지(인구통계학적 특성 등).
  • 또한, 참여 또는 비참여 이유(why or why not)도 포함.

보고 시 유의사항

  • 유효한 분모(denominator)를 기준으로 참여자 비율(%)을 보고하고,
  • 참여자와 비참여자 간 특성(demographics 등)을 비교해야 한다.
  • 제외 기준(exclusion criteria)과 함께, 질적 방법을 이용해 도달 과정(reach) 및 모집 과정(recruitment)에 대한 심층 이해를 권장.

사례 프로젝트

  • DeMarchis et al.는 소아 클리닉에서 환자와 부모를 대상으로 사회적 위험 요인(social risk)을 선별(screening)했다.
  • 참여 완료율(completed screening)을 사이트별·대상별로 비교하고, 참여자와 비참여자의 배경 특성을 분석했다.
  • 질적 인터뷰를 통해 참여·비참여 동기를 추가로 탐색했다.

2. Effectiveness (효과성)

정의

  • 개인 수준(Individual level)에서의 개입 효과(impact),
  • 부작용(potential negative effects) 포함,
  • 삶의 질(quality of life)·경제적 결과(economic outcomes) 등 광의의 성과,
  • 하위집단별 효과 차이(heterogeneity of effects).

보고 시 유의사항

  • 주요 결과(primary outcome)와 더 넓은 성과 지표(quality of life 등),
  • 단기·장기 이탈률(attrition) 및 환자 특성별 차이를 보고.
  • 가능하면, 하위집단별 강건성(robustness) 지표질적 방법을 통해 결과를 함께 설명.

사례 프로젝트

  • Jauregui et al.는 멕시코의 신체활동(public health) 프로그램을 평가했다.
  • 체중, BMI, 허리둘레, 신체활동 참여율 등의 효과성 지표를 측정했으며,
  • 12개 프로그램 중 3개에서 질적 평가를 수행해 효과를 설명했다.

3. Adoption (채택률)

정의

  • 조직 및 직원 수준(multiple setting and staff levels)에서, 프로그램을 운영할 기관(조직)·전달자(people who deliver the program)가 얼마나 대표성을 띠며, 몇 %가 도입 의사를 표명했는지.
  • 예: 진료소(clinic)나 학교(school) 소속 직원(staff)이 프로그램을 시작하기로 결정한 비율 등.
  • 많은 중첩 수준(nested levels)(예: 시스템→병원→부서→직원)에서 적용 가능.

보고 시 유의사항

  • 조직 수준(setting level)에서,
    • 접근받은 조직 중 몇 %가 참여했는지,
    • 참여 조직과 비참여 조직 간 특성 비교.
  • 직원 수준(staff level)에서,
    • 직원 중 몇 %가 초대되어 참여했는지,
    • 제외된 비율과 참여·비참여 직원 특성 비교.

사례 프로젝트

  • Kwan et al.는 1차 진료(primary care) 환경에서 협력 진료(collaborative care) 도입을 분석했다.
  • 설정(의료 기관)별 채택 결정 및 실제 채택한 실무자(Clinicians and staff) 수·비율·유형을 측정했고,
  • 질적 인터뷰를 통해 채택·비채택 이유를 심층 조사했다.

4. Implementation (이행도)

정의

  • 다중 설정 및 특히 전달자 수준에서, 개입 핵심 기능(key functions) 또는 구성요소(com­ponents)가 계획대로 제공(fidelity)되는 정도,
  • 일관성(consistency), 시간·비용(cost),
  • 개입·이행 전략의 적응(adaptations) 및 그 이유.

보고 시 유의사항

  • 충실도(fidelity)뿐 아니라,
    • 일관성(adherence and consistency),
    • 개입·전략 적응 내역(adaptations),
    • 비용(cost: 시간, 예산) 등을 모두 보고.
  • 특히 어떤 적응이 언제, 왜, 어떻게 이루어졌는지 구체적으로 기술.

사례 프로젝트

  • Holtrop et al.는 1차 진료 매니저(care managers) 이행을 평가했다.
  • 다회기 세션, 동기면담(motivational interviewing) 등 핵심 요소에 대한 충실도를 측정했고,
  • 교육·유지 전략(training, tickler system), 전자건강기록 개선 등 개입 적응 사례를 모두 보고했다.

5. Maintenance (지속성)

정의

  • 조직 수준(setting level)에서, 연구 종료 후에도 프로그램·정책이 제도화(institutionalization)되어 일상 업무에 남아있는 정도.
  • 개인 수준(individual level)에서, 개입 종료 후 장기적 효과(long-term effects).

보고 시 유의사항

  • 조직 수준:
    • 연구 종료 후 일정 시점에 프로그램이 계속 운영되는지,
    • 조직 목표와의 정렬(alignment),
    • 연구 이후 추가된 적응(adaptations).
  • 개인 수준:
    • 최종 개입 시점 이후 주요 결과(primary outcome)를 여러 시점(예: 6개월, 2년)에 걸쳐 보고,
    • 장기 이탈률(attrition)치료 효과 이질성(heterogeneity) 등.

사례 프로젝트

  • Toobert et al.는 노인 당뇨병 예방 프로그램의 지속성을 평가했다.
  • 조직 수준에서는 추가 자원·리더십 없이도 프로그램이 유지되는지 확인했고,
  • 개인 수준에서는 6~12개월, 24개월 시점별 행동 변화 유지력을 측정했다.

 

 

 

✅ RE-AIM에 대한 대표적인 오해와 정정

❌ 오해 1: RE-AIM은 평가(evaluation)에만 쓰이는 프레임워크이다

사실은 RE-AIM은 평가뿐 아니라 기획, 실행 전략 설계(adaptation planning), PRISM을 통한 결정요인 분석(determinants analysis) 등에도 폭넓게 사용된다.
🌀 왜 오해했을까? 초기 논문이 평가 측면을 강조했기 때문이며, 이후 PRISM으로 확장된 점을 잘 모르는 경우가 많다.


❌ 오해 2: RE-AIM은 개인(individual)과 조직(organization) 수준에만 적용할 수 있다

사실은 RE-AIM은 다수의 사회생태학적 수준(multilevel)에 적용 가능하며, 대부분의 프로젝트에서는 개인, 전달자, 조직 수준을 함께 고려한다.
🌀 왜 오해했을까? 초기 논문에서 예시가 부족했지만, 제한한다는 의미는 아니었다.


❌ 오해 3: RE-AIM 또는 PRISM은 맥락(context)이나 결과 향상 전략을 포함하지 않는다

사실은 확장된 RE-AIM/PRISM 모델은 맥락 요인(contextual factors)을 포함하고, 효과를 높이기 위한 전략도 고려한다.
🌀 왜 오해했을까? PRISM이라는 진화 형태를 잘 모르는 경우에서 비롯된 오해.


❌ 오해 4: RE-AIM은 장기적 지속성(sustainment)을 정의하거나 구분하지 않으며, 평가도 6개월만 한다

사실은 RE-AIM은 단기와 장기 유지 모두를 고려하며, 개입 유형에 맞는 지속성 기간 설정을 권장한다.
🌀 왜 오해했을까? 초기 모델에서 "6개월 이후 평가"라는 문구가 오해를 불러일으켰다.


❌ 오해 5: RE-AIM은 비용(costs)을 포함하지 않는다

사실은 RE-AIM에서는 Implementation 차원 아래에 비용을 명시적인 핵심 요소로 포함하고 있다.
🌀 왜 오해했을까? 비용이 대부분 Implementation 영역에서만 보고되어 전체 차원과 연관된 비용은 간과되었기 때문.


❌ 오해 6: 이행(implementation)은 충실도(fidelity)만 보면 된다

사실은 요즘 RE-AIM은 충실도(fidelity) 뿐 아니라 적응(adaptation)도 함께 강조한다.
🌀 왜 오해했을까? 초기 모델이 충실도 중심이었고, 이후 적응의 중요성이 커졌지만 반영되지 않았던 경우가 많음.


❌ 오해 7: RE-AIM은 이행의 시간적 단계(phases)를 고려하지 않는다

사실은 RE-AIM은 계획, 실행, 유지 각 단계에서 적용 가능하며, PRISM이나 CFIR과 결합해 시간적 맥락도 잘 반영할 수 있다.
🌀 왜 오해했을까? 초창기 모델은 암묵적으로 시간 순서를 포함했지만 명시적으로 언급되지 않았음.


⚙ 방법론 관련 오해 (RE-AIM 차원의 적용 방식)

❌ 오해 8: RE-AIM은 정량적 데이터(quantitative data)만 사용한다

사실은 RE-AIM은 정량 및 질적 데이터 모두를 사용하도록 구성되어 있다.
🌀 왜 오해했을까? 정량 데이터를 중심으로 활용하는 경우가 많았고, 질적 접근에 대한 최신 지침이 널리 알려지지 않음.


❌ 오해 9: RE-AIM은 고정적(static)이어서 반복적으로(iteratively) 적용되지 않는다

사실은 RE-AIM은 반복적으로 적용(iterative use)하며, 프로그램 수정이나 개선의 기준으로도 사용 가능하다.
🌀 왜 오해했을까? 과거에는 비공식적으로 반복 적용되었고, 최근에야 체계적 가이드가 나왔기 때문.


❌ 오해 10: RE-AIM은 다섯 가지 차원을 모두 항상 동일하게 중요하게 적용해야 한다

사실은 우선순위 기반의 실용적 사용(pragmatic tailoring)이 가능하며, 프로젝트별로 어떤 차원을 강조할지는 조정할 수 있다.
🌀 왜 오해했을까? 원 논문에서 다섯 차원의 곱(product)을 강조한 부분이 오해를 낳았음.


📘 적용 명확성에 대한 오해 (RE-AIM을 어떻게 써야 하는가에 대한 혼란)

❌ 오해 11: RE-AIM 구성 요소는 서로 구분이 어렵다

사실은 각 구성 요소마다 명확한 정의, 구분, 실제 적용 예시가 있으며 구체적 설명도 존재한다.
🌀 왜 오해했을까? 개념이 중첩된 듯 보일 수 있고, 구체적 설명 자료를 접하지 못한 경우가 많음.


❌ 오해 12: RE-AIM은 대규모 연구나 잘 자금이 지원된 프로젝트에서만 쓸 수 있다

사실은 어떤 유형의 프로젝트에도 적용 가능하며, 최근에는 다양한 사례가 더 많아지고 있다.
🌀 왜 오해했을까? 초기에는 대형 연구 사례 중심으로 소개되었던 영향.


❌ 오해 13: RE-AIM을 쓰면 다른 프레임워크는 같이 쓰지 못한다

사실은 RE-AIM은 다른 TMF들과 통합 적용 가능하며, 그 예시와 지침도 풍부하게 제공되고 있다.
🌀 왜 오해했을까? 예전에는 단일 프레임워크 중심 사고가 많았지만, 최근에는 혼합적 접근이 더 권장됨.

 

 

 

 


🧠 중심 구조: RE-AIM 핵심 차원과 개입 전략

가장 중심에 있는 원은 두 부분으로 나뉘어 있습니다:

1. Evidence-Based Intervention (Components)

  • 근거 기반의 개입 요소들을 의미합니다. 예: 특정 건강 프로그램의 핵심 구성, 치료 방식 등

2. Implementation Strategies

  • 그 개입을 어떻게 실행할 것인지에 대한 전략들입니다. 예: 교육, 피드백, 리마인더 시스템 등

이 두 개념이 함께 작동하며, 그 주위를 감싸고 있는 것이 바로 RE-AIM의 다섯 가지 차원입니다:

  • Reach (도달률)
  • Effectiveness (효과성)
  • Adoption (채택률)
  • Implementation (이행도)
  • Maintenance (지속성)

이 다섯 가지는 개입의 전반적인 성과를 다층적 수준(multi-level)에서 평가하는 지표입니다.


🔄 양옆과 하단: 맥락(Context)과 상호작용

왼쪽 – 개입의 설계·실행과 맥락 간의 정합성(Fit and Interactions)

왼쪽 박스는 다음 네 가지 요소가 어떻게 맞물려 돌아가는지를 보여줍니다:

  • Intervention Components: 개입의 구성요소
  • Implementation Strategies: 실행 전략
  • Inner & Outer Context: 내부(조직, 현장 문화 등) 및 외부(법, 제도 등) 맥락
  • RE-AIM Dimensions: 위에서 언급한 다섯 가지 차원

이 네 가지는 서로 영향을 주고받으며 작동합니다. 즉, 맥락에 따라 전략을 조정하거나, 전략에 따라 개입이 달라질 수 있음을 시사합니다.


오른쪽 – 전반적 고려 요소(Overarching Issues)

다음은 RE-AIM/PRISM이 단순한 도구 그 이상이 되게 하는 핵심 고려사항입니다:

  • Proportion / Penetration: 개입이 대상자 중 얼마나 퍼졌는가
  • Representativeness: 참여자 및 설정의 대표성은 어떤가
  • Reasons – How & Why: 참여/비참여 이유는 무엇이며, 어떻게 전달되었는가
  • Costs: 비용은 어느 수준에서 어떻게 발생하는가
  • Adaptations / Translations: 개입은 어떤 방식으로 조정되었으며, 번안은 있었는가

이 요소들은 각 RE-AIM 차원 전반에 걸쳐 영향을 미치는 상위 개념들입니다.


상단 – Changing External Context (외부 맥락의 변화)

  • PRISM은 개입이 이루어지는 외부 환경(External Environment)의 영향을 강조합니다.
  • 예: 정책 변화, 보상 체계, 가이드라인, 인센티브 구조 등은 개입과 실행 전략에 큰 영향을 줍니다.

하단 – Changing Internal Context (내부 맥락의 변화)

  • 조직 내부나 대상자의 변화도 중요합니다.
  • PRISM Factors로 다음 세 가지를 들고 있어요:
    1. Organizational & Patient Characteristics (특성)
    2. Organizational & Patient Perspectives (가치, 인식, 수용성)
    3. Implementation & Sustainability Infrastructure (이행 및 지속 가능성 기반)

이 요소들은 실제로 개입이 성공적으로 자리잡고 지속되도록 하는 내부 기반입니다.


🔁 전체 구조의 의미

이 도식은 단순한 RE-AIM의 평가 틀을 넘어, 실행과 지속의 실제적인 복잡성을 보여줍니다.
즉, 성공적인 개입은:

  • 개입 자체뿐 아니라,
  • 그것이 누구에게 도달하고, 어떤 맥락에서 작동하며,
  • 어떻게 채택되고, 어떤 전략으로 실행되며,
  • 얼마나 유지되며, 어떤 비용과 적응이 필요한지까지 고려해야 한다는 것입니다.

필요하시면 이 구조를 바탕으로 블로그용 요약 이미지나 슬라이드 구성도 도와드릴 수 있어요!

 

🔍 RE-AIM/PRISM의 현재 중점 방향 및 개발 중인 자원

1. 🧭 맥락(Context)

  • PRISM의 맥락 요인(contextual factors)을 더 세밀하게 정의하고, 강화하고, 명확히 보고하는 것이 중점입니다.
  • 이를 위해 웹사이트에 새로운 섹션과 인터랙티브 가이드 도구가 개발되고 있습니다.
    👉 실제 적용 환경에 대한 이해를 깊이 있게 반영하려는 노력입니다.

2. 📊 측정 지표와 표준화(Measures and norms)

  • RE-AIM의 각 차원(Reach, Effectiveness 등)을 정량적으로 측정하기 위한 표준 설문 문항개발하고 검증 중입니다.
    👉 RE-AIM의 적용을 보다 일관되고 신뢰도 있게 만들기 위한 기반 작업입니다.

3. 🔁 빠르고 반복적인 사용(Rapid and iterative use)

  • RE-AIM을 반복적으로 사용하면서 개입 중간에 평가하고, 개선을 유도하는 방법을 연구 중입니다.
  • 기존 적용 사례를 복제하거나 확장하고, 이를 통해 반복 적용 시 최적화 전략을 찾아내고자 합니다.
    👉 정적(static) 프레임워크가 아닌, 실시간 대응 가능한 동적 툴로 발전하는 방향입니다.

4. 💰 비용, 가치, 지속 가능성(Cost, value, and sustainability)

  • 단순한 시간·금전적 비용뿐 아니라,
  • 이해관계자의 부담 인식, 개입의 가치 평가, 지속성과의 관계까지 포함해 RE-AIM의 비용 개념을 확장하고 있습니다.
    👉 보다 현실적인 ‘실행 가능성’ 평가가 가능해집니다.

5. ⚖️ 건강 형평성(Health equity)

  • 맥락(context)과 대표성(representativeness)과 관련된 RE-AIM 차원을 중심으로,
  • 건강 형평성 문제에 어떻게 기여할 수 있을지를 구체적으로 정의하고 있습니다.
    👉 RE-AIM을 건강 불평등 해소의 관점에서도 활용할 수 있게 됩니다.

6. 🔄 모델링 및 이해관계자 참여(Stakeholder engagement)

  • RE-AIM을 시스템 역학 기반 모델링(participatory systems dynamic modeling)
  • 이해관계자 참여법(engagement methods)과 통합하려는 노력이 진행 중입니다.
    👉 공동 설계(co-design)와 시스템적 사고(system thinking)를 결합하는 방향입니다.

7. 🧑‍🏫 지침과 교육(Guidance and training)

  • RE-AIM 적용과 관련된 훈련(training), 도구(tool), 가이드(guides), 예시(examples)를
  • 웹사이트를 통해 제공하고 있습니다.
    👉 초보 사용자부터 고급 연구자까지 누구나 참고할 수 있도록 지원 확대 중입니다.

8. 📢 소통 활동(Communication activities)

  • RE-AIM 웹사이트를 업데이트하고,
  • 다양한 커뮤니케이션 채널(예: @reaim 트위터, 리스트 서브 등)을 통해
    • (a) 사용자 유형별,
    • (b) 연구 단계별
      자원을 효과적으로 제공하고 있습니다.
      👉 사용자 맞춤형 정보 접근성이 높아지고 있습니다.

🔚 요약하면?

이 표는 RE-AIM/PRISM이 더 실용적이고, 더 반복 가능하며, 더 형평성 있고, 더 체계적으로 사용될 수 있도록 다양한 측면에서 발전하고 있다는 걸 보여줍니다. 연구자와 실무자 모두를 위한 ‘살아있는 프레임워크’로 진화 중이라고 볼 수 있죠.

Front Public Health2019 Mar 29:7:64. doi: 10.3389/fpubh.2019.00064. eCollection 2019.

RE-AIM Planning and Evaluation Framework: Adapting to New Science and Practice With a 20-Year Review

 

 

✅ 실천을 바꾸는 평가 도구, RE-AIM 프레임워크의 과거·현재·미래

요즘 연구와 실천 현장에서 효과적인 개입(Intervention)을 어떻게 설계하고 평가할 것인지에 대한 고민, 다들 하고 계시죠?
오늘은 이와 관련해서 20년 이상 사랑받아온 도구, RE-AIM 프레임워크에 대한 최신 논문을 소개해드릴게요.


🔍 RE-AIM 프레임워크란?

RE-AIM은 다섯 가지 핵심 구성 요소로 이루어진 평가 프레임워크예요:

  • Reach (도달률)
  • Effectiveness (효과성)
  • Adoption (채택률)
  • Implementation (이행/실행)
  • Maintenance (유지/지속성)

이 다섯 가지는 개입이 얼마나 널리 퍼지고(Reach), 실제로 효과가 있었는지(Effectiveness), 조직과 인력들이 받아들였는지(Adoption), 어떻게 실행되었는지(Implementation), 그리고 그 효과가 얼마나 지속되었는지(Maintenance)를 종합적으로 평가하게 해줘요.

연구진은 이렇게 말합니다:

RE-AIM and other models have helped balance the traditional focus on internal over external validity.
→ “RE-AIM과 같은 모델은 기존에 내적 타당성에만 집중되던 연구 흐름을 외적 타당성까지 균형 있게 확장하는 데 기여해왔다.”


🕰️ 과거에는 어땠을까?

초기에는 주로 개입이 효과가 있었는지(efficacy)만 보고했어요. 하지만 현실에선 개입이 얼마나 실행 가능하고 지속 가능한지가 더 중요할 때가 많죠.

The main goal from its conception was to improve assessment and reporting along the five RE-AIM dimensions, not necessarily intervening to improve all dimensions.
→ “RE-AIM의 주요 목표는 이 다섯 가지 차원 각각에 대한 평가와 보고의 질을 향상시키는 것이었지, 반드시 모두를 개입을 통해 개선하려는 것은 아니었다.”

 

이 프레임워크는 특히 실행(implementation)과 지속성(maintenance)에 강력한 도구예요.
실행의 충실도(fidelity), 적응(adaptation), 비용(cost) 등도 정밀하게 살필 수 있도록 도와주죠.


📌 현재는 어떻게 쓰이고 있을까?

요즘에는 다음과 같은 영역에 RE-AIM이 활용되고 있어요:

  1. 개입 중 발생하는 적응(adaptations)을 정교하게 평가하기
  2. 정성적 평가(qualitative assessment)를 통해 ‘왜’ 효과가 있었는지를 파악하기
  3. 모든 차원을 평가하기보다 현실적인 우선순위 설정
  4. 비용과 자원(cost and burden)을 다양한 이해관계자 입장에서 분석하기
  5. 보고의 투명성을 높이기 위한 확장형 CONSORT 도표와 통합

예를 들어, 연구진은 다음과 같이 강조해요:

Using mixed-methods approaches can help identify factors that are causally related to different RE-AIM outcomes in different situations.
→ “혼합 방법(mixed-methods)은 다양한 상황에서 RE-AIM 결과와 인과적으로 연관된 요인을 파악하는 데 도움이 될 수 있다.”


🔮 앞으로는 어떤 방향으로?

논문에서는 RE-AIM 프레임워크의 미래 5대 방향도 제시하고 있어요:

  1. 실행 전략과 맥락(context)의 명확한 설명
  2. 혼합 방법론(mixed-methods)을 통한 인과 메커니즘 탐색
  3. 개입 전·중·후 단계에서 반복적(iterative)으로 활용
  4. 비연구자나 자원이 부족한 조직에서도 쉽게 사용할 수 있는 도구 개발
  5. 다른 모델과의 통합—예: PRECIS-2, StaRI

We invite researchers and practitioners to contribute to the expanded use of RE-AIM before, during, and after intervention delivery.
→ “우리는 연구자와 실천가들이 개입의 전·중·후 단계에서 RE-AIM을 더욱 폭넓게 활용하는 데 참여해주기를 기대하고 있다.”


✍️ 마무리하며

RE-AIM은 단순히 연구 설계나 평가에 머무르지 않고, 현장 실천에 영향을 주는 도구로 진화하고 있어요.
특히, 복잡하고 변화무쌍한 현실 속에서 적응과 실행의 질을 높이고자 하는 모든 이들에게 강력한 프레임워크가 되어 줄 수 있어요.

📢 여러분의 조직이나 연구에도 RE-AIM 프레임워크, 한 번 적용해보는 건 어떨까요?

 

 

서론 (Introduction)

RE-AIM 프레임워크(1)는 과학적 성과가 실제 실천, 특히 공중 보건의 영향 및 정책으로 전환되는 속도가 느리고, 그 전환이 불공정하게 이루어지는 문제를 해결하기 위해 개발되었다(2–6). RE-AIM 및 기타 모델들(7)은 기존에 내적 타당성(internal validity)에 집중되어 있던 전통적 초점을 외적 타당성(external validity)으로 균형 있게 확장하는 데 기여해 왔다. RE-AIM의 독특한 특징은 디자인, 확산(dissemination), 실행(implementation) 과정에서 성공적인 보편적이고 공정한 인구 기반 영향(population-based impact)을 달성하는 데 도움이 되거나 방해가 될 수 있는 문제, 차원(dimensions), 단계들에 명시적으로 초점을 맞춘다는 점이다.

 

RE-AIM의 시초 논문(1)은 2,800회 이상 인용되었으며, 이 프레임워크는 450편 이상의 논문에서 연구 설계 또는 평가 목적에 적용되었다(7). RE-AIM은 미국의 주요 보건 및 의학 연구 기관 대부분에서 연구비 지원 신청서의 기획 및 평가 도구로 가장 자주 사용되는 프레임워크 중 하나이며(8), 국내외로 광범위하게 활용되고 있다(9, 10). 다양한 인구, 환경, 건강 상태에 걸쳐 적용되었으며(11–24), 적용된 국가와 문화에 따라 효과적으로 번역되고 활용 가능한 것으로 보인다.

 

국제적 사례로는 저소득 및 중간소득국가(low- and middle-income countries)에서의 적용(25), 호주(26–30), 네덜란드(31–34), 브라질(35, 36) 등이 있다. 흥미로운 사례로는 아프리카에서 석탄 화덕(coal-fired indoor cook stoves) 사용을 줄이기 위한 개입을 계획하고 평가하는 데 RE-AIM이 사용된 경우가 있다(37). 본 논문에서는 RE-AIM 프레임워크의 역사, 현재 연구 및 실천에서의 적용, 그리고 향후 적용 가능성에 대해 개괄한다.


역사적 관점 (Historical Perspectives)

RE-AIM 프레임워크의 다섯 가지 차원은 과학자들이 연구의 내적 타당성과 외적 타당성을 모두 고려하도록 독려하기 위해 도입되었으며, 이는 파일럿 연구, 효과성 연구(efficacy), 실제 적용 연구(effectiveness), 시범적 적용(demonstration), 전이 연구(translational research)에 걸쳐 해당된다(23, 38). 대부분의 동료 심사 저널은 그동안 효과성(efficacy)에 집중해 왔으며, 이로 인해 실제 적용 맥락, 실행 인력과 조건, 결과의 일반화 가능성에 대한 정보가 매우 부족했다. RE-AIM이 처음 개발되었을 때의 주요 목표는 다섯 가지 RE-AIM 차원(Reach, Effectiveness, Adoption, Implementation, Maintenance)에 대한 평가와 보고의 질을 개선하는 것이지, 모든 차원을 직접 개선하려는 개입을 하는 것은 아니었다(표 1 참조).

 

RE-AIM의 다섯 가지 차원은 다음과 같다:

  • 도달률(Reach, R),
  • 효과성(Effectiveness, E),
  • 지속성(Maintenance, M) – 이 세 가지는 개인 수준(개입의 혜택을 받을 대상자)에 적용된다.
  • 반면 채택률(Adoption, A),
  • 실행(Implementation, I),
  • 지속성(Maintenance, M) – 이들은 조직 또는 환경 수준(현장 또는 인력)에 적용된다.

현장 수준에서의 RE-AIM 요소는 종종 다층적(multi-level)이며, 외적 타당성과 맥락(context)을 다룬다. 예를 들어, 설정(setting)은 지역사회 또는 더 큰 시스템에 소속된 병원, 학교, 직장 등을 포함할 수 있으며, 이들 내에는 실제 개입을 수행하는 의사, 교사, 인사담당자 등이 포함된다.

 

RE-AIM의 모든 차원은 복잡하지만,

  • 특히 실행(Implementation)이 현재 가장 많은 지표들을 포함하고 있다. 이 차원은
    • 프로그램이 다양한 환경, 인력, 환자 집단에 걸쳐 얼마나 일관되게 시행되는지(일치성: fidelity)에 초점을 맞추며,
    • 적응(adaptations)(58)과 비용(costs) 또한 여러 이해관계자의 관점에서 포함한다(59).
  • 지속성(Maintenance)
    • 개인 수준에서는 장기 효과(long-term effectiveness),
    • 환경 수준에서는 연구 자금이 종료된 이후의 지속 가능성(sustainability)을 다룬다.

이 프레임워크의 운영적 요소들은 시간이 지남에 따라 점점 더 많이 적용되어 왔다.

  • 과거에는 단순히 집단 간 또는 추적 조사에서 탈락한 사람유지된 사람 간 특성 차이를 보고했으나,
  • RE-AIM을 사용하는 연구에서는 연구에 등록된 사람들실제 목표 인구 간 대표성(representativeness)을 비교함으로써, 접근성, 인식, 적합성, 일반화 가능성에 대한 이해를 높였다.
  • 또한, 과거의 임상 효과성 연구는 생리적 지표(physiologic outcomes)에만 좁게 집중했던 반면,
  • RE-AIM은 공중 보건에 영향을 미치는 다양한 요인들을 고려하도록 확장하였다. 이러한 접근 방식은 삶의 질, 예기치 않은 부작용(예: 건강 불평등의 심화, 만성 질환 낙인에 따른 사회적 낙인) 등 프로그램의 총체적 영향(comprehensive effects)을 이해하는 데 기여하였다.

RE-AIM 활용에 대한 문헌 리뷰도 다수 진행되었다(11, 42, 52, 60–62). 가장 포괄적인 리뷰들은 2000년부터 2012년 또는 2015년까지의 문헌을 포함하였다(10, 42, 52). 주목할 점은, 다양한 주제를 다룬 이 리뷰들에서도 유사한 결론에 도달했다는 것이다. 즉, 채택(Adoption)과 지속성(Maintenance), 그리고 개인 및 조직 수준에서의 대표성은 상대적으로 적게 보고되었으며, 특히 도달률(Reach)과 채택률(Adoption) 간의 개념 혼동이 빈번하게 나타났다. 이러한 문제는 미국에만 국한되지 않는다.

 

RE-AIM 프레임워크의 발전과 적용을 강화하기 위해, 여러 연구자들이 로버트 우드 존슨 재단(Robert Wood Johnson Foundation)의 지원을 받아 RE-AIM 연구 컨소시엄을 구성하였다(63–66). 이 작업은 2004년에 www.re-aim.org 웹사이트 개설로 이어졌으며(64), 이 웹사이트는 자가 진단 퀴즈, 체크리스트, 도표, 측정 도구, 활용 팁, 그리고 점점 더 다양한 소셜 미디어 도구들을 제공하여, 다양한 개입, 환경, 인구에 걸쳐 RE-AIM의 실행 가능성을 높이는 자료 창고 역할을 한다. 연구 커뮤니티 내 대화와 논의 촉진을 위해, 매월 RE-AIM 관련 주제의 웨비나가 열리며, 녹화본은 웹사이트에서 제공된다 (www.re-aim.org).

 

 

과거에서 현재까지 (From Past to Present)

다음은 현재 RE-AIM 프레임워크를 기반으로 진행 중인 주요 연구 영역 다섯 가지를 요약한 것이다(표 1 참고).

 

첫 번째는, 프로그램 실행 전, 실행 중, 실행 후의 적응(adaptations)을 평가하기 위해 RE-AIM의 잠재력을 이해하고 극대화하려는 노력이다(54, 55, 67).

  • 프로그램이 실행되는 과정에서는 적응(adaptations)이 자연스럽게 발생한다(68). Mittman 등(69)은 이러한 현상을 무시하거나 억제하려 하기보다는, 이를 문서화하고 평가하는 방법을 찾아야 한다고 제안하였다. 최근의 PCORI(Patient-Centered Outcomes Research Institute)의 방법론 표준(70) 또한 적응 과정을 체계적으로 문서화할 것을 권장한다.
  • RE-AIM은 이러한 적응을 어떻게 기록하고, 그 영향과 목적어떻게 평가할 것인지에 대해 강력한 가이드를 제공할 수 있는 잠재력을 지닌다(58). 실제로 RE-AIM은 Stirman의 적응 프레임워크(71)를 확장하는 데 활용되었으며, “누가(who), 무엇을(what), 왜(why), 어디서(where), 언제(when)”라는 질문을 추가로 다룬 바 있다(67).
  • RE-AIM은 적응을 종단적(longitudinal), 다방법적(multi-method), 다수준적(multi-level)으로 간주하며, 여러 시점, 다양한 이해관계자, 다양한 자료 수집 방법을 통해 데이터를 수집한다(54, 55, 67).

 

두 번째로, 최근에는 정성적(Qualitative) RE-AIM 평가에 대한 관심이 증가하고 있다.

  • 지금까지 대부분의 RE-AIM 기반 평가 및 활용은 기술적이거나 양적(quantitative) 접근이 주를 이루었고, 예를 들어 참여한 사람 또는 설정의 비율과 같은 핵심 지표에 집중해왔다. 그러나 Holtrop 등(72)이 제시한 정성적 접근은 ‘무슨 일이 일어났는가’뿐만 아니라, ‘어떻게(how)’와 ‘왜(why)’ 발생했는지를 이해하는 데 도움을 준다.

세 번째로, 모든 상황에서 RE-AIM의 모든 차원을 포괄적으로 평가하기보다는, 좀 더 실용적인(pragmatic) 활용에 대한 필요성이 제기되고 있다(67, 73).

  • 특히 평가 자원이 제한적인 경우, 모든 연구나 평가가 RE-AIM의 전 구성 요소를 평가할 필요는 없다. 오히려 연구의 질문, 환경, 이해관계자, 연구의 단계가장 적합하고 가치 있는 구성 요소를 선택해 집중하는 것이 바람직하다. 단, 연구 초기에 사전 결정(a priori decision)을 통해 어떤 차원을 평가와 개선을 위한 핵심 영역으로 삼을 것인지 명확히 해야 한다.
  • 경우에 따라서는 다섯 개 차원을 모두 포괄적으로 수집하고자 하는 결정이 사전에 내려지기도 하는데, 이는 개인 수준의 영향, 맥락적 함의, 지속적인 데이터 수집 가능성을 이해하기 위해서이다. 이러한 접근은 프로그램 실행의 전, 중, 후에 걸쳐 제한된 자원으로 수행된 두 개의 최근 연구 사례에 잘 드러나 있다(74, 75). 두 사례 모두, 이해관계자의 동의(stakeholder buy-in)와, 각 차원의 구체화(operationalization)가 필수적이라는 점을 강조하였다(54, 67).

네 번째는, RE-AIM의 다양한 차원 전반에 걸쳐 다수의 이해관계자 관점에서 비용(costs)을 평가하는 것에 중점을 둔 영역이다(5).

  • Ritzwoller 등(76)의 선행 연구를 기반으로, 최근의 RE-AIM 비용 평가 연구들은 다수준적 실행(multilevel implementation), 다양한 이해관계자의 관점, 프로그램 또는 정책의 설정 간 복제 가능성에 따른 비용 추정 등을 다루고 있다.
  • Rhodes 등(59)은 환자, 직원, 진료소, 조직 수준에서의 비용을 평가할 수 있는 템플릿을 제시하였다. 프로그램 제공에 드는 비용은 각 RE-AIM 차원을 충실히 반영하고 향상시키기 위한 활동과 관련된다(그림 1).
  • 향후에는 비용과 부담에 대한 일관된 보고와 함께, RE-AIM 차원의 가치를 높이기 위한 비용-효과적 접근법에 대한 비교 효과성 연구(comparative effectiveness research)가 더욱 활발히 이루어질 것으로 기대된다.

🖼️ 그림 1. RE-AIM/PRISM 2019 모델의 수정 및 확장 버전
(출처: www.frontiersin.org)

 

마지막으로, Glasgow 등(77)은 최근 RE-AIM의 개념과 차원을 확장하는 방안으로 확장된 CONSORT 도표(Expanded CONSORT Figure)를 제안하였다. 이는 보고의 투명성을 높이고, 향후 연구의 재현 가능성(replication)을 높이기 위한 목적이다. 이 확장은 무작위 대조 연구(Randomized Controlled Trials, RCT)에 요구되는 기존 CONSORT 보고 기준(78)을 다음 두 방향으로 확대하는 것을 목표로 한다.

  • (a) 개별 참여자를 모집하기 이전 단계에서 이미 개입되는 환경 및 인력 수준의 참여와 대표성 관련 요소를 포함하고,
  • (b) 연구 종료 이후의 시점까지 고려하는 시간적 확장을 포함한다.

확장된 CONSORT 도표와 관련 다운로드 가능한 템플릿은, 설정(예: 지역사회, 의료 네트워크) 및 시행 인력(예: 의료인력 등)에 대한 포함/제외 기준, 참여 및 비참여 이유, 참여한 설정과 인력의 특성 및 비율, 프로젝트 종료 후 개입의 지속성 등을 요약한다(79).

 

이러한 관찰을 바탕으로, 우리는 RE-AIM 모델의 다양한 변화와 새로운 강조점을 반영한 새로운 RE-AIM 도표를 개발하였다(그림 1 참조). 이 도표는 비용(costs)과 적응(adaptations)의 명시적 포함을 강조하며, 아래에서 논의될 다층적 맥락 요인들—즉 내적 맥락(internal context)과 외적 맥락(external context)—이 RE-AIM 결과에 미치는 영향도 시각적으로 표현하고 있다. 여기에는 두 가지 핵심 가로지르는(cross-cutting) 이슈가 존재한다.

  • (a) 개입 설정, 맥락, 개입 전략 간의 정렬(alignment)이 매우 중요하며,
  • (b) RE-AIM 결과가 어떻게, 왜 발생하는지를 이해하기 위해 정성적 평가를 반드시 포함해야 한다.

 

 

앞으로의 방향 (What Will the Future Bring?)

RE-AIM의 역사적 맥락과 현재의 적용을 바탕으로, 앞으로 RE-AIM을 활용하고자 하는 연구자 및 실천가들을 위한 다섯 가지 미래 방향을 제시한다.

 

첫째, 최근에는 실행 전략(implementation strategies)과 맥락(context)을 보다 명확히 기술할 필요성(80, 81)과, 실행 전략과 실행 결과 간의 매개 관계(mediating relationships)를 검증할 필요성이 제기되고 있다(82).

  • 이는 RE-AIM이 주목할 신흥 영역(emerging area)으로 간주된다. 현재까지 이를 가장 명확하게 시도한 모델은 PRISM (Practical, Robust Implementation and Sustainability Model)로, 외부의 거시적 요인(정책, 지침, 인센티브)부터 조직 내부의 요인까지 다양한 맥락적 요인에 초점을 맞춘다(83, 84).
  • PRISM은 개입의 특성(예: Rogers의 상대적 이점, 복잡성, 적합성, 관측 가능성, 시도 가능성, 비용 등)과 개입이 적용되는 시스템 사이의 적합성(fit)을 강조한다(85). PRISM의 독특한 요소 중 하나는, 현장 수준의 지속 가능성(maintenance)을 향상시키기 위해 “실행 및 지속 기반 구조(implementation and sustainability infrastructure)”—예: 직무 요건, 지속적 피드백 및 감시 체계, 개입 활동의 제도화 등—를 다룬다는 점이다(84, 86).

둘째, 혼합 방법(mixed-methods)을 프레임워크 전반에 걸쳐 사용하여, RE-AIM의 각 차원에 걸친 설명적 메커니즘(explanatory processes)을 식별할 필요가 있다.

  • 지금까지는 정량적 지표(quantitative measures)만으로는 전파성(dissemination; 도달률과 채택률), 실행, 지속성 등의 결과를 강하게 예측하기 어려웠다.
  • 혼합 방법 접근법은 서로 다른 상황에서 발생하는 RE-AIM 결과와 인과적으로 관련된 요인을 파악하는 데 도움을 줄 수 있다(72).
  • 여기에 정성적 정보최신 예측 모델링 방법과 결합하면, 경험적으로 도출된 인과관계에 기반해 결과를 개선할 수 있는 실행 지침을 보다 정밀하게 제시할 수 있을 것이다.

셋째, 우리는 RE-AIM이 초기 계획(initial planning)이나 총괄적 평가(summative evaluation)에만 그치지 않고, 실행 기간(implementation period) 동안에도 반복적(iterative)으로 활용되기를 권장한다.

  • RE-AIM 요인을 측정하는 간단하고 실용적인 도구를 신속하고 반복적으로 사용하고 분석함으로써, 적절한 적응을 유도할 수 있다(55, 66, 71). 요약하면, RE-AIM은 참여형 접근(participatory approach)의 일부로 사용될 수 있으며(Estabrooks 등, 심사 중), 어떤 차원을 평가할지, 어떤 차원을 개입 대상으로 삼을지 결정하는 데 도움을 줄 수 있다.
  • 예컨대, 도달률(Reach)을 높이기 위해 모집 전략을 개입의 진행 과정에서 변경하거나, 채택률(Adoption)과 실행(Implementation)을 향상시키기 위해 새로운 교육 전략을 도입할 수 있다. 이러한 적응(adaptations)은 종종 개별적으로 해석되지만, 실제로는 서로 연동되어 실증적으로 강력하고 실용적인 영향을 미칠 수 있다.

 

넷째, 비연구자(non-researchers)나 예산이 제한된 주(州) 보건 프로그램 혹은 실무 평가자가 RE-AIM을 어떻게 사용할 수 있는가도 중요한 문제이다.

  • RE-AIM을 자원이 적은 현실 세계(real-world)의 맥락에서 활용하는 것은 도전적일 수 있지만, 충분히 가능하다(2).
  • 초기 평가 결과에 따르면, RE-AIM은 넓게 사용되고 있고 직관적으로 이해되기 쉬우나, 세부적으로 실행하거나 모든 요소를 평가하는 데 어려움이 존재한다.
  • 향후에는 이러한 사용자들을 위한 사람 중심 설계(human-centered design)에 기반한 사용자 친화적 도구와 사례 개발이 중요한 과제가 될 것이다.

 

마지막으로, RE-AIM은 다른 접근법과 함께 활용될 수 있는 매우 유망한 가능성을 가지고 있다.

  • 예를 들어, PRECIS(PPragmatic-Explanatory Continuum Indicator Summary) 모델(87, 88)과 결합하면, RE-AIM 요인과 PRECIS-2 차원을 통합하여 연구가 얼마나 실제(pragmatic)적이며, 얼마나 일반화(generalizable) 가능한지를 평가할 수 있다. 이러한 활용은 Luoma 등(89)의 체계적 문헌 고찰에서 잘 나타났으며, 이들은 Cochrane 기준을 통한 효과성(effectiveness)과 PRECIS-2 및 RE-AIM 요인을 통한 실제성(pragmatism)을 동시에 요약할 수 있는 방법을 제시했다.
  • 또한, RE-AIM과 그 확장된 CONSORT 도표(Expanded CONSORT Figure)는 StaRI(Standards for Reporting Implementation Studies)(90) 또는 기타 전파 및 실행 연구(Dissemination and Implementation, D&I) 보고 기준과도 통합될 수 있다.

결론 (Conclusion)

RE-AIM은 지난 20년간 연구와 실천에 적용되어 왔다. 비록 원래의 구성 요소들은 유지되고 있지만, 적응(adaptation)이나 확산 비용(dissemination costs)과 같은 새로운 이슈들을 해결하기 위해 많은 변화와 진화를 거쳐 왔다. 우리는 RE-AIM이 앞으로도 지속적으로 발전하여, 다양한 인구와 환경에 널리 적용될 수 있는 연구의 확산과 복제 가능한 공중보건적 영향을 확대하기 위한 초기 목적을 더욱 충실히 수행하게 될 것으로 기대한다. 우리는 RE-AIM이 개입 전, 개입 중, 개입 이후의 다양한 단계에서 더 널리 활용될 수 있도록, 연구자와 실천가들의 적극적인 참여를 기대하고 환영한다.

 

 

 

✅ 1. 도달률 (Reach)

  • 정의 (Definition):
    도달률은 특정 개입(intervention), 프로그램 또는 전략에 참여할 의향이 있는 개인들의 총 수, 비율, 대표성을 의미합니다. 사람들이 참여하지 않는 이유도 함께 고려해야 하며, 예를 들어 이런 질문이 중요합니다:
    “How do I reach the targeted population with the intervention?”
  • 과거 관점 (Historical perspectives):
    초기에는 주로 인구통계학적 특성만 보고되었고, 참여자와 비참여자 간 비교, 또는 추적조사 탈락자와 유지자의 비교 등에 초점이 있었습니다. 그러나 타겟 집단과의 유사성 여부는 거의 알려져 있지 않았습니다.
  • 현재 이슈 (Current issues and outcomes):
    타겟 집단에 대한 정확한 묘사(모집단 추정 포함), 표본과 모집단 간 비교(대표성 평가), 그리고 다양한 요인을 활용한 도달률 계산 시도가 이루어지고 있습니다. 정성적 방법을 활용해 “왜”와 “어떻게”를 이해하려는 노력도 증가 중입니다.
  • 미래 방향 (Future directions):
    더 나은 접근성, 인식, 적합성을 위한 도달률 향상 전략 필요, 건강 형평성(health equity)에 대한 초점 강화, 전파(trial dissemination)의 결과지표로서 도달률 자체를 활용할 필요성이 제기됩니다.
  • 문헌 사례 (Examples from the Literature):
    • 직장 건강 증진 개입 사례에서는 고학력·고소득 집단이 더 많이 참여하였고, 이는 프로그램 효과에 영향을 주었습니다.
    • 지역사회 건강 프로그램에서는 아프리카계 미국 여성의 이탈률이 높았고, 결과적으로 참가자 집단은 교육 수준과 소득이 높은 백인 여성이 과대표시(overrepresented)되었습니다.

✅ 2. 효과성 (Effectiveness)

  • 정의:
    개입이 삶의 질(Quality of Life), 경제적 결과, 부작용 등 주요 지표에 미치는 영향을 포괄하며, 효과의 이질성(heterogeneity), 효과가 나타나는 이유나 부족한 이유 등을 설명하는 것이 중요합니다.
    “How do I know my intervention is effective?”
  • 과거 관점:
    주로 하나의 주요 결과(primary outcome)만 측정하였고, 부가적 생물학 지표(biomarker)나 행동 변화에 집중했습니다. 평균 효과값 하나만 보고하는 경우도 많았습니다.
  • 현재 이슈:
    아직도 대부분 주요 결과 위주로 보고되고 있으나, 일부 연구는 삶의 질(QoL)과 예기치 않은 결과(unintended consequences)도 함께 평가하고 있습니다. 최근에는 하위 집단 효과(subgroup effects)에 대한 관심도 증가했습니다.
  • 미래 방향:
    삶의 질, 예기치 않은 결과, 시스템 차원의 영향에 더 많은 주의 필요, 영향을 받은 참여자를 위한 후속 단계(next steps) 정보 확보, RE-AIM 차원 간 관계 및 맥락(context)과의 연관성 탐색이 중요합니다.
  • 문헌 사례:
    • 아동 비만 개입에서 몸 이미지 만족도가 부차적 결과로 측정되었으며, 6개월 후 일부 아동은 오히려 만족도가 감소했습니다.
    • 당뇨병 환자 대상 자가관리 프로그램에서는 효과성 측정에 삶의 질도 포함되었으나, 예기치 않은 부정적 결과는 발견되지 않았습니다.

✅ 3. 채택률 (Adoption)

  • 정의:
    채택률은 개입을 실제로 시작하려는 현장(settings)과 시행 인력(delivery agents)의 비율과 대표성을 의미합니다.
    “How do I develop organizational support to deliver my intervention?”
  • 과거 관점:
    현장 및 인력 수준의 채택 비율에 대한 정보는 거의 없었으며, 참여한 현장이나 인력에 대한 정보만 보고되었습니다.
  • 현재 이슈:
    더 많은 연구가 현장 수준 채택률을 보고하고 있고, 일부는 대표성도 평가하고 있지만 여전히 부족합니다.
    다수 수준(multi-level) 문제, 정성적 자료 사용 증가 등도 최근 경향입니다.
  • 미래 방향:
    맥락 요인(contextual factors)을 더 깊이 이해할 필요, 조직 문화, 기후(climate) 등의 특성에 대한 정보 필요, 채택을 도와주는 가이드나 도구 개발이 요구됩니다.
  • 문헌 사례:
    • 학교 기반 영양 프로그램에서는 39개 학급 중 31개가 채택했으며, 참여하지 않은 학교에 대한 정보는 제공되지 않았습니다.
    • 한국계 미국인 여성 대상 개입에서는 인쇄물을 쉽게 활용할 수 있었고, 이것이 채택률에 긍정적 영향을 미쳤습니다.

 

 

✅ 4. 이행 (Implementation)

  • 정의 (Definition):
    Implementation(이행)은 개입을 실제로 수행하는 현장 인력(delivery agents)이 개입 프로토콜의 각 요소를 얼마나 충실하게(fidelity) 따랐는지를 말해요. 여기엔 전달 방식의 일관성(consistency of delivery)과 필요한 자원의 투입, 그리고 적응(adaptations)과 비용(costs)도 포함돼요.
    개인 수준에서는, 클라이언트들이 개입을 어떻게 사용하고 반응했는지를 보는 것이죠.

How do I ensure the intervention is delivered properly?
→ “개입이 올바르게 전달되었는지를 어떻게 확인할 수 있을까?”

  • 과거 관점:
    초기에는 시간, 자원, 비용 관련 정보가 부족했고, 대부분 충실도(fidelity)만 평가되고 적응은 거의 다뤄지지 않았어요.
  • 현재 이슈:
    요즘은 이행 품질, 적응(adaptations), 다양한 RE-AIM 결과 간 영향 관계에 주목하고 있어요. 특히 표준화된 측정도구, 다차원 평가, 적응이 어떻게 이뤄졌는지에 대한 관심이 증가하고 있습니다.
  • 미래 방향:
    앞으로는 더 나은 프로토콜 문서화, 다방법 평가, 이행 중 발생한 적응 및 비용의 정량·정성적 평가가 중요해요. 연구진은 이렇게 제안합니다:

Need greater uptake of implementation measurement protocols... More understanding of reasons for adaptations and high/low levels of implementation.
→ “이행 측정 프로토콜의 활용 증가, 그리고 다양한 수준의 이행 및 적응 발생 원인에 대한 이해가 필요하다.”

  • 문헌 사례:
    • 간호 기반 금연 프로그램 개입에서는 개입을 받은 병원들이 유의미하게 더 많은 중재 정보와 자원(예: 금연 조언, 보조 도구 등)을 제공했어요.
    • 흑인 미국인 교회를 대상으로 한 암 교육 개입에서는, 웹 기반 접근이 더 빠르게 이행되었지만, 양쪽 모두에서 성과는 비슷했어요.
    • 대규모 커뮤니티 기반 다이어트 프로그램에서는 이행 비용이 계산되고, 아프리카계 참가자의 경우 비용은 낮았지만 체중 감량 효과도 적었어요.

✅ 5. 유지 (Maintenance)

  • 정의 (Definition):
    Maintenance(유지)는 행동 변화나 개입 효과가 최소 6개월 이상 지속되는지를 평가해요. 또한 개입이 조직의 정책이나 관행에 통합되어 지속되는지를 조직 차원에서 평가하기도 해요.
    중요한 건, 어떤 설정(setting)이 개입을 유지했고, 유지에 영향을 준 요인이 무엇인지까지 파악하는 거예요.

How do I incorporate the intervention so that it is delivered over the long term?
→ “개입이 장기적으로 지속되도록 하려면 어떻게 해야 할까?”

  • 과거 관점:
    초기 연구들은 장기적 결과(long-term outcomes)를 거의 측정하지 않았고, 개입 종료 후 유지 여부나 조직적 변화도 잘 다루지 않았어요.
  • 현재 이슈:
    많은 연구들이 여전히 유지와 관련된 내용을 다른 차원의 부수적 정보로만 보고 있고, 시스템 수준의 영향(system-level impact)은 거의 다뤄지지 않아요. 하지만 최근에는 접촉 빈도, 유지 성공 사례, 이해관계자 파트너십 등에 대한 분석이 늘고 있어요.
  • 미래 방향:
    앞으로는 실제 임상 시스템과의 파트너십, 유지에 영향을 미치는 다층 요인(multilevel factors), 사용자 중심 설계, 현장 주도의 체계적 개입 내재화(institutionalization)가 필요해요.

Need pragmatic measures and systems-level buy-in... Need more understanding of dynamic, complex multi-level factors related to sustainment.
→ “현장 중심의 실용적 측정 및 시스템 수준에서의 동의가 필요하며, 유지에 영향을 주는 복잡한 다층 요인에 대한 더 많은 이해가 요구된다.”

  • 문헌 사례:
    • 우울증 감소를 위한 미국 재향군인청 프로그램에서는 8개 센터 중 일부가 2년 후에도 자체적으로 개입을 유지했어요.
    • 다른 연구에서는, 이론 기반 지원이 있는 클리닉이 개입 유지에 더 성공적이었고, 장기적으로는 유지 성공에 차이가 벌어졌습니다.

이 그림은 RE-AIM/PRISM 2019 모델의 수정 및 확장 버전(Figure 1: Revised, enhanced RE-AIM/PRISM 2019 model)을 시각적으로 표현한 것입니다. 기존의 RE-AIM 프레임워크PRISM (Practical, Robust Implementation and Sustainability Model) 개념을 통합하여, 개입의 실현 가능성과 지속 가능성을 현실적인 맥락(context) 속에서 분석하고자 합니다.

아래에 주요 구성요소별로 해설을 제공합니다.


🔵 중심 원(Center Circle): RE-AIM의 핵심 구성

가운데 원은 두 부분으로 나뉘어 있습니다:

  1. Evidence-Based Intervention (Components) → 효과가 입증된 개입의 구성 요소
  2. Implementation Strategies → 해당 개입을 현장에서 실제로 실행하는 전략

이 두 가지는 상호작용하며 작동하며, 바깥 원을 구성하는 RE-AIM의 다섯 차원으로 영향을 줍니다.

바깥 원: 다섯 가지 RE-AIM 차원

  • Reach (도달률)
  • Effectiveness (효과성)
  • Adoption (채택률)
  • Implementation (이행)
  • Maintenance (유지)

이 차원들은 개입의 전체적 영향력지속 가능성을 평가하는 데 핵심입니다.


📦 좌측 상자: 구성 요소 간 적합성과 상호작용 (Fit among and Interactions among...)

이 상자는 RE-AIM을 해석할 때 반드시 고려해야 할 4가지 요소 간의 적합성(fit)과 상호작용을 강조합니다:

  1. Intervention Components (개입 구성 요소)
  2. Implementation Strategies (이행 전략)
  3. Inner & Outer Context (내적 및 외적 맥락)
  4. RE-AIM Dimensions (RE-AIM의 다섯 차원)

이들 간의 적절한 정렬(alignment)과 적합성은 성공적인 개입의 핵심 조건입니다.


🌐 상단 상자: PRISM의 맥락적 요인 (PRISM Contextual Factors)

RE-AIM의 결과에 영향을 주는 맥락(context)을 PRISM에서는 다음과 같이 나눕니다:

1. External Context (외적 맥락)

  • 정책 (Policy)
  • 자원 (Resources)
  • 가이드라인 (Guidelines)
  • 인센티브 (Incentives)

2. Internal Context (내적 맥락)

  • 다수준 조직 및 환자 특성 (Multi-level organizational & patient characteristics)
  • 가치/인식 (Organizational & patient perspectives/values)
  • 실행 및 지속 기반 구조 (Implementation & sustainability infrastructure)

👉 이 맥락적 요인들이 개입 및 실행 전략과 상호작용하여 RE-AIM 차원에 영향을 미칩니다.


⚙️ 우측 상자: 전반적 고려 요소 (Overarching Issues)

이 상자는 RE-AIM 분석 시 모든 차원에 걸쳐 고려해야 할 횡단적 요소들입니다:

  1. Proportion / Penetration (침투율, 비율)
  2. Representativeness (대표성)
  3. Reasons: How & Why (이유 및 과정)
  4. Adaptations (적응)
  5. Costs, Benefits & Value (비용, 편익, 가치)

이 요소들은 단순한 결과 수치 이상의 이해와 판단을 돕는 핵심 포인트입니다.

 

 

 

 

BMC Med2010 Oct 20:8:63. doi: 10.1186/1741-7015-8-63.

Normalisation process theory: a framework for developing, evaluating and implementing complex interventions

 

 

 

🧠 복합중재 연구, 왜 *Normalisation Process Theory (NPT)*가 중요할까?

의료에서 복합중재(Complex Interventions)란, 여러 요소들이 서로 영향을 주고받으면서 작동하는 개입 방식을 말해요. 예를 들어, 환자 자가관리 교육, 팀 기반 진료, 디지털 진료지원 시스템 등을 떠올릴 수 있죠.

그런데!
효과가 입증된 복합중재가 실제로 의료현장에 안착되는 경우는 생각보다 많지 않아요.
바로 이 지점에서 ✨ 정상화 과정 이론(Normalisation Process Theory, NPT)이 필요해집니다.


🌱 중재 설계부터 “실행 가능성”을 따져야 한다

많은 연구자들이 효과성(effectiveness)은 열심히 검증하지만,
그 중재가 현장에서 실제로 실행될 수 있을지(implementation potential)는 미처 고려하지 못하곤 해요.

“The explicit consideration of the implementation potential of an intervention is, we believe, rarely done by trialists before a trial commences.”
→ 우리는 연구자들이 중재를 설계할 때 그 실행 가능성을 명시적으로 고려하지 않는 경우가 대부분이라고 생각한다.

 

이게 바로 “알지만 하지 못하는(know-do gap)” 현실을 만든다고 연구진은 말해요.


🔍 NPT의 4가지 핵심 개념

NPT는 복잡한 중재가 어떻게 실무에 정착되는지를 설명하는 이론이에요.
여기에는 네 가지 핵심 개념이 있어요:

  1. Coherence (일관성) – 사람들이 이 중재가 뭔지, 왜 필요한지 납득할 수 있어야 해요
  2. Cognitive participation (인지적 참여) – 이걸 “같이 해볼까?”라는 마음이 생겨야겠죠
  3. Collective action (집단적 실행) – 실제로 같이 움직여서 행동에 옮겨야 해요
  4. Reflexive monitoring (성찰적 점검) – 해보면서 “이게 도움이 되나?”를 계속 되돌아봐야 해요

이 네 요소는 단순히 순서대로 움직이는 게 아니라, 서로 맞물려 돌아가는 과정이에요.


💡 실행 가능성을 미리 점검하면 생기는 변화

NPT를 미리 적용해보면 어떤 일이 일어날까요? 예를 들어, 영국에서 요통 환자를 위한 중재 프로그램을 설계하면서 NPT를 활용한 사전 분석을 해본 적이 있어요. 그 결과?
단순히 교육을 제공한다고 해서 GP(일반의사)들이 참여하지 않는다는 걸 알게 되었고,
GP가 직접 조언하는 “피어 어드바이저(peer advisor)”를 붙이는 방식으로 재설계했더니 반응이 달라졌어요!


⚙️ 평가 단계에서도 NPT는 유용하다

시험 설계뿐만 아니라, 평가(evaluation) 단계에서도 NPT는 쓰일 수 있어요.
어떤 중재가 “좋다”는 걸 입증하는 데만 집중하지 말고,
현장의 환자와 직원들이 과연 이 중재를 따라갈 수 있을지를 살펴보는 게 중요하다는 거예요.

“NPT can also be used to guide the design of the evaluation of a complex intervention.”
NPT는 복합중재의 평가 설계를 안내하는 데에도 유용하게 쓰일 수 있다.


🤖 실행 단계에서는 더더욱!

한 사례로, 이탈리아에서 로봇 비뇨기과 수술(Robotic urological surgery)을 도입하기 전
NPT 분석을 통해 다음과 같은 문제들을 미리 파악했어요.

  • 기술 도입 병원과 비도입 병원 사이의 환자 이동 갈등 가능성
  • 직원 교육의 필요성
  • 지속적인 환류(feedback) 체계 설계의 중요성 등

NPT가 아니었으면 이런 변수들은 놓쳤을 수도 있겠죠.


🚀 결론: 이제는 이론 없는 중재 개발은 그만!

연구진은 마지막에 이렇게 말합니다:

“Too many trials fail to have an impact on practice, a situation no trialist wants and which will not change unless interventions are developed with an explicit theoretical framework.”
너무 많은 시험이 실무에 영향을 주지 못하고 실패하고 있으며, 이는 명확한 이론 틀이 없이 중재가 개발되는 한 바뀌지 않을 것이다.

📌 그래서 연구진은 말해요.
NPT는 단지 분석 틀이 아니라, 중재를 설계하고 실행 가능성을 점검하는 데 강력한 이론적 파트너가 될 수 있다고요.


✅ 마무리 정리

 

구분  내용
🧩 복합중재란? 여러 요소가 상호작용하는 복잡한 개입 방식
🔑 NPT의 강점 설계, 평가, 실행 단계 모두에서 활용 가능
🔍 핵심 요소 Coherence, Cognitive Participation, Collective Action, Reflexive Monitoring
💥 주요 메시지 실행을 고려하지 않은 중재는, 아무리 효과가 입증되어도 사장될 수 있다

 

배경

복합중재 (Complex Interventions)

건강과 의료의 향상을 위해서는 복합중재(Complex Interventions)를 이해하고 개발하며 평가하는 일이 필수적입니다. 10년 전, 영국의 Medical Research Council (MRC)은 “여러 구성요소들로 이루어져 있으며, 이들 구성요소는 독립적으로 작용할 수도 있고 상호 의존적으로 작용할 수도 있는(interventions that 'are built up from a number of components, which may act both independently and inter-dependently')” 중재를 개발하고 평가하기 위한 매우 영향력 있는 프레임워크를 발표하였습니다¹. 이후 이 MRC 프레임워크는 확장되고 정교화되었으며² ³, 특히 다음과 같은 점들이 강조되었습니다:

  • 연구 초기 단계는 선형적(linear)이라기보다는 반복적(iterative)으로 간주되어야 하며² ³,
  • 중재 개발과 평가 모두에 강력한 이론적 토대(theoretical foundation)가 필요하며⁴,
  • 중재의 구체적인 설명과 평가가 이루어지는 맥락(context)에 대한 상세한 기술이 필요하고² ⁵,
  • 본격적인 시험(trial)으로 넘어가기 전 잠재적 효과를 추정하기 위한 모델링(modelling)이 중요하며⁶ ⁷,
  • 정성적 방법(qualitative methods)이 중재 및 평가 과정의 이해를 돕는 데 유용하다는 점⁸ ⁹ 등이 포함됩니다.

이 개정된 프레임워크는 건강서비스 연구자들에게 매우 유용한 도구가 되었지만, 복합중재의 설계 및 수행 과정에서는 여전히 중대한 문제점들이 존재합니다. 예를 들어, 시험 대상자 모집(recruitment)은 여전히 어려운 과제로 남아 있습니다. 영국의 Health Technology Assessment나 MRC가 지원한 시험들에 대한 검토 결과, 원래 목표한 모집 인원에 도달한 시험은 3분의 1도 되지 않았습니다¹⁰.

 

이러한 모집 성공 여부에 영향을 주는 요인을 명확히 밝히기는 어려웠지만, 연구자들은 기존 임상 실무와 명확하게 연계된(clinically grounded) 시험이 더 성공적으로 모집될 가능성이 높다고 보았습니다. 이는 임상 협력자들이 추가적인 노력을 기울이지 않고도 시험에 참여할 수 있기 때문입니다. 나아가, 이런 시험에서 나온 결과는 향후 실무에도 더 쉽게 적용될 수 있는(applicable to future practice) 것으로 간주되었습니다.

 

또 다른 중대한 문제는 연구 결과와 실제 임상 적용 간의 간극입니다. 이 간극은 여전히 넓고, 크게 두 가지 전이의 간극(translational gaps)이 존재하는 것으로 알려져 있습니다¹¹⁻¹³.

  • 첫 번째 간극은 기초 과학연구에서 임상 의학으로 옮겨가는 과정의 어려움이며,
  • 두 번째 간극은 새로운 치료법이나 지식을 실제 환자 또는 대상 집단에게 적용하는 데 있어 발생하는 이행의 어려움 의미합니다.
  • 이러한 두 간극을 인식하는 것만으로도 가치가 있지만, 세 번째 전이 간극도 주목할 필요가 있습니다. 그것은 건강서비스 연구 결과를 보다 광범위한 보건 정책 및 실무에 반영하는 데 실패하는 것입니다.

이러한 실행 실패는 흔히 전문가들의 행동 변화가 느리기 때문이라고 설명되곤 하지만, 실제로는 예측 가능한 사회조직적(socio-organisational) 요인들도 존재합니다. 예를 들면, 진료 시간의 제약, 환자 선호도 등의 이유로 인해 변화가 어려운 경우도 있습니다¹⁴. 나아가 정책 결정자들과의 소통 부족도 중요한 장벽 중 하나입니다. 연구는 정책의 시간표와 맞지 않는 일정으로 진행되는 경우가 많으며, 정책 결정자들은 단순히 증거(evidence) 그 자체가 아니라 그 증거가 어떤 시점과 맥락에서 등장했는지를 포함해 훨씬 복합적으로 연구 결과를 수용합니다¹⁵⁻¹⁷.

 

이러한 어려움을 극복하기 위해, 실제 실무 및 정책에 연구 결과를 적극 반영하고자 하는 연구자들이 고려해야 할 여러 전략이 제시되고 있습니다¹⁵ ¹⁸. 여기에는 다음과 같은 내용이 포함됩니다:

  • 이론 기반 접근(theoretical approaches)을 강화하는 것,
  • 연구 결과가 실무에서 지속가능하게 유지될 수 있는 방안을 고려하는 것,
  • 정책적 질문과 그 질문이 놓인 사회적 맥락에 적합한 다양한 방법론(methods)을 활용하는 것입니다.

만약 이러한 광범위한 이슈들(wider issues)이 시험 설계 단계에서 고려되지 않는다면, 효과가 입증되었음에도 불구하고 실제로는 전혀 시행되지 않는 중재가 발생할 수 있습니다. 실행되지 않는 중재는 건강을 개선할 수 없습니다. 따라서 복합중재를 설계하는 연구자들과 이를 지원하는 연구기금 제공자는, 그 중재가 장래의 실무에서 실행될 잠재력을 지니고 있는지를 반드시 고려해야 합니다.

우리는 이러한 점에서, 중재의 실행(implementation)지속가능성(sustainability)은 그 개발과 평가의 초기 단계에서부터 고려될 수 있으며, 이를 가능하게 하는 도구로 정상화 과정 이론(Normalisation Process Theory, NPT)의 활용을 제안합니다.


정상화 과정 이론 (Normalisation Process Theory, NPT)

정상화 과정 이론(NPT)은 복합중재(complex interventions)일상적인 실무에 통합되어 지속적으로 사용되도록 만드는 요소들—즉, 일상적 실천으로 자리 잡는 과정—을 촉진하거나 억제하는 요인들을 규명합니다¹⁹ ²⁰. 이 이론은 단지 중재가 초기 단계에서 어떻게 실행되는지만을 설명하는 것이 아니라, 그것이 어떻게 실무 속에 완전히 내재화(embedded)되어 궁극적으로는 '보이지 않게 되는(‘disappears’ from view)' 상태, 즉 정상화(normalised)에 이르는지를 설명합니다.

 

여기서 말하는 정상화(normalisation)란 되돌릴 수 없는(irreversible) 상태를 뜻하지는 않습니다. 어떤 실천은 시간이 지나 탈정상화(denormalised)될 수 있습니다. 예를 들어, 지금은 거의 아무도 타자기(typewriter)를 사용하지 않습니다. 또 하나 중요한 점은, 정상화가 반드시 바람직한 것만은 아니라는 것입니다. 예컨대, 비효율적이거나 효과가 없는 실천도 널리 정상화되어 있을 수 있습니다. 항생제 과다 처방(overprescription of antibiotics)이 그 대표적인 사례입니다²¹.

 

NPT는 개인과 집단이 어떠한 '일'을 수행함으로써 중재가 실무에 내재화되는지를 설명하는 이론입니다. 이 이론은 네 가지 주요 구성요소로 이루어져 있습니다:

  1. Coherence (이해의 과정): 해당 중재가 무엇이며 왜 필요한지를 이해하고, 의미를 부여하는 과정
  2. Cognitive participation (인지적 참여): 중재에 사람들이 관여하고 헌신하는 과정
  3. Collective action (집단적 실행): 실제로 중재를 가능하게 만들기 위한 작업 수행
  4. Reflexive monitoring (성찰적 모니터링): 중재의 효과와 비용에 대한 공식적·비공식적 평가

이 네 가지 요소는 선형적(linear) 관계로 작동하지 않고, 상호 역동적(dynamic)이며, 중재가 속한 더 넓은 맥락(조직의 환경, 구조, 사회적 규범, 집단의 상호작용, 문화적 관행 등)과도 끊임없이 영향을 주고받습니다. 이 논문에서는 NPT가 복합중재를 개발하고, 평가하고, 실행하는 과정에서 어떤 역할을 할 수 있는지를 살펴보고, 저자들의 경험을 바탕으로 실제 적용 사례(worked examples)를 함께 제시하고자 합니다.


논의 (Discussion)

중재(intervention)중재의 평가(evaluation of the intervention)명확히 구분하는 것이 중요합니다. 중재는 이후에 실무에 적용된다면 지속될 수 있는 반면, 평가는 그 자체로 종료되는 과정이기 때문입니다. 그러나 이 둘 모두는 정상화 과정 이론(NPT)을 통해 분석할 수 있으며, 아래에서는 그 구체적인 방법을 소개합니다.


복합중재 개발에 NPT를 활용하기

1. 맥락 정의하기 (Define the context)

어떤 중재가 실험적 환경에서 아무리 높은 효과를 보였더라도, 장기적인 영향(long-term impact)은 그것이 실제 현실 세계(real world)에서 얼마나 효과적으로 작동하는지얼마나 널리 시행되는지에 달려 있습니다. 따라서 연구자들은 중재를 처음 개발할 때부터, 그 중재가 적용될 실제 맥락(context)그 맥락 내 변화가 중재의 효과성에 어떤 영향을 줄 수 있는지를 고려해야 합니다. 왜냐하면 환경의 변화는 아무리 잘 설계된 중재라도 무용지물로 만들 수 있기 때문입니다. 예를 들어, 공공장소 내 흡연을 줄이기 위한 중재에 대한 시험(trial)은, 공공건물 내 흡연을 금지하는 법률이 제정되면 불필요해질 수 있습니다.

 

따라서 연구자가 수행해야 할 첫 번째 과제는, 제안된 중재가 실제로 도입될 환경을 상세히 기술하고, 그 환경 내에서 예측 가능한 변화와 그러한 변화가 중재에 미칠 영향을 고려하는 것입니다. 이 과정에서 다음과 같은 질문들이 도움이 됩니다:

  • 이 중재로 인해 영향을 받을 직원 집단(staff groups)은 누구인가?
  • 이들이 현재 또는 가까운 미래에 가지고 있는 주요 관심사는 무엇인가?
  • 제안된 중재가 이러한 관심사와 부합하는가(fit with these concerns)?

물론 시험 보고 기준(trial reporting standards)에서는 맥락을 기술하도록 요구하고 있지만²², 그 맥락을 어떻게 기술할 것인지에 대한 명확한 지침은 거의 없습니다. 바로 이 점에서 NPT는 시험 맥락의 중요한 요소들을 구조화하여 도식화(mapping)할 수 있는 틀을 제공해 줍니다. 이는 연구자들이 관련된 사회적·조직적 요인들을 빠뜨리지 않도록 도와줍니다. 

 

예를 들어, 영국 1차 진료(primary care)에서 요통(back pain)을 앓고 있는 환자에게 근거 기반 진료(evidence-based care)를 촉진하기 위한 중재가 어떤 환경에 놓였는지를 이해하는 데 있어 NPT는 매우 유용하게 작동했습니다. 이는 ImPACT 연구의 사례이며, 해당 내용은 표 1(Table 1)에 요약되어 있습니다. 이 연구에서 밝혀진 핵심 맥락은 다음과 같습니다.

  • 영국의 일반의(GP)들은 상담시간의 제약(time pressure)과 복잡한 진료 환경 속에서 업무를 수행하고 있었고, 요통은 환자의 주된 호소(primary complaint)가 아니었으며 종종 대화 중에 스쳐 지나가듯 언급되었습니다.
  • 따라서 요통은 상담 맥락에서 중심적 위치를 차지하지 않았고, 이는 곧 ImPACT가 처음 설계한 단일 질환에 초점을 둔 중재 모델일관성(coherence)이 낮았던 이유로 이어졌습니다.
  • 결과적으로 GP들의 인지적 참여(cognitive participation)와 집단적 실행(collective action) 수준도 낮게 나타났습니다.

NPT는 이 문제의 본질을 명확히 해주었고, 그에 따라 시험 설계는 다음과 같이 변경되었습니다. 일반의를 조력자(peer advisor)로 연구에 참여시켜, GP 집단의 관점을 반영하고 이들의 중재 참여를 다시 유도하였으며, 의뢰 템플릿(referral template) 사용에 대한 관심을 다시 끌어올릴 수 있었습니다.

📌 표 1: 복합중재 개발에 NPT를 활용한 사례
(Table 1 Use of NPT in developing complex interventions)
→ 본문에서는 예시 중 하나로 ImPACT 연구에서의 사례를 자세히 설명하고 있습니다.


2. 중재 정의하기 (Define the intervention)

다음 단계는 중재를 명확히 정의하는 것입니다. 이 또한 표 1의 사례를 통해 설명되고 있습니다. 이 중재에서 물리치료사(physiotherapists)는 요통 환자에게 심리적 지원(psychological support)을 제공하도록 훈련되었으며, 일반의(GPs)는 종이 혹은 컴퓨터 기반의 의사결정지원 도구(decision support tools)를 활용하여 요통 환자를 평가하고, 만성 요통으로 발전할 위험이 있는 환자를 훈련된 물리치료사에게 의뢰(refer)하도록 요청받았습니다²³.

NPT를 활용한 중재 분석
(Undertake an NPT analysis of the intervention)

표 1(Table 1)에서 보여지듯,

  • 이 중재는 참여한 일반의(GP)들에게 낮은 일관성(coherence)을 보였습니다. 이들이 주로 집중한 것은 의사결정지원 도구(decision-support tool)였는데, 이 도구는 임상적으로 큰 의미를 갖지 못했다고 느껴졌습니다.
  • 이러한 낮은 일관성 때문에, 인지적 참여(cognitive participation) 또한 낮았고, 이는 곧 “이 중재가 굳이 필요한가?”라는 회의적 태도로 이어졌습니다.
  • 결과적으로 집단적 실행(collective action)도 저조했는데, 특히 이 중재가 진료 상담 행태의 변화를 요구했기 때문입니다.
  • 일반의들은 의사결정지원 도구를 무시하고, 대신 의뢰 여부를 결정할 때 대기자 명단(waiting list)의 길이에 더 집중하는 경향을 보였습니다. 이로 인해, 환자들은 향상된 물리치료 프로그램(enhanced physiotherapy treatment)에 의뢰되지 않았고, GP들은 새로운 서비스에 대한 긍정적 피드백도 받지 못하게 되어, 성찰적 모니터링(reflexive monitoring) 수준도 낮게 나타났습니다.

표 1에 제시된 질문들에 답하기 위해서는 문헌 고찰(literature reviews)1차 자료 수집(primary data collection)을 혼합하여 수행할 필요가 있습니다. 예: 관찰(observation), 인터뷰(interviews), 또는 설문조사(questionnaires). 이러한 NPT 분석은 연구자들이 미래 중재를 재설계하는 데 도움을 주었고, 그 결과 중재는 기존의 상담 실무와 더 잘 맞는 방향으로 개선되어, GP들이 중재의 목적을 더 쉽게 이해하고(coherence), 자신의 업무에 맞게 조정(tailor)하며, 환자에게 주는 잠재적 이득을 인식할 수 있게 되었습니다.

 

예를 들어, ImPACT 연구에 NPT를 적용한 결과, 연구자들은 다음과 같은 점들을 더욱 강조하게 되었습니다:

  • 1차 진료 환경의 다양성(예: GP 파트너 수, GP 간의 소통, 팀워크 모델, 가이드라인 활용)을 정확히 이해하는 것
  • 참여를 이끌어내는 전략 (예: 챔피언 역할의 활용)
  • 참여를 지속하는 전략 (예: 동료 지원(peer support))
  • 중재 참여의 잠재적 이점을 부각시키고, 일상 실무와의 ‘적합성(fit)’을 명확히 설명하는 것

이러한 통찰은 후속 대규모 실행 연구의 설계에도 활용되었습니다. ImPACT 연구에서 NPT는, 후속 연구를 위한 중재 재설계를 안내하는 데 활용되었으며, 이로써 정상화 가능성(normalisation potential)을 높일 수 있었습니다. 그러나 이런 조정이 불가능한 경우도 존재하며, 이러한 상황에서는 보다 형식적인 평가(formal evaluation)로 나아가는 것이 정당한지 여부를 연구자가 신중히 판단해야 합니다.

  • 어떤 경우에는, 중재가 가져올 잠재적 이익이 충분히 크다면 정상화를 방해하는 장벽을 극복해가며 계속 진행할 가치가 있을 수 있습니다.
  • 그러나 다른 경우에는, 현실적으로 실현 가능성이 낮은 중재를 평가하는 데 제한된 연구 자원을 낭비하기보다는, 해당 중재를 포기하는 것이 나을 수 있습니다.

이처럼, NPT는 '시험을 중단시키는 메커니즘(trial killer)'으로 작용할 수 있습니다(그림 1, Figure 1).

 

 

우리는 지금까지 이 논의를 복합중재의 시험 설계 및 평가에 초점을 맞추어 설명했지만, 이 원리는 신약이나 의료기기의 임상시험(clinical trials of new drug treatments or medical devices)에도 적용할 수 있습니다. 예를 들어, 어떤 치료법이나 기기가 환자의 일상이나 임상 실무에 정상화될 가능성이 매우 낮다면—예: 치료 요법이 환자에게 과도한 요구를 강요하는 경우²⁴—그 시험 자체를 재검토하거나 중단하는 것이 바람직합니다.

🧠 그림 1 (Figure 1)
‘시험을 중단시키는 요인(trial killer)’으로서의 NPT
→ 중재의 개발, 평가, 실행 단계에서 맥락(context)은 결정적인 요소이며,
정상화 가능성의 판단은 중재 진행 여부를 가를 수 있습니다.


복합중재 평가 최적화를 위한 NPT의 활용
(Use of NPT to optimise evaluation of a complex intervention)

정상화 과정 이론(NPT)은 복합중재(complex intervention)의 평가 설계를 안내하는 데에도 유용하게 활용될 수 있습니다. 본 논문에서는 주로 시험(trial)의 주요 변수 최적화에 초점을 맞추지만, 이와 유사한 접근법은 기타 평가 방법론이나 비복합 중재(noncomplex interventions)의 임상시험에도 적용 가능합니다.

 

표 2(Table 2)는 그 사례로, WISE(Whole System Informing Self-management Engagement) 시험²⁵에서 도출된 실제 예시를 보여줍니다. 이 시험은 효과적인 자가관리(self-management)를 통해 만성질환(long-term conditions) 환자의 건강결과를 개선하고자 하는 전 시스템적 접근법(whole systems approach)을 평가하는 것이 목표였습니다. 이 중재는 진료소 전체 팀을 대상으로 자가관리 지원 교육을 제공하는 방식으로 설계되었습니다.

 

시험 변수의 하나인 모집 최적화(recruitment optimisation)를 위해, 연구팀은 탐색적 연구(exploratory study)를 수행하여 교육 내용의 적절성을 평가하고, 연구 프로토콜이 이용자(service users), 보건 전문가(professionals), 그리고 조직(organizations) 모두에게 수용 가능(acceptable)한지를 확인하고자 했습니다.

📌 표 2: 시험 변수 최적화에 있어 NPT의 활용
(Table 2 Use of NPT in optimising trial parameters)
→ WISE 시험을 통한 실제 적용 사례를 포함하고 있습니다.


1. 맥락 정의하기 (Define the context)

중재의 맥락을 고려하는 것만큼이나, 시험이 진행될 평가 맥락을 고려하는 것 역시 매우 중요합니다. 연구자들이 고려해야 할 질문은 다음과 같습니다:

  • 해당 환경에 이미 존재하는 시스템은 무엇인가?
  • 제안된 시험 절차가 이 시스템들과 얼마나 잘 부합(fit)하는가?
  • 시험 기간 중 주요한 환경 변화가 발생할 가능성은 있는가?

예를 들어, 조직 개편이 진행 중인 환경에서 시험을 실시하는 것은 쉽지 않습니다. 왜냐하면 직원들이 연구에 참여할 여력이나 의지가 부족할 수 있기 때문입니다. 표 2에서 설명하듯, 환자 모집과 데이터 수집 시점(timing)은 매우 중요한 고려사항입니다. 이 활동들이 만약 의료기관이 QOF(Quality and Outcomes Framework)²⁶ 기준에 따라 연말 임상 데이터를 수집하는 시기와 겹친다면, 해당 시험은 기존 업무량과 충돌(conflict with practice workload)을 일으키게 되고, 이는 곧 집단적 실행(collective action)에 부정적 영향을 미칠 수 있습니다.


2. 시험 변수 정의 및 영향을 받는 집단 고려하기

연구자들은 보통 시험 변수(trial parameters)—예: 모집, 무작위 배정, 자료 수집, 결과 지표, 추적조사 등을 정의하는 데 익숙합니다. 그러나 많은 연구자들은 시험 절차가 실제로 영향을 미칠 다양한 집단—즉 의료 전문가, 환자, 지원 인력 등—의 업무에 어떤 영향을 줄지까지는 충분히 고려하지 않는 경우가 많습니다.


3. 시험 변수에 대한 NPT 분석 수행하기

시험에 관련될 것으로 예상되는 다양한 전문직 및 환자 집단을 고려한 이후에는, 시험 절차가 이들에게 어떤 영향을 줄지를 평가해야 합니다.

  • 시험이 참여자에게 이해되고 의미 있게 느껴질 것인지(즉, 높은 일관성 coherence을 가질 것인지)를 먼저 고려해야 하며,
  • 단기 및 장기적인 환자·진료소 수준의 이점이 명확하게 보인다면, 인지적 참여(cognitive participation)가 증가할 가능성이 큽니다¹⁰ ²⁷.
  • 이러한 인지적 참여는 곧 집단적 실행을 유도하는 데 도움이 됩니다.

그러나 이와 동시에 참여자들에게 요구되는 작업량을 최소화하는 것이 매우 중요합니다. 예를 들어, 모집과 데이터 수집이 기존의 진료 흐름(workflow)을 최소한으로 방해해야 합니다. 즉, 연구원이 직접 환자를 모집하는 방식은, GP에게 모집을 맡기는 방식보다 더 비용효율적일 수 있습니다. GP들은 수많은 경쟁적 업무 속에서 해당 시험을 잊어버리거나 주의를 기울이지 못할 가능성이 있기 때문입니다²⁸.

또한, 기존에 정상화된 서비스를 중단하게 요구하는 시험보다는, 추가적인 서비스를 제공하는 시험이 의료진의 참여를 유도하는 데 훨씬 효과적이라는 점도 주목할 필요가 있습니다²⁹.

마지막으로, 정기적인 피드백(feedback)을 통해 성찰적 모니터링(reflexive monitoring)을 강화할 수 있습니다. 예: 개별 모집률 등 개인화된 피드백이 도움이 될 수 있습니다. 또한 뉴스레터(newsletters)는 연구의 중요성을 강조하고, 인지적 참여를 유지하고 집단적 실행을 강화하는 데 기여할 수 있습니다.


이 과정은 NPT가 두 번째로 ‘시험 중단 요인(trial killer)’으로 작동할 수 있는 기회를 제공합니다. 즉, 시험이 전문 인력의 실제 업무에 미치는 영향을 고려한 결과, 제안된 모집 규모나 추적조사율이 비현실적(unfeasible)이라는 판단이 내려질 수 있기 때문입니다.

 

실행 (Implementation)

어떤 중재(intervention)가 그 효과가 입증되었다면, 다음 단계는 이를 대규모로 실행(implementation)하는 일입니다. 그러나 이 실행 작업은 초기 개발자나 평가자가 아닌 제3의 사람들이 수행하게 되는 경우가 많습니다.

1. 맥락 고려하기 (Consider the context)

복합중재를 실행하려는 담당자는, 해당 중재가 어떤 맥락(context)에서 개발되고 평가되었는지를 먼저 알아야 하며, 이 맥락과 예정된 실행 환경 간의 차이점을 파악해야 합니다.

  • 예를 들어, 응급콜 응답을 위한 콜센터 직원의 선별 업무(triage)를 지원하는 컴퓨터 기반 의사결정지원 시스템(Computer Decision Support System, CDSS)이 있다고 가정해 봅시다. 이 시스템이 비응급(nonemergency) 환경에서 사용되려면, 질병 역학(epidemiology)이 크게 다르기 때문에 재설계(reconfiguration)가 필요할 것입니다.

2. 실행할 중재 정의하기 (Define the intervention to be implemented)

복합중재를 실행하는 데 있어 또 하나의 주요 어려움은, 바로 무엇을 중재로 간주할 것인가를 명확히 정의하는 것입니다.

  • 앞서 제시한 CDSS의 예에서, 중재는 단순히 소프트웨어인가요? 아니면 소프트웨어와 콜센터에서 일하는 인력(staff)을 포함한 전체 시스템의 조합인가요? 이러한 질문에 대한 명확한 정의 없이 실행에 나설 경우, 혼란이 발생할 수 있습니다.

3. 실행에 대한 NPT 분석 수행하기 (Undertake an NPT analysis of the implementation)

맥락을 고려하고, 중재를 정의하고, 영향을 받을 다양한 직원 집단에 대한 사전 고려를 마쳤다면, 이제 NPT 분석을 수행할 준비가 된 것입니다.

  • 표 3(Table 3)에는 이탈리아에서 로봇 비뇨기과 수술(robotic urological surgery)을 도입하기 전 수행된 NPT 분석의 실제 사례(worked example)가 제시되어 있습니다.
  • 이 사례에서는 중재가 비교적 명확하게 정의되었고, 기존 실무와 구별되기 쉬웠습니다. 왜냐하면 새로운 기술, 장비, 기술(skill set)이 요구되었기 때문입니다. 이 중재는 새 수술 기법을 도입한 센터의 환자와 전문가들에게는 이익이 될 가능성이 높았지만, 이 기술을 도입하지 않은 센터의 전문가는 환자 감소에 대한 불이익(disadvantage)을 느낄 수도 있었습니다.

NPT 분석을 통해, 이 로봇 수술 도입을 담당한 보건위원회(Health Board)는 이런 잠재적 문제가 실행 전부터 존재함을 인지하고, 이를 해결하기 위한 전략 수립의 필요성을 사전에 고려할 수 있었습니다.

또한, 이 NPT 분석을 통해 다음과 같은 중요 실행 요소들이 식별되었습니다:

  • 선택된 병원 단위에서의 광범위한 직원 교육(training) 필요
  • 신기술이 환자 의뢰 패턴(patient referral patterns)에 미치는 영향에 대한 고려,
    그리고 이는 일부 의료기관을 불안정하게 만들 수 있음
  • 각 병원 단위가 자신들이 제공하는 서비스에 대해 반성(reflect)할 수 있도록 하는
    지속적 모니터링 및 피드백 체계 구축

📌 표 3: 복합중재 실행에 있어 NPT의 활용
(Table 3 Use of NPT in implementing complex interventions)
→ 로봇 수술 도입 전의 실제 NPT 분석 사례를 통해 실행계획 수립의 통찰을 제공합니다.

 

요약 (Summary)

 

복합중재(complex interventions)에 대한 연구의 궁극적인 목적은 건강을 향상시키는 것입니다. 이를 위해서는 다음 두 가지가 선행되어야 합니다.

  • 첫째, 연구자는 자신이 개발하고 평가한 중재가 광범위하게 실행될 수 있도록 준비해야 하며,
  • 둘째, 그 평가가 효과(efficacy)와 유효성(effectiveness)에 대한 결정적인 근거(definitive assessment)를 제공해야 합니다.

정상화 과정 이론(Normalisation Process Theory, NPT)은 이 두 가지 과제를 모두 지원할 수 있는 이론적 틀(framework)을 제공합니다.

 

우리가 보기에, 시험이 시작되기 전에 중재의 실행 가능성(implementation potential)을 명시적으로 고려하는 경우는 거의 없습니다. 이 점은, 효과가 입증된 중재가 실제 임상 실무에 적용되지 않는 ‘지식-실행 간극(know-do gap)’을 부분적으로 설명해줄 수 있습니다. 게다가 NPT는, 보건의료는 전문가, 환자, 관리자 등 다양한 주체 간의 상호작용에 기반한 집단적 활동(collective activity)임을 전제로 합니다. 어떤 중재가 겉으로 보기에 특정 개인이나 집단에만 영향을 주는 것처럼 보일지라도, 자세히 살펴보면 일련의 성공적인 상호작용의 연쇄(chain of interactions)가 필요함을 알 수 있습니다.

 

물론 NPT가 이 모든 문제를 해결해주는 것은 아니지만, 참여자들 간의 연결고리가 중재에 의해 어떻게 영향을 받을 수 있는지, 그리고 연결을 강화하기 위해 중재를 어떻게 수정할 수 있는지를 식별하는 데 도움을 줄 수 있습니다. 우리는 이것이 NPT가 가지는 명확한 강점이라고 생각하며, 이는 개별 전문가 집단 혹은 특정 수준(level)에만 집중하는 기존 실행이론들과 차별화되는 부분입니다.

  • 예를 들어, 다음과 같은 개별 중심 이론들은 집단 활동에 참여하는 개인의 행동 양식을 이해하는 데 도움을 줍니다: 경제학의 선호 이론(preferences)³⁰, 심리학의 의도 이론(intentions)³¹, 사회학의 이익 이론(interests)³². 그러나 이들 이론은 개인을 중심으로 하며, 집단 수준의 복잡한 조직 프로세스를 설명하는 데 한계가 있습니다. 왜냐하면 조직 내 행동은 복잡성과 창발성(complexity and emergence)을 가지며, 다수의 혼재 변수(confounders)가 작용하기 때문입니다.
  • 반대로, Rogers의 혁신 확산 이론(Diffusion of Innovations)은 전체 시스템(system)에 주목하지만, 구성 요소들(component parts)에 대한 충분한 고려가 부족합니다³³.
  • 또한, 대부분의 실행 이론중재를 일상 실무 속에 유지하기 위해 수행되어야 하는 ‘작업(work)’, 즉 전문가 또는 환자가 수행해야 할 노력에 대해서도 거의 다루지 않습니다²⁴ ³⁴.

최근 코크란 리뷰(Cochrane review)에서는, 변화 장벽(barriers to change)을 극복하기 위해 개발된 맞춤형 중재(tailored interventions)가 전문가의 실천을 향상시킬 가능성이 높다고 평가하였습니다. 하지만, 이러한 중재를 개발하기 위해 어떤 방법으로 장벽을 식별하고 중재를 맞춤화할 것인지에 대한 방법론은 아직 더 발전이 필요하다고 언급하였습니다³⁵. 우리는 개인 수준과 조직 수준의 요인을 모두 포괄하는 명확한 이론적 틀로서 NPT가 이러한 과제를 해결하는 데 실질적인 도움을 줄 수 있다고 봅니다.


NPT는 비교적 새로운 이론이지만, 우리는 이 이론이 지금까지 부재했던 한 가지를 연구자에게 제공한다고 생각합니다. 즉, 중재의 실행 가능성(implementation potential)을 설명하고 판단할 수 있을 뿐 아니라, 복합중재를 설계하고 개선하는 데에도 일관되게 사용할 수 있는 프레임워크입니다. 그렇기 때문에 현장 연구(empirical research)를 통해 NPT를 실제에 적용하고 검증하는 작업을 구축할 가치가 충분히 있습니다.

 

너무 많은 시험이 실무에 영향을 주지 못하고 실패하는 상황은¹¹, 그 누구도 바라지 않는 결과이며, 이러한 현실은 명시적인 이론적 틀 없이 중재가 개발되는 한 바뀌지 않을 것입니다. 우리는 NPT가 이러한 문제를 해결할 유력한 이론적 틀(strong candidate framework)이라고 판단하며, 복합중재 시험이든, 일반 임상시험이든 새로운 연구를 설계하는 모든 연구자들이 이 이론의 활용을 진지하게 고려해 보기를 권장합니다.

 

 

 

📌 NPT를 활용한 복합중재 개발 시 고려사항과 실제 적용 사례 (ImPACT 요통 연구)

1️⃣ Coherence (일관성)

참여자들이 중재의 의미를 어떻게 이해하고 받아들이는지에 관한 요소

 

고려 질문들

  • 이 중재는 쉽게 설명 가능한가?
  • 기존 중재들과 명확히 구별되는가?
  • 관련된 모든 참여자에게 명확한 목적이 있는가?
  • 참여자들 간에 목적에 대한 공유된 이해가 있는가?
  • 이 중재가 가져올 이점은 누구에게 어떤 방식으로 제공되는가?
  • 이러한 이점은 참여자들에게 가치 있게 여겨질까?
  • 조직의 전반적 목표 및 활동과 잘 부합하는가?
  • 대상 집단은 이 중재가 좋은 아이디어라고 생각할 가능성이 있는가?

ImPACT 사례:
참여한 일반의(GPs)들은 이 새로운 중재가 기존 진료와 어떻게 다른지 명확하게 이해하지 못했고,
환자, 일차의료팀, 물리치료사들에게 어떤 이점이 있는지도 잘 인식하지 못했어요.


2️⃣ Cognitive Participation (인지적 참여)

참여자들이 중재에 대해 의미를 부여하고 실제로 관여하려는 정도

 

고려 질문들

  • 참여자들은 이 중재의 요점을 쉽게 파악할 수 있을까?
  • 실제로 시간과 에너지를 투자하고 실행에 참여할 의향이 있을까?

ImPACT 사례
GP들은 이 중재를 “연구의 일부(환자 모집)”로만 여겼고, 자신들의 핵심 임무인 진료 제공과는 무관한 일이라고 느꼈어요.
예상되는 이익이 잘 보이지 않다 보니, 바꿔볼 만한 가치가 없다고 생각했죠.


3️⃣ Collective Action (집단적 실행)

중재가 실제로 작동하도록 만들기 위한 실질적 업무 수행

 

고려 질문들

  • 참여자들은 시간과 에너지를 실제로 투자할 수 있을까?
  • 중재는 사용자들의 업무에 어떤 영향을 줄까?
    • 오히려 업무를 방해하지는 않을까?
    • 진료 상담(consulations)에 어떤 영향을 줄까?
  • 사용 전 광범위한 교육이 필요한가?
  • 기존 업무 방식과 얼마나 잘 부합하는가?
  • 자원·권한·역할 분담 구조에 어떤 영향을 줄까?
  • 조직의 전반적 목표와 활동에 부합하는가?

ImPACT 사례
GP들은 진료 중 컴퓨터 기반 의사결정 도구를 사용해야 했는데, 많은 경우 진료가 끝난 후에야 해당 도구를 열어보곤 했어요.
이 간단한 도구가 환자 의뢰 여부를 판단할 기준으로 적절하지 않다고 여긴 거죠. 게다가,

  • 이 도구 사용은 그들에게 불필요한 시간 낭비처럼 느껴졌고,
  • 그들이 잘 알지 못했던 것은, 실제로 중재에 참여한 물리치료사들은 정신적·정서적 요통 관리에 대해 고도로 훈련받았다는 사실이었습니다.

4️⃣ Reflexive Monitoring (성찰적 모니터링)

중재에 대해 참여자들이 경험을 바탕으로 평가하고 되돌아보는 과정

 

고려 질문들

  • 사용 후 사용자들은 이 중재를 긍정적으로 평가할 가능성이 있는가?
  • 참여자나 직원에게 이익이 있다고 여길까?
  • 중재가 실제로 어떤 영향을 미쳤는지가 명확히 보일까?
  • 사용자나 직원이 중재에 대한 피드백을 제출할 수 있는 구조가 있는가?
  • 실제 경험을 바탕으로 중재를 수정하거나 개선할 수 있는가?

ImPACT 사례
연구팀으로부터 정기적으로 피드백을 받았음에도 불구하고,
GP들은 이 시스템이 도움이 되지 않는다고 느꼈고, 사용 자체를 하지 않는 경우도 많았어요.


📌 배경 요약 (ImPACT 연구 맥락)

이 연구는 영국의 1차 진료(primary care)에서 요통 환자에게 근거 기반 치료를 제공하고자 하는 목표로 설계되었어요.
물리치료사는 심리적 지원을 제공할 수 있도록 훈련되었고, GP들은 컴퓨터 기반 도구를 활용해 환자를 평가하고, 만성 요통 위험이 있는 경우 전문 물리치료사에게 의뢰해야 했습니다.

그런데 GP들은 다음과 같은 문제에 직면했어요:

  • 고품질 진료를 제공해야 하는 상황에서 심한 시간 압박(time pressure)
  • 여러 변화들이 동시에 몰아치면서 발생한 “변화 피로(change fatigue)”
  • 결국 본질적인 진료(core business)에 집중하게 되었고, 연구나 교육 같은 “선택적 부가 활동(optional extras)”에는 소극적이었어요.

 

 

🧪 NPT를 활용한 시험 변수 최적화 (Table 2)

 

1️⃣ Coherence (일관성)

참여자들이 시험의 목적과 의미를 얼마나 쉽게 이해하고 받아들이는지를 평가

  • 이 시험(trial)은 설명하기 쉬운가?
    → 예. 실제로 진료 팀에게 교육을 제공하는 것이 환자의 자가관리(self-care)에 어떤 영향을 미치는지를 확인하는 방식으로, 실무자들은 시험의 목적을 잘 이해했습니다.
  • 다른 시험과 명확히 구분되는가?
    → 시험은 두 단계로 나누어 진행되었고, 첫 해에는 실무단위(practice level)의 무작위 배정(randomisation)을 통해 즉시 또는 1년 뒤 교육을 받도록 설정하고, 그 다음 해에 환자 모집을 진행했기 때문에 혼동되지 않았습니다.
  • 모든 참여자에게 명확한 목적이 있는가?
    → 예를 들어, 자가관리 지원을 제공하려면 기존의 환자 행동과 관계를 재구성해야 하므로, 교육의 이점—예: 실질적인 전략 습득, 기술 향상—에 중점을 두었습니다.
  • 참여자들이 이 시험의 목적을 공유하고 있는가?
    → 아니오. 환자들은 이 시험에서 직접적인 이득을 인식하기 어려웠고, 결국 설문지 참여율이 낮아 금전적 보상을 제공해야 했습니다.
    참고: 동의 절차가 장애 요인(trial killer)이 되어버릴 위험이 있었기 때문에 이를 단순화하기 위한 윤리적 승인을 따로 받았습니다.

2️⃣ Cognitive Participation (인지적 참여)

참여자들이 시험에 의미를 느끼고 실제로 관여할 준비가 되어 있는지 평가

  • 시험의 목적을 쉽게 이해할 수 있는가?
    → 일부 임상의는 “내 환자들은 자가관리를 할 수 없을 것”이라고 여겼고, 변화에 저항했어요. 반대로 어떤 그룹은, 자가관리를 돕는 것이 오히려 환자 부담을 줄여줄 수 있다는 관점도 있었죠.
  • 시간과 에너지를 들여 참여할 의사가 있는가?
    → 환자들이 이타적인 이유(예: 자가관리를 위한 미래 연구에 기여)를 가질 수 있도록 유도하는 전략이 사용되었습니다.

3️⃣ Collective Action (집단적 실행)

실제로 시험을 수행하는 데 필요한 실무 활동의 적합성, 부담, 자원 등을 평가

  • 시험 절차가 실무자들에게 어떤 영향을 주는가?
    → 시험에 참여하면 추가 자원이 제공되기 때문에, 예를 들어 인지행동치료(CBT) 자료나 환자 정보 책자가 유인 요소로 작용할 수 있습니다.
  • 시험 참여가 업무를 방해하거나 부담을 주는가?
    → 예. 일반 개원의(GP)들은 시간 부담 증가를 우려했습니다.
  • 참여를 위해 추가 교육이 필요한가?
    → 예. 시험을 통해 진료 팀이 평소와는 다른 방식으로 보호된 교육 시간을 확보할 수 있었지만, 이는 재정적 지원이 필요했습니다.
  • 기존 업무 방식과 잘 호환되는가?
    → 예. 초기에는 연구팀이 직접 GP 진료소를 도와 환자를 모집하는 업무를 지원했고, 일단 환자가 모집된 후에는 환자 추적 조사를 연구팀이 수행하여 부담을 덜어줬습니다.
  • 전문가 간 자원과 권한의 분배에 어떤 영향을 미치는가?
    → GP와 연구 선도자 사이의 관계가 중요한데, 연구에 먼저 참여했던 GP들이 다른 병의원 참여를 독려하는 역할을 했습니다.

4️⃣ Reflexive Monitoring (성찰적 모니터링)

참여자들이 시험이 어느 정도 진행된 후, 그것의 효과를 평가하거나 되돌아볼 수 있는지 여부

  • 이 시험이 환자나 직원에게 이득이 된다고 인식될 가능성이 있는가?
    → 자가관리 훈련을 받은 트레이너들이 실질적인 피드백 및 자료 제공을 지속했기 때문에 효과가 분명히 보일 가능성이 있었습니다.
  • 시험이 어떤 영향을 주었는지 명확히 알 수 있는가?
    → 예. 시험 과정 중 윤리적 승인, 동의 절차, 인센티브 제공, 정보 접근성 향상 등의 신속한 조정이 이루어졌고, 그 효과는 명확하게 관찰될 수 있었습니다.
  • 참여자들이 시험 절차에 대한 피드백을 줄 수 있는 구조가 있는가?
    → 예. 피드백에 기반한 조정이 지속적으로 이뤄졌고, 그 과정에서 윤리심의 절차 간소화, 보상 및 정보 전달 방식 개선이 이루어졌습니다.
  • 현장의 경험에 따라 시험 절차가 수정 가능한가?
    → 예. 실제 현장의 의견을 수용해 시험을 유연하게 조정하고, 실행력을 높였습니다.

📌 배경 요약: WISE 시험이란?

WISE(Whole System Informing Self-management Engagement)는 1차 진료 환경에서 자가관리(self-management)를 통해 만성질환자의 건강 결과 향상을 목표로 설계된 시스템적 개입입니다.

  • 중재 내용: 진료소 전체 팀에게 자가관리 지원 교육 제공
  • NPT 분석 목적: 실제 시험 전 탐색적 연구를 통해 참여자 반응, 실행 여부, 조직의 수용성 등을 점검

현장의 맥락은 다음과 같은 문제들을 포함하고 있었어요:

  • 자가관리를 강조하는 보건 정책이 있었지만,
  • 동시에 GP에게 성과 지표 기반 관리(performance-based management)를 요구하는 QOF 체계는 자가관리와 충돌하는 구조였어요.
  • 해마다 제출해야 할 보고와 실적 평가로 인해, 연말은 진료소에 가장 바쁜 시기이므로 시험 참여가 뒷전으로 밀릴 가능성이 컸어요.

 

🤖 NPT를 활용한 복합중재 실행의 실제 – 로봇 비뇨기과 수술 사례

1️⃣ Coherence (일관성)

참여자들이 중재의 의미와 목적을 어떻게 받아들이는가

  • 이 중재는 설명하기 쉬운가?
    → 예. 기존의 외과 기술과 명확히 구분되며, 새로운 기술, 기기, 고비용 수술 장비가 요구됩니다.
  • 기존 중재들과 명확히 구별되는가?
    → 예. 기존 수술 방식과 비교해 매우 이질적인 기술 구조로 구성되어 있습니다.
  • 참여자 모두에게 명확한 목적이 있는가?
    → 이 기술은 최소 침습 수술(minimally invasive surgery)의 성능 및 임상 결과를 향상시키는 데 기여할 것으로 기대됩니다.
  • 이점은 누구에게, 어떤 방식으로 주어지는가?
    → 환자뿐 아니라, 기술을 사용하는 전문가에게도 이점이 있으며, 고난도 술기를 익히려는 의욕이 있는 참여자에게 매력적으로 작용합니다.

2️⃣ Cognitive Participation (인지적 참여)

참여자들이 중재를 가치 있게 여기고 실제로 관여할 준비가 되어 있는가

  • 이 중재를 좋은 아이디어라고 생각할 가능성이 있는 대상 집단은?
    → 기술을 제공받은 전문가들은 적극적으로 훈련에 참여하려는 경향이 있습니다.
  • 중재의 의미를 쉽게 이해할 수 있을까?
    → 그렇지 않은 외과의들은 이 기술의 장점을 체감하지 못할 수도 있고, 환자가 다른 병원으로 전원되는 것을 우려해 이를 회피할 수 있습니다.

3️⃣ Collective Action (집단적 실행)

중재가 실질적으로 작동하기 위해 필요한 활동과 조건

  • 참여자들이 시간과 에너지를 투자할 준비가 되어 있는가?
    → 기술을 보유하지 않은 병원에 있는 외과의들은, 환자가 타 병원으로 전원되어 관계가 끊어질 수 있다는 우려 때문에 이 옵션을 환자에게 제시하지 않을 수 있습니다.
  • 중재가 실제 업무에 어떤 영향을 주는가?
    → 이 기술은 환자 전원의 증가를 초래할 수 있고, 수술 네트워크 내 이동 증가 등 조직 전반의 구조적 영향을 유발할 수 있습니다.
  • 상담/진료 과정에 어떤 영향을 줄까?
    → 일부 외과의들은 환자에게 이 수술 옵션을 설명하는 데 주저할 수 있습니다.
  • 사용 전 광범위한 훈련이 필요한가?
    → 예. 대부분의 외과의들은 이 새로운 기술에 대한 지식이나 술기를 보유하지 않아, 정의된 평가 체계와 교육 프로그램이 필수적입니다.
  • 기존 업무 방식과 잘 호환되는가?
    → 환자가 ‘수술을 하지 않는 병원(non-doers)’에서 ‘수술을 하는 병원(doers)’으로 이동하는 전문 수술 네트워크 구축이 요구되며, 이는 환자 유치, 자원 분배, 평가 체계, 명성 관리 등 여러 조직 구조를 건드리는 복잡한 변화입니다.
  • 직역 간 권한, 자원, 역할 분배에 어떤 영향을 주는가?
    → 새로운 기술을 채택한 병원은 환자 증가라는 목표 달성에 긍정적으로 작용할 수 있지만, 이를 위해선 조직적 투자, 리스크 관리, 구조 개편이 수반되어야 합니다.

4️⃣ Reflexive Monitoring (성찰적 모니터링)

중재가 일정 기간 사용된 이후에 그것의 효과와 지속 가능성을 평가하는 과정

  • 중재가 사용자나 환자에게 긍정적으로 인식될 가능성은 있는가?
    환자 접근성과 외과 네트워크 발전이라는 측면에서 형평성과 효과성을 확인하기 위한 행정 데이터 기반의 모니터링이 요구됩니다.
  • 중재가 어떤 효과를 냈는지를 명확히 알 수 있는가?
    → 예. 체계적 문헌 고찰(systematic review)을 통해 예측된 임상 효과가 정리되어 있으며,
    실제 임상 데이터를 통해 그 기대 효과가 실현되고 있는지를 확인할 예정입니다.
  • 사용자와 직원이 사용 중 피드백을 줄 수 있는 구조가 있는가?
    → 예. 각 병원은 사용자들이 수술 시스템을 ‘자기 것처럼’ 느낄 수 있도록 소유권(ownership)을 부여받고,
    훈련, 인증, 환자 흐름 등의 과정을 자유롭게 조정할 수 있습니다.
  • 사용자 경험을 기반으로 중재가 조정 가능한가?
    → 예. 적절한 피드백 루프가 존재하며, 실행 단계에서의 개선이 가능하도록 설계되었습니다.

📌 사례 배경 요약: 로봇 비뇨기과 수술의 맥락

이 중재는 고난이도, 고비용 기술에 해당하며, 외과 술기와 환자 흐름, 병원 간 네트워크, 전문성 분화에 상당한 영향을 줍니다.
이탈리아 에밀리아-로마냐(Emilia-Romagna) 지역에서 실행된 이 중재는 지역 보건 체계 차원에서 시행 전 NPT 분석을 선제적으로 실시했으며, 이는 조달기관(commissioning agency)의 관점에서 이루어졌습니다.

이 지역에서는 이미 외과적 중재가 광범위하게 시행되고 있었지만, 최소침습 수술 기술의 접근성은 병원 간 편차가 컸고, 이러한 불균형은 로봇 수술 도입을 계기로 더욱 뚜렷해질 것으로 예상되었습니다.

Implement Sci2009 May 21:4:29. doi: 10.1186/1748-5908-4-29.

Development of a theory of implementation and integration: Normalization Process Theory

 

 

🧠 복잡한 실천은 어떻게 일상화될까? – Normalization Process Theory(NPT)를 소개합니다

의료 현장이나 교육 현장에서 새로운 기술이나 실천 방식을 도입하려고 할 때, 이런 질문 한 번쯤 해보셨을 거예요:

“아무리 좋은 시스템이나 교육도 왜 현장에서 정착이 안 될까?”
“한두 명의 노력으로 되는 일이 아닌데, 사람들은 왜 함께 움직이지 않을까?”

 

이런 고민에 도움을 줄 수 있는 이론이 바로 오늘 소개할 정상화 과정 이론(Normalization Process Theory, NPT)입니다. 🎯


🔍 NPT는 어떤 이론인가요?

NPT는 복잡한 실천(complex practice)이 어떻게 실행(implementation), 내재화(embedding), 그리고 통합(integration)되어 가는지를 설명하는 사회학 기반 중범위 이론(sociological middle-range theory)이에요. 즉, 이론적으로 너무 추상적이지 않으면서도, 실제 현장에서 다양하게 적용 가능한 구조를 갖추고 있죠.

 

💡 연구진의 말에 따르면,

"NPT is a sociological theory in that it takes as its focus the contribution of social action to implementation, embedding, and integration."
“NPT는 실행, 내재화, 통합에 대한 사회적 실천(social action)의 기여를 중심으로 다루는 사회학 이론이다.”


🧩 NPT의 핵심 구성 요소는?

NPT는 네 가지 생성 메커니즘(generative mechanisms)을 중심으로 실천이 자리 잡는 과정을 설명합니다.

 

구성 요소  주요 개념  질문
Coherence (통합성 인식) 사람들이 이 실천을 의미 있게 받아들이는가? “이게 왜 필요한지 이해되나요?”
Cognitive Participation (인지적 참여) 누가 실천에 관여하고 있나요? “사람들이 여기에 참여할 준비가 되었나요?”
Collective Action (집단적 실행) 어떻게 함께 실천이 실행되나요? “현장에서 실제로 움직이는 사람은 누구인가요?”
Reflexive Monitoring (성찰적 모니터링) 실천이 어떻게 평가되고 이해되나요? “이 방식, 정말 효과적인가요?”

 

이 메커니즘은 단순한 체크리스트가 아니라, 실천을 유지시키는 동력이자, 구성원들의 의미·헌신·노력·이해의 집합이에요.


📚 연구진은 어떻게 이 이론을 만들었나요?

연구진은 무려 10년에 걸쳐 다음과 같은 단계로 이론을 정교화했어요:

  1. 질적 자료의 2차 분석을 통해 실행 실패 사례들을 정리하고 🔍
  2. 적용 이론 모델(NPM, Normalization Process Model)을 만들고 🛠
  3. 이것을 바탕으로, 보다 일반화된 형식 이론(Formal Theory)인 NPT로 발전시킨 것이죠. 📈

이들은 단순한 선언에 그치지 않고, 실제 데이터를 통해 반복적으로 검토했어요. 그러면서 이렇게 말합니다:

"The theory has been derived through processes that have involved the application of rigorous methods, that these methods have been applied in a properly sceptical way, and that the outcomes of their application have been critically assessed."
“이 이론은 엄밀한 방법을 활용하고, 건전한 회의적 관점을 유지하며, 그 결과를 비판적으로 평가하는 과정을 거쳐 만들어졌습니다.”


✅ 그래서 왜 중요한가요?

현장에서 새롭고 좋은 아이디어가 자리를 못 잡는 건 단지 '사람들이 몰라서'가 아닙니다.
그보다도 중요한 건, 그것이:

  • 사람들이 의미 있다고 느끼는가? (Coherence)
  • 함께 참여할 수 있는 구조가 있는가? (Cognitive Participation)
  • 실행할 수 있는 자원과 맥락이 갖춰졌는가? (Collective Action)
  • 그리고 계속해서 평가하고 발전시킬 수 있는가? (Reflexive Monitoring)

라는 점이죠.
NPT는 이런 '정착 과정의 보이지 않는 사회적 조건'들을 설명해주고, 실천이 일상으로 자리잡게 만드는 데 꼭 필요한 프레임을 제공합니다. 🧭


✨ 마무리하며

이 이론은 의료뿐만 아니라, 교육, 사회복지, 정책 집행 등 다양한 분야에 적용 가능합니다. 무엇보다도, “왜 이게 안 되는 거지?”라고 느껴질 때, 단순한 실패 원인 찾기를 넘어, 더 깊은 이해를 가능하게 해주는 렌즈가 되어줄 거예요.

"Our aim in the work described in this paper has been to develop an explanatory model that can underpin structured, prospective studies that have both practical and policy relevance."
“우리가 이 논문에서 목표로 삼은 건, 실제적이고 정책적으로 의미 있는 연구를 설계할 수 있도록 뒷받침해주는 설명 모델을 개발하는 것이었습니다.”


배경 (Background)

이론(Theory)은 사회과학과 자연과학 모두에서 매우 중요하다. 이는 과거 또는 현재에 관찰된 현상들에 대해 견고한 설명을 가능하게 하고, 나아가 미래의 현상에 대한 예측의 출발점이 되기 때문이다. 현재는 개인 및 집단 행동을 설명할 수 있는 중요하고 유용한 이론들이 여러 가지 존재하며, 이들 이론은 현장 실행(implementation)의 문제를 이해하는 데 적용될 수 있다¹⁻⁴. 본 논문에서는 그중 하나인 정상화 과정 이론(※Normalization Process Theory, 이하 NPT)⁵⁻⁷이 2000년부터 2009년까지 어떤 과정을 거쳐 개발되었는지를 설명한다. 이 글은 NPT의 개발 과정을 서술한 기록이다. 본 논문의 목적은 이 이론이 어떻게 구축되었는지를 보여주는 절차를 설명하는 데 있다. 저자들은 이러한 절차가 어떻게 충분한 외적 타당성(face validity)과 개념적 견고성(conceptual robustness)을 갖춘 일련의 명제(propositions)로 이어졌는지를 보여주며, 그 명제들이 형식적 검증(formal testing)에 적절하다고 주장한다. 현재 그 검증 작업은 진행 중이며, 결과는 추후 보고될 예정이다.


NPT란 무엇인가? (What is NPT?)

정상화 과정 이론(NPT)의료 및 기타 제도적 환경에서 새로운 혹은 수정된 생각(thinking), 실천(enacting), 조직화(organizing) 방식을 어떻게 사회적으로 작동 가능하게 만드는지를 이해하고 설명하기 위한 일련의 사회학적 도구를 제공한다. 특히 이 이론은 다음의 세 가지 핵심 문제에 초점을 둔다:

  1. 실행(Implementation): 하나 혹은 여러 실천을 실제로 작동에 옮기기 위한 사회적 조직화 과정.
  2. 내재화(Embedding): 하나 혹은 여러 실천이 개인과 집단의 일상적인 업무 속에 정기적으로 포함되거나 포함되지 않게 되는 과정.
  3. 통합(Integration): 하나 혹은 여러 실천이 조직이나 제도의 사회적 맥락(social matrices) 내에서 재생산되고 유지되는 과정.

이 이론은 다른 문헌들에서 보다 자세히 설명되어 있다⁵⁻⁷. 그러나 요약하자면, 이 이론은 다음과 같은 전제를 갖는다:

  1. 실천은 사람들이 그것을 실행하려는 개인적·집단적 노력의 결과로서 사회적 맥락 안에 정기적으로 자리 잡게 된다(normalized).
  2. 실천을 실행하는 데 드는 노력은 인간의 행위(agentic activity)가 표현되는 생성적 메커니즘(generative mechanisms)—즉, 인지적 통합(coherence), 인지적 참여(cognitive participation), 집단적 실행(collective action), 성찰적 모니터링(reflexive monitoring)—을 통해 촉진되거나 저해된다.
  3. 실천의 생산과 재생산은 시간과 공간을 가로지르며 지속적으로 수행되는 일련의 행동들(ensembles of action)에 대한 행위자들의 지속적 투자를 필요로 한다.

이 이론의 출발점은 다음과 같다: 어떤 실천이 어떻게 내재화되는지를 이해하려면, 사람들이 실제로 무엇을 하고 어떻게 일하는지를 살펴보아야 한다. 이는 행동의 이론(a theory of action)이며, 따라서 다음의 이론들과 구별된다:

  • 혁신의 확산 이론(Diffusion of Innovations Theory)처럼, 혁신이 어떻게 전파되는지를 설명하려는 문화적 전달 이론들⁸⁻⁹,
  • 개인 및 집단의 학습, 전문성 이론들로서 혁신이 어떻게 내면화되는지를 설명하는 이론들¹⁰,
  • 개인의 태도와 의도, 그리고 행동 결과 사이의 관계를 설명하는 이론들¹¹과는 명확히 다르다.

NPT의 설명 초점은 인간의 행위성(human agency)에 있으며, 이는 다음의 이론들과도 구별된다: 예컨대,

  • 주요 연구 방법으로 민족지학적 사례연구(ethnographic case studies)를 사용하는 행위자-네트워크 이론(Actor-Network Theory)¹²은 종종 인간뿐 아니라 사물에도 행위성을 부여하고¹³, 설명보다는 묘사를 추구하는 경향이 있으며¹¹, 이는 본 이론과는 명백히 다르다.
  • 반대로, NPT는 사회적 형성(social shaping)을 '행위(action)'로서 조사하기 위한 사회학적 도구들을 구축하고자 하며, 다양한 방법론을 사용하여 구조화된 비교 연구(structured comparative inquiry)가 가능하도록 이론을 정비하는 것을 목표로 삼는다.

 

왜 NPT가 개발되었는가? (Why was NPT developed?)

이론 구축 과정에 수반되는 우발적이며 복잡한 관계적 과정들(contingent and complex relational processes)은 이 논문의 핵심 주제가 아니다. 그러나 NPT가 왜 등장하게 되었는지에 대한 질문은 반드시 다루어져야 한다. NPT는 보건의료 현장에서 새로운 치료 방식이나 진료 조직화 방법을 실행하고 통합하는 데에 반복적으로 어려움이 존재한다는 관찰된 문제를 해결하기 위해 개발되었다.

 

보다 구체적으로는, 연구팀 일부는 당시 널리 채택되고 확산된 것처럼 보였던 원격의료(telemedicine) 시스템들이, 실제로는 임상 현장에서 일상적인 실천으로 자리잡지 못하는 현상을 설명해 줄 이론적 도구의 부재를 문제 삼았다. 이는 전문가들이 해당 기술에 호의적이고, 정치적·물질적 지원이 이미 확보된 상황에서도 벌어진 일이었다¹⁴. 당시 출판된 관련 이론에 대한 종합 리뷰¹⁻⁴들은 이러한 설명의 공백(explanatory gaps)을 명확히 드러냈으며, 이러한 리뷰들은 현장 실행 프로그램의 계획과 평가를 위한 강력한 이론적 기반이 부족하다는 인식에 의해 촉발된 것으로 보인다.

 

이들 리뷰는 실행을 촉진하거나 저해하는 요인들과 전략 사이의 연관성을 탐색하고, 검증 가능한 가설(testable hypotheses)을 생성할 수 있는 이론의 필요성을 반영한다. 또한, 성공적인 실행을 위해 가장 적합한 이론이나 이론 내 구성요소들을 식별하려는 다양한 시도들도 함께 나타났다¹⁵. NPT의 개발은 이러한 요구들에 대한 하나의 응답이며, 더욱이 다른 이론에 내재된 그럴듯한 개념에서 출발한 것이 아니라, 실제 실행 및 통합 과정을 다룬 경험적 연구들로부터 도출된 일반화(empirical generalizations)에 기반하고 있다는 점에서 부가적 가치(additional value)를 지닌다.


이론 구축에 대한 절차적 설명은, 실제로는 매우 우발적이고 복잡한 과정들에 인위적인 질서를 부여할 위험이 있다. 이러한 과정들은 실천의 관점에서 볼 때 체계적으로 그려내기 어려운 특성이 있다. 이번 사례에서도, NPT의 개발에 이르게 한 사회적 관계들과 과정들, 그리고 그것이 위치한 연구 및 정책적 문제, 네트워크 모두가 매우 복잡하다.

 

그러나 분명한 것은, 본 논문에서 설명하는 이론 구축의 초기 과정은 기회적(opportunistic)이고 자연발생적(organic)이었다는 점이다. 2005년과 2006년에 걸쳐 정식의 정상화 과정 모델(Normalization Process Model)이 개발되어 세미나와 학회에서 발표되었고, 이를 중심으로 다학제 연구자 그룹(multi-disciplinary group of researchers)이 형성되었다. 이 그룹은 모델을 정교화(refine)하고 발전시키는 동시에, 구체적인 연구 문제에 적용(apply)하기 시작했다.

 

이 그룹이 형성된 이후부터는, 이론 개발은 보다 의도적이고 전략적인 방식으로 수행되었으며, 2007년과 2008년에 걸쳐 공식적인 회의들이 이루어졌다. 2008년 이후에는, 영국 국립보건연구소(UK National Institute of Health Research)의 지원으로 Peer Learning Set 회의가 운영되었고, 영국 경제사회연구위원회(UK Economic and Social Research Council)로부터 후속 연구비(follow-on grant)를 받아 NPT의 개발이 본격적으로 지원되었다.

 

연구 방법 (Methods)

1단계: 경험적 일반화(empirical generalizations) 개발

2001년부터 2004년까지, 보건의료 현장의 업무와 조직에 대한 질적 연구(qualitative studies)에서 수집된 자료들을 2차 분석(secondary analyses)하였고, 이를 통해 일련의 경험적 일반화(empirical generalizations)를 도출하였다. 이러한 일반화는 네 가지 연구 영역과 관련이 있다:

  • 원격의료 시스템의 정상화(normalization of telemedicine systems)¹⁶⁻¹⁷
  • 만성질환 상황에서의 전문직-환자 간 상호작용 및 보건의료 업무 조직화¹⁸⁻¹⁹
  • 임상 진료 맥락에서의 근거(evidence)의 사회적 생산 및 실천화(operationalization)²⁰

이러한 연구들은 어떤 새로운 기술이 일상적인 서비스로 정착되는 일련의 실행 과정에서, 그 최종 결과로서의 ‘정상화(normalization)’를 개념화하였다. 원격의료 실행 과정에 대한 비교적 종합 방법(comparative synthetic methods)을 활용해 일반화를 도출하였고, 동일한 방식이 다른 세 영역의 연구 자료들에도 적용되었다. 2차 분석을 위한 방법론은 다른 문헌에서 자세히 설명되어 있다⁷.

 

이 과정에서 도출된 경험적 일반화들은, 자료 내에서 발견된 규칙성에 대한 일반적인 결론들이었으며, 형식적인 명제(formal propositions) 형태로 구성되었다 (Appendix 1 참조). 그러나 이러한 명제들은 아직 이론으로 간주될 수 없었다. 그 이유는 다음과 같다:

  • 이들은 특정 맥락(context)에 한정된 것이며, 일반화(generalizations)는 되었지만, 일반화 가능성(generalizability)은 제한적이었다.
  • 이 명제들 사이에는 인과관계, 생성적 메커니즘(generative mechanisms), 조직 원리(organizing principles) 등의 설명 체계가 연결되어 있지 않았다.

즉, 이러한 명제들은 설명적(explanatory)이라기보다 관찰적(observational)인 특성을 가지고 있었다.


2단계: 적용 가능한 이론 모델 구축

2003년부터 2007년까지, 근거이론 구축 기법(grounded theory-building techniques)을 활용하여²¹⁻²², 앞서 개발된 경험적 일반화들을 통합해 정상화 과정의 적용 이론 모델(applied theoretical model), 즉 정상화 과정 모델(Normalization Process Model, NPM)을 구축하였다⁷. 이 모델은 철저한 자료 분석(rigorous data analysis)을 바탕으로 정리된 분석적 명제(analytic propositions)들의 집합으로 구성되었으며, Stinchcombe²³가 제안한 바 있는, 실천에서 새로운 보건 기술이 정기적으로 내재화되는 과정을 촉진하거나 저해하는 요인에 대한 적용 이론 모델(applied theoretical model) 개발을 목표로 하였다.

 

모델의 다양한 버전들은 비공식적으로 여러 연구자들에게 배포되었으며, 비판적 검토(critical review)를 받은 후, 일련의 세미나에서 심도 깊은 토론을 거쳤다. NPM의 목적복잡한 보건의료 개입이 서비스 환경에 내재화되는 집단적 실행(collective action)을 촉진하거나 저해하는 요인들을 식별하고 설명하는 것이었다. 이 과정에서 네 가지 요인이 도출되었으며, 이를 NPM의 구성 요소(constructs)로 정의하였다:

  1. 상호작용 실행 가능성(interactional workability)
  2. 관계적 통합성(relational integration)
  3. 기술세트 실행 가능성(skill-set workability)
  4. 맥락적 통합성(contextual integration)

이 단계에서 NPM은 유사한 연구들로부터 도출된 경험적 일반화들을 종합하고, 분류체계(taxonomies), 개념 간 관계도(map of relations), 일반화된 결론을 도출해냈다²⁴. 그리고 이들 구성 요소, 차원(dimensions), 하위 구성 요소(components) 간의 관계는 사회학적 설명(sociological explanations)으로 연결되었다. 이 모든 과정을 통해, 경험적 검증(empirical verification)을 위한 기반이 마련되었다.

 

NPM의 정교화 및 검증 (Refining and testing the NPM)

정상화 과정 모델(Normalization Process Model, NPM)적용 이론 모델(applied theoretical model)로서 복잡한 보건의료 개입(complex healthcare interventions)을 현장에서 실천 가능하게 만드는 활동 영역에 한정되어 있었다⁷. 이 모델을 더욱 발전시키기 위해, 저자들은 ‘이론’이라는 개념 자체를 어떻게 정의하고 안정화(stabilise)할 것인지를 명확히 하고자 하였다. 이를 위해, 저자들은 이론(theory)이 수행해야 할 세 가지 작업을 다음과 같이 정의하였다⁶:

  1. 정확한 기술(Accurate description): 이론은 현상 사례 및 범주에 속한 특성(qualities)과 속성(properties)식별하고, 구별하고, 체계화(codify)할 수 있도록 분류 체계(taxonomy) 혹은 정의의 집합(set of definitions)을 제공해야 한다.
  2. 체계적인 설명(Systematic explanation): 이론은 현상 사례 혹은 범주 내에서 작동하는 인과적 및 관계적 메커니즘(causal and relational mechanisms)형태(form)의미(significance)를 설명할 수 있어야 하며, 이들이 다른 현상들과 어떤 관계에 있는지도 제시해야 한다.
  3. 지식 주장(Knowledge claims): 이론은 지식 주장을 도출할 수 있어야 하며, 이러한 주장은 추상적 설명, 분석적 명제, 혹은 실험 가설(experimental hypotheses)의 형태를 취할 수 있다.

이후의 NPM 개발은 이론 모델을 실제 현장에 적용하는 ‘로드 테스트(road testing)’ 방식으로 진행되었다²⁵. 이론 구축에 대한 주요 비판 중 하나는, 일반화의 근거가 확실히 마련되지도 않은 상태에서 섣불리 개발이 진행된다는 점이다²⁶. 또 다른 비판은, 이론가들이 너무 이른 시점에 관련 변수의 정의 및 측정에 집중하는 반면, 이론 자체의 개념적 일관성과 견고성에 대한 충분한 숙고 없이 진행된다는 것이다²⁷.

 

로드 테스트를 통한 NPM 검증은 이러한 문제들을 해결할 기회를 제공해주었으며, 외적 타당성(face validity)에 대한 합리적 판단과, NPM이 형식적 검증(formal testing)에 적합한지를 판단할 수 있는 분석적 맥락을 제공하였다. 이 과정은 두 가지 주요 작업으로 구성되었다: 정성적 자료 분석(qualitative data analysis)과 연구 종합(research synthesis)이다.


정성적 자료 분석 (Qualitative data analysis)

NPM은 세 가지 대규모 연구에 통합되어 분석되었다: e-헬스 기술 실행에 대한 연구²⁸, 원격돌봄(telecare) 시스템 통합 연구²⁹ ³⁰, 그리고 대규모 무작위 대조군 시험(RCT)의 실행화 연구가 그것이다. 이 분석 과정에서 연구자들은 NPM이 앞서 제시한 세 가지 이론적 기능—현상의 정의, 메커니즘의 설명, 지식 주장 형성—을 제대로 수행할 수 있는지에 대한 비판적 관점을 유지하였다.

 

중요한 점은, 이 단계의 작업은 ‘형식적 검증(formal testing)’은 아니었다는 점이다. 왜냐하면 이 시점에서 연구자들은 NPM을 반증(falsify)하려고 하지는 않았기 때문이다. 대신, 분석 도구로서의 실질적 유용성(practical usefulness)을 시험한 것이었다.


연구 종합 (Research synthesis)

Elwyn 외³¹는 의료 상담에서 공유된 의사결정 도구(shared decision-making tools)를 실천화하는 문제에 NPM을 적용하여, 병렬적이고 비판적인 분석을 수행하였다. 이 과정에 참여한 연구자들은, NPM의 구성 요소들을 1차 연구, 체계적 문헌고찰(systematic reviews) 등에서 수집된 자료들과 연결(mapping)시켰고, 이를 통해 다양한 연구 결과들에 대한 해석 및 귀속(attributions)을 도출하였다. 이후, NPM을 이러한 해석에 적용하여, 그 설명력이 유효한지를 검토하였다.

 

Elwyn 외³¹는 결론 내리기를, NPM은 공유된 의사결정 과정 및 관련 도구의 실행화에 관여하는 집단적 작업을 설명하는 데 있어 안정적인 설명틀을 제공한다고 하였다.


2006년 말까지, 출판된 형태의 NPM⁷은 특정 실행 과정을 분석하기 위한 개념 도구 세트로서 충분한 성숙도에 도달하였고, 이후 다양한 연구들에 실제로 성공적으로 적용되었다³²⁻³⁶. 로드 테스트 결과, 이 이론은 실천을 실행화하는 과정에서 집단적 실행을 촉진하거나 저해하는 요인을 설명하는 데 유용하다는 점이 확인되었다.

 

그러나, 이 모델은 다음의 세 가지 중요한 질문에는 아직 충분한 설명을 제공하지 못했다:

  1. 어떻게 실천이 구조적으로 구성되어 일관성을 유지하는가?
  2. 어떻게 행위자들이 그 실천 안으로 동원되는가?
  3. 어떻게 실천이 평가(appraised)되는가?

이러한 세 가지 영역은 NPM이 유용하게 확장될 수 있는 분야였다. 이 인식은 이론 구축의 다음 단계를 설계하는 데 핵심적인 통찰을 제공하였다.

 

3단계: 형식 이론(Formal theory) 구축
Phase three: Making a formal theory

2006년 이후, 우리는 앞서 제기된 문제들을 해결하기 위한 작업에 착수했다. 2006년부터 2009년 사이, 우리는 적용 이론 모델(applied theoretical model)NPM을 확장하고, 새로운 구성 개념(constructs)을 정의하며, 생성 메커니즘(generative mechanisms)을 구체화하여, 이를 형식적 중범위 이론(formal middle-range theory)으로 발전시켰다. 이것이 바로 정상화 과정 이론(Normalization Process Theory, NPT)이다.

 

형식 이론(formal theory)의 구축은 경험적 일반화(empirical generalizations)적용적 설명(applied explanations)을 도출하는 것과는 본질적으로 다른 작업이다. 이 수준에서의 이론 구축의 목표는, 현상의 일반적 속성(generic properties)을 분리해내고, 작동 방식(operation)을 이해하는 것이다³⁷. 이를 위해, 우리는 보건의료에 특화된 NPM의 구성 개념들을 일반적(generic)이고 추상적인(abstract) 명제로 재정식화해야 했고, 동시에 이전 단계에서 결여되었던 세 가지 영역에 해당하는 새로운 구성 개념들을 작성하여 이론을 확장했다. 이 세 가지는 coherence(통합성 인식), cognitive participation(인지적 참여), reflexive monitoring(성찰적 모니터링)이었다.

 

이 시점에서 우리는 여전히 우리의 작업을 “확장된 NPM”의 구성으로 간주하고 있었지만, 결과적으로는 일반화 가능한 형식 이론, 즉 중범위 이론(middle-range theory)을 형성해가는 과정에 돌입한 것이었다.


  1. 우리는 NPM의 구성 개념들을, 특정 개입이 일상적으로 내재화되는 과정에 있어 집단적 실행(collective action)을 촉진하거나 저해하는 요인들로 정의했다. 이후 추가적인 분석을 통해, 기존 NPM 구성 개념들의 거시적 유사 개념(macro-level analogues)을 도출하였다³⁰ ³⁸. 그 형태는 Appendix 3에 제시되어 있으며, 우리는 이 유사 개념들에 대한 완전한 정의를 구성하고 기 수집된 자료에 대입하여 검증하였다.
  2. 우리는 NPM의 기존 구성 개념들과 연계될 수 있도록, 거시 수준의 구성 개념들을 구체화하였다(Appendix 4 참조). 예를 들어,
    1. collective action(집단적 실행)거시 수준 구성 개념으로 간주하고,
    2. 하위interactional workability(상호작용 실행 가능성), relational integration(관계적 통합성), skill-set workability(기술세트 실행 가능성), contextual integration(맥락적 통합성)과 같은 미시적 구성 개념들을 배치하였다.
  3. 이러한 거시 수준 개념들을 다루는 과정에서, 우리는 보다 구조화된 이론 구축 모델을 사용하게 되었으며, 생성 메커니즘(generative mechanisms) 개념들 사이의 관계를 명확히 정의할 필요가 있었다³⁹ ⁴⁰.
    1. 이 맥락에서 우리는 coherence work(통합성 작업)을 단순히 맥락적 통합(contextual integration)의 추상화된 개념으로 보지 않고, 사용자들이 어떤 개입을 '의미화(sense-making)'하는 과정의 생성 메커니즘으로 해석하게 되었다.
  4. 우리는 우리가 다루고 있는 과정들을 도식화(mapping)하였다.
    1. Turner는 이처럼 개념 모델의 구성 요소를 식별하기 위한 방법분석적 이론화(analytical theorizing)라 부른다³⁷.
    2. 이를 통해 확장된 NPM이 작동하는 방식에 대한 개념 지도(conceptual map)를 만들 수 있었다.
    3. 이후 우리는 Lieberson과 Lynn⁴⁰의 작업을 참조하여, NPM에서 도출된 거시적 구성 개념들을 ‘생성 원리(generative principles)’를 설명하는 기술자(descriptors)로 재정의하였다.

이러한 과정을 통해 도출된 확장된 NPM은 이제 일반적 성격(general character)을 가지게 되었고, 그에 포함된 생성 메커니즘과 구성 요소들은 복잡한 개입(complex interventions)이나 보건의료에만 한정되지 않게 되었다. 대신, 이들은 실행 과정의 일반적 속성(generic properties of implementation processes)을 설명하게 되었고, 특정 사회적 맥락 없이도 설명 가능해졌다. 이에 따라, 우리는 이를 일반적이며 일반화 가능한 형식적 중범위 이론NPT(Normalization Process Theory)로 제시하게 되었다⁵ ⁴¹. 이 이론은 다음을 목표로 한다:

  • 실천의 실행(implementation), 내재화(embedding), 통합(integration) 과정을 설명하고,
  • 이러한 과정들을 인과적 사회 메커니즘(causal social mechanisms)과 연관시키며⁴²,
  • 그 메커니즘의 구성 요소들(components)을 식별하고,
  • 그 메커니즘들을 작동시키기 위한 투자(investments)가 무엇인지를 정의하는 것이다.

NPT의 메커니즘은 다른 문헌에서 자세히 설명되어 있으며⁵, 요약 정보는 Appendix 4 및 Appendix 5에 제시되어 있다.


NPT의 ‘로드 테스트(Road testing the NPT)’

앞서 NPM의 개발 과정에서 형식 검증(formal testing)의 가치가 있는지 판단하기 위해 '로드 테스트(road testing)'가 수행된 것처럼, NPT도 동일한 과정을 거쳤다. 여기에는 다양한 방법이 사용되었으며, 특히 강조하고 싶은 점은 이 작업의 목적이 이론을 형식적으로 검증하는 것(formal testing)이 아니라, 이 이론이 ‘검증 가능한 상태에 도달했는지’를 입증하는 데 있었다는 점이다.

  1. NPT 구성 개념의 안정성 평가(Assessing the stability of NPT constructs)
    매우 다른 맥락과 연구를 수행하는 연구자들—예컨대 e-헬스 실행(e-health implementation)이나 호주 빅토리아 주의 일차 정신건강서비스 개편 연구에 참여한 연구자들—은 NPT의 구성 개념을 실제 분석에 적용하여 실행 및 내재화 과정을 해석하였다⁴³ ⁴⁴.
    구성 개념의 안정성 기준은 다음 두 가지였다:
    • 일반적 구성 개념이 별도의 임시 조건(ad hoc conditions) 없이도 특정 맥락에 번역(translated)될 수 있어야 하며,
    • 비판적(sceptical) 입장의 연구자라도 최소한의 지원으로 실질적으로 적용할 수 있어야 한다.
  2. NPM과 NPT 구성 개념 간의 비판적 비교(Critical comparison)
    핵심 질문은 NPT의 상위 수준(high-level) 구성 개념으로 정상화 과정 분석의 범위를 확장하는 것이 실제로 실용적 가치를 가지는가였다. 다시 말해, NPT를 사용할 이점이 분명한가를 확인하고자 하였다. 이를 위해, 우리는 두 가지 데이터 세트—(1) e-헬스 실행 연구의 인터뷰 전사본, (2) e-헬스 실행에 관한 체계적 문헌 리뷰에서 수집된 질적 데이터—를 NPM과 NPT 두 가지 틀로 각각 분석하였다⁴³.

요약하자면, NPT의 로드 테스트는 다음을 입증해야 했다:

  • 구성 개념들이 실제로 메커니즘, 구성 요소, 자원 투입(investments)을 정의하며,
  • 경험적 연구를 통해 이들을 전향적으로(prospectively) 밝혀낼 수 있는지,
  • 그리고 이들이 안정적 방식으로 성격 규정될 수 있는지를 확인해야 했다.

또한 이 개념들이 실제 분석에서 도구로서의 장점(analytic advantage)을 제공하는 방식으로 운용 가능해야(operationalized) 했다. 우리는 NPT가 주장하는 분석 범위를 실제로 커버하는지, 그리고 NPT로부터 데이터 검증 및 현상 설명이 가능한 명제를 도출할 수 있는지를 확인하고자 했다. 이 작업은 NPT의 최종 출판을 위한 수정 과정과 병행되었기 때문에 더욱 중요했다.


NPM과 NPT의 관계 (Relationship between the NPM and NPT)

형식 이론(formal theory)인 NPT는, 그 출발점이 된 적용 모델 NPM과 충돌하지 않는다. 오히려 NPT는 이를 확장(extends)한다. NPM의 구성 개념들은 NPT의 중심 요소이자, 그 안에서 ‘집단적 실행(collective action)’ 구성 요소를 형성한다. NPM 자체는 변하지 않았으며, 연구자들은 여전히 NPM을 다음과 같은 상황에서 성공적으로 사용할 수 있다:

  • 분석 대상이 집단적 실행을 촉진하거나 저해하는 요인에 한정되는 경우³²⁻³⁵ ⁴⁵ ⁴⁶

반면, NPT는 다음과 같은 세 가지를 추가함으로써 적용 모델을 확장한다:

  1. 행위자들이 실천을 어떻게 해석하는가(coherence)
  2. 어떻게 그 실천에 참여하게 되는가(cognitive participation)
  3. 그 실천을 어떻게 평가하는가(reflexive monitoring)

NPT는 중범위 이론(Middle-range theory)이다

NPT는 다양한 다학제 협업(multi-disciplinary collaborations)을 통해 개발되었지만, 사회적 실천(social action)이 실행, 내재화, 통합에 어떻게 기여하는지를 중심에 두는 점에서, 본질적으로는 사회학 이론(sociological theory)이다. 또한 이는 중범위 이론(middle-range theory)이기도 하다⁴⁷ ⁴⁸.

Merton⁴⁹의 정의에 따르면, 중범위 이론이란 다음과 같은 특성을 가진다:

  • 여러 사회적 행동 및 구조 영역에 적용될 만큼 충분히 추상적이지만,
  • 사회 전반의 행동과 구조에 대한 일반 법칙을 제시하지는 않는다.
  • 이 이론은 제한된 가정 세트에 의해 범위(scope)가 정의되며, 이로부터 경험적 조사에 의해 확인 혹은 반증될 수 있는 가설들이 도출된다.
  • 이론의 제한된 범위는 곧 ‘무지의 명시(specification of ignorance)’를 의미한다. 즉, 이 이론의 틀 안에서 설명할 수 있는 한계가 명확히 설정되며, 모르는 것을 아는 척하지 않는다.

이론의 적용 범위 명시는 중요하다

최근 사회과학 내 이론 관련 논의들¹³ ⁵⁰ ⁵¹은 다음과 같은 점에 주목하고 있다:

"복잡한 사회 현실과, 그 현실을 의도적으로 단순화한 분석 모델 사이를 구분할 수 있게 해주는 중간 범위의 패턴 및 메커니즘을 탐색해야 한다."⁵⁰

 

중범위 이론은 적용 범위(scope), 개념적 범위(conceptual range), 주장 수준(claims)이 제한되어 있기 때문에, 현장의 실천(practice)을 분석하는 데 실질적으로 작동할 수 있는 유용성을 가진다.

 

 

결과 (Results)

이론의 확장된 범위 (The changing scope of the theory)

본 논문은 정상화 과정 이론(NPT)이 어떻게 개발되었는지를 보여주었다. 정상화(normalization)에 대한 설명적 개념들을 구축하는 과정은 다음과 같은 단계를 거쳐 점진적으로 발전하였다:

  • 처음에는 합성적 명제(synthetic propositions) 또는 주장(assertions)의 형태로 제시된 경험적 일반화(empirical generalizations)의 집합으로 출발했으며¹⁷,
  • 이후에는 일반화 가능한 명제들을 제시하는 견고한 개념 모델(conceptual model)로 발전하였고⁷,
  • 마지막으로는, 실행(implementation), 내재화(embedding), 통합(integration) 과정에 대한 메커니즘 기반 설명을 제공하는 중범위 이론(middle-range theory)으로 자리매김하게 되었다⁵.

이러한 발전은 맥락에 의존하는 진술(context dependent statements)에서 점차 탈피해온 과정이기도 하다. 이처럼 이론 구축 과정 전반에는 분석 범위(scope)의 변화뿐만 아니라, 방법(method)의 변화도 포함되어 있다. 이와 같은 변화를 투명하게 서술하는 일은 학계에서 드문 일이지만, NPT를 형식적이고 결정적인 검증(formal and definitive tests)의 대상으로 삼고자 한다면 반드시 선행되어야 할 필수 조건이다. 즉, 이 이론이 엄밀한 방법(rigorous methods)을 적용해 회의적 태도(sceptical manner)로 개발되었으며, 그 결과가 비판적으로 검토되었음을 입증하는 것이 중요하다.


투명성의 중요성 (The importance of transparency)

사회과학 이론 개발에 대한 다양한 담론이 존재함에도 불구하고, 실제로는 이론이 어떻게 개발되었는지를 사실적으로 기술한 기록(factual accounts)은 매우 드물다. 예를 들어, 근거이론(grounded theory) 개발²¹ ²² ⁵¹⁻⁵⁴, 혹은 형식 사회학 이론(formal sociological theory) 구축²³ ⁵⁴ ⁵⁵에 관한 글들은 있지만, 이론 자체의 형성과정을 자세히 다룬 글은 많지 않다. 드물게 존재하는 사례들도 대부분은 개인의 회고(personal histories)⁵⁶나, 특정 사회적 네트워크에 대한 설명⁵⁷의 형태를 취한다. 다시 말해, 새로운 이론을 소개하는 논문은 많지만, 그 이론이 어디서 유래했는지, 어떤 방법으로 도출되었는지에 대해서는 구체적으로 알기 어렵다. 더군다나, 해당 이론을 비판하거나 검증한 충분한 선행 문헌이 축적되어 있지 않은 경우, 우리는 결국 그 이론이 설명하고자 하는 현상과 어떤 관계에 있는지를 평가하기 어렵게 된다. 어떤 이론들은 마치 문헌 비판이나 기존 이론에 대한 주장의 결과로, 완성된 형태로 갑자기 등장하는 듯한 인상을 주기도 한다저자들은 이러한 문제를 피하기 위해 노력했다.


결론 (Conclusion)

본 논문에서 설명한 이론 구축 과정은, 질적 자료의 2차 분석(secondary analysis)을 시작으로, 실행과 통합을 설명할 수 있는 일반적 이론 명제의 개발로 이어졌다. 이 연구의 목적은, 실용성과 정책적 관련성 모두를 갖춘 구조화된 전향적 연구를 뒷받침할 수 있는 설명 이론(explanatory model)을 개발하는 것이었으며, 이 이론은 진정한 다학제적 탐구에 열려 있다.

 

이 과정은 매우 협력적인(collaborative) 작업이었고, 이론적 설명의 정교화에 수많은 연구자들이 의미 있는 기여를 했다. 초기 단계에 참여했던 연구자들 중 아무도, 자신들의 활동이 후에 이 논문에서 상세히 설명되어야 할 ‘이론 구축 작업’의 일부가 될 것이라고 예상하지 못했을 것이다.

 

그렇기에 이제는, 이론 구축이라는 학문적 작업이 어떠한 절차를 통해 이루어졌는지를 기술하는 것이 중요하다. 이론 자체에 대한 설명은 다른 문헌에 자세히 실려 있으며⁵, 이 이론을 바탕으로 수행된 다양한 검증 연구들도 곧 출간될 예정이다.

 


📎 부록 (Appendix)

📌 Appendix 1 – 원격의료 정상화 과정에 대한 경험적 일반화 (2003) [17]

P1. 원격의료 서비스의 실행은 (지역 또는 국가 수준의) 정책적 후원자와의 긍정적인 연계에 달려 있다. 이를 통해 원격의료가 적절한 진료 수단으로 정의되고, 적절한 인프라가 개발되어야 한다.
Implementation of telemedicine services depends on a positive link with a (local or national) policy level sponsor...

P2. 원격의료 시스템이 보건서비스에 채택되기 위해서는, 조직 구조 개발을 통해 구조적 정당성(structural legitimation) 수준에서 성공적으로 통합되어야 하며, 이를 통해 실제 진료 제공에 포함되어야 한다.

P3. 원격의료 기술을 임상 실천에 전환하려면, 기능적 정체성(functional identities)이 사전에 협상되고 확립되며, 권한이 비교적 명확하게 정의된 이질적 행위자들의 협력적 집단을 형성해야 한다.

P4. 원격의료 시스템이 실제로 안정적으로 자리 잡기 위해서는, 전문적 지식과 실천 수준에서 통합되어야 하며, 이를 위해 임상의들이 새로운 절차와 프로토콜을 개발하여 임상 활동에 수용할 수 있어야 한다.

P5. 어떤 환경과 보건의료 수준에서든, 원격의료가 진료 수단으로서 정상화(normalisation)되기 위해서는, P1 + P2 + P3 + P4의 조건들이 충족되어야 한다.


📌 Appendix 2 – 정상화 과정 모델(NPM)의 명제 (2006) [7]

  1. 복잡한 개입(complex intervention)유연하게 일치(congruence)와 처리(disposal)를 수행하는 데 상호작용적 이점(interactional advantage)을 제공한다면 정상화될 가능성이 있다.
  2. 복잡한 개입은, 네트워크 내의 책무성(accountability)과 신뢰(confidence)를 유지하거나 향상시킨다면 정상화될 수 있다.
  3. 복잡한 개입은, 분업 구조 내에서 합의된 기술 세트(skill-set)에 맞게 조정(calibrated)되어 있다면 정상화될 수 있다.
  4. 복잡한 개입은, 조직이 업무를 유연하게 실행하고 실현할 수 있게 만드는 이점을 제공한다면 정상화될 수 있다.

📌 Appendix 3 – 이론의 중간 단계 발전: 거시적-미시적 구성 개념 간의 연계 [39]

 

🏛 거시 수준(Macro level) – NPT의 생성 메커니즘  🧩 미시 수준(Micro level) – NPM의 구성 요소
Coherence: 실천의 대상(object)을 정의하고 조직하는 작업 보건의료 시스템과의 맥락적 통합을 보장하는 실천
Cognitive participation: 실천 참여자의 참여를 조직하는 작업 공식적·비공식적 분업 구조 내에서 기술세트 기반으로 정의된 실천
Collective action: 실천의 실행을 정의하고 조직하는 작업 일상적 사회 관계 속에서 상호작용 기반으로 정의된 실천
Reflexive monitoring: 실천에 대한 평가 기반 지식을 정의하는 작업 행위자 네트워크 내에서 지식과 실천의 관계적 통합을 보장하는 실천

📌 Appendix 4 – 정상화 과정 이론(NPT)의 일반 명제 (2009) [5]

  1. 물질적 실천(material practice)은, 사람들이 개별적 및 집단적으로 이를 실행(implementation)하려는 노력을 지속함으로써 사회적 맥락 내에 정기적으로 자리 잡는다.
    1. → 구체 명제: 정상화는 사회적으로 형성된 실행 작업(socially patterned implementation work)에 의존한다.
  2. 실행 작업은 네 가지 생성 메커니즘(coherence, cognitive participation, collective action, reflexive monitoring)을 통해 실현된다.
    1. → 구체 명제: 이러한 메커니즘은 사회적 실행 작업을 형성하는 구성 요소들로 정의된다.
  3. 물질적 실천의 생산과 재생산, 시간과 공간을 넘나드는 행동 집합(ensembles of action)에 대한 행위자의 지속적 투자를 필요로 한다.
    1. → 구체 명제: 행위자의 투자는 메커니즘을 활성화하는 동력이다.

📌 Appendix 5 – 정상화 과정 이론(NPT)의 구체 명제 (2009) [5]

🔹 Coherence (통합성 인식)

  • 정기적 내재화는, 실천을 인지적·행동적 집합으로 정의하고 조직하는 작업에 의존한다.
  • 이러한 작업은, 행위자가 해당 실천을 의미 있게 인식할 수 있도록 촉진하거나 방해하는 요인에 의해 영향을 받는다.
  • 실천의 통합성(coherence)을 생산하고 재생산하려면, 행위자들이 집단적으로 의미를 부여하는 투자가 필요하다.

🔹 Cognitive Participation (인지적 참여)

  • 정기적 내재화는, 실천에 참여하는 행위자들을 정의하고 조직하는 작업에 의존한다.
  • 참여는, 행위자들의 참여를 촉진하거나 억제하는 요인에 의해 형성된다.
  • 실천의 생산과 재생산에는, 행위자들이 집단적으로 헌신(commitment)하는 투자가 필요하다.

🔹 Collective Action (집단적 실행)

  • 정기적 내재화는, 실천을 정의하고 실행 가능하도록 조직하는 작업에 의존한다.
  • 이 작업은, 행위자의 실행을 촉진하거나 억제하는 요인에 의해 영향을 받는다.
  • 실천의 생산과 재생산에는, 행위자들이 집단적으로 노력(effort)을 투자해야 한다.

🔹 Reflexive Monitoring (성찰적 모니터링)

  • 정기적 내재화는, 실천에 대한 일상적 이해를 정의하고 조직하는 작업에 의존한다.
  • 이러한 작업은 실천에 대한 평가(appraisal)촉진하거나 방해하는 요인에 의해 형성된다.
  • 실천의 생산과 재생산에는, 행위자들이 해당 실천의 이해에 집단적으로 투자하는 것이 필요하다.

 

Med Teach2025 May 29:1-14. doi: 10.1080/0142159X.2025.2505122. Online ahead of print.

GPT-4 versus human authors in clinically complex MCQ creation: A blinded analysis of item quality

 

 

🧠 GPT-4, 의학 객관식 문제도 잘 만든다고?!

– 전문가 수준 문항, 어디까지 따라잡았을까?

의학교육에서 가장 흔하게 쓰이는 평가 방법 중 하나가 객관식 문항(MCQ, Multiple Choice Question)이죠. 그런데 이 문항을 만드는 건 생각보다 꽤 어렵고 시간도 많이 듭니다. 그래서 요즘 많은 의학교육자들이 궁금해합니다.

🤖 “AI가 객관식 문항을 만들어줄 수 있다면 얼마나 좋을까?

 

이 질문에 답하고자, 호주 애들레이드 대학교 연구진은 GPT-4가 생성한 MCQ의 구조적 품질(structural quality)이 과연 전문가와 비슷한 수준인지 본격적으로 비교해봤습니다.


🔍 연구는 어떻게 했을까?

연구진은 총 125개의 객관식 문항을 비교했습니다.

  • 40개GPT-4가 만든 문항
  • 40개는 의대생이나 전공의 같은 초심자(novice)가 만든 문항
  • 45개의학교육 전문가들이 만든 문항

각 문항에는 보기 5개와 해설까지 포함되어 있었고, 내용의 정확성(content validity), 문항 구성(item anatomy), 인지 수준(cognitive skill level) 같은 기준으로 꼼꼼히 평가했어요.


💡 연구진의 주요 발견은?

연구팀은 다음과 같이 말합니다:

"GPT-4 is capable of producing comparable quality items in most instances and outperforms human novices in this task."
GPT-4는 대부분의 경우에서 전문가와 비슷한 수준의 문항을 만들 수 있었고, 초심자보다는 더 나은 성과를 보였다.

 

그리고,

"These findings indicate that the quality of AI-generated MCQs are on the whole satisfactory, indicating their validity."
AI가 만든 객관식 문항은 전반적으로 만족스러운 수준이며, 평가의 타당성도 갖추고 있다.


✅ 특히 주목할 만한 점

  • GPT-4가 만든 문항 중 85%는 소폭 수정만으로도 사용 가능
  • 95%는 고차원적 인지 기능(higher-order cognitive skills)을 평가할 수 있는 수준
  • 내용 타당도(content validity) 평균 점수: 3.7/4
  • 문항 구성(item anatomy) 평균 점수: 3.9/4

👀 이런 수치는 GPT-4가 생각보다 "진짜 잘 만든다!"는 걸 보여주는 결과입니다.


⚠️ 하지만 이런 한계도 있었어요

연구진은 GPT-4가 만든 문항 중 약 15%는 ‘대폭 수정 없이는 사용 불가능’하다고 평가했습니다.

또한,

  • 정답이 잘못된 문항도 7개 중 1개 비율로 있었고
  • 정답이 C번 보기로 쏠리는 편향(middle bias)도 나타났어요.

"1 in 7 AI-generated items were deemed unfit for use without major edits... and almost half (45%) had correct answers default positioned as option C."

이건 AI가 기존에 학습한 편향된 자료를 그대로 반영했을 수 있다는 걸 의미하죠.


🎓 교육적으로 어떤 의미가 있을까?

연구진은 GPT-4의 해설(explanatory feedback)이 학습에 도움이 될 수 있다고 봅니다.

"Explanatory feedback to MCQs may enhance the acquisition or consolidation of contextualized knowledge and clinical reasoning for learners, functioning as a ‘virtual teaching assistant’."

즉, GPT-4가 만든 해설은 학생들에게 ‘가상의 튜터’처럼 작용해서, 임상 추론(clinical reasoning)을 돕고 맥락 있는 지식을 정리하는 데 기여할 수 있다는 것이죠.


🔧 어떻게 활용하면 좋을까?

연구진은 ‘샌드위치 접근법(sandwich approach)’을 제안합니다.

🥪 프롬프트 설계는 인간이,
AI가 문항을 생성하고,
전문가가 결과물을 검토하는 방식.

"This AI-human interaction in MCQ generation can be conceptualized as a ‘sandwich’ approach."

이런 식의 협업이라면, 기존 방식 못지않게 좋은 품질의 문항을 만들 수 있다는 거죠.


🧭 앞으로의 연구 방향은?

앞으로는…

  • GPT-4 말고 다른 LLM들도 비교해보기
  • 임상 이미지를 포함한 문항 설계 실험
  • AI 해설이 실제 학습에 미치는 영향 분석
  • AI에게 핵심 학습 포인트(key learning point)를 생성하게 해보기

다양한 연구가 가능하다고 합니다.


🧩 마무리 정리

이 논문은 우리에게 이렇게 말해줍니다:

🎯 AI는 객관식 문항 작성에서 전문가에 근접하는 결과를 낼 수 있다.
⚠️ 하지만 검토 없이 쓰기엔 아직 이르다. 전문가의 개입은 여전히 필수!

 

GPT-4는 강력한 도구가 될 수 있지만, AI와 인간이 협력하는 방식을 고민하고 설계하는 게 의학교육자들의 몫인 시대가 온 것 같습니다.

 


서론 (Introduction)

 

의학교육에서 객관식 문항(MCQ, Multiple Choice Question)은 매우 일반적으로 사용되는 평가 방식이며, 폭넓은 내용을 효율적으로 평가할 수 있으며, 잘 설계된 경우 고차원적 인지 능력도 주관식 형식만큼 효과적으로 평가할 수 있다¹⁻³. 그러나 고품질의 맥락 중심 문항을 제작하기 위해서는 전문가의 시간과 전문성이 상당히 요구되며, 이로 인해 최신화된 평가 문항 은행을 개발하고 유지하는 것은 기관에 지속적인 도전과제가 된다. 문항 부족은 종종 교수진이 이전 문항을 그대로 재사용하게 만들고, 이는 학생들이 개념적 이해보다는 암기 위주의 학습 전략을 택하도록 영향을 미칠 수 있다⁴⁻⁵. 또한 문항 작성 결함(IWFs, Item-Writing Flaws)이 있는 저품질 문항의 사용은 평가의 타당성을 저해할 수 있으며⁶⁻⁷, 때로는 우수한 성취를 보이는 학생에게 더 큰 불이익을 줄 수 있다⁸.

 

표준적인 평가 문항 제작 절차는 본질적으로 많은 자원을 소모하며, 산출물의 품질도 기관에 따라 크게 다르다. 교수 대상의 목표 기반 연수⁹⁻¹⁰동료 간 검토¹¹⁻¹² 같은 근거 기반 개입은 문항의 질을 높일 수 있지만, 동시에 자원 소모를 더 키운다. 이러한 한계는 대규모 문항 생성을 위한 대안적 접근을 탐색하게 만들었으며, 학생 작성자(student authors)의 활용¹³⁻¹⁴나 최근에는 인공지능(Artificial Intelligence, AI) 활용으로 이어지고 있다.

 

대형 언어 모델(LLM, Large Language Model)은 방대한 양의 텍스트를 학습한 인공신경망 기반 AI로서, 콘텐츠 생성 등 자연어 처리 작업을 수행할 수 있다. 특히 OpenAI의 ChatGPT(Chat Generative Pre-trained Transformer) 공개 이후, LLM의 기능과 활용에 대한 관심이 급증하였고, 이는 점점 더 많은 연구로 이어지고 있다. 의학교육 분야에서도 LLM이 의학 관련 시험의 객관식 문항을 얼마나 잘 푸는지에 대한 연구가 활발히 진행되고 있으며¹⁵⁻¹⁷, 이 외에도 AI를 활용한 MCQ 문항 생성이 평가 콘텐츠 개발의 어려움을 해결하려는 매우 매력적인 방안으로 주목받고 있다.

 

그러나 어떠한 신기술도 실제로 활용되기 전에는 철저한 검증 과정이 필수적이며, 특히 평가가 학습자 역량 검증과 자격 부여에 핵심 역할을 하는 의학교육에서는 더욱 그러하다. MCQ 평가의 타당성은 구조적(structural) 및 심리측정학적(psychometric) 분석을 통해 평가할 수 있다.

  • 구조적 특성에는 인지 복잡성, 문항 작성 오류(IWF), 문항의 구성 등이 포함되며,
  • 심리측정적 특성에는 문항 난이도, 변별도, 오답 선택지의 효율성 등이 있다.

AI 기반 문항의 평가 타당성에 대한 근거는 아직 초기 단계다. 초기 연구들은 ChatGPT를 활용한 MCQ 생성의 가능성을 탐색했지만, 연구 방법과 질이 다양하고 문항의 질에 대한 결과도 일관되지 않다¹⁸. 특히 구조적 특성에 대한 평가는 제한적이며 일관되지 않게 수행되어 왔다. 최근 Kiyak과 Emekli는 ChatGPT 기반 MCQ 문항의 타당성을 '프롬프트 엔지니어링(prompt engineering)'의 관점에서 검토한 신속 검토(rapid review)를 수행하였다¹⁹. 프롬프트 엔지니어링이란 사용자 입력을 반복적으로 조정해 LLM의 응답을 최적화하는 과정으로, AI 생성 콘텐츠의 질에 영향을 주는 중요한 요소로 알려져 있다²⁰⁻²¹.

 

프롬프트 구성은 매우 다양하게 이루어져 왔으며, 입력 텍스트의 길이와 성격에서도 차이가 크다. 예를 들어, Klang 등²²은 ChatGPT-4에 실제 시험 전범위를 입력하여 210개의 문항을 생성하였고, 전문 임상의가 이 문항들이 AI가 만든 것임을 모른 채 평가한 결과, 약 15%는 구조적 수정이 필요했으며(외과는 30%, 정신과는 0%), 한 문항(0.5%)은 완전히 무효하다고 판정되었다. 반면 Ayub 등²³은 ChatGPT-3.5로 생성된 40개의 피부과 문항 중 60%가 정확성, 복잡성, 명확성의 문제로 인해 시험에 적합하지 않다고 평가하였다.

 

AI 생성 문항의 정확성에 문제를 일으키는 주요 요인 중 하나는 바로 ‘환각(hallucinations)’이다. 이는 LLM이 실제 존재하지 않는 정보나 잘못된 내용을 마치 사실인 것처럼 그럴듯하게 생성하는 현상을 의미한다. 보건의료처럼 안전이 매우 중요한 분야에서 이러한 오류는 용납될 수 없으며, 심각한 위험을 초래할 수 있다²⁴.

 

 

AI가 생성한 객관식 문항(MCQs)의 질을 평가한 연구들은 평가 방법에서도 큰 다양성을 보인다. Kiyak과 Emekli는²⁹ 다음과 같이 다양한 접근법이 사용되었음을 보고했다. 예를 들어, 비공식적 검토부터 시작해서, 2~6명의 평가자 패널이 참여하는 전문가 평가까지 포함되며, 평가자들은 AI 생성 여부에 대해 블라인드 또는 비블라인드 상태로, 정성적 기준 또는 사전 정의된 평가 기준을 사용하였다. 대부분의 연구들은 정확성과 문항을 실제 시험에 사용 가능하도록 만들기 위해 필요한 수정 정도에 초점을 맞추었으며, 인지적 수준, 구조적 결함, 문항 구성요소 등은 덜 빈번하게 검토되었다. 예를 들어, Ngo 등²⁵은 AI가 생성한 면역학 문항 60개를 자체 정의한 정확성과 편집 기준을 바탕으로 평가하였으며, 전체의 68%가 부정확하거나, 오해의 소지가 크거나, 상당한 수정이 필요하다고 판정되었다. 이에 반해, Rezigalla²⁶는 전문가들이 문항작성 가이드라인에 기초한 8문항 체크리스트를 사용해 AI 생성 문항을 평가한 결과, 전체적인 문항 질이 ‘좋음’에서 ‘우수함’ 사이에 해당한다고 결론지었다.

 

문항의 복잡성(complexity)을 어떻게 고려할 것인가에 대해서도 연구들 간 이질성이 매우 크다. 복잡성은 AI 문항 생성 결과에 영향을 미치는 잠재적 요인으로 간접적으로 언급되어 왔지만, 체계적으로 평가된 바는 드물다. 예를 들어, Benitez 등²⁷은 AI가 생성한 USMLE 스타일의 문항이 일반적으로 ‘낮은 수준(low-order)’의 복잡성을 가진다고 보고했으며, Doggett 등²⁸도 예과 및 임상 학생 대상 문항 200개를 분석한 결과 유사한 경향을 확인하였다. 다른 연구들 역시 임상 추론이 요구되는 고차원 문항 생성이나²⁵, 전공의 수준(postgraduate level)에 적합한 문항 생성에서 AI가 한계를 드러낸다고 보고하였다²³. 이러한 결과는 AI 생성 MCQ가 사용자 프롬프트의 구성, 주제 내용, 인지적 복잡성, 평가 방식 등에 따라 질이 크게 달라질 수 있음을 보여준다.

 

더불어, 현재까지는 AI가 생성한 문항과 인간이 생성한 문항 간의 구조적 특성을 직접 비교한 연구는 거의 없다. Cheung 등²⁹은 ChatGPT와 교수진이 각각 작성한 문항 50개씩을 사용해 블라인드 전문가 평가를 실시하였으며, 문항의 적절성, 명확성, 관련성, 변별력, 대학원 수준 적합성에 대해 유사한 평균 점수를 보였다고 보고하였다. 그러나 개별 항목별 비교에서는 인간이 작성한 문항이 대체로 우세하였고(누적 평점 기준으로 60%에서 우위), AI 문항은 항목별 점수의 변동성이 더 컸다. 반면 Coskun 등³⁰은 ChatGPT와 인간이 각각 작성한 임상 사례(clinical vignettes)를 평가하기 위해 학생들에게 10개의 문항에 대해 리커트 척도로 응답하게 하였고, 양 그룹 모두 유사한 문항 질을 보였다고 보고하였다.

 

이러한 연구들은 AI가 생성한 문항을, 문항작성 경험이 있는 교수급 전문가들이 만든 문항과 비교하고 있으며, 인간 생성 문항 중에서도 학생이 만든 문항은 인지적으로 도전적인 요소를 가질 수 있다³¹는 점이 알려져 있으나, 전체적인 질은 교수 문항과 차이를 보인다¹³. 그러나 AI가 생성한 문항이 초심자(novice)와 전문가(expert) 문항 작성자 사이에서 어느 위치에 놓이는지는 아직 불분명하다.

 

AI 기반 MCQ 콘텐츠는 학생들의 학습을 지원하는 도구로도 잠재력을 지닌다. 최근 부상하는 활용 중 하나는, 교수가 작성한 MCQ에 대해 AI가 해설을 제공하는 방식으로, 이 해설이 충분히 정확하다면 학생들에게 유용한 학습 도구가 될 수 있다³². 하지만 특히 복잡도가 높은 MCQ에서 AI 해설이 임상적 추론을 제대로 포함하고 있는지를 평가하는 후속 연구가 필요하며, 이를 통해 교육적 활용 가능성을 검토해야 한다.

 

지금까지의 근거들을 종합해보면, AI가 생성한 의학 MCQ의 구조적 질에 대한 이해에는 상당한 공백이 존재함을 알 수 있다.

  • 첫째, MCQ의 구조적 질을 포괄적으로 평가할 수 있는 검증된 표준화 프레임워크가 존재하지 않는다. 이는 아마도 MCQ가 다양한 맥락에서 다르게 사용된다는 특성 때문일 수 있으며, 보편적 기준을 설정하기 어렵게 만든다. 예를 들어, 임상의학에서는 맥락이 풍부한 문항(context-rich items)이 고차원적 임상 추론을 평가하기 위해 설계되지만, 기초의학에서는 기억 기반 문항이 주를 이루는 경향이 있으며, 이는 문항의 구성요소에 부여되는 상대적 중요도(weighting)에도 영향을 미친다.
  • 둘째, AI 문항 연구들 대부분은 문항이 저복잡도 또는 고복잡도 개념을 평가하는지에 따른 구조적 평가를 구분하지 않는다. 그러나 의학교육에서는 고차원적 역량을 평가하기 위해 복잡한 시나리오 또는 임상 사례 기반 문항이 일상적으로 사용되며, 이와 관련해 AI가 생성한 문항과 해설이 자격검증(certificate) 또는 학습 목적으로 어느 정도 역할을 할 수 있는지를 집중적으로 탐구해야 한다.
  • 마지막으로, AI 문항과 인간 전문가/교수진 문항의 구조적 특성을 비교한 연구가 부족하다. 특히 AI 기반 MCQ 연구에서는 프롬프트 구성 방식과 참고자료 사용 여부 등 입력 조건이 크게 다양하며, 그 결과로 산출물의 질도 일관되지 않다. 이러한 공백을 고려하여, 본 연구는 임상적으로 복잡한 AI 생성 MCQ의 구조적 특성에 대한 문헌의 부족을 해결하고자 하며, 학부 수준 의학 자격검정에 해당하는 폭넓은 의학 전공 분야를 포괄적으로 탐색하고자 한다. 이러한 구조적 특성에 대한 깊이 있는 이해는 AI 생성 MCQ가 인간이 만든 문항과 어떻게 비교될 수 있는지를 규명하고, 궁극적으로는 AI가 실제 의학 평가 현장(예: 문항 생성)에 어떻게 통합될 수 있을지를 결정하는 데 기여할 수 있을 것이다.

 

 

연구 목적 (Aim)
임상적으로 복잡한 객관식 문항(clinically complex MCQs)과 그에 대한 해설 문항(explanatory feedback)의 구조적 질(structural quality)을 인간(초심자 및 전문가 수준의 문항 작성자)과 Generative Pre-trained Transformer 4(GPT-4)가 작성한 문항 간에 평가하고 비교하는 것이 본 연구의 목적이다.


연구 질문 (Research Question)
GPT-4가 생성한 임상적으로 복잡한 MCQs 및 해설 문항의 구조적 질은, 초심자(novice) 및 전문가(expert) 수준의 인간 작성자와 비교할 때 어떠한가?


자료 및 방법 (Materials and Methods)
이 연구는 혼합 방법론(mixed-methods)을 사용하여 AI가 생성한 MCQs의 구조적 질인간이 작성한 문항과 비교하여 비판적으로 평가하고자 수행되었다. AI 문항은 전향적으로(prospectively) 생성되었으며, 인간 작성 문항은 기존 문항 은행에서 후향적으로(retrospectively) 추출되었다. 사용된 방법에 대한 개요는 그림 1(Figure 1)의 플로우차트(flowchart)에 요약되어 있다.

그림 1. 본 연구에서 사용된 방법 요약 플로우차트 (Figure 1. Flowchart summary of method used in this study)


문항 구조 및 시험 계획표(test blueprint) 구성
문항 형식은 단일 정답형(single-best-answer) 객관식 문항으로 구성되었으며, 각 문항은 다음과 같은 구성요소를 포함하였다:

  • 맥락이 충분히 제시된 문제 제시문(contextual stem)
  • 질문(question)
  • 5개의 선택지(options) (정답 표시 포함)
  • 정답과 오답에 대한 논리를 서술하는 해설(explanatory text)

표준 MCQ에서는 해설 문항이 필수적으로 포함되지 않기 때문에, 해설은 다른 문항 구성 요소와 분리되어 별도로 평가되었다.

특정 분야의 심화보다는 다양한 의학 분야의 폭넓은 주제 포괄을 우선시하였는데, 이는 졸업 시점의 의대생이 접하게 될 의학 내용의 단면을 반영함으로써 문항 샘플의 타당도(validity)를 높이기 위한 전략이었다. 이를 위해 의학(Medicine), 외과(Surgery), 소아과(Pediatrics), 여성 건강(Women’s Health), 정신과(Psychiatry), 공중보건(Population Health), 일반진료(General Practice)를 포함하는 균형 잡힌 콘텐츠 범위를 보장하도록 시험 계획표(test blueprint)를 설계하였다.

 

125개의 문항이 포함되었으며, 그 구성은 다음과 같다:

  • GPT-4가 생성한 문항: 40개
  • 초심자 수준 인간 작성자 문항: 40개
  • 전문가 수준 인간 작성자 문항: 45개

전문가 문항이 상대적으로 더 많이 포함된 이유는, 향후 모의시험(mock examination)에서 사용할 문항을 선별하기 위해, 일정 수준 이상의 문항만 포함되도록 여유분(redundancy)을 확보하기 위한 목적이었다. 시험 계획표의 발췌 내용은 부록 1(Appendix 1)에 제시되어 있다.


표준화된 평가 기준 개발 (Development of a standardized scoring system)
MCQ의 구조적 질을 포괄적으로 평가할 수 있는 공인된 평가 체계가 발표된 바 없기 때문에, 본 연구에서는 인간 및 AI 문항을 일관성 있게 평가하기 위한 표준화된 평가 체계(채점 기준, rubric)를 전문가 패널이 개발하였다.
이 체계는 다음과 같은 문헌들을 바탕으로 구성되었다:

  • 정확성과 수정 여부를 기준으로 MCQ의 구조적 질을 평가한 기존 연구들¹⁷⁺²⁵⁺²⁹⁺³³

6명의 저자 패널은 교육, 문항 작성, 임상의학, 기술에 걸친 전문성을 갖추고 있다:

  • HW, SCK, PD는 의과대학 교수이며
  • DL, EP는 교육학 교수이다.
  • HW, TZ, SCK, PD는 모두 의사(medical doctors)이고
  • TZ는 소프트웨어 개발자이기도 하다.
  • 모든 저자들은 의학 또는 고등교육 분야에서의 문항 작성 경험을 갖고 있다.

개발된 채점 기준(rubric)은 다음 요소들을 포함하였다:

  • 내용 타당도(content validity): 사실 정확성, 현실성과의 일치(fidelity and realism) 포함
  • 문항 범위(scope)
  • 문항 구성의 적절성(item anatomy)
  • 특정 문항 작성 오류(IWFs)
  • 인지 기능 수준(cognitive skill level)

이 루브릭은 수정된 블룸의 인지분류체계(modified Bloom’s taxonomy)와 문항 작성 지침(item-writing guidelines) 등 근거 기반 프레임워크(evidence-based frameworks)에 근거하여 구성되었으며³⁴, 표 1–3(Tables 1–3)에 제시되어 있다. 또한, 졸업시험에 사용할 수 있을 정도로 문항이 적절한지 여부를 판단하는 전반적 인상(global impression) 기준도 포함하였다.

 

 

 

이와는 별도로 각 문항의 해설 텍스트(explanatory feedback)에 대해서는 임상 추론을 포함한 정보의 충실도(comprehensiveness), 사실성(veracity), 논리적 연결성(articulation of clinical reasoning)을 기준으로 이차 평가(secondary evaluation)를 수행하였다. 패널은 각 평가 요소별 점수를 독립적으로 산정하는 방식이 가장 적절하다고 판단하였으며, 총점으로 환산하거나 가중치를 부여하지 않기로 결정하였다. 이 루브릭은 이후 GPT-4 산출물의 다양성(Variability of GPT-4 outputs) 항목에서 설명하는 샘플 문항을 통해 파일럿 테스트되었다.


인간이 작성한 MCQs – 초심자(Novice)와 전문가(Expert)
“Human-generated MCQs – Novice and Expert”


총 85개의 인간 작성 객관식 문항(MCQ)은 호주의 상업용 의학교육 제공업체인 eMedici2 Pty Ltd(Adelaide, Australia; https://emedici.com)에서 기존에 구축된 콘텐츠 은행에서 확보되었다. 해당 콘텐츠는 의과대학생 및 전공의(junior doctors)가 제출한 문항을 바탕으로 하며, 동료 평가(peer review), 전문가 임상의 평가, 편집 승인이라는 절차를 거쳐 채택된다. 문항 제출 당시, 작성자들에게는 스타일과 문항 구성요소(item anatomy)에 대한 지침이 포함된 자세한 문항 작성 가이드라인이 제공된다.

 

문항 은행의 모든 항목은 의학 분야, 주제(topic), 인지 기능 수준(cognitive skill level)에 따라 수정된 블룸 분류체계(modified Bloom’s taxonomy)를 기준으로 미리 분류되어 있으며, 이러한 분류 기준에 따라 고차원적 인지 기술(higher-order cognitive skills)을 평가하는 문항만 본 연구에 포함될 수 있었다. 각 문항은 주제에 기반하여 무작위로 선택되었고, 이 과정에서 두 명의 연구자가 문항의 실제 내용을 블라인드 상태로 유지하였다.

 

85개의 인간 문항 중 40개는 편집 과정이나 동료 검토를 거치지 않은 문항으로, 문항 작성 초심자(Novice) 수준으로 분류되었고, 45개는 전문가(subject matter expert)의 편집 또는 승인을 거친 것으로, 전문가(Expert) 수준으로 분류되었다. 이러한 문항들은 본 연구의 시작 시점 이전에 이미 작성된 것이기 때문에, 연구 참여자에게 ‘연구 목적으로 문항을 생성해달라’고 지시하는 경우 발생할 수 있는 잠재적 편향(bias)을 줄일 수 있다는 장점이 있다. 각 그룹 간의 문항 주제 영역은 일치시켜 구성하였다.

 

이 연구에서 사용된 MCQ들은 향후 연구 참여자를 대상으로 한 모의시험(mock examination)에서 문항의 심리측정학적 특성(psychometric characteristics)을 평가하는 데 사용될 예정이었으며, 이는 본 연구에서 AI, 초심자, 전문가 문항을 총 125개로 분석하는 실용적 결정을 뒷받침한 배경이다.


AI가 생성한 MCQs
AI-generated MCQs


본 연구에서는 GPT-4 (모델 번호: gpt-4-0125-preview)를 사용하였으며, 이는 Massive Multi-task Language Understanding 벤치마크에서 우수한 성능을 보인 모델로 보고되었기 때문이다³⁵. 문항 생성은 프롬프트(prompt)와 핵심 학습 포인트(key learning point)를 기반으로 사전 구성된 스크립트를 GPT-4에 적용하여 비감독 방식(unsupervised fashion)으로 생성되었다. 즉, AI가 생성한 문항에 대해 이후 인간이 개입하거나 반복 수정(iteration)을 하지 않았으며, 모든 연구 저자는 생성된 문항의 내용을 블라인드 상태로 유지하였다.


프롬프트 엔지니어링 (Prompt Engineering)

 

GPT-4를 위한 맞춤형 프롬프트(prompt) 구성은 앞서 언급한 6인 전문가 패널(author team)이 진행한 3회의 참조 집단 회의(reference group meetings)를 통해 이루어졌다. 목표는 GPT-4가 고차원적 인지 기능을 평가하는 구조적으로 완성도 높은 문항을 생성할 수 있도록 설계된 범용 템플릿(generic prompt template)을 개발하는 것이었으며, 다양한 학습 포인트나 문항 주제에 손쉽게 적용할 수 있도록 인간 개입을 최소화하는 방향으로 제작되었다.

 

프롬프트는 반복적으로 개선되었으며, 각 출력 결과에 대해 주관적 평가를 거쳐 질이 최고 수준(ceiling point)에 도달할 때까지 조정되었다. 최종 프롬프트 템플릿에는 다음과 같은 항목이 포함되었다:

  • MCQ의 맥락(setting)과 대상 학습자(target audience)에 대한 정보
  • 기본적인 문항 구성 요건(item anatomy)을 충족하기 위한 임상 시나리오의 포함 및 제외 요소
  • 문항 작성 오류(IWFs)를 피하기 위한 조언 (Haladyna 외의 문항 작성 가이드라인 전체 분류체계에 근거하며, 표 3(Table 3)에 제시됨)
  • 질문 선택지의 수 및 오답 선택지(distractors)에 대한 지침
  • 정답 및 오답에 대한 임상적 추론(clinical reasoning)을 포함한 해설 작성 지침
  • 최근 동료심사(peer-reviewed) 논문에 대한 인용 요청
  • 다양한 의학 주제를 아우르는 고품질 MCQ 5개의 예시
  • 문항 주제(topic)가 포함된 사실 진술 형태의 핵심 학습 포인트 (시험 계획표 Appendix 1과 일치)

GPT-4 출력의 다양성과 평가 기준 파일럿 테스트
(Variability of GPT-4 Outputs and Piloting of Standardized Scoring System)

 

GPT-4 인터페이스에는 ‘temperature’라는 입력 변수(parameter)가 있으며, 이는 생성된 텍스트의 창의성과 다양성 정도를 조절하는 요소다. 이 값은 0부터 2까지 범위를 가지며, 값이 낮을수록 출력이 더 일관성 있게 생성된다. 현재까지는 의학 MCQ 생성에 이상적인 temperature 값이 무엇인지 밝혀지지 않았으며³⁶, 이는 교육 맥락에 따라 다를 가능성이 있다.

 

본 연구의 재현성을 극대화하기 위해 temperature 값은 0.0으로 설정하였다. 이를 바탕으로 출력의 예측 가능성을 확인하기 위해, 6개의 학습 포인트에 대해 프롬프트 수정을 하지 않고 연속으로 3개의 출력을 생성하였다. 이렇게 생성된 총 18개 문항은 우선 5인의 연구진 합의 패널에 의해 루브릭(rubric)을 사용하여 평가되었다. 이후 6번째 연구자(SCK)가 독립적으로 점수를 다시 검토하였다. 이 절차는 루브릭 사용에 대한 평가자 훈련(rater training) 역할도 수행하였다. 채점 상의 차이점은 토의를 통해 해결하였으며, 그 결과는 부록 2(Appendix 2)에 제시되어 있다.


GPT-4 생성 문항에서 인용된 참고문헌의 진위 여부 평가 (References)

 

GPT-4가 생성한 해설에서 제시된 참고문헌의 진위(veracity) 역시 위에서 설명한 ‘출력 다양성 테스트’ 문항 18개를 대상으로 평가되었다. 각 문헌은 다음의 기준에 따라 평가되었다:

  • 문헌이 실제 존재하며(real), 해당 MCQ와 관련성이 있고(relevant), 형식이 갖춰져 있으며(formatted), 동료심사를 거쳤는지(peer-reviewed).

평가는 1점(기준을 전혀 충족하지 않음)부터 4점(기준을 완전히 충족함)까지의 4점 척도로 이루어졌으며, 문헌 내의 구체적 오류도 별도로 문서화되었다.

 


문항 평가 – 합의 패널 점수화 (Item Appraisal – Consensus Panel Scoring)

 

AI 및 인간이 작성한 모든 문항은 통합(pooling)된 뒤, 문항의 출처를 블라인드 처리한 상태에서 사전 정의된 채점 기준표(scoring rubric)에 따라 무작위 순서(random order)로 5인의 합의 패널(consensus panel)이 평가하였다. AI 문항은 사전 검토나 반복 수정(iteration) 없이 원본 그대로(de novo) 사용되었고, 초심자(Novice) 및 전문가(Expert) 문항에 대해서도 연구 과정 중 추가적인 검토는 이루어지지 않았다. 중복 문항 1개는 확인되어 분석에서 제외되었다.

 

평가 패널은 각 문항의 루브릭 개별 기준 항목에 대해 전문가적 판단(expert judgment)을 바탕으로 채점하였다. 본 연구에서 사용된 초심자, 전문가, AI 생성 문항의 예시는 부록 3(Appendix 3)에 제시되어 있다.

 

같은 전문가적 판단 기준은 전반적 인상(global impression) 항목에서도 적용되었으며, 다음과 같이 네 가지로 구분하여 평가되었다:

  • 즉시 사용 가능(fit for use)
  • 소폭 수정 필요(minor revision)
  • 대폭 수정 필요(major revision)
  • 복구 불가능(unsalvageable)

각 등급에 해당하는 문항 예시는 부록 4(Appendix 4)에 수록되어 있다. 채점상의 이견은 패널 간의 구두 토론(verbal discussion)을 통해 조율되었다.


윤리 승인 (Ethics Approval)
이 프로젝트는 애들레이드 대학교 인간 연구 윤리위원회(University of Adelaide Human Research Ethics Committee)로부터 승인(HREC-2023-285)을 받았다.


자료 분석 (Data Analysis)
이 연구에서는 식별 가능한 데이터(identifiable data)가 포함되지 않았다. 문항 질을 평가한 평균 점수는 작성자 유형별(author type)로 비교되었으며, ANOVA 분석 후 사후 검정(post-hoc tests)으로 Bonferroni 또는 Tamhane 방식을 사용하였다. 분산이 2배 이상 차이날 경우에는 Tamhane 검정을 적용하였다. 다음과 같은 지표의 분포가 백분율(%)로 요약되어 제시되었다:

  • 전반적 인상 점수(global impression scores) (해설 포함 및 제외 모두 분석)
  • 문항 작성 오류(IWFs)
  • 인지 기능 수준(cognitive skill level)
  • 정답의 위치와 식별 정확도
  • 참고문헌의 질적 평가 결과

정답 위치의 분포 차이 분석에는 독립 비율 검정(independent proportions test)이 사용되었으며, 통계적 유의성 수준은 p < 0.05로 설정되었다.

 

 

결과 (Results)

 

문항 질 평가 – 개별 구조적 특성 (Item Quality Evaluation – Individual Structural Characteristics)

 

문항의 출처별(초심자, 전문가, AI) 점수화 결과는 그림 2(Figure 2)에 요약되어 있다. 초심자 항목 중 중복된 문항 1개가 분석 전에 확인되어 제외되었으며, 초심자 집단에서는 총 39개 문항이 분석되었다.

그림 2. 작성자 집단별 문항 질 점수 요약 및 데이터 표 (Figure 2. Item quality scores by author group, with data table)



전문가(Expert)가 작성한 문항은 대부분의 항목에서 초심자(Novice) 문항보다 우수한 것으로 평가되었으며, ‘문항 범위의 적절성(scope)’과 ‘해설의 충실도(comprehensiveness of explanatory text)’에서는 세 그룹 간 차이가 없었다.
전문가 문항은 내용 타당도(content validity) 평균 점수에서 AI 문항보다 다소 우위(3.98 vs 3.73, p < 0.001),
인지 기능 수준(cognitive skill level) (2.58 vs 2.25, p < 0.05),
해설의 사실성 및 임상 추론(veracity and clinical reasoning in feedback text) (3.96 vs 3.65, p < 0.001)에서 통계적으로 유의한 차이를 보였다.
반면, 문항 구성(item anatomy), 문항 범위(scope), 문항 작성 오류(IWF) 수, 해설의 충실도에서는 유의미한 차이가 없었다.

AI 문항은 문항 작성 오류 수(IWFs)에서 초심자 문항보다 다소 우수한 결과를 보였다 (0.80 vs 1.33, p < 0.05).
그 외 항목에서는 두 집단 간 유의한 차이는 관찰되지 않았다.


문항 질 평가 – 전반적 인상 (Global Impressions)

 

문항 구조에 대한 전반적 인상(global impression) 점수는 그림 3(Figure 3)에 요약되어 있으며, 각 점수는 빈도(n) 및 백분율(%)로 제시되었다.

그림 3. 집단별 문항 구조의 전반적 인상 점수 요약 및 데이터 표 (Figure 3. Summary of global impression scores for item structure, by group, with data table)




해설을 제외하고 분석한 경우, 전문가 문항의 95.5%가 사용 가능하거나 소폭 수정 후 사용 가능으로 평가되었고, AI 문항은 85%, 초심자 문항은 61.5%가 해당되었다. ‘복구 불가능(unsalvageable)’로 평가된 문항은 초심자 문항에만 포함되었으며(12.8%), AI 및 전문가 문항에서는 나타나지 않았다.

 

해설을 포함한 평가에서도 동일한 경향이 나타났으며, 전문가 문항 95.5%, AI 문항 85%, 초심자 문항 59%가 사용 가능 또는 소폭 수정 후 사용 가능으로 평가되었다.

 

집단 내 평균 점수를 보면, 해설 포함 여부와 관계없이 전문가 문항과 AI 문항 간의 전반적 인상 점수는 유사하였다. 그러나 AI와 초심자 문항 간의 전반적 인상 점수는 통계적으로 유의한 차이를 보였다 (해설 포함 시: 3.38 vs 2.77, p < 0.001; 해설 제외 시: 3.35 vs 2.69, p < 0.001).


추가 하위 분석 (Additional Subanalyses)

 

문항 작성 오류(Item-Writing Flaws, IWFs)

 

문항당 IWF의 수와 유형은 표 4(Table 4)에 제시되었다. 전체 IWF 발생률은 세 집단 간 차이가 작았으며 (전문가 0.8, 초심자 1.3, AI 0.8, p < 0.05), 초심자 문항은 ‘IWF가 전혀 없는’ 비율이 가장 낮고, ‘3개 이상 오류가 있는’ 비율이 가장 높았다. 모든 집단에서 가장 흔한 오류 유형은 ‘선택지 작성(writing the choices)’으로, 이는 표 3의 문항 작성 지침에 따른 분류 기준에 의거하였다.

표 4. 집단 간 문항 작성 오류 요약 (Table 4. Summary of item-writing flaws between groups)


인지 기능 수준(Cognitive Skill Level)

 

표 5(Table 5)는 집단별 문항의 인지 기능 수준 분포를 보여준다. 전문가 문항의 대부분은 수준 III, 초심자 및 AI 문항은 수준 II로 분류되었다. 수준 II와 III 모두 ‘고차원적 인지 영역(higher-order)’으로 간주된다. 그러나 초심자 문항은 수준 I으로 분류된 비율이 가장 높았다.

표 5. 블룸 수정 분류에 따른 인지 기능 수준 분포 (Table 5. Distribution of assigned cognitive skill levels vis a vis Bloom’s modified taxonomy)


정답의 사실성 및 위치(Correct Option Veracity and Placement)

 

작성자가 제시한 정답이 실제로 패널 합의에 의해 정답으로 확인된 비율은 전문가 문항 100%, 초심자 문항 90%, AI 문항 85%였다. 정답의 위치 분포에서도 유의한 차이가 나타났다 (표 6 참조). AI 문항의 45%, 전문가 문항의 33%는 정답을 선택지 C에 집중적으로 배치했으며, 이는 초심자 문항과 비교했을 때 통계적으로 유의한 차이를 보였다 (AI vs 초심자: p = 0.028; 전문가 vs 초심자: p = 0.002).

표 6. 정답 위치 분포 (Table 6. Distribution of correct option position)


참고문헌 (References)

 

GPT-4가 생성한 참고문헌의 질은 다양하게 평가되었다. 출력 다양성 테스트(variability testing)에서 생성된 18개 문항의 52개 참고문헌에 대해 점수를 부여한 결과, 평균 점수는 4점 만점 중 3.06점이었으며 (범위: 2~4점, 2점: 6건, 3점: 5건, 4점(완벽): 7건).

가장 흔한 오류는 다음과 같았다:

  • 잘못된 DOI(Digital Object Identifier)
  • 오래된 판본의 가이드라인 사용
  • 참고문헌 세부 정보 오류

이러한 오류의 유형은 표 7(Table 7)에 요약되어 있다.

표 7. GPT-4가 생성한 참고문헌 오류 유형 요약 (Table 7. Summary of types of errors in the references generated by GPT-4)

 

 

 

 

논의 (Discussion)

 

본 연구는 사전 학습된 생성형 인공지능(pre-trained generative AI)이 의학 객관식 문항(MCQs)을 생성할 수 있는 능력에 대한 점점 더 많은 근거들에 기여하며, 그 구조적 질(structural quality)이 전문가 문항 작성자와 대체로 유사한 수준임을 보여준다. 그러나 이러한 결과는 이 기술을 교육적으로 활용하고자 하는 교육자들에게 중요한 유의사항을 동반한다. MCQ는 여전히 의학교육에서 보편적인 평가 수단으로 자리잡고 있으며, 고품질 문항을 생성하는 데 요구되는 자원의 부담으로 인해 새로운 콘텐츠 생성 경로에 대한 탐색이 지속되어 왔다. 본 연구는 지금까지 발표된 바 중에서 GPT-4가 생성한 임상의학 MCQ에 대한 가장 포괄적인 평가에 해당하며, 전체적으로 AI 생성 MCQ 콘텐츠의 타당성(validity)을 시사하며, 교수진이 평가 문항을 개발할 때 AI를 활용할 가능성을 보여준다.

 

이 연구에서 MCQ 문항의 고유한 특성에 대한 정밀한 평가(granular appraisal)는 대략적인 질의 위계를 도출해냈다. 즉, 의대생이나 전공의가 작성하고 편집되지 않은 초심자 문항(Novice-authored items), GPT-4가 생성한 AI 문항, 그리고 전문가 및 숙련된 문항 작성자가 작성·편집·승인한 전문가 문항(Expert items) 순으로 질이 높게 나타났으며, 각 집단은 특정 구조적 특성에서 전 집단을 능가하거나 최소한 동등한 수준을 보였다. 본 연구에서 AI의 성능이 초심자와 전문가 사이에 위치한다는 발견은 새롭고 유용한 근거를 제공하며, 의학 지식, 임상 경험, 교육학적 훈련이 요구되는 고품질 MCQ 작성을 감안할 때 교육 전문가에게는 놀랍지 않을 수 있다. 이 논의에서는 먼저 초심자와 전문가 수준의 인간 문항 작성자의 특성을 기술하고, 이후 AI와 인간 전문가 그룹 간 비교, 마지막으로 AI 생성 문항의 세부 분석으로 이어진다.

 

먼저 인간 문항 작성자에 대해 살펴보면, 초심자 문항의 38.4%가 전반적 인상(global impression) 기준에서 ‘사용 부적합’ 또는 ‘대폭 수정 필요’에 해당하였고, 반면 전문가 문항의 95.5%는 ‘소폭 수정으로 사용 가능’ 또는 ‘즉시 사용 가능’으로 평가되었다. 이는 학생과 전문가가 작성한 MCQ의 질적 차이를 보여준 기존 연구 결과와 일치하며¹³, MCQ를 작성하는 학습 활동이 학습에 도움이 되는 것으로 알려져 있음에도 불구하고³⁷, 이러한 문항이 실제 평가 문항으로 사용되기 위해서는 신중한 검토와 수정 과정이 필요함을 강조한다. 이에 비해, AI가 생성한 문항 중 15%는 중대한 결함(critical flaws)이 있어 대폭 수정을 요하는 것으로 평가되었으며, 이는 아래에서 추가로 논의된다.

 

이제 AI 생성 문항과 전문가 문항 간 비교로 넘어가면, 본 연구 결과의 핵심은 GPT-4가 생성한 신규 문항(de novo AI items)의 전반적 인상 점수(3.38/4)가 전문가 문항(3.49/4)과 유사했다는 점에 있다. 세부 구조 항목별 비교에서는 내용 타당도(content validity), 인지 기능 수준(cognitive skill level), 해설의 사실성 및 임상 추론(feedback veracity and clinical reasoning) 등에서 경미한 통계적 유의차가 있었지만, 각 그룹의 점수가 모두 교육적으로 수용 가능한 수준 이상이었기 때문에 이러한 차이는 교육적 의미(educational significance)를 반드시 시사하는 것은 아니다. 그러나 전반적으로 유사한 인상 점수(global impression scores)를 고려할 때, AI가 생성한 문항을 인간의 개입을 통해 전략적으로 정제할 수 있는 특정 영역이 존재함을 시사한다.

 

기존의 비교 연구는 많지 않지만, 본 연구 결과를 지지하는 방향으로 보완적 역할을 한다. 예를 들어, 현재까지 확인된 유일한 유사 연구에서는, 동일한 주제를 다룬 MCQ에서 전문가가 AI보다 전반적 품질에서 우위를 보였지만, 집계 점수의 평균에서는 AI도 유사한 수준의 품질을 보였다고 보고되었다²⁹. 이전까지는 AI가 초심자(학생 혹은 수련의) 문항 작성자와 MCQ 생성이라는 과업에서 직접 비교된 바는 없었지만, GPT-4는 이미 여러 보고에서 의과대학 입학 또는 수료 시험에서 합격 수준의 성적을 기록한 사례들을 통해, 임상 MCQ 해석 능력이 인간 의대생 및 전공의와 비슷하거나 능가하는 경우가 있음이 반복적으로 입증되었다³⁸⁻⁴³. 이를 종합해 보면, GPT-4의 임상 MCQ 처리 능력은 학생/수련의와 전문가 사이에서 상위권에 위치할 가능성이 높음을 시사한다.

 

본 연구에서 생성된 AI 문항(AI-generated items)에 주목할 때, 이 기술이 의학 분야의 객관식 문항(MCQ) 작성에 적용될 수 있는지 평가하는 데 있어 주목할 만한 결과들이 다수 존재한다. AI 문항은 전체적으로 높은 품질을 보였으며, 85%가 소폭 수정만으로 사용 가능, 95%는 고차원적 인지 기능(higher-order cognitive skills)을 평가한다고 판단되었고(수정된 블룸 분류 체계 기준으로 수준 II 또는 III), 내용 타당도(content validity, 3.7/4), 문항 범위(scope, 4/4), 문항 구성(item anatomy, 3.9/4) 등에서도 우수한 평균 점수를 기록하였다. 이전의 비교되지 않은(non-comparative) 연구들은 AI가 생성한 MCQ의 질이 매우 다양함을 보고한 바 있으나¹⁸, 본 연구 결과는 GPT-4가 임상적으로 복잡한 내용을 다루는 전문가 수준의 문항을 생성할 수 있는 내재적 능력을 보유하고 있음을 지지한다.

 

이러한 높은 품질의 결과물 최적화된 프롬프트(prompt engineering)를 기반으로 하여, 우수한 문항 작성 원칙(item-writing principles)을 반영하고, 고품질의 예시 문항(high-quality example MCQs)과 명확하게 서술된 핵심 학습 포인트(key learning point)가 포함되었기 때문에 가능했으며, 이는 본 연구의 특징이자 기존 문헌에서도 강하게 지지되는 전략이다⁴⁴,⁴⁵. AI 기반 작업 흐름(workflow)의 초기 단계에서는 구조, 내용, 스타일에 대한 지역적 요구(local requirements)를 포함하는 프롬프트 개발집중적이고 의도적인 인간의 개입이 필수적이다. 한편, 임상 지식이 인코딩된 LLM(대형 언어 모델, Large Language Model)에 의존하는 일반화된 프롬프트(generic prompt)는 문항 작성 이후 단계에서 필요한 인간 개입의 정도를 최소화할 수 있다.

 

본 연구에서는 사실에 기반한 핵심 학습 포인트를 인간이 미리 제공함으로써, GPT-4에 긴 참고문헌(reference text)을 제공할 필요가 없었으며, 이는 문항 생성 효율성을 크게 향상시킬 수 있음을 보여주는 사례. 비록 본 연구에서는 AI가 핵심 학습 포인트를 생성하지는 않았지만, 이 역시 AI가 충분히 수행 가능한 작업이며⁴⁶, 향후 연구에서는 이를 프롬프트의 일환으로 통합하는 방향도 고려될 수 있다.

 

그러나 전체 시험의 평균 품질만으로는 충분하지 않으며, 의료와 같은 안전이 중대한(safety-critical) 분야에서는 개별 문항 수준에서도 높은 최소 품질과 정확성 기준을 충족해야 한다⁴². 이 관점에서 중요한 점은, AI가 생성한 문항 중 7개 중 1개(15%)는 전반적 인상 점수 기준으로 대폭 수정 없이는 사용 부적합으로 평가되었으며(인간 전문가 문항은 25개 중 1개), 7개 중 1개는 정답이 부정확하게 제시되었고, 거의 절반(45%)은 정답이 항상 선택지 C에 위치하였다. 또한, 문항 작성 오류(IWFs)는 모든 집단에서 관찰되었으며, 대부분은 ‘선택지 작성(writing the choices)’과 관련된 항목이었다.

 

이는 이전 연구에서 AI가 생성한 MCQ 해설 중 32–76%만이 유효(valid)하다고 평가되었던 결과⁴⁷와는 대비되며, 이는 GPT 엔진의 세대 간 개선 가능성을 시사할 수도 있다. 그럼에도 불구하고, 이러한 문제들은 수정 없이 남겨질 경우 평가 타당성(assessment validity)에 심각한 위협이 될 수 있으며, AI 문항을 실제 평가에 사용하기 전 반드시 전문가의 검토가 필요함을 강하게 시사한다. 이는 특히 자격 인증(certification)이나 학업 진급(academic progression)과 같은 고위험(high-stakes) 평가 문맥에서 핵심적 고려 사항이다.

 

이러한 문제의 일부는 GPT-4 자체의 기술적 한계에서 비롯될 수 있지만, AI 엔진이 학습 데이터(training data)의 결함을 반복 학습(recapture)했을 가능성도 매우 높다. 예를 들어, 객관식 문항에서 정답이 중간 위치(예: 선택지 C)에 몰리는 ‘중간 편향(middle bias)’은 잘 알려져 있는 현상이며⁴⁸, 이는 시험 전략적 접근(test-wiseness)을 통해 특정 수험생이 평가를 왜곡하는 오류 요인(error source)이 될 수 있다⁴⁹,⁵⁰. 이러한 경향은 AI의 학습 데이터에 이미 편향된 형태로 내재되어 있을 가능성이 높으며, 교육자들은 이 외에도 여러 잠재적인 편향(biases)에 대해 인식하고 있어야 한다⁵¹.

 

LLM이 생성한 데이터에 인종이나 성별과 관련된 편향(racial and gender biases)이 존재하며, 이는 건강 불평등(health inequities)에 영향을 미칠 수 있다는 점은 이미 잘 알려져 있다⁵²,⁵³. 따라서 의학교육자들은 LLM을 활용하여 교육 콘텐츠를 제작할 때, 이러한 알고리즘적 편향을 식별하고 선제적으로 대응해야 하며, 그렇지 않으면 학생들의 임상 실무(clinical practice)에까지 편향이 지속적으로 반영될 수 있다. 이러한 위험을 완화하기 위해서는 명시적 편향 평가(explicit bias assessments)가 도움이 될 수 있다⁵¹.

 

편향 문제를 넘어, AI를 교수진의 실제 작업 흐름(faculty workflow)에 통합하고자 한다면 여러 추가적인 요소들 역시 고려되어야 한다. 예를 들어, 학생 및 교수진의 수용성(acceptability)은 공정성(fairness)에 대한 인식이나 윤리적 공개(ethical disclosure) 요구에 영향을 받을 수 있다. 최근에는 투명하고 윤리적인 구현 과정의 중요성이 강조되는 공식적 가이드라인(formal guidance)이 등장하고 있다⁵⁴.

 

또한, AI 활용은 소프트웨어 개발 비용, 인적 자원(human resourcing), 교수진 연수(faculty training), 절차 유지(process maintenance) 등 재정적 요소(financial costs)도 함께 고려해야 한다. AI 활용이 일부 비용을 감소시키거나 재배분할 수는 있겠지만, 예를 들어 문항 작성에 대한 교수 연수(item-writing training)처럼 콘텐츠의 질을 보장하기 위해 반드시 필요한 활동까지 완전히 대체하지는 못한다⁵. 따라서 AI 기반 MCQ 생성 시스템을 실제로 도입하는 데 소요되는 전체 비용과 실행 가능성은 아직 명확하게 규명되지 않았다.

 

 

비록 본 연구는 대형 언어 모델(LLM)의 임상 추론(clinical reasoning)에 대한 기술적 세부 분석을 목표로 하지는 않았으나(관심 있는 독자는 Liévin 외⁵⁵ 참고), 본 연구는 GPT-4가 높은 복잡도의 의학 MCQ에 대해 설득력 있고 논리적으로 일관된 해설 문항(explanatory text)을 생성할 수 있음을 입증하였다. 이는 AI 기반 콘텐츠가 '학습으로서의 평가(assessment as learning)'를 촉진하고, 학생들의 비판적 사고 능력(critical appraisal) 및 자기조절 학습 능력(self-regulated learning skills)을 함양하는 데 기여할 수 있는 가능성을 의미한다. 이러한 효과는 학생이 평가 문항을 작성하는 활동에서 이미 보고된 바 있으며(Lakhtakia 외, 2022)⁵⁸, MCQ에 포함된 해설은 맥락화된 지식(contextualized knowledge)과 임상 추론(clinical reasoning)을 습득하거나 강화하는 데 도움을 주며, 가상의 교수 조교(virtual teaching assistant)로서 기능할 수 있다. GPT-4는 이러한 해설 자료를 고도로 효율적으로 생성할 수 있는 잠재력을 지닌 도구이지만, 이 용도를 교육적 도구로써 평가하는 후속 연구가 필요하다. 다만, 본 연구에서 GPT-4가 생성한 참고문헌 중 일부는 LLM의 환각(hallucination) 현상으로 인해 완전히 허구로 구성되었음이 확인되었으며, 이는 AI 활용의 명확한 한계점 중 하나로 지적된다.

 

또한, 본 연구는 AI가 생성한 문항을 인간이 수정했을 때의 품질 향상 정도를 직접 평가하지는 않았지만, 인간의 개입이 문항의 질을 개선할 것이라는 점은 충분히 합리적인 추론이다. 이러한 AI-인간 협업 기반의 MCQ 생성 모델은 ‘샌드위치 접근(sandwich approach)’으로 개념화할 수 있으며, 프롬프트 개발 단계에서의 인간 개입과 최종 산출물에 대한 전문가의 검토가 결합될 경우, 기존의 교수 혹은 전문가 주도 문항 개발 방식과 실질적으로 비열등한 결과를 산출할 수 있다.

 

본 연구의 목적은 AI 기반 시스템의 운영화(operationalization)를 평가하는 것이 아니었으나, 사용된 연구 방법론은 AI 통합 기반 문항 생성 워크플로우 구현에 대한 몇 가지 통찰을 제공할 수 있다. 본 연구 수행 이후, 프롬프트 엔지니어링(prompt engineering) 원칙에 기반한 가이드라인들이 발표되었으며, 이들은 MCQ 생성 과정에서 AI를 어떻게 효과적으로 활용할 수 있는지 보여준다⁵⁶,⁵⁷. 이에 따라, 우리는 다음의 구체적인 요소를 포함하는 접근 방식을 제안한다:

  • 다학제적 전문가 패널에 의한 반복적 프롬프트 개발(iterative prompt engineering)을 수행하며, 교육 맥락 및 지역 교육학적 선호(local pedagogy preferences)를 반영하여 출력 품질에서 '천장 효과(ceiling effect)'에 도달할 때까지 조정한다.
  • 긴 참고문헌 제공을 대체할 수 있도록 범용 프롬프트(generic prompt)를 개발한다.
  • 핵심 학습 포인트(key learning point)를 프롬프트에 포함시키되, 이 포인트 자체를 AI가 생성하는 방향도 향후 연구로 탐색할 필요가 있다.
  • AI의 출력 결과를 투명하게 보존할 수 있는 소프트웨어의 활용을 탐색한다.
  • 교수진이 문항 구조의 질을 평가할 수 있도록 문항 작성(item-writing)에 대한 명시적 훈련(explicit training)을 제공한다.
  • 전문가(faculty 또는 subject matter expert)를 활용해 내용의 정확성(content accuracy), 임상 추론의 적절성(clinical reasoning), 인지 기능 수준(cognitive skill level), 정답 위치의 다양성(correct answer positioning) 등을 검토하고, 필요시 프롬프트를 반복 수정(iteration)하여 출력 품질을 최적화한다.
  • AI와 인간의 오류를 모두 방지하기 위한 추가적 동료 검토(peer review) 절차가 문항 생성 과정에서 필요할 수 있음을 고려한다.

마지막으로, 우리가 본 논문 전반에서 강조했듯이, 교육자들은 빠르게 확장되고 있는 AI 관련 문헌의 흐름을 지속적으로 인지하고 있어야 하며, 특히 LLM에 인코딩된 편향(encoded biases)에 대한 감수성을 유지해야 한다. 명시적 편향 평가(explicit bias assessments), 반응적이고 반복적인 프롬프트 설계(responsive and iterative prompt engineering), 윤리적 사용을 위한 가이드라인 도입(ethical implementation guidelines) 등은 AI 기반 의학교육의 시대에 필수적으로 요구되는 조치들이다.

 

 

한계 (Limitations)

  • 이 혼합 방법론(mixed-methods) 연구는 기존 문항(초심자 및 전문가 작성)과 전향적으로 생성된 문항(GPT-4 기반 AI 문항)을 조합하여 사용하였다. 이에 따라 인간 작성자에게 제공된 지침과 GPT-4에 입력된 프롬프트 간에 표준화 부족이 존재하게 되었고, 이는 각 문항의 질에 영향을 미쳤을 가능성이 있다.
  • GPT-4의 ‘temperature’ 설정: 의학 MCQ 생성을 위한 이상적인 temperature 값은 아직 명확히 규명되지 않았으며⁵⁶, 교육 맥락에 따라 최적의 temperature 값이 다를 수 있고, 이에 따라 출력물이 달라질 가능성이 있다. 본 연구에서는 외적 타당도(external validity)와 재현성(reproducibility)을 극대화하기 위해 temperature를 0.0으로 설정하였으나, 이 설정이 출력물의 품질을 제한했을 가능성도 존재한다.
  • 본 연구는 명시적으로 높은 복잡도의 문항(high-complexity items), 즉 고차원적 인지 기능(higher-order cognitive skills)을 평가하는 문항에 집중하였다. 따라서 본 연구의 결과는 지식 및 기억력 수준(knowledge and recall level)과 같은 저차원적 인지 기능을 평가하는 의학 MCQ 생성에는 일반화하기 어렵다.

향후 연구 방향 (Future Directions)
AI가 생성한 MCQ의 심리측정학적 특성(psychometric properties)에 대한 평가 결과는 향후 논문에서 별도로 보고될 예정이다. 추가 연구 영역으로는 다음과 같은 주제가 포함될 수 있다:

  • 다른 대형 언어 모델(LLMs)을 사용한 출력물의 질 평가
  • 임상 이미지(clinical images)가 AI 기반 MCQ 설계에 미치는 역할
  • AI가 생성한 해설 문항(explanatory feedback)과의 상호작용이 학생 학습에 미치는 교육적 효과 평가
  • 참고문헌(reference texts)을 자동 제공하는 고도화된 프롬프트 엔지니어링의 탐색
  • 대량의 고품질 MCQ 데이터를 이용한 LLM의 파인튜닝(fine-tuning) 과정 연구 등

결론 (Conclusion)
요약하면, 본 블라인드 연구(blinded study)는 다음과 같은 시사점을 제공한다: 고복잡도의 임상 MCQ에 대한 구조적 특성의 전반적 평가에서는 인간 전문가가 가장 우수한 문항을 생산하지만, GPT-4 역시 대부분의 경우에서 이에 상응하는 품질의 문항을 생성할 수 있으며, 초심자 인간 작성자보다는 확실히 우수한 성과를 보였다. 이는 AI가 생성한 MCQ의 전반적인 질이 만족스러운 수준에 있으며, 타당성을 갖추고 있음을 시사한다.

 

이러한 결과는 다음과 같은 본 연구의 방법론적 설계에 의해 도출되었다:

  • 인간 주도의 프롬프트 엔지니어링(prompt engineering)을 통해 AI 출력의 품질을 극대화하였고,
  • 핵심 학습 포인트(key learning point)를 사전에 제공했으며,
  • MCQ 구조적 질을 포괄적으로 평가할 수 있는 표준화된 루브릭(scoring rubric)을 기반으로 평가가 이루어졌다.

다만, 소폭의 차이라 할지라도, 다음과 같은 GPT-4 문항의 한계점은 여전히 존재하며 인간 검토의 필요성을 강하게 뒷받침한다:

  • 대폭 수정을 거치지 않으면 사용이 부적합한 문항의 비율이 비교적 높았고,
  • 정답이 부정확하거나,
  • 정답이 편향적으로 특정 위치(예: 선택지 C)에 집중 배치된 경향이 있었다.

이러한 요소들은 AI 생성 문항의 출력 품질을 최적화하기 위해 반드시 인간 전문가의 검토(human validation)가 수반되어야 함을 명확히 보여준다.

 

250613 Assessment GPT-4 versus human authors imte_a_2505122_sm5017.docx
0.03MB

 

 

 

 

 

 

 

Med Educ2025 May 5. doi: 10.1111/medu.15709. Online ahead of print.

Seeking medical wisdom: Development of a physician-defined practical model of wise competence

 

 

🧠 의학에서의 ‘지혜로운 역량(Wise Competence)’이란 무엇일까?

최근 한 흥미로운 연구에서는 “의학적 지혜(medical wisdom)”를 단순한 개념이 아닌, 실제 임상 실천과 교육에 통합할 수 있는 구조적 모델로 발전시켰습니다.
복잡한 문제 해결이 일상이 된 요즘 의료 환경에서, 우리가 흔히 강조하는 ‘역량(competence)’이 과연 충분한 걸까요?
이 연구는 바로 그 질문에서 출발합니다.


🔍 배경: 지식만으로 충분하지 않다?

많은 의학교육 역량 모델은 개별 기술과 지식(technical knowledge)을 중심으로 구성되어 있지만, 연구팀은 여기에 상황 맥락(context)과 도덕적 가치(values), 적응적 판단력(adaptive capacity)이 통합적으로 작동해야 한다고 강조합니다.

“Wise competence is the ability to effectively integrate medical knowledge with clinical context to address patient and physician goals.”
→ “지혜로운 역량이란 의학적 지식과 임상 맥락을 효과적으로 통합해 환자와 의사의 목표를 해결하는 능력이다.”

 

즉, 진짜 지혜는 단순히 ‘아는 것’이 아니라,
그 지식을 ‘언제, 어떻게, 왜’ 적용할지를 판단하는 능력까지 포함한다는 것이죠.


🧩 모델 소개: TMMW (Tripartite Model of Medical Wisdom)

연구팀은 주제 분석(thematic analysis)과 구조적 모델링(structural modelling), 그리고 양극성 매핑(polarity mapping)을 통해
의학적 지혜를 구성하는 세 가지 핵심 요소를 제안합니다.

 

🟢 1. 기술적 지식 (Technical Knowledge)
기초가 되는 전문 지식이지만, 이 자체로는 충분하지 않습니다.

 

🟠 2. 가치 (Values)
공감, 연민, 윤리적 판단 등 의사로서의 방향을 설정하는 나침반 역할을 합니다.

예: compassion, integrity, responsibility, epistemic humility 등

 

🔵 3. 적응 역량 (Adaptive Capacity)
상황을 읽고 유연하게 대응하는 능력으로, 다시 세 가지 하위 범주로 나뉩니다.

  • 수용적(Receptive): 환경을 민감하게 감지
  • 메타인지적(Metacognitive): 자신의 사고를 성찰
  • 표현적(Expressive): 맥락에 맞는 행동으로 연결

“Through its deliberative functions, metacognition aims to deliver ‘the right thing at the right time and in the right way.’”
→ “숙고(deliberation) 기능을 수행하는 메타인지는 ‘적절한 일을 적절한 시점에 적절한 방식으로’ 수행하는 것을 지향한다.”


⚖️ 왜 기존 프레임워크와 충돌하는가?

전통적인 의료 역량 프레임워크 정확성, 예측 가능성, 측정 가능성을 중요시합니다.
반면, 의학적 지혜는 맥락과 통합, 도덕성을 중시하죠.

이 두 패러다임 간에는 근본적인 도덕적 기반, 즉 “도덕적 경제(moral economy)”의 차이가 존재합니다.

“The moral economy of medical science reflects analytic and predictive imperatives for the pursuit of ‘truth’, whereas that associated with the wisdom paradigm reflects holistic and adaptive imperatives appropriate for the pursuit of patient-centered ‘goods’.”
→ “의료 과학의 도덕적 경제는 ‘진리’를 추구하는 분석적·예측적 요구를 반영하지만, 지혜 패러다임은 ‘환자 중심적 선’을 추구하는 전체론적·적응적 요구를 반영한다.”

 

그래서 단순히 기존 프레임워크에 지혜라는 요소를 ‘덧붙이는 것’만으로는 부족합니다.
‘프레임워크의 철학 자체’부터 재설계할 필요가 있다는 이야기죠.


🧭 실천과 교육에 어떻게 반영할까?

연구팀은 TMMW를 바탕으로 지혜로운 역량을 교육하고 평가할 수 있는 새로운 방향성도 제안합니다.
예를 들어,

  • EPAs(신뢰할 수 있는 전문 활동)도 지혜 패러다임 하에서는 단순한 역량 묶음이 아니라,
    맥락 속에서 ‘지혜롭게’ 수행되는 통합 행위로 해석되어야 합니다.

“The TMMW framework could enhance their implementation by more explicitly outlining the structure, vocabulary and moral economy of integrated competence.”
 “TMMW 프레임워크는 통합 역량의 구조, 어휘, 도덕적 기반을 보다 명확히 제시함으로써 EPAs의 실행을 개선할 수 있다.”

 

또한, 복잡계 이론(complex adaptive systems, CAS)의 관점을 반영하여,
지혜는 개인만이 아니라 팀과 공동체 차원에서도 실현될 수 있다는 점도 강조합니다.


🧠 마무리: 지혜로운 역량은 '정확'하지 않아도 괜찮다

끝으로, 연구팀은 아리스토텔레스의 말을 인용하며 다음과 같이 마무리합니다.

“Aristotle reminds us that the best answers to complex problems are, by their very nature, not exact.”
 “아리스토텔레스는 복잡한 문제에 대한 최선의 해답은 본질적으로 ‘정확하지 않다’고 말한다.”

 

그렇습니다.
지혜로운 실천은 언제나 단순한 정답이 아닌, 깊은 숙고와 조화를 통해 그때그때 최선을 찾아가는 과정입니다.

 


1 | 서론 (Introduction)

미국 의료 시스템이 분절화(fragmentation)로 인해 진료의 질(quality), 비용(cost), 이용(utilization) 측면에서 부정적인 영향을 받고 있으며, 이러한 문제는 시스템 내 복잡성(complexity)을 고려하지 않은 데서 기인한다는 인식이 점점 확산되고 있다¹ ². 그럼에도 불구하고, 미국에서 널리 채택되고 있는 의료 역량 프레임워크(medical competency frameworks)는 일반적으로 개별 역량을 나열하는 데 그치며, 실제 임상현장에서 요구되는 통합적이고 복합적인 문제 해결 능력에 대해서는 충분히 다루고 있지 않다³ ⁴.

 

기존의 지혜(wisdom) 모델은 이러한 시스템 분절화 문제를 해결하려는 시도이다. 이 모델들은 폭넓고 심층적인 지식, 복잡한 삶의 문제에 대한 통찰력, 그리고 상황 적응력(context adaptability), 인식적 겸손(epistemic humility)과 같은 메타인지 역량(metacognitive competencies), 그리고 연민(compassion), 공익 지향성(common-good orientation)과 같은 도덕적 지향성(moral aspirations)을 강조한다⁵.

 

의료 현장에서의 지혜(wisdom in medical practice)는 이미 상당한 학문적 연구의 주제가 되어왔다⁶⁻²⁹. 대부분의 연구들은 의학적 지혜를 실천적 지혜(practical wisdom) 개념과 연결시키고 있으며, 지혜로운 진료(wise practice)를 정의할 때 환자 진료의 다양한 측면에 초점을 맞춘다. 예를 들어,

  • Kaldjian은 실천적 지혜의 핵심 요소로 가치 있는 목표를 식별하는 능력도덕적 원칙에 대한 헌신을 강조한다⁶.
  • Paes는 실천적 지혜를 복잡한 의사결정 과정으로 이해하며⁷,
  • Cosgrove는 실천적 지혜를 가이드라인에 기계적으로 따르기보다는, 근거(evidence)를 신중하게 적용하는 것으로 설명한다⁸.

하지만 이러한 지혜 개념을 미국 의학교육에 적용하려는 시도는, 지혜가 지닌 통합적(capability-integrative) 특성과 기존 의학교육에서 지배적인 환원주의적(reductionist) 역량 구조 간의 개념적 차이 때문에 난관에 부딪히고 있다. 그 결과, ‘지혜로운 실천’에 대한 교육적 개입은 여전히 개별 역량에 초점을 두거나, 지나치게 일반적인 수준에서 정의되어 실질적인 전문성 개발에는 한계가 있다. 예를 들어,

  • 미국내과학회(American Board of Internal Medicine, ABIM)의 Choosing Wisely 캠페인기술적 의사결정(technical decision-making)에만 초점을 맞추며, 윤리적 의사결정(ethical decision-making), 인식적 가치(epistemic values), 적응적 행동(adaptive behaviour) 등 다른 중요한 영역은 다루지 않는다³⁰.
  • Plews-Ogan의료 오류 경험을 통한 개인적 지혜의 성장을 탐구하지만, 보다 넓게 적용 가능한 의학적 지혜의 정의제시하지는 않는다³¹.
  • Kaldjian실천적 지혜의 핵심 요소 다섯 가지를 고려할 것을 권고하지만, 이를 통합하거나 기존의 의료 역량 프레임워크에 적용할 수 있는 모형(model)을 제시하지는 않는다⁶.

 

이러한 어려움의 한 가지 가설은, 지혜(wisdom)의 개념 패러다임과 의료 역량(medical competence)의 패러다임이 상호 양립 불가능(incommensurable)하다는 데 있다. ‘패러다임(paradigm)’과 ‘상호 양립 불가능(incommensurable)’이라는 용어는 과학철학(philosophy of science)에서 유래되었으나³², 점점 더 많은 학제 간 연구자(cross-disciplinary researchers)들이 분류학적(taxonomic), 방법론적(methodologic), 철학적(philosophic) 긴장 상태를 설명하기 위해 이 용어들을 사용하고 있다³³. 본 논문에서는 패러다임(paradigm)을 “공동체가 공유하는 모범 사례(exemplars)의 집합”으로, 상호 양립 불가능(incommensurable)을 “두 패러다임 간에 존재하는 가정, 인식적 가치, 방법론의 전이(transference)에 대한 상대적 어려움”으로 정의한다³⁴ ³⁵. 이 정의에 따르면,

  • 의료 과학(medical science)정밀성(precision), 재현성(reproducibility)과 같은 인식적 가치와,
  • 실천적 지혜(practical wisdom)통합성(integration), 맥락적 타당성(contextual relevance)과 같은 인식적 가치 간의
    • 화해되지 않는 긴장이 존재하기 때문에, 지혜를 기존 역량 프레임워크에 통합하는 데 어려움이 따른다.

 

물론 대부분의 사람들은 이러한 패러다임 간의 비호환성이 도전 과제임을 인정하지만, 일부 학자들은 이를 오히려 학제 간 연구의 핵심 도구로 보기도 한다³³. 가치 체계(value systems)가 학문 간 경계를 형성하고 그 구조의 깊이를 반영한다면³², 이러한 “양립 불가능성의 지형(incommensurability terrain)”을 이해하는 것이 학제 간 협업 성공의 핵심이 된다. 이런 관점에서 보면, 지혜 역량(wise capabilities)과 기존의 의료 역량 프레임워크 간의 건설적인 통합두 패러다임의 전면적 화해를 요구하지 않을 수도 있다. 대신, 두 패러다임 사이의 경계(border)와 그 사이의 지형(topography)을 개념적으로 매핑(mapping)하는 것만으로도 충분할 수 있다³⁶. 이러한 접근의 장점은, 양립할 수 없는 핵심 요소들을 포기하지 않으면서도, 양 패러다임 간의 의미 있는 대화를 가능하게 한다는 데 있다³⁷.

 

이에 본 연구는 의사들이 실천 현장에서 경험적으로 정의하는 의학적 지혜(medical wisdom)를 기반으로, 의학교육 역량 프레임워크와의 대화를 가능하게 하는 실천적 모형(practical model)을 구축하고자 한다. 구체적으로는 다음과 같은 세 가지 목표를 가진다:

  1. 의과대학 교수진(academic physicians)이 의학적 지혜를 어떻게 정의하고, ‘지혜로운 역량(wise competence)’ 개념화에 어떤 장애 요인(barriers)과 촉진 요인(facilitators)을 인식하는지를 주제 분석(thematic analysis)을 통해 파악한다.
  2. 이러한 주제 분석 결과를 기반으로, 의학적 지혜의 구조적 모형(structural model)을 재구성한다.
  3. ‘지혜로운 실천(wise practice)’과 의료 과학(medical science)이 정의하는 임상 역량(clinical competence) 사이의 상호 양립 불가능성(incommensurability)을 지도화한다.

이러한 관계를 더 명확히 이해함으로써, 지혜로운 역량의 특성을 보다 구체화하고, 미국 의학교육에서의 실천적 적용 가능성을 모색할 수 있을 것이다.

 

 

2 | 방법 (Methods)

본 연구는 일대일 반구조화 인터뷰(semi-structured interviews)를 통해 자료를 수집하고, 이를 바탕으로 주제 분석(thematic analysis, TA)을 수행한 후, 모형 개발(model development)양극성 매핑(polarity mapping)을 시행하였다³⁶ ³⁸⁻⁴¹. 연구는 시카고대학교 기관윤리심의위원회(University of Chicago Institutional Review Board)의 승인을 받았으며(IRB #19-0796), 모든 참여자는 사전 동의서에 서면으로 동의하였다. 모든 절차는 관련 규정과 지침을 준수하여 수행되었다. 본 보고서는 질적 연구 보고 기준(Standards for Reporting Qualitative Research)을 따르고 있다⁴².

2.1 | 연구 환경과 참여자 (Setting and Participants)

본 연구는 시카고대학교(University of Chicago), 워싱턴대학교(University of Washington), 스탠퍼드대학교(Stanford University)의 내과학(Medicine) 교수진을 대상으로 수행되었다. 연구팀은 전문직 정체성 형성(professional identity formation)에 대한 선행 설문조사에 참여하고, 후속 인터뷰에 응하겠다고 동의한 146명의 교수진을 모집군으로 구성하였다. 이 중 무작위로 선정된 104명에게 이메일로 인터뷰 참여를 요청하였으며, 2021년 여름에 모집을 시작하여 19명의 인터뷰가 완료된 시점에서 중단하였다. 인터뷰가 포괄적인 구조로 설계되었고, 내용의 설명력이 풍부했기 때문에, 이 정도의 표본은 탄탄한 주제를 도출하기에 충분한 정보력을 제공(information power)하였다⁴³ ⁴⁴. 참여자의 특성은 표 1에 제시되어 있다.

2.2 | 인터뷰 절차 (Interview Procedure)

인터뷰 가이드(interview guide)는 다음의 연구팀 구성원이 개발하였다:

  • N.M.W.: 지혜(wisdom) 연구 전문가이자 심리학 박사
  • W.W.L. 및 J.N.W.: 의사이자 학생지원 부학장
  • J.M.: 의과대학 학생

가이드는 기존 문헌에 기반하여 구성되었으며, 시카고대학교의 한 교수와 시범 인터뷰(pilot interview)를 실시한 후 피드백을 반영하여 최종화하였다. 모든 인터뷰는 J.M.이 2021년 6월부터 9월 사이에 화상회의(videoconferencing)를 통해 진행하였다.

반구조화 인터뷰는 연구 목적에 대한 간략한 설명으로 시작되었고, 다섯 가지 주제에 대한 질문(prompt)으로 구성되었다:

  1. 의학적 지혜의 정의,
  2. 의료 현장에서 지혜가 요구되는 상황,
  3. 지혜 발달을 촉진하는 요인,
  4. 지혜 발달의 장애 요인,
  5. 의학교육에서 지혜를 지원하는 개입 방안
    (자세한 내용은 보충 디지털 부록 1(Supplemental Digital Appendix 1) 참조).

본 보고서에서는 첫 번째와 두 번째 질문에 초점을 맞추되, 의학적 지혜를 기존 의료 역량 프레임워크에 통합하는 개념과 직접적으로 연관된 경우에 한해 세 번째와 네 번째 질문의 응답 일부도 포함하였다. 지혜 발달에 대한 질적 분석(질문 3–5)은 별도의 보고서로 제시할 예정이다.

 

인터뷰 프로토콜은 참여자와의 신뢰감을 구축한 뒤, 다소 민감할 수 있는 주제로 자연스럽게 전환될 수 있도록 구조화되어 있었다. 인터뷰 시간은 30분에서 66분 사이였고, 참여자에게는 50달러 상당의 기프트카드로 보상하였다. 모든 인터뷰는 디지털 녹음, 전사(transcription), 익명화(de-identification) 되었으며, J.M.이 오디오 녹음과 전사본을 대조하며 정확성을 검토하였다.

 

 

2.3 | 주제 분석 (Thematic Analysis)

우리는 인터뷰 전사본을 주제 분석(thematic analysis, TA) 방식으로 분석하였으며, Dedoose 소프트웨어 프로그램⁴⁵을 활용하여 작업을 수행하였다. TA는 질적 분석 패러다임 내에서 유연하게 적용 가능한 분석법으로, 다양한 방식으로 활용될 수 있다³⁸. 본 연구에서는 귀납적 접근(inductive approach)을 택하고, 의미론적 실재론(semantic realist) 이론 틀을 적용하였다. 이는 참여자의 언어를 그들의 현실을 직접적으로 반영하는 표현으로 간주하고, 이를 표면적 의미 수준에서 해석할 수 있다는 전제이다.

 

TA는 여섯 단계로 진행된다:
(1) 자료에 익숙해지기(familiarization),
(2) 코딩(coding),
(3) 주제 탐색(searching for themes),
(4) 주제 검토(reviewing themes),
(5) 주제 정의 및 명명(defining and naming themes),
(6) 보고서 작성(writing the report).

 

초기 두 단계에서, 연구팀 전체가 네 개의 전사본을 독립적으로 검토한 뒤 상호 간 코드를 논의하였고, 이후 추가로 두 개의 전사본을 검토하여 코드 정의를 정제하였다. 이후 잔여 전사본은 독립적으로 코딩하였다. 코더 간에는 정기적으로 회의를 진행하여 새로운 코드에 대한 논의를 지속했으며, 더 이상 새로운 코드가 등장하지 않을 때까지 진행되었다. 논의를 통해 코드들은 상위 주제(theme) 및 하위 주제(subtheme)로 통합되었다. 분석 과정에서 도출된 상충되는 주제(discrepant themes)는 긴장(tensions)으로 해석하여 그대로 유지하였다.

 

모든 인터뷰는 J.M.이 수행하였으며, 전사본은 J.N.W., N.M.W., W.W.L.이 독립적으로 코딩한 내용을 바탕으로 J.M.이 원 인터뷰 경험과의 일치 여부를 검토하여 신뢰도를 확보하였다.


2.4 | 구조적 모형 개발 (Structural Model Development)

우리는 주제 분석 결과를 의학적 지혜(medical wisdom)의 구조적 모형(structural model)으로 재구성하였다. 이를 위해, 도출된 주제들을 개념적 범주(conceptual categories)로 조직한 후, 이 범주들을 하나의 지혜 구성체(wisdom construct)로 통합하였다³⁹ ⁴⁰. 이 과정은 다음의 세 가지 모델과의 비교 분석(comparative analysis)을 통해 이론적으로 뒷받침되었다:

  • 두 개의 기존 지혜 모델(established models of wisdom)
  • 하나의 복잡적응시스템 모델(complex adaptive systems model)³ ⁴⁶ ⁴⁷

모형 개발은 특히 지혜 심리학(psychology of wisdom)에 정통한 연구자(N.M.W.)와 복잡적응시스템(complex adaptive systems) 전문가(J.N.W.)의 통찰을 통해 더욱 심화되었다.


2.5 | 개념 간 양극성 매핑 (Polarity Mapping of Constructs)

우리는 Polarity Thinking™을 활용하여, 두 쌍의 개념들 사이에 존재하는 긴장(tension)을 시각적으로 매핑하였다³⁶:

  1. 의료 과학(medical science)의 도덕적 경제(moral economy) vs. 의학적 지혜(medical wisdom)의 도덕적 경제
  2. 이 두 도덕적 경제 체계 내에 내재된 미국 의료 역량 프레임워크(competency frameworks)

주제 분석과 기존 문헌을 바탕으로, 우리는 의료 과학 패러다임지혜 패러다임에 내재된 공통 전제(common assumptions), 가치(value), 실천(practices)을 식별하였다⁶ ⁴⁸⁻⁵¹. 이 연구의 목적은 이러한 패러다임을 체계적으로 검토하려는 것이 아니라, 각 패러다임의 대표적 특징(exemplars)을 도출하고, 기존의 역량 개념(competency)과 지혜로운 실천(wise practice) 간의 긴장을 조명하는 데 있다. 장애 요인(barriers)과 촉진 요인(facilitators)에 대한 주제는 앞서 기술한 주제 분석 결과에서 도출된 것이다.

 

 

3 | 결과 (RESULTS)

3.1 | 주제 분석 (Thematic Analysis)

인터뷰 전사본에 대한 주제 분석(TA)을 통해, 우리는 의학적 지혜(medical wisdom)가 환자 중심 진료(patient-centered care)의 핵심적이고 보편적인 요소로 인식되고 있다는 언어적 표현을 확인하였다. 참여자들의 진술은, 의학적 지혜가 의학적 지식(medical knowledge)과 기타 인간적 역량(human capabilities)을 결합한 복합적인 개념(complex construct)으로 이해되고 있음을 시사하였다. 특히, 단순히 의학 지식에만 의존하여 진료를 제공하는 것의 한계를 설명함으로써 이 복합 개념의 중요성을 강조하였다.

"여러 가지 조각들과 다양한 경험들을 함께 모아야 해요. 왜냐하면 ‘이거 하고, 저거 하고, 그다음에 이걸 해라’라는 식의 단순한 방법은 없거든요. … 제 정의에서 지혜(wisdom)란 여러 출처의 통합 … 이 포함된다고 생각해요."
참여자 1 (Participant 1)

 

이러한 진술을 통해 도출된 주제들은, 이 복합 개념 안에서 역동적인 통합(dynamic integration) 수준이 높다는 점을 보여주었다. 이 통합의 구체적인 표현은 주제 간의 긴장(tensions) 또는 상호 상승 작용(synergies) 형태로 나타났다. 예를 들어, ‘기술적 지식(technical knowledge)’과 ‘겸손(humility)’ 사이의 긴장, 그리고 ‘겸손’과 ‘지적 호기심 유지(retaining curiosity)’ 사이의 상승 작용이 그러하다. 또한 ‘감성 지능(emotional intelligence)’, ‘관점 취하기(perspective taking)’, ‘공감(empathy)’ 등 일부 주제는 서로 겹치거나 경계가 흐려져 있기도 하였다.

"저는 지혜를 지식(knowledge), 경험(experience), 분별력(discretion), 겸손(humility)이 합쳐진 어떤 ‘합류점(confluence)’이라고 생각해요. … 수차례 어떤 상황을 겪으면서 그것이 어떻게 흘러가는지를 보고, 그 경험을 통해 조율하는 법을 배우게 되죠." — 참여자 7 (Participant 7)

 

이 모든 주제를 종합하면, 의학적 지혜는 의학적 지식에 도덕적 헌신(ethical commitments)과 맥락에 대한 의도적인 고려(intentional accounting of context)가 통합된 것이라고 할 수 있다. 이러한 성찰적(deliberative) 관점은 고전적 실천적 지혜(practical wisdom, phronesis) 개념⁴⁹과 많은 유사점을 지니며, Kaldjian이 강조한 가치 있는 목표(worthy goals)와 도덕 원칙에 대한 헌신(commitment to moral principles)과도 일치한다⁶.

 

주제 분석을 통해, 의학적 지혜 복합체(medical wisdom complex)를 구성하는 세 가지 구조적 구성요소(structural components)를 나타내는 주제 범주가 도출되었다. 그것은 바로 다음과 같다:

  • 기술적 지식(technical knowledge)
  • 가치(values)
  • 적응 역량(adaptive capacity)
    (표 2의 A 섹션 참조)

이 중 기술적 지식은 의학 실천에 있어 필수적인 요소로 간주되며, 진료를 가능하게 하는 도구(tool) 역할을 한다. 그러나 이 자체만으로는 각 환자의 맥락(context)과 선호도(preferences)를 충분히 반영할 수 없기 때문에, 의학적 지혜를 구성하는 하나의 일부로서 통합되어야 한다는 인식이 나타났다.

 

 

주제 분석(TA)은 지혜로운 실천(wise practice)이 핵심 원칙(core principles)과 행동 기준(standards of behaviour)에 의해 이끌어진다는 점을 시사하였다. 이러한 가치(values)에는 영적 신념(spiritual beliefs)에 기반하여 행동하려는 의지, 혹은 연민(compassion), 이타심(altruism), 용기(courage)를 보여주려는 욕구가 포함되었다. 이때 가치는 복잡한 환경 속에서 기술적 지식을 유연하게 적용(adaptive application)하는 데 있어 나침반(compass) 역할을 한다.

 

여러 주제들은 적응 역량(adaptive capacity)이라는 범주에 집중되어 있었으며, 이는 복잡한 환경에 유연하게 반응하고 성장할 수 있는 성향과 습관(character traits and habits)을 반영한다. 이 주제들은 실천자(practitioner)와 환경(environment) 간의 반응 순환(response loop)을 나타내는 세 가지 하위 범주로 구분될 수 있었다:

  1. 수용적 적응 역량(Receptive Adaptive Capacity)
  2. 메타인지적 적응 역량(Metacognitive Adaptive Capacity)
  3. 표현적 적응 역량(Expressive Adaptive Capacity)

TA에 따르면, 지혜로운 실천자(wise practitioners)는

  • 높은 수용성(receptivity)을 갖고 있어 환경에 대해 능동적으로 주의를 기울인다.
  • 이들은 또한 자신의 사고 과정을 인식하는 능력, 즉 잘 발달된 메타인지(metacognition)를 갖고 있는 경우가 많았다.
  • 마지막으로, 이러한 적응 역량을 실제 상황에 적절히 표현(표현적 역량)함으로써 반응 순환이 완성된다.
  • 예를 들어, 참여자들은 맥락의 변화에 따라 자신의 반응을 조정할 수 있는 유연성이나 미묘한 커뮤니케이션 능력(nuanced communication skills)지혜로운 실천의 특성이라고 언급하였다.

이러한 주제들과 함께, TA가 제공하는 구조적 정보는 의학적 지혜(medical wisdom)가 지식과 가치를 문제 해결에 통합적으로 조율하는 메타인지 역량을 포함한, 매우 통합적이고 역동적인 개념(integrated and dynamic construct)임을 시사한다.

또한, 참여자들이 의학적 지혜가 요구되는 상황을 기술할 때 언급한 주제들은 세 가지 범주로 분류되었다(표 2의 B 섹션 참조):

  1. 인식론적 불확실성(epistemological uncertainty)
  2. 가치 기반 진료(values-driven care)
  3. 대인관계 주관성(interpersonal subjectivity)

인식론적 불확실성이 높은 상황에서는, 실천자는 확신을 경계하고 자신의 이해를 재검토할 필요가 있다. 일부 상황에서는, 기술적 지식의 경직된 적용보다는 전문적 혹은 개인적 가치가 우선시되어야 한다. 또 다른 상황에서는, 대인관계적 주관성 자체가 문제 해결의 핵심 요소인 경우도 있으며, 이러한 경우 지혜(wisdom)는 의료팀 간(interprofessional team) 그리고 환자와의 만남에서 상호작용을 인도하는 역할을 한다.

 

지혜의 발달을 방해하거나 촉진하는 요인에 대한 질문에 대해, 연구자들은 지혜로운 역량(wise competence)의 적절한 개념화를 직접적으로 다루는 7가지 장애 주제(barrier themes)와 4가지 촉진 주제(facilitator themes)를 도출하였다(표 2의 C 섹션 참조). 장애 요인은 주로 지식에 대한 경직된 의존(overreliance on knowledge)에 초점을 두었으며, 촉진 요인은 겸손(humility)과 지식 이외의 역량에 대한 주의(attention to other capabilities)에 중점을 두었다.

 

지혜가 요구되는 상황지혜로운 역량 개념화에 대한 장애 요인에 대한 주제 분석은, 지혜(wisdom)를 기존의 다양한 의료 역량 패러다임(medical competence paradigms)에 통합하는 데 있어 왜 어려움이 존재하는지를 통찰적으로 보여준다. 연구 결과는 이러한 상대적 양립 불가능성(relative incommensurability)이, 문제 유형(problem types)과 그 문제를 다루는 방식(approaches)에 대한 패러다임 간 차이에서 비롯될 수 있음을 시사한다.

 

 

3.2 | 의학적 지혜의 구조적 모델링 (Structural Modelling of Medical Wisdom)

우리는 주제 분석(TA)의 결과와 여러 비의료 분야의 지혜 및 복잡한 문제 해결 모델과의 비교를 바탕으로, 의학적 지혜의 모형(model of medical wisdom)을 구성하였다(그림 1, 왼쪽 참조). 이 모델은 의학적 지혜 삼분 모델(Tripartite Model of Medical Wisdom, TMMW)이라 명명되었으며, TA를 통해 도출된 세 가지 핵심 요소—기술적 지식(technical knowledge), 가치(values), 적응 역량(adaptive capacity)—를 중심으로 구성되어 있다. 특히, 적응 역량의 세 가지 하위 범주(수용적, 메타인지적, 표현적 적응 역량)는 모형 내에 그대로 포함되며, 각각은 지혜로운 실천자(wise practitioner)환경(environment) 사이에서 작동하는 반응 순환(response loop)의 일부분을 대표한다.

 

TMMW는 심리학에서 가장 널리 인용되는 지혜 모델 중 하나인 Ardelt의 삼차원 지혜 모델(three-dimensional wisdom model)과 상당한 유사성(homology)을 보인다. Ardelt의 모델 역시 세 가지 요소로 구성되어 있으며,

  • 인지적 영역(cognitive domain): 상황에 대한 복잡한 이해를 추구하는 관심
  • 성찰적 영역(reflective domain): 다양한 관점에서 상황을 해석하려는 태도
  • 자비적 영역(compassionate domain): 타인의 복지를 돌보려는 동기
    를 포함한다(그림 1, 오른쪽 참조)⁴⁶.

TMMW의 ‘가치(values)’ 구성요소는 Ardelt의 자비(compassion) 영역을 확장한 개념으로, 의학에서의 지혜로운 실천을 구성하는 다음과 같은 다양한 가치들을 포괄한다:

  • 의사결정의 엄밀성을 촉진하는 인식론적 가치(epistemic values)
  • 환자와의 관계를 용이하게 하는 심미적 가치(aesthetic values)
  • 정직성(integrity), 탁월성(excellence), 책임감(responsibility) 자기참조적 윤리 가치(self-referential ethical values)⁵²⁻⁵⁵

또한, TMMW의 ‘적응 역량(adaptive capacity)’ 구성요소는 Ardelt 모델의 성찰 영역(reflective domain)을 심화시켜, ‘맥락에 대한 성찰(reflection on context)’의 명확한 역할을 제시하고, 그러한 성찰을 이끌어내기 위한 핵심 메타인지 주제(metacognitive themes)를 포함한다. 더불어 TMMW는 지혜의 수용적(receptive) 및 표현적(expressive) 요소를 추가하여, 메타인지 기능을 복잡한 의료 환경과 연결시키는 데 필요한 구조를 제공한다.

 

TMMW는 또한 복잡한 문제 해결(complex problem-solving)에 관한 고대 그리스 철학부터 현대 복잡계 과학(complexity science)까지 다양한 분야의 모델들과도 유사성을 가진다. 예를 들어, 스토아 철학자들(the Stoics)은 지혜(wisdom)를 세 가지 구성요소의 상호작용으로 정의하였다:

  1. 논리(logic): 타당한 추론의 적용
  2. 자연철학(physics): 시스템과 그 안에서의 자기 위치에 대한 통찰
  3. 윤리학(ethics): 공동체의 필요에 대한 헌신 (그림 1, 오른쪽 참조)⁴⁷

이 세 가지 ‘덕목(virtues)’이 TMMW의 구성요소들과 완전히 일치하지는 않지만, 기능적 측면에서는 상당한 중첩(overlap)이 존재하며, 각 구성요소가 수행하는 역할의 본질은 일관성 있게 유지된다. 즉,

  • TMMW,
  • Ardelt의 지혜 모델,
  • 스토아의 지혜 모델
    이라는 세 가지 삼분 모델(tripartite wisdom models) 모두에서,
  • 하나의 구성요소는 인간 이성의 메타인지적 차원(metacognitive dimension of human reason)을 담고 있으며,
  • 두 번째 구성요소는 해결해야 할 시스템에 대한 지식(knowledge of the system)을 대표하고,
  • 세 번째는 복잡한 문제 해결을 이끄는 가치(values that direct problem-solving)를 의미한다.

 

최근 의료 실천(medical practice)을 기반으로 개발된 복잡적응시스템(complex adaptive systems, CAS)의 삼분 모델(tripartite model)은 TMMW 및 앞서 언급된 지혜 모델들과 구조적 유사성(homology)을 보인다(그림 1, 오른쪽 참조). 이 모델은 복잡한 문제 해결(complex problem solving)이 통제(control)에 의존하는 것이 아니라 다음 세 가지 요소에 의해 작동한다고 본다³:

  • A) 시스템 구성 요소들 간의 반응적 상호작용(responsive interaction of system elements)
  • B) 이러한 요소들과 환경의 고유 특성(intrinsic characteristics)에 기반한 정보 제공
  • C) 특정한 가치 혹은 “끌개(attractor)”로서의 지향점에 의해 방향 설정됨

 

이러한 CAS의 세 가지 차원은, 시스템이 국소적 교란(local perturbations)맥락적으로 적절하게(contextually appropriate) 대응할 수 있도록 하며, 동시에 시스템 전반에 걸친 고차원의 창발적 특성(emergent properties)을 유도한다. 이 관점에서 보면, 지혜(wisdom)란 인간 행동 안에서 나타나는 하나의 CAS의 구현(manifestation)이며, 인간이 복잡성을 적응 역량(adaptive capacity, 즉 반응성), 지식(knowledge, 도구/정보), 가치(values, attractor)를 통합적으로 적용함으로써 탐색해 나갈 수 있게 한다³. 또한 CAS 개념은, 지혜개인뿐만 아니라 팀과 공동체 수준에서의 복잡한 문제 해결 능력으로 확장해 이해할 수 있는 관점을 제공한다³ ⁵⁶.

 

이들 모델 간 비교 분석을 통해 우리는 시스템 통합(system integration)이 무엇을 의미하는지도 알 수 있다. CAS는 기술적 시스템(technological systems)과 달리, 역동적 통합(dynamic integration)을 특징으로 한다.

  • 기술적 시스템이란 단지 기계적으로 상호작용하는 구성 요소들의 총합에 불과한 반면,
  • CAS에서는 구성 요소들이 상호작용하고 변화하며, 서로에게 반응함으로써, 국소적 상황 변화에 적절히 반응하는 체계적 대응(system responsiveness)을 가능하게 한다. 이러한 반응성은 보건의료처럼 복잡한 환경에서 문제 해결 능력을 향상시키는 핵심 요소이다³ ⁵⁶.

이와 관련하여 스토아의 지혜 모델(the Stoic model of wisdom)도 주목할 만하다. 인터뷰 참여자들과 마찬가지로, 스토아 철학자들 역시 지혜란 세 가지 덕목(virtues)의 자연스럽고 불가분한 통합이라고 보았다. Hadot라는 스토아 학자는 다음과 같이 설명한다:

“스토아 철학자들에게 철학의 구성 요소란 덕목들인데, 그들은 모든 덕목이 동등하고 서로를 함의한다(mutually imply)고 보았습니다. 한 가지 덕목을 실천하는 것은, 다른 모든 덕목을 실천하는 데도 필수적인 것이었습니다.”⁵⁷

 

TMMW를 면밀히 분석해보면, 두 가지 수준의 통합(integration)이 점차적으로 진행됨을 알 수 있다.

  • 첫 번째 수준에서는, 기존의 의료 역량들이 적응 역량(adaptive capacity), 지식(knowledge), 가치(values)라는 세 가지 구성 요소별로 기능적 유사성에 따라 분류된다.
  • 두 번째 수준에서는, 이 세 구성 요소가 상호의존적으로 연결되어 지혜(wisdom) 자체를 구성하게 된다.

이는 CAS에서 각 구성 요소의 발달과 표현이 서로 영향을 주고받는 방식과 유사하다⁵⁸. 예를 들어, 맥락의 작은 변화가 가치의 우선순위 재조정(re-prioritization of values)을 유도하거나, 지식의 유의성(relevance)을 전환시키며, 의사결정 방식(decision-making)에 본질적인 변화를 초래할 수 있다.

 

결국, TMMW는 의학적 지혜의 구조(structure of medical wisdom)를 이해하기 위한 유용한 접근을 제공한다. 그러나 지혜로운 역량(wise competence)을 보다 명확히 규정하려면, TMMW가 위치하는 도덕적 지형(moral terrain)을 이해하는 것이 반드시 필요하다.


3.3 | 도덕적 지형의 양극성 매핑 (Polarity Mapping of the Moral Terrain)

최근의 학술 연구는 분석적 역량(analytic competencies)과 전체론적 수행(holistic performance) 간의 명백한 딜레마(apparent dilemmas)를 양극성 매핑(polarity mapping)함으로써, 복잡한 문제 해결(complex problem-solving)을 최적화할 수 있는 기회를 제공할 수 있음을 시사한다³⁶ ⁵⁹.

 

그림 2의 상단(upper half)은, 의료 과학 패러다임(medical science paradigm)에 내재된 가정(assumptions), 가치(values), 실천(practices)과, 이에 대비되는 지혜 패러다임(wisdom paradigm)의 가정, 가치, 실천 간의 양극성 맵(polarity map)을 보여준다⁴⁸ ⁵⁰ ⁵¹ ⁶ ⁴⁹. 각 패러다임에 고유한 이러한 가정과 실천들은 “도덕적 경제(moral economy)”, 즉 “정서와 연관된 가치들의 그물망(web of affect-associated values)”으로 설명될 수 있으며, 이는 무엇이 최적의 실천(optimal practice)인지에 대한 균형점(equilibrium points)과 제약(constraints)을 규정한다⁴⁸.

  • 의료 과학의 도덕적 경제는 “진리(truth)” 추구를 위한 분석적, 예측적 강제력(analytic and predictive imperatives)을 반영하며,
  • 지혜 패러다임의 도덕적 경제환자 중심적 “선(good)”을 추구하기 위한 전체론적(holistic), 적응적(adaptive) 강제력을 반영한다.
    이러한 차이는 우리가 역량(competence)을 어떻게 정의하는지에 영향을 주며, 결과적으로 지혜 개념을 의료 역량 프레임워크에 통합하는 데 어려움을 초래할 수 있다.

이 설명은 TA를 통해 도출된 주제(theme)들을 통해 더욱 명확해진다(그림 2의 중앙). 예를 들어, TA는 “기술적 지식에 대한 과도한 강조(overemphasis on technical knowledge)”, “불확실성에 대한 비관용(intolerance of uncertainty)”을 장애 요인(barriers)으로, 그리고 “인식적 겸손(epistemic humility)”“지식 외의 인간 적응 역량에 대한 존중(appreciation of human adaptive capabilities beyond knowledge)”을 촉진 요인(facilitators)으로 식별하였다. 이는 지혜로운 역량(wise competence)의 개념화에 있어 핵심적인 장벽과 기회를 시사한다.

 

의료 과학과 의학적 지혜의 도덕적 경제 차이는 이들이 각각 문제를 해결하는 방식(problem-solving approach)에도 중요한 함의를 지닌다(그림 2의 하단).

  • 의료 과학의 분석적 강제력은, 정의가 명확하고(well-defined), 정확하고(precise), 재현 가능한(reproducible) 측정을 목표로 하는 개별 역량 중심의 구조화된 역량 프레임워크를 요구한다. 예를 들어, ACGME의 핵심 역량(core competencies)⁶⁰은, 각각 측정 가능한 행동 기준(behavioural anchors)에 연결된 개별 역량들로 구조화될 경우, 의료 과학의 도덕적 경제와 일치한다(그림 2, 하단 좌측).
  • 반면, 지혜의 전체론적 강제력은, 목표, 상황, 도덕 원칙 간의 미묘한 통합(nuanced integration)을 통해 맥락에 적절한 결과(contextually relevant outcomes)를 산출하려는 유연한 역량 프레임워크를 요구한다. 이와 같이 통합된 TMMWACGME의 동일한 6개 핵심 역량역동적으로 재구성한 형태로, 의학적 지혜의 도덕적 경제와 부합한다(그림 2, 하단 우측).

이 분석은 도덕적 경제가 교육과정 설계(curriculum design)에서 어떤 실질적 역할을 수행하는지를 보여준다. 이상적으로는, 도덕적 경제가 역량이 배치되는 프레임워크의 구조를 규정해야 하며, 이러한 프레임워크는 실천자에게 역량 수행의 “최적” 방식과 조율(coordination)에 대한 정신적 모델(mental models)을 제공할 수 있다. 그리고 이러한 정신 모델이 공유될 경우, 임상 팀(clinical teams)이나 평가 위원회(evaluation committees)의 수행 능력도 향상될 수 있다⁶¹ ⁶².


4 | 논의 (DISCUSSION)

의학적 지혜(medical wisdom)의료 과학(medical science) 패러다임 간의 상대적 양립 불가능성(relative incommensurability)을 검토한 지금, 우리는 지혜로운 역량(wise competence)의 특성을 보다 명확히 정의할 수 있게 되었다.

 

아리스토텔레스는 『니코마코스 윤리학(Nicomachean Ethics)』에서, 지혜로운 사람의 역량은 ‘정교한 숙고(deliberate finely)’ 능력에 의해 측정된다고 하였다⁴⁹. 이러한 사람들은 지식과 맥락, 그리고 의미 있는 목표를 통합하는 능력을 지닌 이로서 존경받았다. 아리스토텔레스와 그를 잇는 학자들은 ‘진리(the truth)’를 탐구하는 방식‘선(the good)’을 실현하는 방법에는 차이가 있음을 인정하면서도, 두 가지의 통합이야말로 진정한 ‘가치 있는 선(worthy goods)’을 성취하는 데 필수적이라고 보았다¹⁸ ⁴⁹.

 

통합적 TMMW는 이러한 지혜로운 의학적 역량을 현대적 관점에서 사고하는 하나의 방식이다. 이 모델의 문제 해결 구조에서, 과학적 지식(scientific knowledge)과 기술(technology)메타인지에 기반한 적응 역량(adaptive capacity grounded in metacognition)을 통해 환자와 의사의 목표(patient and physician goals)와 통합된다. 메타인지는 숙고(deliberation) 기능을 통해, "올바른 일을, 올바른 때에, 올바른 방식으로(right thing at the right time and in the right way)" 수행하는 것을 지향한다.

 

이 모델의 구조는, 인지적(cognitive)·행동적(behavioural)·구성주의적(constructivist) 접근을 통합하는 사례 기반 학습(case-based learning), 팀 기반 학습(team-based learning), 시뮬레이션 기반 학습(simulation-based learning)과 같은 교육 도구의 중요성과도 일치한다. 실제로, 이러한 접근법은 임상 직관(clinical intuition), 윤리적 숙고(ethical deliberation), 협업적 문제 해결(collaborative problem-solving) 등과 같은 지혜로운 역량의 복잡한 구성 요소들을 개발하는 데 기여한다는 근거도 보고되고 있다⁶³⁻⁶⁵.

 

이러한 통합을 추구하는 과정에서, 의료 실천가는 의학이 지닌 복잡한 도덕적 지형의 상대적 양립 불가능성건설적으로 해소할 준비가 되어 있어야 한다. TMMW와 그에 수반되는 도덕적 경제(moral economy)는 훈련생과 교육자들에게 이러한 양립 불가능성을 조율하는 접근 방식—균형(balance), 통합(integration), 상호의존성(interdependence), 적응 역량(adaptive capacity)—에 대한 정신적 모델(mental model)을 제공한다. 이러한 정신 모델은 전통적인 역량 프레임워크에서는 종종 제공되지 않지만, 복잡한 문제 해결을 수행, 교육, 평가하는 데 필수적인 요소로 인정받고 있다⁶⁶.

 

물론, 도덕적 경제문제 해결 접근법의 근본적인 차이 때문에, TMMW를 기존의 전통적인 역량 프레임워크와 완전히 매끄럽게 통합하기는 어려울 수 있다. 하지만 최근 문헌에서는 통합 역량(integrated competencies)에 대한 평가의 중요성이 강조되고 있으며⁶⁷(https://dohwan.tistory.com/1165), TMMW는 이러한 노력을 위한 구조, 어휘, 고유한 도덕 경제를 제공할 수 있는 가능성을 보여준다. 예를 들어,

  • 신뢰할 수 있는 전문 활동(entrustable professional activities, EPAs)는 본래 다수의 역량이 통합된 전문 실천 단위를 의미한다⁶⁸.
  • 그러나 도덕적 경제에 대한 명확한 개념 없이 EPAs를 바라본다면, 훈련생과 지도자는 EPAs를 단지 독립적인 역량들의 묶음으로만 오해할 수 있다.
  • TMMW는 이 같은 혼란을 방지하기 위해, 통합 역량의 구조, 어휘, 도덕 경제를 보다 명확하게 제시함으로써 EPAs의 효과적 실행을 지원할 수 있다⁶⁹.

 

또한, TMMW에 CAS적 요소(complex adaptive system-like features)를 통합한 점도 여러 측면에서 중요하다. 이 구조는 선형적이고 분석 중심적인 기존 모델보다, 생물학적 시스템의 특성을 더욱 충실히 반영하며⁷⁰, 의료 실천에서 메타인지의 명확한 역할을 부여하고⁷¹, 지혜로운 숙고(wise deliberation)지혜의 발달(development of wisdom) 메커니즘에 대해 복잡계 과학(complexity science)의 통찰을 탐색할 수 있는 길을 연다. 예컨대, CAS가 과거 상호작용의 정보를 기억하고(adapt), 적응하며(evolve), 진화하는 능력은 실천적 지혜(practical wisdom)의 발달에 있어 경험의 핵심적 역할을 설명하는 데 도움을 줄 수 있다⁵⁸ ⁷².

 

일부 사람들에게는 지혜로운 역량(wise competence)이라는 개념이 정확하지 않게 느껴질 수도 있다. 그러나 아리스토텔레스는 우리에게 다음과 같이 상기시킨다. “복잡한 문제에 대한 최선의 해답은 본질적으로 ‘정확하지 않다.’”⁴⁹ 대신에, 그것은 각자의 삶 속에서 신중하게 숙고하고 균형 있게 달성된 선(good) 속에 존재한다.


5 | 제한점 (LIMITATIONS)

본 연구는 자발적으로 참여한 의사들(physicians who volunteered)을 대상으로 하였으며, 이들은 일반적인 의사 집단보다 지혜(wisdom)에 더 높은 관심을 가진 집단일 가능성이 있다. 이로 인해 연구 결과에 비응답 편향(nonresponse bias)이 존재할 수 있다. 연구 참여를 선택하지 않은 지혜로운 의사들전혀 다른 방식으로 지혜를 정의했을 가능성도 존재한다. 또한, 참여자들의 응답은 사회적 바람직성 편향(social desirability bias)의 영향을 받았을 수 있다. 인터뷰에서는 종종 강한 정서적 반응을 유발하는 상황을 회상하도록 요구하였기 때문에, 이들의 기억은 선택적으로 왜곡되었을 가능성이 있다. 참여자들이 모두 내과 전문의(internists)였다는 점은, 연구 결과를 의학 전반에 일반화할 수 있는 외적 타당성을 약화시킬 수 있다.


6 | 결론 (CONCLUSIONS)

본 연구는 주제 분석(TA), 구조적 모델링(structural modelling), 양극성 매핑(polarity mapping)을 활용하여 다음과 같은 세 가지 주요 결론을 도출하였다.

  • 첫째, 분석 결과는 지혜로운 역량(wise competence)이란 의학적 지식(medical knowledge)을 임상적 맥락(clinical context)과 효과적으로 통합하여 환자와 의사의 목표(patient and physician goals)를 해결하는 능력임을 시사한다.
  • 둘째, 우리는 이 숙고적 과정(deliberative process)을 삼분 문제 해결 모델(tripartite problem-solving model)인 TMMW로 설명하였으며, 이 모델은 복잡적응시스템(complex adaptive systems, CAS)의 특징을 공유하고, 고유한 도덕적 경제(moral economy)에 의해 작동한다.
  • 셋째, 임상 역량(clinical competencies)은 이 삼분 지혜 모델(tripartite wisdom model)에 적절히 매핑될 수 있음을 보였다. 이처럼 보완된 역량 프레임워크는, 개별 역량 간의 상호의존성(interdependencies)과 상호작용(interactions)을 보다 잘 반영할 수 있으며, 환자 중심 진료(patient-centered care)를 조율하는 데 핵심적인 메타인지(metacognition)와 적응 전문성(adaptive expertise)의 역할까지 포괄할 수 있다.

 

앞으로의 추가 분석에서는, 본 연구에서 수집한 데이터셋을 바탕으로 지혜로운 실천(wise practice)의 발달을 촉진하거나 방해하는 요인들에 대한 인식을 심층적으로 탐색할 예정이다. 이 분석은 의학적 지혜와 CAS 간의 관계를 더 깊이 이해하고, 전체론적이고 환자 중심적인 진료 방식을 가르치는 교육 접근법을 개선하는 데 기여할 수 있을 것이다. 무엇보다도, 의학적 지혜의 정의에서 핵심적 역할을 하는 ‘적응 역량(adaptive capacity)’에 대한 후속 연구가 반드시 필요하다.


 

 

🔍 의학적 지혜(Medical Wisdom)의 삼분 모델(Tripartite Model of Wisdom): 질적 분석 결과 요약

이 표는 인터뷰에 참여한 의사들의 진술을 바탕으로 의학적 지혜(MW)를 구성하는 주요 주제(theme)를 도출한 결과입니다. 기술적 지식(Technical Knowledge), 가치(Values), 적응 역량(Adaptive Capacity)이라는 세 가지 핵심 구성요소 아래, 세부 주제들과 대표 인용구가 정리되어 있습니다.


① 기술적 지식 (Technical Knowledge)

  • 의학적 지혜는 탄탄한 지식 기반 없이는 성립할 수 없습니다.

“So medical wisdom … requires significant knowledge. So … to be wise as a physician, you need to have [a] very solid knowledge base.”
“의학적 지혜에는 상당한 지식이 필요하죠. 현명한 의사가 되려면 아주 탄탄한 지식 기반이 필요합니다.”
– 참여자 12


② 가치 (Values)

  • 연민과 이타심 (Compassion/Altruism)

“I feel like the wisdom there is that—talking to this person and understanding who they are a little bit and understanding that it may screw with their life a little bit to have something hanging over their head … the wisdom here is going against the, strictly speaking, medical indication to do something because it’s better for the patient.”
“그 사람에 대해 조금 더 이해하고, 엄밀히 따지면 의학적으로 권장되는 처치를 하지 않더라도 환자에게 더 좋은 방향을 택하는 것—거기에 지혜가 있다고 느꼈어요.”
– 참여자 13

  • 용기 (Courage)

“[Wisdom is] some bravery to call it like it is … like the courage of your conviction.”
“지혜란, 본질을 직시하고 그대로 말할 수 있는 용기, 신념을 따르는 용기죠.”
– 참여자 5

  • 영적 신념 (Spiritual Beliefs)

“Wisdom is a figure that’s used a lot including, including a personified figure in Judeo-Christian scriptures, wisdom is sort of one of the … the faces or the avatars of God, in a sense. … Wise clinical judgement … also brings in a justice connotation as well and that part also is quite scriptural.”
“지혜는 유대-기독교 경전에서도 자주 의인화되어 등장하는 개념이에요. 신의 한 얼굴 혹은 아바타처럼 말이죠. 현명한 임상 판단이란 건 정의(justice)의 뉘앙스를 담기도 하고, 그런 점에서 영적인 면도 있는 거죠.”
– 참여자 9


③ 적응 역량 (Adaptive Capacity)

📥 수용적 역량 (Receptive / Afferent)

  • 감성 지능 (Emotional Intelligence)

“[Wisdom] comes from your learned experience of talking to people and relating information and sensing body language and people’s aptitude for understanding … it's having that kind of wisdom to recognize other elements of the interaction than just sort of the factual basis of the storyline or of the test results.”
“지혜는 사람들과 대화하고, 그들의 반응과 몸짓을 통해 그 상황을 파악하는 경험에서 옵니다. 단순한 이야기의 줄거리나 검사 결과 그 자체보다, 더 깊은 층위의 상호작용을 읽어낼 수 있는 능력이죠.”
– 참여자 11

  • 공감 (Empathy)

“I have gained a tremendous amount of insight I think through patient stories, and that helped me to view their presentation and their behaviour in the context of what is often just notably abuse and neglectful circumstances … and I think that that allows me to approach the relationships with what sometimes could be construed difficult behaviour in a grounded neutral way.”
“환자의 삶의 이야기를 통해 많은 통찰을 얻었어요. 그들이 보이는 행동이나 증상 뒤에 있는 삶의 맥락—학대, 방임 같은 경험—을 이해하게 되었고, 그 덕분에 어려운 행동도 훨씬 중립적으로 바라볼 수 있게 되었습니다.”
– 참여자 3

  • 관점 전환 (Perspective Taking)

“It’s using the things that you have learned over time and putting them into some sort of perspective to either help yourself or your patients.”
“시간을 두고 배운 것들을 어떤 관점으로 재구성해서, 나 자신이나 환자를 도와주는 데 쓰는 것이죠.”
– 참여자 13

🧠 메타인지적 역량 (Metacognition / Central)

  • 맥락 인식 (Contextual Awareness)

“It’s just very different to learn something in a—in a book or in a lecture, um, that’s not in the real world, without context. And … clinical training in medicine is where you start to actually encounter real, clinical situations where you take all that book-learning and lecture-learning and then you have context for it, and multiple different instances of applying that in different contexts, you have a sort of a deeper understanding of what you learned.”
“책이나 강의로 배우는 것과, 실제 임상에서 다양한 맥락을 적용해보는 것은 전혀 다른 일이에요. 맥락 속에서 배운 지식이 훨씬 더 깊게 이해되죠.”
– 참여자 18

  • 자기 인식 (Knowing Oneself)

“I think good physicians know what they know what they do not know … and defend against becoming egotistical or ever thinking that clinical decision making is about them as the physician as opposed to doing a service for the patient.”
“훌륭한 의사는 자신이 아는 것과 모르는 것을 구분할 줄 알고, 환자 중심의 진료가 아닌 자기 과시의 결정이 되지 않도록 경계합니다.”
– 참여자 2

  • 인식적 겸손 (Epistemic Humility)

“Wisdom is … the ability to know what you do not know. It’s kind of a strange thing to … accumulate knowledge, but at the same time, realize some vast expanse you do not know.”
“지혜란 자신이 모르는 것을 자각하는 능력입니다. 아무리 지식을 쌓아도, 여전히 내가 모르는 세계가 광활하다는 걸 인식하는 거죠.”
– 참여자 16

  • 지식의 한계 인식 (Understanding Limits of Technical Knowledge)

“Knowing when to follow the rules and when the rules do not really apply in the situation—when it comes to medicine anyway. When the rules aren’t really applicable to the situation you are looking at when you need to look elsewhere.”
“규칙을 따를지 말지를 판단할 줄 알아야 해요. 어떤 상황에선 규칙이 적용되지 않을 수 있거든요. 그럴 땐 다른 방향을 봐야 하죠.”
– 참여자 1

  • 통제 상실 수용 (Accepting Loss of Control)

“And I think, [he] taught me the wisdom to be able to sit in sadness and in ambiguity and a little bit of helplessness, with patients and families. And I think he made me a much, much wiser physician, through that.”
“그는 저에게 슬픔, 모호함, 무력함 속에 그냥 머무는 지혜를 가르쳐줬습니다. 덕분에 저는 더 현명한 의사가 될 수 있었어요.”
– 참여자 2

🗣️ 표현적 역량 (Expressive / Efferent)

  • 미묘한 커뮤니케이션 (Nuanced Communication)

“I think medicine … is also distinct because you have wisdom about how to communicate with people, how to interact with people … that has an extra dimension that you might not have with just wisdom related to, um, a content area or a specific academic topic.”
“의학은 단지 학문적인 지혜를 넘어, 사람들과 어떻게 소통하고 상호작용할 것인지에 대한 지혜까지 요구하는 특별한 분야예요.”
– 참여자 16

  • 유연성 (Flexibility)

“I think for me actually shifting jobs, uh, really helped me be less annoyed about small things … I think of it as wisdom sort of becoming truly at peace with that, you know, I’m like, ‘This is a part of the system. It is there for reasons that make sense and I just need to incorporate them into my practice and there’s no sense in being frustrated.’”
“직장을 옮기면서 작은 일에 덜 짜증내게 되었어요. 이제는 ‘이것도 시스템의 일부다. 이유가 있고, 그냥 받아들이면 되는 일이다’라고 생각하게 됐죠. 그게 저에게는 지혜예요.”
– 참여자 17

 

 

📌 Section B – 지혜(Medical Wisdom)가 요구되는 상황

연구 참여자들은 어떤 상황에서 '지혜로운 실천(wise practice)'이 특히 필요한지를 다음과 같은 세 가지 범주로 설명했습니다.


1. 인식론적 불확실성 (Epistemological Uncertainty)

  • 현실 세계의 복잡성 (Real-world complexity)
    한 의사는 이렇게 고백합니다:
  • “제가 전문가라고 생각했는데, 환자가 조용히 저를 멈추더니 말하더군요. ‘제가 사는 동네엔 인도가 없어요. 설사 있다 해도, 밖을 걷는 게 불안할 거예요.’ 그 말을 듣고, ‘미안해요. 어떤 움직임이 좋을까요? 어떤 활동을 원하세요?’라고 되물었죠.”
    – 참여자 7
  • 맥락 의존적인 의사결정 (Contextually sensitive decisions)
  • “의료적인 결정을 내릴 때, 얼마나 많이 개입해야 하는지, 얼마나 줄여야 하는지, 그 판단을 내릴 수 있는 지혜가 필요해요.”
    – 참여자 9
  • 의학적 딜레마 (Medical dilemmas)
  • “우리는 기대 수명이 제한된 환자들을 돌봅니다. 적극적인 치료를 계속할지 말지를 판단할 때마다 정말 힘들어요.”
    – 참여자 8

2. 가치 기반 진료 (Values-driven Care)

  • 환자 자율성 존중 (Respect for patient autonomy)
  • “제 경력 초기에, 당뇨병 환자를 돌보면서 늘 겪었던 건 이런 상황이에요. 다른 의사가 똑같은 걸 하려고 하니까 환자가 고개를 저으며 말하죠. ‘이건 싫어요.’ 결국 의사와 환자 모두 답답해하고, ‘그럼 다른 병원 가세요’라는 상황이 돼버려요.”
    – 참여자 6
  • 진실성 (Integrity)
  • “우리는 환자를 도와야 했는데, 오히려 안 좋은 일을 저질렀어요. 감염일 수도 있고 아닐 수도 있는데, 더 이상 할 수 있는 게 없었죠. 결국 ‘죄송합니다. 우리가 잘 모르고 했습니다’라고 말해야 했어요.”
    – 참여자 14

3. 대인관계적 주관성 (Interpersonal Subjectivity)

  • 복잡한 대인관계 상호작용 (Complex interpersonal interactions)
  • “환자 돌봄에 참여하는 다양한 사람들 간의 상호작용은 굉장히 복잡해요. 그들의 가치, 역할, 이해관계 등을 종합해서 어떻게 투명하게 소통할지를 고민해야 하죠.”
    – 참여자 10
  • 개별화 및 개인화 (Individualization/Personalization)
  • “환자마다 다 다르잖아요. 누구에게 어떤 조언을 해야 할지, 어떤 결정을 내리게 도와야 할지를 개별적으로 고민해야 하죠.”
    – 참여자 1

🚧 Section C – 의료 역량 개념에 지혜를 통합하는 데 있어 장애와 촉진 요인

❌ 장애 요인 (Barriers)

  • 성장에 대한 헌신 부족 (Lack of commitment to growth)
  • “실수는 잊고 다음 환자 보자, 이런 문화가 있어요. ‘다 잘했어. 그냥 넘기자’는 분위기죠. 근데 이건 사실 자기 방어죠.”
    – 참여자 13
  • 기술적 지식을 지혜로 오해 (Mistaking technical knowledge for wisdom)
  • “우리가 ‘이건 이렇게 해야 해요’라고 말해도, 그게 꼭 기술이나 지혜를 길러주는 건 아니거든요.”
    – 참여자 5
  • 불확실성에 대한 불관용 (Intolerance of uncertainty)
  • “전통적으로는, 회진 때 질문에 하나의 정답을 기대하잖아요. 근데 진짜 지혜는 ‘이게 아니면 저거일 수도 있다’는 걸 수용하는 거예요.”
    – 참여자 8
  • 기술적 지식에 대한 과잉 의존 (Overemphasis on technical knowledge)
  • “우리는 회의 때 실수 사례를 놓고 분석하죠. 하지만 종종 더 중요한 건, 왜 그런 판단을 했는가에 대한 성찰인데, 거기에 집중하지 못해요.”
    – 참여자 13
  • 완벽주의 문화 (Culture of perfectionism)
  • “항상 모든 걸 알아야 하고, 항상 맞아야 한다는 기대가 있어요. 모른다고 말할 수 없는 문화예요.”
    – 참여자 7
  • 근거 중심 접근의 경직성 (Inflexible adherence to evidence)
  • “어떤 사람은 ‘문헌을 보여줘요, 증거를 보여줘요’라고만 해요. 근데 문헌이 모든 걸 말해주진 않거든요.”
    – 참여자 18
  • 경직된 사고 (Rigid thinking)
  • “사람들은 ‘우린 원래 이렇게 해요’라고 하죠. 하지만 그렇게 생각하면 더 나은 방법을 놓치게 돼요.”
    – 참여자 12

✅ 촉진 요인 (Facilitators)

  • 자신의 한계를 아는 능력 (Knowing your limits)
  • “자기 실수와 무지를 받아들이고, 무지를 공부의 출발점으로 삼는 게 중요해요. ‘이건 모르겠어요. 찾아볼게요’라고 말할 수 있는 것, 그게 지혜로운 의사의 시작이죠.”
    – 참여자 2

 

 

 

✅ Section C (계속): 의료 역량 개념에 지혜를 통합하기 위한 촉진 요인 (Facilitators)

🧠 감성 지능 개발 (Developing Emotional Intelligence)

“오랜 시간 의사로 일해왔어요. 예전에는 ‘자기 발전(self-improvement)’이나 ‘감정적 개방성’에 대해 이야기하는 문화가 거의 없었죠. 환자와 의사 간의 관계나 커뮤니케이션(patient-doctor communication)은 언급조차 안 되거나, 아주 형식적으로 언급되거나, 심지어 무시당하거나 웃음거리로 여겨졌어요. 솔직히 말하면, 제 의학교육 과정에선 아예 없었어요.
그런데 지금은 점점 이런 얘기를 하게 되고, 앞으로는 더 나아질 거라 봅니다.”
— 참여자 19 (Participant 19)

 


🎯 전문적 가치의 식별 및 확립 (Identifying and Affirming Professional Values)

“어떻게 하면 더 나은 방식으로 전문 직무를 수행할 수 있을까? 이건 단순히 성실성(conscientiousness)의 문제가 아니에요.
훨씬 더 윤리적이고 도덕적인 헌신이죠. 이런 헌신이 의사로서의 정체성과 무결성(integrity)을 드러내는 거예요.
사람들은 다양한 방식으로 이 가치에 따라 움직이고, 그 과정에서 의료라는 분야에 입문하게 된 본래의 이유를 다시 떠올리기도 하죠. 그렇게 할 때 비로소 지혜(wisdom)가 자리 잡을 수 있어요.”
— 참여자 10 (Participant 10)


🔍 호기심 유지 (Retaining Curiosity)

“당신은 궁금해하고, 질문하죠. 그렇게 38년, 40년 동안 쌓인 질문과 호기심이 지혜를 기르는 데에는 엄청난 자산이에요.”
— 참여자 4 (Participant 4)

 

 

 

🧠 The Tripartite Model of Medical Wisdom (TMMW)

이 모델은 의학적 지혜(wisdom)를 세 가지 핵심 구성 요소의 통합체로 설명합니다:

1. Knowledge (지식)

  • 역할: 도구(tools)
  • 특징: 필수이지만, 그것만으로는 충분하지 않음 (Necessary but not sufficient)
  • 예: 의학적 전문 지식, 기술적 판단

2. Values (가치)

  • 역할: 나침반(compass)
  • 구성 요소:
    • Compassion / Altruism (연민 / 이타심)
    • Courage (용기)
    • Spiritual beliefs (영적 신념)

지식이 ‘도구’라면, 가치는 ‘방향’입니다. 무엇이 옳은가를 판단하는 기준 역할을 하죠.

3. Adaptive Capacity (적응 역량)

  • 역할: 연결고리이자 조율 기능을 수행하는 메타인지 기반 시스템
  • 구성 요소:
    ⬅️ Receptive (수용적)
    🧠 Metacognition (메타인지)
    ➡️ Expressive (표현적)
범주  포함 요소
Receptive Emotional intelligence, Empathy, Perspective taking
Metacognition Contextual awareness, Knowing oneself, Epistemic humility, Understanding limits of knowledge, Accepting loss of control
Expressive Nuanced communication, Flexibility

이 적응 역량은 단순히 정보 처리 능력을 넘어서, 상황에 맞는 판단과 행동을 이끌어내는 통합적 기능입니다.

 

📌 이 세 가지 요소는 상호작용하며 지혜(wisdom)를 만들어냅니다. 중심의 WISDOM은 복잡하고(complex), 통합적(integrative)인 성격을 가집니다.


🔁 비교: 다른 세 가지 지혜 및 복잡한 문제 해결 모델과의 연결

오른쪽에는 TMMW와 비교되는 세 가지 기존 모델이 삼각형 구조로 나와 있습니다.


Ardelt’s Three-Dimensional Wisdom Model

  • 구성:
    • Cognitive (인지적)
    • Reflective (성찰적)
    • Compassionate (자비적)

📌 이 모델은 개인 수준에서의 지혜의 심리적 특성을 강조하며, TMMW의 Knowledge / Adaptive capacity / Values와 구조적 유사성을 공유합니다.


Ancient Stoic Model of Wisdom (고대 스토아 지혜 모델)

  • 구성:
    • Logic (논리)
    • “Physics” (세계 이해)
    • Lived ethic (삶으로 드러나는 윤리)

📌 스토아 모델은 철학적 기반에서 지혜를 논하며, 이론과 실천의 통합이라는 점에서 TMMW와 유사한 방향성을 가집니다.


Model of Complex Adaptive Systems (CAS)

  • 구성:
    • Tools / Information (도구/정보)
    • Responsiveness (반응성)
    • Attractor (끌개, 즉 가치나 목표)

📌 CAS 모델은 복잡한 환경에서 시스템이 스스로 조정하고 진화하는 방식을 설명하며, TMMW의 지식, 적응 역량, 가치와 1:1로 대응됩니다.


✨ 요약

  • TMMW는 지식, 가치, 적응 역량을 유기적으로 통합하여 의학적 지혜를 설명합니다.
  • 이 모델은 심리학, 철학, 복잡계 이론과도 구조적으로 유사하며, 임상교육, 의사결정, 리더십, 인간 중심 진료에 적용 가능합니다.
  • 핵심은 단순한 스킬이 아니라, “적절한 것을, 적절한 시점에, 적절한 방식으로” 수행할 수 있는 능력입니다.

필요하시면 이 그림을 설명하는 블로그 포스트 형식이나 강의 슬라이드용으로도 정리해드릴 수 있습니다. 어떤 방식으로 활용하시겠어요?

이 그림(Figure 2)은 첫 번째 그림(TMMW)의 철학적 기반을 확장하여, “wise competence(지혜로운 역량)”을 정의하고 통합하는 데 있어 두 개의 도덕적 경제(moral economies)—즉, 의료 과학(medical science)과 의학적 지혜(medical wisdom)—가 어떻게 다르며 충돌하거나 통합될 수 있는지를 시각화한 내용입니다.

 


🧭 1. 좌측: Medical Science’s Moral Economy

(의료 과학의 도덕적 경제 – 진리의 추구 pursuit of truth이 영역은 전통적인 의학 교육과 임상 평가 체계(예: ACGME 역량 기반 프레임워크)가 작동하는 방식의 철학적 전제와 가치관을 보여줍니다.

🔎 핵심 특징 – Analytic and Predictive Imperatives:

  • 단순성 가정 (Assumption of simplicity)
  • 정량화/측정 강조 (Emphasis on quantification/measurement)
  • 정확성 추구 (Pursuit of precision)
  • 소통 가능성 기대 (Expectation of communicability)
  • 객관성/공정성 요구 (Demanding impartiality/objectivity)
  • 재현성 지향 (Aspiring towards reproducibility)
  • 표준화 강조 (Promoting standardization)

📦 결과적으로 탄생한 프레임워크:
➡️ A Medical Science-based Clinical Competency Framework
➡️ ACGME의 6대 역량 (예시)

  • Patient care
  • Medical knowledge
  • Practice-based learning
  • System-based practice
  • Professionalism
  • Interpersonal skills and communication

이 프레임워크는 객관적 평가표준화된 교육성과에 최적화되어 있습니다.


🚧 2. 가운데: Barriers and Facilitators to “Wise Competence”

(지혜로운 역량의 개념화에 대한 장애 요소 vs 촉진 요소)

이 부분은 질적 인터뷰를 통해 확인된 두 패러다임 간의 긴장(tensions)을 요약합니다.

❌ Barriers (장애 요인)

  • 기술적 지식의 과잉 강조
  • 기술 지식을 곧 지혜로 오해
  • 기존 근거(evidence)에 대한 경직된 집착
  • 불확실성에 대한 비관용
  • 완벽주의 문화
  • 고정적 사고
  • 성장에 대한 의지 부족

✅ Facilitators (촉진 요인)

  • 한계 인식 / 인식적 겸손 (Knowing your limits / epistemic humility)
  • 감성 지능 개발 (Development of emotional intelligence)
  • 전문적 가치의 확립 (Identifying and affirming professional values)
  • 호기심 유지 (Retaining curiosity)

이 요인들은 기존 의료 교육 패러다임의 한계와 그것을 극복하는 방향을 동시에 보여줍니다.


🌱 3. 우측: Wisdom’s Moral Economy

(의학적 지혜의 도덕적 경제 – 선의 추구 pursuit of “the good”)

이 영역은 TMMW 모델의 철학적 기반이며, 전체론적(holistic)이고 적응적(adaptive)인 특성을 중심으로 설계된 의료 패러다임을 보여줍니다.

💡 Holistic and Adaptive Imperatives:

  • 가치 있는 목표의 설정 (Targeting of worthwhile goals)
  • 구체적 상황 인식 (Perception of concrete circumstances)
  • 도덕적 원칙에 대한 헌신 (Commitment to moral principles)
  • 목표, 상황, 도덕의 통합 (Integration of goals, circumstances, and moral principles)
  • 맥락적 적절성 강조 (“the right thing at the right time in the right way”)
  • 탁월성의 긴장과 균형 조율 (Management of tensions and balances in the demonstration of excellence)

📦 결과적으로 제안된 프레임워크:
➡️ A Medical Wisdom-based Clinical Competency Framework

이 구조는 기존 ACGME 역량을 통합적 지혜 구조 안에 재배치합니다.
아래 보이는 통합된 TMMW 모델은 실제로 ACGME 역량 중 일부를 지식, 가치, 적응 역량의 세 영역으로 재배치했습니다:

TMMW 요소  예시 ACGME 역량
Knowledge Medical knowledge
Values Professionalism
Adaptive Capacity System-based practice, Interpersonal skills, Practice-based learning

📌 요약: 이 그림이 말하는 것

  • 전통적 의학교육 체계는 진리 중심(medical science)이고,
    정확성, 표준화, 재현성을 목표로 설계되어 있음
  • 반면 의학적 지혜(medical wisdom)는 선(goodness)을 추구하며,
    맥락, 도덕, 통합적 판단을 강조함
  • 이 두 패러다임 사이에는 개념적 긴장이 존재하지만,
    TMMW는 그 차이를 조율하며 지혜를 ‘역량’으로 정립할 수 있는 새로운 틀을 제시

 

Med Teach2024 Jan;46(1):140-146.  doi: 10.1080/0142159X.2023.2232097. Epub 2023 Jul 18.

Competency-based medical education: The spark to ignite healthcare's escape fire

 

 

 

🧯CBME는 의료교육의 '탈출 화염(Escape Fire)'이 될 수 있을까?

요즘 의료 현장을 보면, 이대로 괜찮은 걸까 싶은 생각이 자주 들어요. 환자들은 제대로 된 진료를 받지 못하고, 의료인들은 점점 지쳐갑니다. 그렇다면 지금 우리에게 필요한 건 뭘까요?

이 논문에서는 바로 “탈출 화염(Escape Fire)”이라는 은유를 사용해 그 답을 제시합니다.


🔥 탈출 화염(Escape Fire)이라는 비유, 무슨 뜻일까?

1949년 미국 몬태나의 Mann Gulch에서 산불이 발생했을 때, 소방대장이었던 Wag Dodge는 모두가 달아나는 상황에서 자신 앞에 일부러 불을 지폈고, 그 불이 지나간 자리에 몸을 눕혀 목숨을 건졌습니다. 이 ‘기묘한 해결책’은 결국 전통적인 방식으로는 살아남을 수 없는 상황에서 즉흥적으로 만들어낸 생존 전략이었습니다.

“The possibility of invention and opportunity to make sense – new sense – will open not just routes of escape but vistas of achievement that the old order could have never imagined.”
— Berwick (2002)


💡 의료교육에도 탈출 화염이 필요하다

지금의 의료 시스템은 너무 비효율적이고 파편화되어 있어요. 환자도, 수련의도, 교수들도 이 시스템 속에서 번아웃되고 있죠.
논문은 이렇게 말합니다:

We need an escape fire. Without it, we will continue to shortchange patients and produce learners who do the same.
우리는 탈출 화염이 필요하다. 그렇지 않으면 환자에게 부족한 진료를 제공할 것이고, 그런 진료를 하는 수련의를 양성하게 될 것이다.


🧭 그럼 해답은 무엇일까? 👉 CBME

이 논문은 CBME(Competency-Based Medical Education, 역량기반 의학교육)를 해답으로 제시합니다. CBME는 환자 중심(patient-focused)이면서 학습자 중심(learner-centered)인 교육 철학이에요. 기존의 교육은 대개 교수들의 의도에 따라 교육과정이 짜이고, 환자는 배경에 불과했어요. 하지만 CBME는 환자의 필요(needs of patients)를 교육의 출발점으로 삼습니다.

CBME turns this traditional model on its head by prioritizing patients’ needs…
CBME는 기존 교육 모델을 전복시킨다. 환자의 요구를 최우선에 두고…


🧱 CBME가 마주한 현실적 장벽들

하지만 CBME를 실행에 옮기는 일은 결코 쉽지 않아요. 시간과 자원이 부족하고, 교수들의 저항도 큽니다.

Perhaps the biggest challenge facing CBME is meaningful implementation as intended.
CBME가 직면한 가장 큰 도전은, 의도한 대로 의미 있게 실행하는 것이다.

 

또한 일부에서는 CBME를 두고 “믿음에 기반한 교육(faith-based medical education)”, *“복제 교육(monkey see, monkey do)”*라고 비판하기도 합니다. 이때 우리가 놓치지 말아야 할 것은 공감(compassion)과 협력(collaboration)입니다.

Compassion is necessary to demonstrate sincere understanding for barriers that are not personal but rather systemic.
공감이란, 장애물이 개인이 아니라 시스템의 문제임을 진심으로 이해하는 태도다.


🧪 CBME가 불씨(spark)가 되려면?

CBME는 교육과 평가의 단순한 기술적 변화가 아니라, 구조 전체를 다시 생각해야 하는 적응적 과제(adaptive challenge)입니다.
그 시작은 작고 중요한 ‘불씨’에서 시작될 수 있습니다. 예를 들어,

  • 환자 경험(Patient-Reported Outcomes)
  • 신뢰가능한 전문 활동(EPAs)
  • 전공의 민감 지표(Resident-Sensitive Quality Measures)

이런 환자 중심 평가(patient-focused assessment)의 도입은 CBME가 ‘탈출 화염’이 될 수 있는 중요한 기회입니다.


🚀 마무리하며: 새로운 의미의 길을 열기 위해

CBME는 단순한 유행이 아닙니다. 이는 환자를 중심에 두고 의학교육과 진료를 재정렬하려는 거대한 움직임입니다.

Creating a shared vision that places a clear, undeniable, and sustained focus on the patient…
환자를 명확하고 부정할 수 없으며 지속적인 중심으로 두는 공유된 비전을 만들자…

 

CBME는 지금 우리가 서 있는 이 혼란스러운 의료 현실에서 벗어나는 하나의 출구이자, 우리가 미처 상상하지 못했던 성취의 지평(vistas of achievement)을 열 수 있는 불씨가 될 수 있습니다.

 


 

보건의료 시스템은 개별 환자 경험을 향상시키고, 인구 건강을 개선하며, 의료 비용을 절감하고, 의료 종사자의 웰빙을 증진시키고, 건강 형평성을 촉진해야 한다(Berwick et al., 2008; Bodenheimer and Sinsky, 2014; Nundy et al., 2022). 이러한 고부가가치(high-value) 의료는 환자가 받아 마땅한 것이며, 의료인이 제공해야 할 이상적인 모습이다(Porter, 2010). 그러나 안타깝게도, 대부분의 경우 이러한 이상은 현실에서 구현되지 않고 있다(Schneider et al., 2021; Tikkanen and Abrams, 2020). 이러한 사실을 인식하고 있음에도 불구하고, 우리는 여전히 분절적이고, 비효율적이며, 불공정하고, 고비용의 보건의료를 고수하고 있다(Kohn et al., 1999; Baker, 2001).

 

이러한 고부가가치 의료를 실현하기 위해, 질 향상의 대가로 불리는 Dr. Don Berwick는 미국의 보건의료 시스템이 '탈출 화염(escape fire)', 즉 새로운 의미 형성 방식을 통해 현재의 상태에서 '아직 상상되지 않은 성취의 지평(vistas of achievement)'으로 나아가야 한다고 주장하였다(Berwick, 2002). 그러나 안타깝게도, 미국 의료를 구하자는 그의 20년 전의 절박한 호소는 아무런 반향 없이 묻혀버렸다(Schneider et al., 2021; Tikkanen and Abrams, 2020). 물론 미국의 보건의료 시스템이 가장 시급히 ‘탈출 화염’이 필요한 곳일 수 있지만, 시의적절하고, 고품질이며, 형평성 있고, 경제적인 의료의 보장은 전 세계적으로도 절실한 과제이다(Schneider et al., 2021; Tikkanen and Abrams, 2020).

 

Berwick의 호소 이후 오히려 글로벌 보건의료 상황이 악화되었다는 점을 고려할 때, 우리는 그의 비유를 다시 소환하고자 한다. 우리는 의학교육이 이 탈출 화염의 불씨를 지필 수 있으며, 그래야만 한다고 주장한다. 그 방법은 역량기반 의학교육(CBME: Competency-Based Medical Education)을 채택하는 것이다. CBME는 결과 기반 접근 방식으로, 의학의 초점을 의사 자신이 아닌 환자에게로 명확히 전환시키는 교육 패러다임이다. CBME는 성과 기반 의학교육(Outcomes-Based Medical Education)이라는 용어와 혼용되기도 한다(Holmboe and Batalden, 2015). 이 용어는 잘 쓰이지는 않지만, CBME가 어떻게 보건의료 시스템의 한계를 극복할 수 있는지를 더 잘 설명해준다. 즉, 탁월한 환자 결과를 이끌어낼 수 있는 역량을 갖춘 졸업생을 양성함으로써, 교육이 곧 환자 중심 의료로 이어지는 경로를 만든다는 것이다.

 

최초의 '탈출 화염' 기록은 1949년 미국 몬태나주 맨 걸치(Mann Gulch)의 산불 현장에서, '왝 닷지(Wag Dodge)'라는 남성에 의해 사용되었다. 그는 15명의 스모크점퍼(smokejumper: 낙하산을 타고 산불 진압 현장에 투입되는 요원들) 팀의 반장이었다. 예기치 않게 불길은 걸치의 남쪽에서 북쪽으로 뛰어올랐고, 스모크점퍼들이 예정한 하산 경로를 따라 진로를 가로막으며 강으로 도망치는 유일한 탈출로를 차단했다. 가파른 경사, 고온, 나쁜 시야, 무거운 장비와 도구는 그들이 불길을 앞질러 도망치는 것을 불가능하게 만들었다.

 

도망칠 유일한 방향은 오르막길이었다. "왝 닷지는 그들이 정상까지의 경쟁에서 질 것이라는 것을 알았다. 불길이 200야드도 채 안 되는 거리까지 따라붙었을 때, 그는 이상하면서도 놀라운 행동을 취했다. 그는 주머니에서 성냥을 꺼내 바로 앞 풀밭에 불을 질렀다. 불은 그의 앞쪽 경사로를 따라 빠르게 번졌고, 그는 그 불에 탄 자리에 몸을 눕혔다. 그는 자신의 팀에게도 그 자리에 들어오라고 소리쳤다. 닷지는 '탈출 화염(escape fire)'을 발명한 것이며, 맨 걸치 사건 이후 이는 미국 산림청 소방관 훈련의 표준 절차가 되었다. 그러나 1949년 8월 5일, 그 누구도 닷지를 따르지 않았다. 불길은 닷지의 주변을 휩쓸고 지나가 그의 팀원들을 덮쳤다." (Berwick, 2002)

 

이 사례에서, 한 개인이 혼란과 위기의 상황 속에서 기존의 규범을 벗어난 해결책을 즉흥적으로 고안해낸 것이다. 이 선택은 매우 위험하며 큰 용기를 요구했다. 이 방법은 이론적으로는 그들 모두가 사용할 수 있었던 전략이었지만, 그것을 떠올릴 수 있었던 닷지의 창의성과, 미지의 영역에 스스로 들어가는 용기가 있어야만 가능했다. 반면 그의 화염 속에 들어오지 않은 동료들은 경사나 거리뿐 아니라, 절대 버려서는 안 된다고 배웠던 도구들에 짓눌려 정상까지 도달하지 못했다.

 

Berwick은 이 탈출 화염의 은유를 통해, 오늘날의 보건의료 시스템이 처한 상황을 ‘걸치(gulch)’, 즉 가파르고 멀기만 한 절벽으로 비유했다. 고부가가치 의료라는 정상에 도달하기 위한 경사는 너무 가파르며, 기존의 접근 방식으로는 도달할 수 없다. 우리 역시 시야는 흐릿하고, 변화에 대한 저항과 과거 패러다임에 대한 집착으로 무거운 짐을 지고 있다. 이제는 새로운 의미 형성을 가능하게 해주는 ‘탈출 화염’이 필요하다. 본 논문은, 이 탈출 화염을 의학교육 공동체가 CBME의 전면적 실행을 통해 점화할 수 있다고 제안한다. 이 접근은 학습자 중심 성과를 달성함으로써 궁극적으로는 인구 건강 성과를 향상시키는 데 이바지할 수 있다.

 

구체적으로, 우리는 다음 두 가지 질문을 던진다.

  • CBME는 보건의료를 위한 탈출 화염이 될 수 있는가?
  • CBME는 탈출 화염이 되어야 하는가?

이 질문들을 논의하기 전에, '탈출 화염' 비유가 의료 시스템 개선을 위한 완벽한 비유는 아님을 먼저 인정해야 한다. 성냥을 땅에 던지는 일은 복잡한 문제에 대한 단순한 해결책이었지만, CBME의 도입은 복잡한 문제에 대한 적응적(adaptive) 해결 방식이다. 이 점은 본 논문의 후반부에서 CBME가 실제적으로 어떤 역할을 할 수 있는지를 중심으로 구체적으로 논의된다. 이 차이를 고려하더라도, 탈출 화염의 비유는 여전히 다음의 측면에서 의미 있는 통찰을 제공한다고 본다.

  1. 변화에 대한 시급성을 강조한다.
  2. 변화하지 않을 경우의 위험과 대가를 드러낸다.
  3. 새로운 사고 및 실천 방식을 보기 어렵고, 실행하기도 어렵다는 현실을 직면하게 한다. 여기에는 실패 가능성 앞에서 자신을 드러낼 수 있는 용기도 포함된다.
  4. 위기에 직면한 주요 이해관계자(primary stakeholders)들에게 초점을 맞춘다.

왜 역량기반 의학교육(CBME)인가?

‘왜 CBME인가?’를 본격적으로 논의하기에 앞서, 우리는 왜 탈출 화염(escape fire)의 출발점이 의학교육이어야 하는가를 먼저 설명할 필요가 있다. 현대 보건의료는 세 가지 주요 기둥, 즉 환자 진료(질 향상 및 시스템 개선 과학 포함), 연구, 의학교육 위에 세워져 있다(Ludmerer, 1999). 그러나 이 세 분야 중 어느 것도 Berwick의 요청 이후 지난 20여 년간 보건의료를 개선하는 탈출 화염을 제공하지 못했다. 이 중 어느 하나도 탈출구가 될 수 있었고, 불씨가 붙고 나면 결국 모두 협력해야 할 것이다.

 

그렇다면, 왜 의학교육인가? 전통적인 의학교육은 수련생들이 졸업 시점에서 환자의 요구를 충족할 준비가 되어 있는지를 보장하지 못한다(Asch et al., 2009; Chen et al., 2014; Bansal et al., 2016). 기존 접근 방식은 보통 교육자들이 교육과정 개요를 설정하고, 이를 바탕으로 교육 목표를 개발한 뒤, 해당 목표의 달성 여부를 평가하는 방식으로 구성된다(Frenk et al., 2010). 이 모델 속에서 환자는 기껏해야 암묵적으로 존재하는 존재이다. 그러나 우리의 경험상, 이러한 과정은 실제로는 치료를 필요로 하는 환자의 ‘요구’보다는, 영향력 있는 교수진의 ‘욕구’에 더 크게 좌우된다.

 

CBME는 이러한 전통적 모델을 전복한다. 환자의 요구를 중심에 두고, 그에 따라 교육과정과 평가를 설계하며, 학습자가 환자의 요구를 충족시킬 수 있도록 정해진 학습성과를 달성했는지를 보장하는 방향으로 나아간다(Frenk et al., 2010). 이러한 관점은 1970년대부터 제안되었고(McGaghie et al., 1978), 이후 지난 20년간 많은 이들이 CBME를 의학교육의 선호되는 접근법으로 채택하게 되었다(ten Cate and Scheele, 2007; Frank et al., 2010; Iobst et al., 2010; Ten Cate and Carraccio, 2019).

 

CBME는 본질적으로 환자 중심(patient-focused)이자 학습자 중심(learner-centered)인 교육이다. 본 논문은 고품질의 보건의료를 제공하기 위한 더 나은 경로를 모색하는 것을 목표로 하기 때문에, 특히 CBME가 환자 중심 성과를 달성하는 데 기여할 수 있는 가능성에 주목하고자 한다.


탈출 화염의 비유를 풀어내기: 역량기반 의학교육에의 적용

Berwick은 탈출 화염의 비유가 보건의료 전체에 적용된다고 주장했다. 우리는 이 은유를 한 걸음 더 확장하여, 의학교육 공동체가 CBME의 전면적 시행을 통해 탈출 화염에 불씨를 붙여야 한다고 주장한다. 따라서 본 논문의 초점은 이 비유가 의학교육과 CBME에 어떻게 적용될 수 있는지에 맞춰져 있다. 이 비유가 CBME의 가능성을 살리는 데 있어 의학교육에 어떤 시사점을 주는지 살펴보기 위해, 우리는 이 비유에 등장하는 각 ‘등장인물’ 또는 요소를 하나씩 분석하고자 한다.


Wildfire (산불) – 임상교육의 구조적 결함

맨 걸치 화재에서 산불은 점점 더 빠르게 확산되며, 앞을 가로막는 모든 것을 위협했다. 의학교육에서 이 ‘산불’은 임상교육과 진료의 구조적 결함을 의미하며, 이는 종종 환자의 요구에 집중하지 못하게 만든다. 즉, 환자가 바라는 바 – 안전하고, 효과적이며, 환자 중심적이고, 시의적이며, 효율적이고, 형평성 있는 진료 – 를 충분히 충족하지 못하고 있다(Baker, 2001; Health Affairs, 2013; Batalden et al., 2016).

 

의학교육의 궁극적 목적은 학습자가 가능한 최고의 환자 진료와 결과를 제공하도록 준비시키는 것이다. 이를 위해 CBME는 환자 중심성과 학습자 중심성의 결합을 강조하는데, 여기서 학습자 중심성은 환자 중심성을 실현하기 위한 수단으로 작동해야 한다. 그러나 현실에서는 CBME가 환자보다 학습자에게 더 초점을 맞추는 경향이 있다. 그 목적은 안전하고, 이론적으로 타당하며, 학습자에게 지지적인 교육환경을 보장하기 위한 것이다(Prideaux and Spencer, 2000; Rees and Monrouxe, 2010; Laksov et al., 2017; Irby, 2018).

 

물론 이러한 초점은 이해할 수 있는 면이 있다. 하지만 그것만으로는 충분하지 않다. 우리의 경험에 따르면, 이러한 접근은 자칫하면 환자를 학습자의 활동을 위한 배경(background) 정도로 전락시킬 위험이 있다(Sebok-Syer et al., 2021). 학습자와 환자 양자 모두에 대한 균형 잡힌 초점 없이(Holmboe and Batalden, 2015; Wong and Holmboe, 2016), 의학교육은 결국 전체 보건의료를 집어삼킬 수 있는 구조적 ‘산불’에 휩싸이게 될 것이다.

 

위협 (The Threat)

맨 걸치 화재는 스모크점퍼들의 생명을 위협했다. 안타깝게도, 의학교육의 기능장애적인 시스템 또한 생명을 위협한다. 환자, 수련생, 그리고 의사들은 구조적 인종차별(systemic racism), 해소되지 않은 편견(unmitigated bias), 만연한 괴롭힘과 번아웃(pervasive mistreatment & burnout), 과도한 업무량과 지나치게 압축된 노동시간, 그리고 이 외에도 무수히 많은 문제들에 위협받고 있다(Goiter & Ludmerer, 2013; Ofri, 2019; Hess et al., 2020; Lucey et al., 2020; Prentice et al., 2020; Nundy et al., 2022).

 

수련생이 비현실적인 업무 요구나 정신적 건강의 훼손으로 인해 최적 이하의 진료를 제공해야 하는 상황에 놓일 경우, 그들 자신이 고통을 겪는 것은 당연하다. 그러나 그로 인한 부정적 영향은 수련생에게서 끝나지 않는다. 환자들도 영향을 받는다. 환자는 임상 학습 환경에서 웰빙(well-being)이 충분히 돌봄받은 의료인으로부터만 고품질 진료(high-quality care)를 받을 수 있기 때문이다(Bodenheimer & Sinsky, 2014).

 

CBME가 부분적으로만 시행될 경우, 이는 환자를 위하는 척 하면서도 실질적으로는 진료의 우선순위를 두지 않는 결과를 낳는다. 여러 규제 기관들이 학습자의 역량 개발을 위한 일련의 역량 목록을 요구하고 있으며, 이 역량을 성취하면 환자가 필요로 하는 진료를 제공할 수 있을 것이라 주장한다. 그러나 이들 기관은 역량을 개발하기 위한 교육기간의 유연성(time variability)을 요구하거나 장려하지 않는다.

 

그 결과 우리는 성과는 들쭉날쭉하지만 교육기간은 고정된 체제(fixed-time, variable-outcome)를 유지하고 있으며, 이는 ‘성과는 고정되어 있으나 교육기간은 유동적인 체제(fixed-outcome, variable-time)’라는 CBME의 이상과는 정반대이다. 물론, 시간 유동적 교육은 해결해야 할 수많은 현실적 문제를 안고 있다. 그러나 이 방향으로 나아가기 위해 실행 가능한 단계들도 존재한다(Schumacher et al., 2021). 그럼에도 우리는 여전히 CBME의 부분적 시행을 고수하고 있으며, 이는 결과적으로 충분히 준비되지 않은 수련생들을 감독 없는 현장에 배치시키게 되고, 이는 결국 환자와 수련생 모두의 안전을 위협하게 된다.


탈출 화염 (The Escape Fire)

‘탈출 화염(escape fire)’이라는 용어는 원래 산불이 다가올 때 일부러 불을 지펴 앞선 지역을 태움으로써, 그 안에 대피함으로써 생존할 수 있는 방법을 의미한다. 개념적으로 이 용어는 소방을 넘어서, 기존의 해결책이 통하지 않는 복잡한 문제에 대한 즉흥적(improvisational) 해법을 가리키는 은유로 확장되었다. 이 논문에서 우리는, CBME가 보건의료의 질을 향상시킬 수 있는 탈출 화염이 될 수 있으며, 그래야만 한다고 주장한다.


왝 닷지(Wag Dodge), 스모크점퍼들, 그리고 저항

보건의료를 위한 탈출 화염은 맨 걸치 화재에서처럼 한 개인(Wag Dodge)의 행동만으로 이루어질 수 없다. 보건의료의 방향에 폭넓은 영향력을 행사할 수 있는 공동체 전체로부터 비롯되어야 한다. 의학교육, 연구, 환자 진료는 모든 현대 보건의료 시스템의 세 기둥이다(Ludmerer, 1999). 현재의 문제를 해결하기 위해서는 이 세 영역 모두의 이해관계자들이 참여하는 구조적 변화(transformational change)가 필요하지만, 실제 탈출 화염은 이 중 하나의 기둥에서 먼저 타오르기 시작할 것이며, 이후 나머지가 뒤따르게 될 것이다.

 

우리는 이 불씨를 의학교육이 CBME의 전면적 실행을 통해 지펴야 한다고 주장한다. 그러나 이러한 노력은 종종 CBME라는 기본적인 접근의 전환 자체를 불필요하거나, 설득력 있는 근거가 부족하다고 믿는 의학교육자들의 저항에 부딪힌다(Talbot, 2004; Whitehead & Kuper, 2017; Boyd et al., 2018; Brydges et al., 2021). 이 비유에서, 이러한 저항은 마치 맨 걸치에서 왝 닷지를 따라가지 않고 끝내 화염에 휩싸였던 스모크점퍼들과 같은 모습이다. 과연 이러한 우려는 전통에 대한 충성심, 변화에 대한 두려움, 새로운 비전에 대한 불확실성, 혹은 현대 의료현장에서 이미 지쳐버린 소진감에서 비롯된 것은 아닐까? 의학교육, 특히 CBME 실행을 위한 노력은 기관 차원에서 충분히 지지받지 못하는 경우가 많고, 이는 적응성의 한계경직성의 고착화를 초래한다. 이는 결국 현대 보건의료 현장에서 일하는 사람들이 느끼는 소진감(burnout)을 더욱 악화시키는 요인이 된다.


CBME의 비전: 환자를 탈출 화염의 안전지대로 이동시키기

임상 진료와 교육의 기능장애적 시스템이라는 '산불'이 고품질 의료를 위협하고 있다. 그러나 ‘미지의 영역’에 대한 두려움은 의학교육 공동체 내 많은 사람들을 현 상태(status quo)를 고수하게 만든다. 탈출 화염을 점화한다는 것은 마치 패배를 인정하거나, 우리가 지키고자 했던 기반을 포기하는 듯한 느낌을 줄 수 있다.


사람들은 이렇게 생각할지도 모른다.

이 시스템을 버릴 수는 없어! 환자와 학습자에게 미치는 영향이 너무 클 테니까.”

 

그러나 의료 및 교육의 핵심 초점을 환자의 경험과 성과로 전환하고 정렬하는 탈출 화염을 점화하는 일은, 바로 우리가 필요로 하는 ‘환자 중심’ 시스템 재설계 및 정렬의 경로를 제공한다.


CBME의 실행은 기술적 문제가 아닌 적응적 도전이다 – 따라서 ‘불씨’를 찾아야 한다

CBME 접근 방식을 교육에 구현하는 것은 기존의 기능장애적 시스템 위에 새 접근을 ‘붙이는’ 식의 기술적 문제(technical problem)가 아니다(Heifetz & Laurie, 1997; Heifetz & Linsky, 2017). 오히려 CBME 실행은 적응적 도전(adaptive challenge)이다. 이는 문제 자체가 명확하지 않거나, 해결책이 단순하지 않으며, 근본적인 접근 방식의 변화가 요구된다(Heifetz & Laurie, 1997; Heifetz & Linsky, 2017).

 

실제로 적응적 도전은 식별하기 어렵고, 부정하기는 쉽다. 이를 해결하려면 실험과 새로운 발견이 필요하다. 이런 변화는 전문가의 명령으로 해결할 수 있는 성격의 일이 아니며, 신념, 역할, 관계, 접근 방식의 변화를 요구하는 과제들에 대해 이해당사자(stakeholders)의 헌신과 투자가 필요하다. 적응적 도전은 힘들고, 사람들이 피하고 싶은 성질의 일이라는 특성상, 우리는 CBME 실행이라는 과제를 기술적 문제로 착각하며(= 간단하고, 빨리 고칠 수 있는 문제처럼) 다루는 경향이 있다.


비유를 분석하는 가치는 그것이 무너지는 지점을 살펴보는 데서 생긴다

CBME의 전면적 구현은 수년에 걸쳐 이루어져야 할 일이다. 이는 단순한 기술적 해결이 아닌, 복잡한 적응적 과제이며, 이를 위해서는 정책 입안자와 보건의료 재정 지원자를 포함한 규제기관들과의 협력을 통해 기존의 전통적 프로세스를 변화시켜야 한다. 이 점에서, CBME를 탈출 화염으로 보는 비유는 ‘성냥을 켜서 땅에 던지기만 하면 끝나는 단순한 일’이 아니라는 사실을 명확히 보여준다. 그러나 이 변화는 ‘작지만 결정적인 변화’—즉 하나의 불씨(spark)—로부터 시작될 수 있다우리는 이러한 불씨를 찾기 위한 핵심 초점 영역(key areas of focus)이 몇 가지 존재한다고 본다.


감정을 불러일으키는 공유된 비전 고취하기

우리는 강력하고 공유된 비전(shared vision)이 필요하다. Senge가 말했듯이, 이것은 *"사람들 마음속에 존재하는 강력한 힘—a force of impressive power"*이어야 한다(Senge, 1990). 우리의 비전은 환자를 의학교육과 의료 제공의 중심에 두는 것이며, 이를 통해 이 두 제도(system)를 정렬(alignment)시키고, 두 영역의 구성원들이 ‘더 큰 무언가’의 일부가 되고자 하는 영감을 받을 수 있게 한다. 공유된 비전을 실현하기 위해 동료들과 함께 일하는 경험은, 최근 몇 년간 번아웃에 시달려온 수많은 의료인들에게 쉼과 회복의 여지를 제공할 수 있다.


단순한 평가 중심이 아닌 교육과정 중심의 접근으로 전환하기

CBME를 도입하려는 초기 시도는 1970년대 후반에서 1980년대 초 사이에 있었지만, ‘평가’를 효과적으로 다루는 데 어려움을 겪으며 실패했다(Carraccio et al., 2002). 이러한 문제는 여전히 CBME의 주요 장벽 중 하나다. 우리는 종종 CBME를 단지 의학교육에서의 새로운 평가 접근 방식으로만 한정하여 이해하고, 수련생들이 환자의 요구를 충족할 수 있도록 준비시키고, 새로운 학습 방법을 유도하는 교육과정의 재설계 측면은 간과하곤 한다.

 

하지만 CBME는 먼저 교육과정(curriculum)에서 시작되어야 한다. 이 교육과정은 다음을 목표로 해야 한다(Carraccio et al., 2002; Holmboe et al., 2011):

  • 기대 성과를 달성하도록 설계되고
  • 개별화된 수련을 가능케 하며
  • 지식의 습득보다는 적용에 초점을 두고
  • 교사와 학생 간 쌍방향 학습을 강조하고
  • 장기적, 연속적 경험(longitudinal experiences)을 우선시해야 한다.

그다음으로 CBME는, 이러한 교육과정 내에서 학습자의 성장 발달을 추적할 수 있는 평가 체계를 설계하고 실행할 것을 강조한다(Frenk et al., 2010; Schuwirth & van der Vleuten, 2020).


환자 중심의 평가 접근(patient-focused assessment) 실행하기

우리가 CBME를 도입할 때, 우리는 종종 기존 평가 방식을 지나치게 고수하는 경향이 있다. 때로는 기존 평가 방식이 상징하는 교육적 의미보다 더 신성시되기도 한다(Hanson et al., 2013; Whitehead & Kuper, 2017). 그러나 최근 몇 년간, 환자 중심 평가 방식(patient-focused assessment approaches)이 등장했다. 여기에는 다음이 포함된다:

  • 환자 보고 경험 및 결과 지표 (patient-reported experience and outcome measures)
  • 신뢰가능한 전문활동(Entrustable Professional Activities, EPAs)
  • 전공의 민감 품질지표(Resident-Sensitive Quality Measures, RSQMs)
    (Carraccio & Burke, 2010; Carraccio et al., 2016; Kingsley & Patel, 2017; Schumacher et al., 2018)

이러한 평가 방식은 기존 평가처럼 단순히 의사가 무엇을 알고, 무엇을 하는가만을 평가하는 데서 그치지 않는다. 오히려 그 지식이나 행동이 실제로 환자에게 고품질 진료를 제공하는가라는 본질적 질문을 제기한다. 최근에는 CBME 평가에서 '환자에게 중요한 것'에 초점을 둘 것을 요구하는 목소리도 커지고 있다(Kogan et al., 2014; Norcini, 2017; Ten Cate, 2017; Norcini et al., 2018).
이러한 측면에서 환자 중심 평가 방식은, CBME가 ‘탈출 화염’을 점화하고 환자를 우리가 하는 모든 일의 중심으로 옮겨놓기 위한 중요한 요소가 될 수 있다.


메디치 효과(Medici Effect) 촉진하기

마지막으로, 적응적 도전(adaptive challenges)을 해결하려면 새로운 시각과 실천 방식이 필요하다. Frans Johansson은 *‘메디치 효과’*라는 용어를 만들었는데, 이는 서로 다른 분야의 아이디어가 만날 때 혁신이 일어난다는 개념을 포착한 것이다(Johansson, 2004). 특히 비즈니스와 기술 분야는 수십 년간 변혁적 변화와 파괴적 혁신(disruptive innovation)을 주도해왔다. 반면, 의료는 여전히 기초적인 평가 소프트웨어와 환자 진료보다는 청구를 우선시하는 전자 의무기록 시스템(EHRs)에 의존하고 있다. 이제는 의학교육과 보건의료가 다른 분야와 협력하여, 21세기 기술 솔루션을 활용함으로써 환자가 고품질 진료를 받을 수 있도록 중심에 두는 구조로 전환해야 한다. 특히, 학습 분석(learning analytics)과 인공지능(AI) — 예컨대 자연어 처리(NLP), 기계 학습(machine learning) — 을 최대한 활용하는 것이 매우 중요하며, 이는 CBME의 불씨가 될 수 있다(Lentz et al., 2021; Thoma et al., 2021).

 


실행의 어려움: 자원, 공감, 협력이 요구된다

CBME가 직면한 가장 큰 도전은, 의도한 바대로 의미 있게 실행하는 것이다. Van Melle와 동료들은 CBME 실행의 핵심 5요소(five core components)를 제시하며, 이를 ‘북극성(North Star)’으로 삼아야 한다고 설명한다(Van Melle et al., 2019). 그러나 실제 실행의 성패는 시간과 자원의 가용성에 따라 결정되는 경우가 많다. 결과적으로, Pediatrics Across the Continuum 프로그램의 성공 사례(Murray et al., 2019; Hobday et al., 2021)나 University of Virginia School of Medicine의 경험(Keeley et al., 2022)은, CBME 평가 노력의 ‘압도적 부담(crushing burden)’(Ott et al., 2022)과 교수 참여의 어려움(Schumacher et al., 2021)과 같은 보고 사례들과 양극을 이룬다.

 

이러한 다양한 경험은 고품질 의학교육 프로그램을 위해 적절한 자원이 반드시 필요함을 보여준다. 하지만 동시에 우리는, CBME 실행의 도전들을 극복하기 위해서는 공감(compassion)과 협력(collaboration)이 핵심적이라는 점도 강조하고자 한다. CBME 실행은 기하급수적으로 확대되고 있지만, 이는 무기력하고 불안하며 때로는 분노로 가득한 의료 환경 속에서 이루어지고 있다. 이러한 맥락에서 공감이란, 장애물이 개인의 무능이 아니라 구조적 요인에서 비롯된 것임을 진심으로 이해하는 태도이며, 이는 성공적인 사례를 이룬 이들이 아직 그렇지 못한 이들과 더 깊이 있는 협력을 할 수 있도록 만들어주는 기반이 된다.


의미 있는 대화를 촉진하기: Wag Dodge의 후일담

맨 걸치 화재 이후, Wag Dodge는 그의 창의성(ingenuity)으로 찬사를 받았다(Berwick, 2002). 그러나 동시에 그는 리더십 부재에 대한 비판도 받았다(Willing, 2012). 화재가 덮치기 전, 그는 불을 살펴보기 위해 팀을 떠나 식사를 하고 있었으며, 급히 돌아와 도구를 버리고 도망치라고 지시했다. 그의 갑작스러운 행동은 분명히 팀원들을 혼란스럽게 만들었을 것이다. 그들은 불길이 얼마나 빨리 다가오는지를 몰랐고, Dodge는 그 정보를 전달하지 못했으며, 자신이 발화한 불에 스스로 몸을 던져 눕겠다는 급작스러운 판단을 설명하지도 못했다. 결국 그의 창의성은 Dodge 자신의 생명을 구했지만, 소통의 실패와 신뢰의 결여동료들의 생명을 앗아갔을지도 모른다.

 

CBME 역시 동일한 도전을 안고 있다. CBME는 한편으로는 기발한 해결책(ingenious solution)이지만, 동시에 신뢰의 위기(credibility crisis)에도 직면해 있다. 일부에서는 이를 “믿음에 기반한 의학교육(faith-based medical education)”, “불가침의 담론(discourse of infallibility)”, 또는 *“흉내만 내는 시스템(monkey see, monkey do)”*이라 비판한다(Talbot, 2004; Whitehead & Kuper, 2017; Boyd et al., 2018). 이러한 비판 속에서도 CBME의 신뢰를 지키기 위해서는, 기관 및 국가 수준에서 CBME 프로그램의 성공과 한계를 공유하는 노력을 계속 이어가야 한다(Lomis et al., 2017; Nousiainen et al., 2018; Murray et al., 2019; Warm et al., 2019; Hall et al., 2020; Holmboe et al., 2020; Amiel et al., 2021; Yamazaki et al., 2022).

 

소통과 신뢰의 도전은 CBME 관련 모든 이들에게 여전히 큰 과제이다. 우리는 Wag Dodge와 같은 리더십 실패를 반복할 여유가 없다. 이 글은 CBME 공동체가 이러한 실패를 피하기 위해 반드시 시작해야 할 소통을 촉구하는 선언이다.


결론

누구도 현재의 보건의료 시스템이 환자에게 충분히 봉사하고 있다고 주장하지 않을 것이다. 그리고 의료인들이 건강하다고 말할 수도 없을 것이다. 그럼에도 우리는 여전히 기능장애적인 의료 시스템 속에 마비된 채 머물러 있다. 우리는 탈출 화염이 필요하다. 그렇지 않으면, 우리는 환자에게 계속 기대 이하의 진료를 제공하게 될 것이고, 그런 수련을 받은 학습자들 역시 같은 실수를 반복하게 될 것이다(Asch et al., 2009; Chen et al., 2014; Bansal et al., 2016). 의학교육은 환자를 모든 활동의 명확하고, 부정할 수 없고, 지속적인 중심으로 삼는 공유된 비전(shared vision)을 통해, CBME의 전면적 수용과 실행을 통해, 필요한 불씨(spark)를 제공할 수 있다. 우리가 그렇게 할 때, Berwick의 말처럼:

“새로운 의미 형성의 가능성과 기회가 열리고, 이는 단지 탈출의 경로를 여는 것에 그치지 않고,
기존 질서가 상상조차 하지 못했던 성취의 지평(vistas of achievement)을 열어줄 것이다.”
(Berwick, 2002)


 

 

Acad Med2024 Aug 1;99(8):841-848. doi: 10.1097/ACM.0000000000005730. Epub 2024 Apr 3.

Is There a Problem With Evidence in Health Professions Education?

 

 

 

의료전문직 교육(Health Professions Education, HPE)에서 ‘증거(Evidence)’의 진짜 의미와 역할에 대한 고민 🩺📚

안녕하세요! 오늘은 의료전문직 교육(Health Professions Education, HPE) 분야에서 ‘증거(Evidence)’가 과연 무엇이고, 어떻게 활용되어야 하는지에 관한 매우 중요한 논문을 소개하고 이야기해 보려고 합니다.


1. 증거란 무엇일까? 그리고 왜 고민이 많을까? 🤔

많은 사람들이 ‘증거(evidence)’라는 단어를 자주 쓰지만, 실제로 ‘증거가 뭐냐’에 대해선 의견이 분분해요.

논문에서는 이렇게 말합니다.

“Evidence is a relational concept that has been described both in terms of how it is produced … and in terms of its use, including the contexts in which it is considered and negotiated.”
“증거는 어떻게 생산(produced)되는지, 또 어떤 맥락(contexts)에서 어떻게 사용되는지에 따라 정의되는 관계적(relational) 개념이다.”

 

즉, 증거는 단순히 연구 결과가 만들어지는 과정뿐 아니라, 그 결과가 어떻게 해석되고 사용되는지까지 포함하는 복잡한 개념이에요.


2. 연구 지식(Knowledge)이 곧 증거는 아니다! ⚠️

연구자들이 생산하는 ‘지식(knowledge)’이 항상 증거가 되는 건 아니에요.
논문에서 가장 중요한 포인트 중 하나는 이겁니다.

“Knowledge only becomes evidence when it is used to inform or support a particular position or claim.”
“지식은 특정 입장이나 주장을 알리거나 뒷받침하는 데 사용될 때 비로소 증거가 된다.”

 

즉, 연구 결과를 누군가가 실제로 어떤 결정을 내리거나 주장을 할 때 참고해야만 ‘증거’라는 이름을 붙일 수 있다는 거죠.


3. 증거는 한 번에 딱 맞게 모든 현장에 적용되기 어렵다 🧩

의료현장도, 교육현장도 각기 다 다릅니다. 논문에서는 이렇게 설명해요.

“No research finding perfectly generalizes or transfers as evidence from one context to another without consideration of local implementation variables, cultural traditions, and available resources.”
“연구 결과는 지역별 실행 변수, 문화적 전통, 가용 자원 등을 고려하지 않고는 한 맥락에서 다른 맥락으로 완벽하게 일반화되거나 이전될 수 없다.”

 

즉, 어떤 연구 결과가 어느 한 곳에서는 잘 맞아도, 다른 곳에서는 그리 쉽지 않다는 뜻이에요.


4. 연구자와 사용자, 둘 다 역할과 책임이 있다 👥

연구자(knowledge producers)와 그 연구를 활용하는 교육자, 정책 입안자 등 지식 소비자(knowledge consumers) 모두가 증거의 생산과 활용 과정에서 책임이 있다는 점이 강조됩니다.

논문에서는 이렇게 말해요.

“Researchers who do seek to influence decision-making should put thought and effort into making their research relevant and accessible to decision-makers.”
“의사결정에 영향을 미치고자 하는 연구자들은 자신의 연구가 관련성 있고, 의사결정자들이 이해하고 활용할 수 있도록 노력해야 한다.”

 

반대로, 지식 소비자들도 자신들이 믿고 싶은 증거만 받아들이는 ‘확증 편향(confirmation bias)’에 빠지지 않도록 주의해야 합니다.


5. 증거 활용의 현실적 한계와 제안 🛠️

  • 실제 교육 현장에서는 교육과정(curriculum capacity), 교사 가용성(teacher availability), 자원(resources) 등 여러 제약이 증거 활용을 막기도 합니다.
  • 연구가 출판되고 나서 실제 의사결정과 실천에 반영되기까지 속도의 차이도 문제입니다.

그래서 논문은 이렇게 제안합니다.

“Rather than accelerating the former or slowing down the latter, scholarly inquiry should be considered both as an end in and of itself and as a way of advancing broader conversations about HPE.”
“연구 출판 속도를 무작정 높이거나 의사결정 속도를 늦추기보다는, 학술적 탐구는 그 자체로 중요하며, 의료전문직 교육에 관한 더 넓은 논의를 촉진하는 방법으로 간주되어야 한다.”

 

또한, 증거가 실천으로 연결되는 과정을 체계적으로 추적하고 감시(audit)하는 시스템이 필요하다고 강조합니다.


마치며: 증거 기반 교육, 어떻게 볼 것인가? 🤝

논문에서는 결론적으로 이렇게 말합니다.

“Health professions educators should be asking, ‘How does knowledge activated as evidence add to or change conversations in HPE?’ and ‘How do HPE institutions shape knowledge production and its use as evidence, and for what purpose?’”
“의료전문직 교육자들은 ‘증거로 활성화된 지식이 의료전문직 교육 내 대화에 어떻게 기여하거나 변화를 주는가?’와 ‘의료전문직 교육 기관들은 지식 생산과 증거 활용을 어떻게 형성하며, 그것이 어떤 목적을 위해 이루어지는가?’라는 질문을 던져야 한다.”

이번 글은 증거 기반 교육(evidence-based education)의 복잡성과 현실적 어려움을 짚어보며, 앞으로 의료교육 현장에서 증거를 더 효과적으로 활용하기 위한 고민의 출발점이 될 것입니다.

읽어주셔서 감사합니다! 🙏

 


“나는 증거를 믿는다.”
— 아이작 아시모프, The Roving Mind¹

 

오늘날은 마치 증거(evidence)가 넘쳐나는 시대처럼 보입니다. 증거의 본질, 출처, 유용성, 그리고 강도에 대해 활발한 논의가 이루어지고 있습니다. 정책과 실천을 안내하는 데 어떤 종류의 증거가 사용되어야 하는지, 또는 사용되어서는 안 되는지에 대한 논쟁이 계속되고 있습니다. 그러나 이러한 논의의 상당 부분은 지식이 언제 그리고 어떻게 증거가 되는지에 대한 명확성의 부족에 의해 제한되고 있습니다.

 

근거중심의학(evidence-based medicine) 운동은 의사결정과 정책 수립에 증거 활용을 촉진하며 증거에 관한 이론들을 제시해왔으나², 이 이론들은 주로 증거의 출처(provenance), 즉 증거가 어떻게 생성되는가에 초점을 맞추었을 뿐, 실제 활용도(utility), 즉 실용적 적용에서의 가치에는 상대적으로 덜 집중하였습니다³.

 

근거중심의학은 특히 임상진료와 공공정책에서 문제에 접근하는 다양한 방식을 제한하는 방법론적 엄격성(methodological rigor)의 제약과 관련해 증거철학자들로부터 상당한 비판을 받았으며⁴, 여전히 무엇이 증거를 구성하는지, 그리고 증거가 어떤 가치를 가지는지에 관한 문제는 해결되지 않고 있습니다.


증거란 무엇인가?

우리는 서두에서 정보(information), 지식(knowledge), 증거(evidence)라는 용어들이 종종 혼용되며, 서로 다른 맥락과 학문 분야에서 다양한 의미를 갖는다는 점을 인정합니다. 본 글에서는 지식(knowledge)을 엄격한 방법론으로 수행된 연구 보고서나 논리적이고 근거가 탄탄한 전문가 의견을 담은 논문과 같이, 권위(authority)와 엄밀성(rigor)을 전달하는 출처로 정의합니다.

 

물론 동료심사(peer-reviewed) 저널에 게재된 것 외에도 다른 형태의 지식 출처가 존재하지만, 본 논문에서는 그러한 부분은 다루지 않고, 학술적 활동을 통해 생성되고 동료심사를 거친 저널에 출판된 지식에 초점을 맞춥니다. 그리고 이러한 지식이 어떻게 증거가 되는지를 논의합니다.

 

지식과 증거에 관해 역할에 따라 구분이 이루어지기도 합니다. 여기서는 Albert 등⁵의 틀을 빌려,

  • 지식 생산자(knowledge producers): 다양한 종류의 지식을 창출하는 연구자와 학자
  • 지식 소비자(knowledge consumers): 이 지식을 활용하여 의사결정을 내리고, 정책을 만들거나 변경하며, 행동에 정보를 제공하고, 의사결정을 지원하는 리더, 교사, 교육 설계자, 정책 입안자 등

으로 구분합니다. 본 글에서는 주장을 전개하기 위해 이러한 용어를 다소 변증법적(dialectical)으로 사용하지만, 두 역할의 구분이 불명확한 경우가 많고, 많은 사람들이 시기에 따라 두 역할을 모두 수행한다는 점을 분명히 인식합니다.

 


증거(evidence)는 관계적(relational) 개념으로, 생산 방식(즉, 어떤 종류의 연구나 학술활동이 그것을 생성했는지)과 그 사용 방식, 그리고 증거가 고려되고 협의되는 맥락(contexts) 측면 모두에서 설명되어 왔습니다⁶. 하지만 우리는 증거의 본질적 특성은 출처(provenance)가 아니라고 주장합니다. 연구(research)와 프로그램 평가(program evaluations), 지식 통합(knowledge syntheses)과 같은 기타 학술 활동들은 지식(knowledge)을 생산하거나 집약할 수 있으나, 우리는 지식이 특정 입장이나 주장을 알리거나 지지하는 데 사용될 때에만 비로소 증거가 된다고 봅니다.

 

무엇이 증거인지, 증거가 무엇을 의미하는지, 그리고 증거가 무엇을 하거나 해야 하는지에 관한 수많은 논쟁을 고려할 때, 증거라는 용어는 오히려 해결하기보다 더 많은 문제를 만들고 더 많은 질문을 야기하는 듯 보입니다.

 

의료 전문직 교육자(health professions educators)들은 무엇이 증거를 구성하는지, 증거가 어떻게 또는 어떤 용도로 사용될 수 있는지, 그리고 증거의 질이나 신뢰성을 어떻게 평가할 수 있는지에 대해 오랫동안 고민해 왔습니다⁷–¹². 실제로, 의료 전문직 교육 분야(health professions education, HPE)에 출판된 방대한 양의 연구와 증거에 기반한 실천에 대한 분명한 열정을 고려하면⁷,¹¹,¹³, HPE 분야의 증거 기반(evidence base)이 견고하고 유용하며, 좋은 증거가 무엇인지에 대해 합의(consensus)가 이루어져 있을 것으로 기대할 수 있습니다¹⁴.

 

하지만 현실에서는 다음과 같은 오래된 우려들이 존재합니다:

  • HPE의 증거 기반이 실제 교육 실천이나 교육의 질에 거의 영향을 미치지 못했다는 점¹⁴,¹⁵
  • 증거 기반 자체가 상대적으로 약하다는 점¹⁶
  • 교육 실무자들에게는 관련성이 부족하다고 여겨진다는 점¹⁷–¹⁹
  • 맥락의 복잡성에서 너무 동떨어져 있다는 점¹⁵,²⁰
  • 그리고 실제로 교육 현장에 적용하기 어렵다는 점¹⁷,²¹

또한, 연구에서 생성된 지식이 정책결정자 및 다른 지식 소비자들(예: 교사, 프로그램 책임자)과 공명(resonate)하는 방식으로 표현되지 않는 경우가 많아, 이로 인해 변화를 촉진하는 증거로서의 유용성이 감소한다는 지적도 있습니다²². 예를 들어, 어떤 HPE 강사가 연구 결과를 자신의 교육에 활용하고자 하나, 교육과정의 제약, 인증 기준, 자원 및 시간 부족, 그리고 동료나 학습자들의 해당 실천 변화 또는 혁신 참여 부족에 직면해 어려움을 겪는 상황을 생각해볼 수 있습니다. 이처럼, 출판된 연구 지식이 현지 맥락(local contexts)에서의 적용까지 연결되지 못하는 ‘익숙하지만 어려운 간극’을 넘지 못하면, 그 지식은 강사의 실제 교육 활동에 거의 영향을 미치지 못합니다.

 

우리는 현재 HPE 연구 지식이 증거로 활용되는 상황에 대해 좌절하며 손을 놓고 탄식하는 학자들의 대열에 합류하고 싶지 않습니다. 또한 증거-실천 간격(evidence-to-practice gap)을 좁히기 위해 더욱 창의적인 방법을 제안하려 하지도 않습니다. 많은 이들이 이를 시도해 왔으나, 그 노력들은 그들이 동원하려 한 연구만큼이나 교육 실천에 거의 영향을 미치지 못한 것으로 보입니다²³,²⁴.

대신, 우리는 Argyris의 루프 학습 프레임워크(loop learning framework)²⁵에 기반한 사고 실험(thought experiments)을 통해 HPE에서 증거 문제를 재개념화하려 합니다.

 

우리는 다음과 같은 질문을 던집니다:

  • HPE에서 증거에 문제가 있는가?
  • 만약 문제가 있다면, 이를 해결하기 위해 무엇을 할 수 있는가?
  • 그리고 HPE 연구자와 교육자들이 증거와 관련해 올바른 질문을 던지고 있는가?

이 질문에 대한 답은 지식 생산자와 소비자 간의 대화에 기초를 제공하며, 공통의 학술 목표를 규명하고 학자, 교육자, 리더의 필요를 더 잘 균형 있게 반영하는 학술 활동을 계획하는 데 도움을 줄 수 있습니다. 더 나아가, 우리는 HPE에서 증거의 역할, 증거에 관여할 때 지식 생산자와 소비자가 갖는 책임, 그리고 증거가 무엇을 할 수 있고 해야 하며 할 수 없는지에 대한 기대를 HPE 분야가 어떻게 정립할 수 있는지에 관한 균형 잡히고 심도 있는 논의를 안내하고자 합니다.

 

단일, 이중, 삼중 루프 학습 (Single-, Double-, and Triple-Loop Learning)

우리는 HPE(의료전문직 교육)에서 증거에 문제가 있는지 묻기 위해 Argyris의 단일-, 이중-, 삼중 루프 학습25,26 개념을 적용합니다.

  • 단일 루프 학습(single-loop learning) 은 “우리는 어떻게 하고 있는가(How are we doing)?”라는 질문으로, 주어진 활동이 계획대로 실행되었는지를 탐색합니다.
  • 이중 루프 학습(double-loop learning)“우리는 더 잘할 수 있을까?(Could we do better?)”라는 질문으로, 활동 실행 중 발견된 문제나 부족한 점에 대해 무엇을 할 수 있을지 탐색합니다.
  • 삼중 루프 학습(triple-loop learning)“우리가 올바른 질문을 하고 있는가?(Are we asking the right questions?)”라는 질문으로, 그 활동 자체가 정말 필요한 것인지, 혹은 목표를 다른 방식으로 달성할 수 있는지를 탐색합니다.

학습은 각 루프의 끝에서 일어나며, 활동 책임자들은 일어난 일을 점검하고 다음 활동 반복 시 어떻게 접근할지 반성합니다. 이 루프들은 분석적이며 본질적으로 위계적(hierarchical)이거나 상호 배타적(mutually exclusive)이지 않습니다. 서로 다른 루프는 활동이 중요한 개인이나 활동에 어려움을 겪는 사람들에게 초점을 맞출 수 있습니다. 우리의 틀에서는,

  • 1루프(loop 1) 에서는 지식 소비자(knowledge consumers)와 그들이 지식 생산자(knowledge producers)의 작업을 실천으로 옮기려는 노력을 집중적으로 봤습니다.
  • 2루프(loop 2) 에서는 지식 생산자와 소비자 간의 상호작용에 집중했습니다.
  • 3루프(loop 3) 에서는 지식 생산자가 지식을 증거로 사용할 때의 역할과 책임에 초점을 맞췄습니다.

우리는 HPE 문헌에서 자주 논의되는 두 가지 잠재적 증거-실천 간극(evidence-to-practice gaps)을 인지했습니다.

  • 첫째, HPE가 해결하려고 할 수 있는 임상 증거-실천 간극(clinical evidence-to-practice gaps) 이 있습니다(예: 지속 의학교육을 통해), 이 경우 교육 방식을 통해 증거 기반 임상 실천 변화를 구현합니다²⁷.
  • 둘째, 교육적 증거-실천 간극(educational evidence-to-practice gaps) 이 있는데, 이는 교육 자체와 관련된 문제입니다²⁸.
  • 본 논문에서는 후자에 초점을 맞춥니다.

 

 

1루프: HPE에서 증거에 문제가 있는가?

일부 학자들은 HPE(의료전문직 교육) 증거에 심각한 문제가 없다고 주장하는 반면²⁹, 다른 이들은 많은 문제를 지적해 왔습니다¹¹,¹². 따라서 1루프 질문에 어떻게 답하느냐는 우리가 증거(evidence)를 어떻게 정의하느냐에 달려 있습니다.

 

먼저 증거를 엄격한 연구(rigorous research)를 통해 생성된 지식(즉, 출처(provenance))으로 개념화한다면, 우리는 자금 지원 기관과 학술지가 과학적으로 타당하고 연구할 가치가 있는지를 결정하는 ‘관문 관리자(gatekeepers)’ 역할을 한다고 볼 수 있습니다. 이 관점에서 보면, 연구 증거 생산에 본질적으로 잘못된 점은 없다고 주장할 수 있겠지만, 연구 품질의 지표(markers)를 사용하는 데는 여러 문제가 따릅니다. 특히, 사회과학 연구의 질을 단순한 체크리스트나 알고리즘으로 환원할 수 없다는 점은 중요한 문제입니다³⁰.

 

더욱이, 교육자들이 전체적으로 볼 때, 그들을 위해 명목상 생산된 연구와 제대로 연계되지 않거나, 심지어 전혀 참여하지 않는 경우도 많은 것 같습니다¹²,²¹,³¹,³². 출처가 있다고 해서 적용이 보장되는 것은 아니며, 엄격한 지식 생산과 실제 적용 간의 이러한 괴리가 지속되는 이유를 이해하는 것은 어려울 수 있습니다⁵. 예를 들어, 일부 학술지는 연구 결과의 실용적 관련성(practical relevance)이나 함의를 논의하는 것을 중요시하며, 이는 동료 심사(peer-reviewed) 논문 저자가 자신의 연구가 실제로 적용되도록 번역(translation)하는 데 큰 책임이 있음을 시사합니다. 대안적으로, 관련성(relevance)은 지식 소비자(knowledge consumers)의 실용적 필요지식 생산자(knowledge producers)의 이론적 풍부함(theoretical richness) 및 방법론적 엄밀성(methodological rigor) 간의 필연적 협상(negotiation)이라는 입장이 있습니다. 이는 다시 생산자가 자신들이 활용하는 지식의 관련성과 가치를 주장하는 타당성에 도전할 수 있습니다. 어떤 지식은 생산자 자신의 맥락에서는 관련성 있고 유용했을 수 있으나, 그것이 다른 맥락으로 일반화되거나 이전될 수 있다는 보장은 없습니다²⁰.

 

교육과 연구 관행 모두에서 표준화 부족과 맥락의 역할에 대한 주의 부족 역시 출판된 연구 결과의 유용성을 저해할 수 있습니다³³.

간단히 말해, 지식이 좋은 품질로 생산되도록 보장하는 메커니즘은 존재하지만, 연구 품질의 검증이 곧 지식 소비자가 연구 지식을 활용할 것이라는 보장은 아닙니다. 만약 그 지식이 사용되지 않는다면, 그것은 결국 증거가 되지 못합니다.

 

증거(evidence)를 유용성(utility) 측면에서 개념화하는 관점은, HPE(의료전문직 교육) 연구의 주된 역할이 실천(practice) 및/또는 정책(policy)을 안내할 증거를 생산하는 것임을 시사합니다. 하지만 이것이 현재 그렇거나 그렇게 되어야 하는지에 대해서는 격렬한 논쟁이 있었습니다²⁰,³⁴. 의사결정자 같은 지식 소비자(knowledge consumers)는 개인적 경험(personal experiences), 선호도(preferences), 동료 추천(peer recommendations) 등 다양한 지식 출처를 참고한다는 점을 고려할 때³⁵, 과학적 증거(scientific evidence) 즉, 체계적이고(methodical), 투명하며(transparent), 동료심사를 통해 신뢰성을 갖춘(peer review) 증거는 여러 증거 출처 중 하나일 뿐이며, 반드시 가장 중요하거나 유용한 증거일 필요는 없습니다.

 

더욱이, 과학적 지식이 존재한다고 해서 반드시 그것이 발견되고(appraised), 평가되어 사용될 것이라는 보장은 없으며, 특히 개인적 신념(personal beliefs)이나 경험(experiences) 같은 다른 지식 출처가 더 편리하거나 정치적으로 유리한 경우에는 더욱 그렇습니다. 이러한 개념화에서는 과학적 지식과 그 사용 사이의 연결이 상대적으로 약하고 상황적(circumstantial)입니다. 

 

이는 반드시 문제가 되는 것은 아닙니다. 특정 논문이 특정 결정에 직접적으로 활용되지 않더라도, 해당 논문이 당면한 이슈에 관한 광범위한 담론(broader discourse)을 형성함으로써 그 결정에 영향을 줄 수 있기 때문입니다. 예를 들어, Lucey 등은 미국 의과대학에서 연구 결과가 보여준 환자에 대한 지속적인 불이익, 학생 구성의 다양성 부족, 평가에서의 체계적 편향(systemic bias)에 직면하여, 공정성과 형평성(equity and fairness)에 관한 사고가 어떻게 변화했는지를 설명합니다³⁶. 또 다른 예는 글로벌 남반구 국가에서 제출된 논문들의 낮은 출판율에 관한 연구를 기반으로, 동료심사(peer review)에서의 공정성에 대한 대화가 어떻게 변화했는지를 보여줍니다³⁷.

 

실제로 연구에서 생성된 지식은 여러 방식으로 실용적 함의(practical implications)를 갖거나 영향력을 발휘할 수 있습니다. 예를 들어, 지식 소비자가 던지는 질문의 종류, 증거로 간주하는 지식의 종류, 그리고 추구하는 해결책의 유형을 변화시킬 수 있습니다. 또한 연구의 관련성(relevance)이나 증거로 활용될 잠재력은 지식 생산자(producers)와 소비자(consumers) 간에 다르게 인식될 수 있으며, 이는 주어진 연구의 유용성 평가에 내재된 주관성(subjectivity)을 반영합니다. 비록 연구 질의 척도가 엄격성(rigor)과 신뢰성(reliability) 문제를 식별하는 데 도움을 줄 수 있지만³⁸, 궁극적으로 지식을 증거로 전환하는 최종 판별자는 바로 그 유용성에 대한 판단을 내리는 지식 소비자의 몫입니다.


첫 번째 루프에서: HPE에서 증거에 문제가 있는가?

첫 번째 루프는 HPE(의료전문직 교육)에서 증거에 문제가 있는지를 묻는 질문인데, 실제로 증거에 많은 문제가 있을 수 있습니다(하지만 그 정도와 범위는 증거가 무엇인지 또는 무엇이어야 하는지에 대한 다양한 해석에 따라 달라집니다). 이러한 불확실성은 연구 지식이 언제, 어떻게, 혹은 사용되고 있는지를 알지 못한다는 점에서 더욱 심화됩니다²⁸,³⁹,⁴⁰. 현재 수집되고 있는 인용 수(citations), 다운로드 수(downloads), 언론 보도 언급(media mentions)과 같은 데이터는 교육자들이 연구 지식을 어떻게 활용하는지와는 느슨한 상관관계만 있을 뿐입니다. 지식이 어느 정도, 어떤 방식으로 증거로 사용되는지 파악하기 위해서는 다양한 지표(metrics)와 방법론(methods)이 필요합니다.

 

더욱이, 이 루프는 지식 생산자들이 영향력의 지표로서 단순히 인용 수에 덜 집중하고, 지식 소비자들은 증거가 문제 접근 방식에 어떻게 영향을 미치는지(문제 해결 방식뿐 아니라)에 대해 더 인식해야 함을 시사합니다. 예를 들어, 영국의 연구 우수성 평가(Research Excellence Framework)는 영향력(impact)을 “학문 영역을 넘어 경제, 사회, 문화, 공공 정책 또는 서비스, 건강, 환경, 삶의 질에 미치는 효과, 변화 또는 이익”으로 정의했습니다⁴¹. 이러한 영향력의 증거를 입증하기 위해 고등교육기관은 연구 영향(impacts)을 설명하는 사례 연구(impact case studies)와 그 영향의 증거(corroborating evidence)를 제출해야 했으며, 여기에는 언론 및 소셜미디어 산출물, 웹사이트 방문 및 다운로드 수, 자원 활용률, 워크숍 참석률, 학습자 또는 조직의 결과, 그리고 실천 및 정책 변화 등이 포함되었습니다.

 

이처럼 증거가 어떻게 활용되는지를 평가하고 문서화하는 방식은 HPE에서 증거에 일반적인 문제가 있는지 평가하는 데 더 견고한 방법일 수 있습니다. 이러한 한계에도 불구하고, 우리는 두 번째 루프로 나아가, 잠정적으로 확인한 문제들에 대해 무엇을 할 수 있을지 묻습니다.


2루프: 문제가 있다면, 어떻게 해결할 수 있을까?

여러 종류의 지식이 증거로 사용될 수 있지만, 간결함(parsimony)을 위해 우리는 공식적인 과학적 지식(formal scientific knowledge)의 증거 사용에 초점을 맞춥니다. 이 과정에서 우리는 지식 생산자(knowledge producer) 측 문제, 지식 소비자(knowledge consumer) 측 문제, 그리고 생산자와 소비자 간 목표 불일치(misalignments)를 고려합니다.

 

분명히, 많은 HPE 연구가 지역적 필요, 기회, 개인적 관심사를 반영하는 소규모 연구를 수행하는 개인이나 작은 팀에 의해 이루어진다는 비판이 있었습니다⁴²,⁴³. 또한 연구가 너무 실용적이라는 비판⁴⁴,⁴⁵, 너무 이론적이라는 비판⁴⁶, 그리고 이론과 실천 간의 긴장(tension)이 종종 존재한다는 지적도 있습니다²⁰. 한편, 의학교육 학술 연구에서 영어권, 서구, 북반구 관점이 지배적이라는 비판도 있습니다¹⁴.

 

먼저, 지식 생산자 측 문제를 살펴보겠습니다. 지식 관련성(knowledge relevance)의 문제는 연구자들이 지식 소비자(예: 교사, 프로그램 책임자, 정책 입안자)에게 중요한 질문을 제기하고, 보다 전략적이고 엄밀하며 맥락(context)과 의미 있는 함의(meaningful implications)에 주의를 기울임으로써 해결할 수 있습니다⁴⁷,⁴⁸. 그러나 시간, 자원, 윤리, 정책 등 제약에 갇혀 있는 개별 연구자들에게 이 모든 책임을 전가하는 데는 한계가 있습니다. 또한, 어떤 문제들이 우선순위로 간주되는지, 어떤 문제들이 해당 분야에 관련성이 있다고 여겨지는지, 그리고 문제 접근법의 적절성 등에 의해 제한받습니다.

 

이러한 지식 생산자 측 문제에 대한 해결책으로는

  • 이러한 제약을 최소화하고, 지식 소비자의 필요에 민감한 연구 우선순위를 공동으로 설정하기 위해 분야 전체가 협력하는 것이 있을 수 있습니다. 예를 들어, 연구비 지원 기관이 의학교육에서 주요 정책 변화(예: 역량 기반 의학교육)와 관련된 도전 과제에 연구자들의 관심을 집중시키기 위해 연구비를 사용하는 것이 하나의 우선순위 설정 전략입니다⁴⁹.
  • 또 다른 전략은 연구팀에 교사, 학습자, 정책 입안자와 같은 지식 소비자를 포함시키는 것입니다²².
  • 세 번째 전략은 HPE 연구비 지원 기관이 지식 생산자와 소비자 모두와 협력하여 우선순위를 설정하는 것입니다⁵⁰.

그럼에도 불구하고, 지식 생산자 및/또는 소비자, 혹은 그들이 속한 조직과 시스템에서 우선순위가 되는 질문과 중요한 격차를 체계적으로 식별하고 해결하는 전략적 방향이 거의 존재하지 않습니다.

 

 

지식 소비자(예: 교육자나 교육 리더)의 관점에서 볼 때, 교육과정 역량(curriculum capacity), 교사 가용성, 교사 업무량, 교육 자원은 지식을 증거로 활용하는 데 있어 지원 요소이자 저해 요소가 될 수 있습니다. 더욱이, 한 교육 현장에서의 지식이 다른 교육 환경으로 일반화되거나 전이되지 않을 수 있다는 점이 잘 알려져 있으며²¹, 교육과정 위원회(curriculum committees), 학장단(deaneries), 인증 및 면허 기관(accreditation and licensing bodies)과 같은 의사결정 구조가 실제 교실이나 임상 현장 교육과 다소 떨어져 있다는 점도 인식되고 있습니다. 의사결정자들이 제도적·정치적 동인(institutional and political drivers)에 주의를 기울이는 과정에서, 연구 증거를 심의 과정에 포함시키는 데 한계가 있을 수 있습니다²². 예를 들어, 결함이 있고 논란이 많은 학생들의 강의 평가(student evaluations of teaching)가 계속 우선시되는 상황을 생각해 볼 수 있습니다⁵¹,⁵². 이러한 평가들은 학생들이 선호하는 방향으로 교육 실천을 이끄는 데 종종 사용되지만, 보다 적절한 방향임에도 불구하고 인기가 덜한 방향에 대한 증거가 존재합니다⁵³. 또한, 증거 사용자 확증(evidence-user confirmation, 즉 기존 신념이나 가치를 확인하거나 지지하는 지식을 찾고 해석하며 선호하는 현상)⁵⁴, 그리고 가용성 편향(availability bias, 즉 가장 쉽게 떠오르는 지식에 의존하는 현상) 같은 문제는 해결하기 어려울 수 있습니다. 특히 교사나 학습자들이 교육에서 효과적인 것이 명백하고 상식적이며 직관적이라고 믿어 경험적 연구(empirical study)를 불필요하다고 생각할 때 그렇습니다⁵⁵,⁵⁶.

 

증거가 가치 없거나 관련성이 없거나, 교육 거버넌스의 복잡성에 잘 맞지 않는 문제들은 단지 지식 생산자나 소비자만의 문제라기보다는, HPE에서의 한정적 합리성(bounded rationalities, 의사결정의 구조적 제약) 의 일부입니다⁵⁷. 따라서 지식 생산과 증거로서의 활용 모두가 이러한 현실과 특이성(idiosyncrasies)을 반영해야 하며, 이 문제들이 해결되거나 현재와 다르기를 바라는 것보다는 현실을 인정하는 태도가 필요할 수 있습니다.

 

연구와 실천의 접점에서 발생하는 문제를 고려할 때, HPE는 다양한 이해관계자들의 기대치를 더 잘 관리하는 데서 이득을 얻을 수 있습니다. 예를 들어, 지식 생산자들이 권장 변화를 실행하는 데 필요한 일정과 자원에 관한 지침을 제공하면, 지식 소비자들이 그에 맞게 계획할 수 있을 것입니다. 아울러, HPE 학술 활동으로 생성되는 모든 증거가 반드시 유용성과 활용도(utility and uptake)를 가져야 한다는 암묵적 기대가 있다면, 이는 도전받거나 적어도 더 면밀히 검토되어야 한다고 생각합니다. 우리는 이러한 기대가 좀 더 섬세한 접근과 인식론적 겸손(epistemic humility) 으로부터 이익을 얻을 수 있다고 주장합니다. 모든 HPE 연구가 실무자 지향적(practitioner-oriented)인 것은 아니며, 다양한 종류의 연구가 생산하는 여러 형태의 지식은 다양한 목적에 부합할 수 있습니다.

 

중요하게도, 우리는 개별 연구들이 모든 곳에서 (혹은 어디서든) 실천(practice)을 근본적으로 변화시킬 것이라고 기대할 수 없습니다. 해석(interpretation), 맥락화(contextualization), 그리고 번역(translation)은 거의 항상 필요합니다⁵⁸. 

  • 실제로, 연구 현장, 사람, 중재(interventions) 등 간의 맥락 차이로 인해, 연구 결과가 지역별 실행 변수(local implementation variables), 문화적 전통(cultural traditions), 그리고 가용 자원(available resources)을 고려하지 않고서는 한 맥락에서 다른 맥락으로 완벽하게 일반화되거나 이전(transfer)될 수 없습니다⁵⁹. 
  • 대신, 그러한 연구 결과를 뒷받침하는 개념적 산출물(conceptual artifacts), 원칙(principles), 철학(philosophies) 이 다른 맥락에 더 유용하게 일반화되거나 번역될 수 있을 것입니다. 하지만 이러한 기본 개념적 산출물, 원칙, 철학은 종종 지식 생산자나 소비자에 의해 제대로 표현되지 않아, 다양한 교육 혁신의 수용 또는 실행을 제한하는 요인이 됩니다⁶⁰–⁶³.

 

요약하면, 증거와 관련된 문제는 HPE 지식 생산자와 소비자에게 너무 많은 것을 기대한다는 데 있을 수 있습니다. HPE가 증거 기반 실천(evidence-informed practice)에 대해 더욱 생산적이고, 민첩하며, 역동적인 접근법을 갖도록 재구성될 수 있을까요? 아마도 HPE 문제 해결책은 ‘주어진 상황에서 우리가 할 수 있는 최선’이라는 이해에 기반해야 하며, 달성 불가능하거나 바람직하지 않을 수 있는 이상을 추구하는 것보다 더 현실적이어야 합니다.

 

사실, 만약 증거 기반 실천이 HPE 전반의 시스템적 문제로 간주된다면 어떨까요? 예를 들어, 과학적 지식 생산과 그 수용 간의 현재 단절 대신, HPE는 이러한 지식이 증거로서 어떻게 사용되는지를 체계적으로 추적할 수 있을 것입니다.

  • 논문 다운로드 시 어떻게 증거로 활용될 것인지에 대한 간단한 설문조사를 포함하거나, 일정 기간 후에 해당 논문이 증거로 어떻게 사용되었는지(예: 실천 또는 정책에 정보를 제공하는 데 사용되었는지) 자동으로 후속 알림을 보내는 방법도 가능합니다.
  • 또 다른 방법으로는, 교육 혁신과 변화(다양한 수준에서)에 대한 체계적 검토를 수행하여 어떤 지식이 어떤 맥락에서 어떤 방식으로 증거로 사용되었는지를 감시(audit)하는 방법도 있습니다.

비록 지식이 증거로, 다시 실천으로 번역되는 대부분의 사례가 추적 불가능할 것이라고 주장될 수 있지만, 추적 시도가 전혀 이루어지지 않는다면, 여기서 제기된 문제들은 계속될 가능성이 높습니다.

 

3루프: HPE에서 증거에 관해 올바른 질문을 하고 있는가?

세 번째이자 마지막 루프에서는, “만약 증거와 관련된 특정 문제가 해결된다면, 그 다음에야 비로소 증거 기반 HPE의 더 넓은 문제들이 해결될 수 있는가?” 라는 질문을 통해 HPE 내 증거 문제에 대한 대안적 관점을 탐색합니다. 결국, HPE에서 가장 큰 제약 요인 중 하나는 한정된 자원으로 학습을 최적화하는 데 초점을 맞춘 사회경제학(social economics)입니다⁵⁷. 이 관점에서 보면, 교육적 결정들은 이상(ideals)이나 증거(evidence)보다 타협(compromises)에 기반할 가능성이 큽니다.

 

실제로, HPE 프로그램들이 직면하는 많은 제약을 고려할 때, 증거가 HPE 의사결정에서 큰 역할을 하지 못하는 것은 놀랍지 않습니다²². 학술 논문의 권고사항을 무시한다고 해서, 법적, 제도적, 윤리적 정책을 따르지 않을 때처럼 의사결정자에게 크게 불이익이 가지는 않는 경우가 대부분입니다. 그렇다면 만약 상황이 바뀐다면 어떨까요? 만약 지식 생산자들이 자신들이 생성한 지식의 실행을 진정으로 중요하게 여기고, 지식 소비자들이 정책 및 절차 준수에 대해 책임을 지듯, 증거로서의 지식 활용에 대해서도 책임을 진다면?

 

2루프에서 우리는 증거(예: 알려진 것과 그것이 주장을 어떻게 뒷받침하는지에 관한 사고)와 실천 간에 더 의미 있고 현실적인 연결고리가 필요하다고 주장했습니다. 이러한 연결을 추구하며, 우리는 다시 “HPE 증거란 무엇인가?”, “그 증거는 어떤 목적을 위해 의도되는가?”라는 질문으로 돌아갑니다. HPE 커뮤니티는 종종 증거를 ‘생산(producing)’한다고 말하지만, 이는 오해를 불러일으킬 수 있습니다. 서두에서 논의했듯이, 지식은 주로 의사결정을 포함하는 주장(claim)을 지지하거나 반박하는 데 사용될 때에만 증거가 됩니다따라서 근거가 확실한 주장을 하는 사람들은 지식이 어떻게 증거로 사용될 수 있는지를 고려해야 하며, 이는 원래의 지식 주장(strength of the original knowledge claims)이 얼마나 강한지, 그리고 이 지식 주장이 주장을 뒷받침하는 데 어떻게 사용될 수 있는지를 포함합니다.

 

출처(provenance)가 아니라 유용성(utility)의 관점에서 지식을 증거로 이해하는 한 가지 결과는, 주장과 독립적으로 존재하는 ‘올바른 증거(right evidence)’는 없다는 것입니다(단일 또는 복수 출처에 근거한 여부와 관계없이). 대신, 증거로 사용되는 지식의 질(quality)이나 ‘올바름(rightness)’은

  • 그것이 주장의 일부로 사용되는 방식,
  • 그 지식으로부터 도출되는 증거적 추론(evidentiary inferences)의 적절성,
  • 그리고 이를 수행하는 사람들의 능력에 반영됩니다.

 

같은 연구 논문의 서로 다른 측면에서 각기 다른 지식 소비자들이 서로 다른 유용성(utility)을 인식할 가능성이 매우 높습니다.

더 나아가, 유용성은 단순히 올바른 지식을 증거로 적용하는 문제만이 아닙니다. 지식은 실제로 적용되지 않는 주장이나 입장을 지지하는 데 사용될 수도 있고, 지식을 잘못 해석하거나 결함이 있거나 편향된 지식을 증거로 사용할 수도 있습니다.

 

우리는 이것이 이상적이라고 말하는 것이 아니라, 지식 소비자들은 자신에게 유용한 것을 사용하며, 이러한 사용은 지식 생산자에게 예상치 못하거나 용인될 수 없는 경우가 있을 수 있음을 말하고자 합니다. 당연히, 다양한 종류의 지식 주장을 제시하는 저자들은 자신의 연구가 증거로 어떻게 활용될지, 혹은 어떻게 사용될지 예측할 수 없습니다. 그러나 그들은 자신들의 연구 중 어떤 측면이 사용된다면, 그것은 그 측면이 특정 맥락에서 유용했기 때문이지, 그 지식이 본질적으로 옳거나 좋기 때문이 아님을 확신할 수 있습니다.

 

지식이 사용될 때 잘못 해석되거나 오용되는 경우가 있음을 보여주는 증거는, 지식 생산자들이 자신이 생산한 지식이 어떻게 해석되고 사용되거나 오용되는지에 대해 더욱 경계해야 할 필요가 있음을 시사합니다. 특히 윤리적 파장이 있을 때는 더욱 그렇습니다. 반면, 지식 소비자들도 자신의 신념과 일치하는 지식을 증거로 선호할 가능성에 대해 더욱 인지하고 주의를 기울여야 할까요? 우리는 무지(awareness)의 결여는 맹점을 감추고 바람직하지 않거나 심지어 차별적인 결과를 초래할 위험이 있기 때문에, 인식과 주의(mindfulness)가 필요하다고 주장합니다.

 

 

따라서, 지식 생산과 그것이 증거로 사용되는 것 사이의 관계는 비교적 분리되어(decoupled) 있습니다. 이러한 분리는 교육 학자들이 실천에 바로 적용 가능한 증거를 생산하고 배포한다는 널리 퍼진 가정을 도전합니다. 우리의 주장은 그들이 증거로 사용될 수 있는 지식을 생산하고 배포한다는 것입니다. 지식이 반드시 또는 당연히 증거가 되어야 한다는 규칙은 존재하지 않습니다(암묵적이든 명시적이든)⁵.

 

지식(증거의 출처, evidence providence)과 적용(증거의 유용성, evidence utility) 간의 연결,

  • 연구가 증거로 사용되도록 의뢰(commisioned)되었거나(예: 프로그램 평가), 연구가 의사결정자의 가치 제안(value propositions)을 목표로 사전 설계된 경우 강화될 수 있습니다. 이러한 경우, 연구자들이 특정 의사결정자의 관심사와 가치를 겨냥하는 모습을 기대할 수 있으며, 이는 지식 생산의 관계적(relational)이고 상황적(situated) 성격과 증거로서의 사용 가능성을 강조합니다. 
  • 또 다른 전략으로는 지식 생산자가 대안적 전달 방식(예: 동료심사 출판에 한정하지 않는 지식 공유)을 더 잘 활용하는 것입니다. 그러나 때로는 원저자가 아닌 중개자(intermediaries)에 의해 수행되기도 하는데, 이는 지식 중개자(knowledge brokers)가 지식을 증거로 번역하여 활용을 촉진하는 데 유용한 역할을 할 수 있음을 시사합니다.

 

요약하면, 의사결정에 영향을 미치려는 연구자들은 자신들의 연구가 의사결정자에게 관련 있고 접근 가능하도록 생각과 노력을 기울여야 합니다. 하지만 이는 전체 상황의 일부에 불과하며, 고려해야 할 다른 요소들도 있습니다. 예를 들어, 연구가 출판되기까지 걸리는 속도는 상대적으로 느린 반면, 의사결정 속도는 훨씬 빠른 경우가 있습니다⁶⁴. 연구 출판 속도를 가속하거나 의사결정 속도를 늦추기보다는, 학술적 탐구는 그 자체로 목적이며, HPE에 관한 더 넓은 대화를 진전시키는 방법으로 간주되어야 하며, 특정 의사결정 과정에 기여하는 것으로만 이해되어서는 안 됩니다. HPE 분야는 또한 “지식 그 자체를 위한 지식(knowledge for knowledge’s sake)” 태도를 벗어나, 의사결정자 및 다른 지식 소비자들과 협력함으로써 연구 지식의 증거로서 동원(mobilization)에 더욱 주의를 기울일 수 있습니다.

 

 

논의 (Discussion)

증거와 관련된 문제에 대한 논의는 보건의료 분야나 의료전문직 교육(HPE)에 새로운 것이 아닙니다. 그러나, 지식과 증거가 무엇으로 간주되어야 하는지에 관한 사회 전반의 광범위한 논쟁을 고려할 때, HPE 내에서 이 대화를 새롭게 시작하는 것은 시기적절합니다. 단일, 이중, 삼중 루프 학습의 분석적 틀을 사용하여, 우리는 HPE에서 증거의 유용성에 대한 다양한 관점을 탐색했습니다:

  • 증거 혹은 유용성에 문제가 있는지,
  • 그 문제들에 대해 무엇을 할 수 있는지,
  • 그리고 증거의 생산, 배포, 수용에 대한 책임이 지식 생산자, 지식 소비자, 또는 양자에게 있는지 등입니다.

예를 들어, 어떤 기관은 자신의 교육 프로그램에서 연구 지식의 유용성에 대해 한탄하면서도, 구성원들의 출판 양과 속도를 장려하는 ‘출판 아니면 멸망(publish or perish)’ 문화를 지속할 수 있습니다.

 

우리의 첫 번째 권고는 HPE에서 지식과 증거의 본질에 대한 체계적인 성찰(systemic reflection) 을 촉구하는 것입니다. 예를 들어, 이 글을 준비하면서 유용성 문제는 종종 논쟁적(contentious)으로 여겨졌다는 점을 주목하며, 우리는 과학적 지식을 평가할 때 유용성만을 고려해야 한다고 주장하는 것이 아니라, 지식이 증거로 번역되는 과정에서 유용성은 피할 수 없는 필수적인 요소임을 강조합니다. 

 

사실, 좋든 싫든, 우리는 번역(translation)이 그 출처 지식의 질에 의해 제한되지 않는다는 점을 분명히 해야 합니다. 왜냐하면 때로는 약하거나 모호한 지식이 과도하게 강한 증거적 주장을 만들기 위해 활용될 수도 있기 때문입니다. 따라서 우리는 지식 생산자와 소비자가 이러한 번역 과정과 그것의 투명성, 책임성에 더 주의를 기울일 것을 요청합니다. 결국, 연구자들은 한 연구 내에서 데이터가 발견으로 번역되는 과정을 신중하게 추적하는데, 그렇다면 왜 발견이 증거로 번역되는 과정에 대해서는 유사한 기준을 적용하지 않을까요?

 

 

우리의 두 번째 권고는 연구 지식이 증거로 어떻게 사용되는지에 대한 체계적인 추적과 감사(systemic tracking and audit) 입니다. 비록 우리의 논의가 주로 공식적인 과학적 연구 및 학술 성과물에 초점을 맞추었지만, 증거로 간주되거나 사용될 수 있는 많은 다른 지식 출처들이 존재함을 인정합니다. 또한, 3루프 논의가 1, 2루프와는 다른 결론에 도달했음을 주목합니다. 즉, 증거가 실천을 변화시킬 수 있거나 변화시켜야 한다는 주장(고전적 번역 이해, 초기 논쟁의 대부분)과, 증거가 문제에 대한 사고 방식이나 논의 방식을 변화시킬 수 있거나 변화시켜야 한다는 주장 사이의 대조가 가능합니다. 지식 생산자와 소비자가 특정 실천 변화의 권고를 넘어서, HPE 내 대화(conversation)를 변화시키고, 적응하며, 전환함으로써 정책이나 실천에 더 실질적인 영향을 미칠 수 있을지도 모릅니다.

 

세 번째 권고는 HPE가 지식을 생산하고 소비하는 방식에서의 체계적인 문화 변화(systemic culture change) 입니다. 현재 이 분야는 지식 생산자와 소비자에 대해 다소 양극화된 시각을 가지고 있는 것 같습니다. 이 두 극단 중 한쪽에 자신을 위치시키는 것은, 많은 구성원들이 이 두 역할 사이를 유동적으로 오가고 있다는 현실을 가릴 수 있으며, 프로그램, 기관, 그리고 분야 전체에서 지식 생산자와 소비자의 목표를 반영하고 성찰적 대화(reflexive dialogue)를 가능하게 하는 기회를 저해할 수 있습니다. 이 양극화된 문화의 결과는 분명하며, 이를 해결하지 않으면 교육 발전과 개선에 대한 공동 목표가 위축되고, 지식이 방치되거나 생산되었으나 사용되지 않는다는 좌절감이 커질 수 있습니다. 이 점을 제안하면서, 연구가 반드시 실용적인 목적을 수행하거나 특정 프로그램이나 기관의 문제를 해결해야 하는 것은 아니라는 점을 다시 한 번 강조하고자 합니다. 그렇지 않으면 혁신적이고 창의적인 아이디어와 가능성이 제한될 것입니다. 또한, 다른 체계적 변화가 이러한 노력들을 촉진하거나 억제할 수 있음을 인정합니다(예: 지식-증거-실천 번역 과정을 추적·보고하는 생성형 인공지능 활용 등).

 

마지막으로, 용어 사용이 오해를 불러일으킬 수 있습니다. HPE 분야가 정말 지식 생산자와 소비자로만 축소될 수 있을까요? 분명히 상황은 그보다 훨씬 복잡하고 얽혀 있습니다. 대신 의료 전문직 교육자들은 다음과 같은 질문을 던져야 합니다:

  • “증거로 활성화된 지식이 HPE 내 대화에 어떻게 기여하거나 변화를 주는가?”
  • “HPE 기관들은 지식 생산과 그것의 증거로서의 사용을 어떻게 형성하며, 그것이 어떤 목적을 위해 이루어지는가?”

우리는 이 질문들에 대해 결정적인 답을 내리지는 않았지만, 이러한 흥미로운 질문들을 던짐으로써 다른 이들이 이 문제들에 대해 더 깊이 생각하도록 독려했기를 바랍니다.

 

 

Med Teach2024 Jul;46(7):874-884.  doi: 10.1080/0142159X.2024.2350522. Epub 2024 May 20.

Managing assessment during curriculum change: Ottawa Consensus Statement

 

 

 

커리큘럼 변화 시 평가(Assessment)를 어떻게 잘 관리할까? — 핵심 가이드 정리 🎯

의학교육이나 보건의료전문직 교육(Health Professions Education, HPE)을 하다 보면 커리큘럼 변화가 잦죠.
새로운 지식과 기술이 계속 나오고, 교수·학습 방법도 발전하고, 의료 환경 속에서 우리 졸업생들의 역할도 계속 변하니까요.

그런데 커리큘럼 변경할 때 평가(assessment)를 어떻게 함께 바꾸고 관리해야 할지 고민되신 적 없나요?
사실 이 부분을 놓치면, 좋은 커리큘럼 변화가 제대로 효과를 내지 못할 수 있답니다.

이번에 소개하는 논문은 바로 이 점을 명확히 하면서, 평가와 커리큘럼 변화를 함께 어떻게 다룰지에 대해

 

Assessment must be central to curriculum change to guide learning effectively and maintain constructive alignment.
(평가는 학습을 효과적으로 안내하고 구성적 정렬(constructive alignment)을 유지하기 위해 커리큘럼 변화의 중심에 있어야 한다.)라고 말합니다.


1. 커리큘럼과 평가는 ‘삼각대(Tripod)’처럼 함께 움직여야 한다 🪜

커리큘럼은 크게

  • 학습 내용(Content)
  • 교수·학습 방법(Teaching and Learning Methods)
  • 평가(Assessment)

이 세 가지 요소가 함께 어우러져야 해요.
논문에선 이렇게 설명합니다.
Curriculum content, teaching and learning methods and assessment practices are so closely interwoven that they should always be considered together as part of a curriculum ecosystem.
(커리큘럼 내용, 교수·학습 방법, 평가 관행은 매우 밀접하게 얽혀 있어 항상 하나의 커리큘럼 생태계의 일부로 함께 고려되어야 한다.)

하나라도 따로 놀면 ‘커리큘럼 크리프(curriculum creep)’라는 부작용이 생길 수 있고, 결국 학생들의 학습 효과가 떨어질 수 있죠.


2. 평가의 목적과 종류를 명확히 하자 📋

커리큘럼 변화는 평가 방식을 다시 점검하고,
Is the primary goal to guide learning, to demonstrate particular workforce outcomes or to achieve national accreditation status?
(주요 목표가 학습을 안내하는 것인지, 인력 양성 성과를 보여주는 것인지, 아니면 국가 인증 획득인지)
이걸 분명히 해야 해요.

 

학생들이 무엇을 어떻게 배워야 하는지 알려주고, 그 학습이 잘 되는지 확인하는 게 가장 중요한 평가의 목적입니다.


3. 학습 진행(Progress Decision)은 증거에 기반하고, 일관되어야 한다 📈

‘경계선 점수(Borderline Scores)’를 가진 학생들, 즉 조금 부족해 보이는 학생들을 어떻게 판단하고 지원할지도 매우 중요합니다.
The goal of assessment is to identify and manage those sources of error so that candidate scores are true measures of ability with as few false positives and negatives as possible.
(평가의 목표는 오류 요인을 찾아내고 관리하여 학생 점수가 가능한 한 진정한 능력 척도가 되도록 하는 것이다.)

 

특히 의학교육에서는 평가가 정성적(qualitative)·정량적(quantitative) 자료 모두를 활용하는 등 복잡해서, 모든 정보를 경험 많은 평가자들이 함께 심사해 공정한 결정을 내리는 게 필요하죠.


4. 평가 혁신, ‘기술(Technology)’은 도구일 뿐 주인이 아니다! 💻

기술이 평가를 편리하게 도와주지만, “technology should be an enabler, should not dictate assessment design principles
(기술은 평가 설계 원칙을 좌우해서는 안 되고 도와주는 역할이어야 한다)고 강조합니다.

 

그리고 시스템 장애 같은 예기치 않은 상황에 대비한 계획도 필수라는 점!


5. 학생과 교수진도 평가 변화의 중요한 주체 ✨

학생들은 미래 임상과 교육 인력이고, 교수진은 프로그램의 중추입니다.
학생 참여는 평가 저항을 줄이고, 실행력과 지속 가능성을 높이는 데 도움을 줍니다.
교수진은 바쁘지만 평가 전문가가 참여하고, 역량 개발을 통해 평가 품질을 높여야 한다고 조언합니다.


6. 국가 표준과 졸업생 성과(Graduate Outcomes)에 맞춰라 ⚖️

커리큘럼과 평가 모두 국가 차원의 인증 기준을 따라야 합니다.
Curriculum changes should adhere to clearly defined national standards for the relevant jurisdiction and profession.
(커리큘럼 변화는 해당 관할권과 전문직에 대해 명확히 정의된 국가 표준을 준수해야 한다.)

지역적 특성에 따른 추가 목표도 좋지만, 국가 졸업생 성과를 침해해서는 안 됩니다.


마무리하며...

커리큘럼 변화는 단순히 새로운 내용을 넣고 빼는 문제가 아닙니다.
평가(assessment)가 변화와 학습을 연결하는 핵심 매개자이자 가이드 역할을 한다는 사실, 꼭 기억하세요!

이 논문은 이렇게 말합니다.
Assessment must be central to curriculum change to guide learning effectively and maintain constructive alignment.
(평가는 학습을 효과적으로 안내하고 구성적 정렬을 유지하기 위해 커리큘럼 변화의 중심에 있어야 한다.)

교수진, 학생, 기관 모두가 함께 참여하고 소통하며, 체계적이고 증거 기반으로 평가를 관리할 때 진정한 교육 혁신이 일어날 수 있습니다.


“모든 평가 문항에는 종종 정답이 될 수 있는 답변이 하나 이상 있다.”
Cees van der Vleuten, 개인 소통, 약 2000년경

서론

학생들이 자신들의 보건의료전문직 교육(Health Professional Education, HPE) 프로그램에 대해 어떻게 이야기하는지 생각해 보자.

  • “우리 프로그램은 대체로 괜찮지만, 우리가 해야 할 일과는 관련 없는 부분들이 있어요.”
  • “일부 임상 경험은 그냥 지켜보기만 할 뿐 직접 하는 게 아니에요. 그런데도 우리는 거의 만나지 않는 사람들에게 많은 것을 승인받아야 해요.”
  • “평가는 연말 시험에 너무 치중돼 있고, 연중 수행하는 활동들은 반영되지 않아요.”
  • “피드백을 거의 받지 못하고, 받은 피드백도 대부분 도움이 안 돼요.”
  • “시험 문제는 우리가 하는 활동과 무관한 무작위 문제들의 모음 같아요.”
  • “X 교수님은 자신의 관심사에 관한 문제만 내시고, 커리큘럼 내용과는 다르니 그의 강의를 들어야 무엇을 공부해야 할지 알 수 있어요.”
  • “새로운 커리큘럼이 도입돼서 과정이 더 최신화되고 흥미로워졌다고 하지만, 평가되는 것에 집중하는 게 더 안전해요.”

이러한 의견들은 무엇을 의미하는가? 왜, 그리고 누가 그렇게 인식하는가? ‘좋은 프로그램’이란 무엇인가? ‘좋다’ 혹은 ‘나쁘다’를 판단하는 가장 적합한 주체는 누구인가?

 

보건의료전문직 교육 프로그램은 대개 복잡하다. 그 이유는 단순한 대학 학위를 넘어서기 때문이다. 졸업생들은 현장에 투입되어 환자를 돌볼 수 있어야 하며, 의대생들은 전문과정 교육을 시작할 자격이 주어진다. 보건의료는 지역사회 전체에 중요하기 때문에, 자금 지원자, 규제 기관, 고용주, 전문직 단체, 학생, 일반 대중 모두 프로그램의 설계와 질에 관심을 가진다.

 

각 프로그램의 핵심은 **커리큘럼(curriculum)**이며, 이는 “내·외부 기관이 설정한 목표를 달성하기 위해 기관에서 제공하는 학습 기회”로 정의된다 (Merriam-Webster 온라인 사전, 2024). 이 목표는 보통 졸업생의 성과(graduate outcomes)로 표현되며, 미래 역할에 대한 준비를 반영한다. 커리큘럼에서 가장 중심이 되는 부분은 학습을 어떻게 평가(assessment)하는가 이다. 왜냐하면 학습자는 평가될 것으로 알려진 커리큘럼 구성 요소에 집중하기 때문이다(Newble and Jaeger 1983; Bezuidenhout and Alt 2011).

 

평가는 종종 학습자의 사고와 행동을 지배한다. 상급 선배들에게 조언을 구하고, 과거 시험지를 찾아보고, 외부 시험은행(subscription)을 이용해 연습하는 모습은 평가에 대한 경쟁적 경향을 드러내며, 이는 졸업생 성과 달성보다는 시험 통과에 학습 초점이 쏠리도록 왜곡할 수 있다. 이러한 경쟁적 경향을 역동적인 보건의료 시스템 내에서 관리하는 것은 어려울 수 있다. 이는 참여자, 교수진, 학생, 그리고 임상 경험의 조합에 따라 달라진다 (Hays et al. 2020). 미묘하거나 작은 차이도 학습자가 속한 집단 내와 집단 간, 그리고 교육 장소별로 학습의 차이를 만들어 내며, 각 프로그램에 고유한 ‘생명’을 부여한다. 특히 국가 간 맥락이 다르면, 문화와 보건의료 시스템의 차이로 인해 사실상 동일해 보이는 커리큘럼도 전달 과정에서 상당히 달라질 수 있다.

 

이전의 오타와 컨센서스(Ottawa Consensus) 논문들은 평가 관행 설계에 관한 지침을 제공해 왔지만(Norcini et al. 2011; 2018; Heenaman et al. 2021; Fuller et al. 2022; Boursicot et al. 2011), 커리큘럼 변화 맥락에서의 논의는 부족했다. 이 논문은 학습 활동이 변할 때 왜, 어떻게, 언제 기존 평가 설계 지침을 적용할 것인가에 관한 전략에 초점을 둔다.

 

따라서 우리는 커리큘럼 설계를 평가 관점에서 접근하며, 학습 변화에 평가가 어떻게 중요한 역할을 하는지 설명한다. 이 논문의 대부분은 주로 의학 학위(primary medical qualifications) 문헌에 기반하며, 다른 보건의료 전문직과 대학원 과정에서는 관련 문헌이 적다는 점을 인정한다. 그러나 모든 상황에 맞는 단일한 ‘정답’ 평가 방식은 존재하지 않더라도, 대부분의 보건의료전문직 교육 프로그램은 유사한 원칙들을 반영할 가능성이 높다.


목적 지향적 교수 설계 (Purposeful instructional design)

우리는 평가(assessment)와 학습(learning) 간의 긴밀한 관계를 설명하는 것으로 시작한다. 보건의료전문직 교육(Health Professions Education, HPE) 프로그램은 단순히 과정이나 프로그램을 완료하기 위해 반드시 배워야 할 항목들의 목록 이상이다. 이는 세 가지 주요 구성요소로 이루어진 복잡하고 역동적인 실체(complex, dynamic entity) 이다:

  • 학습할 “내용(content)”
  • 전달 과정(교수 및 학습 전략, teaching and learning strategies)
  • 학습 성취의 평가(assessment of learning achievement)

이 모든 요소는 계획된 졸업생 성과(graduate outcomes) 에 의해 안내되고, 상당한 보건의료 시스템 경험에 의존한다.

 

내용(content)에는 프로그램에서 새롭게 졸업하는 인재가 기대되는 지식, 기술, 행동 양식(behaviours)이 포함되며, 흔히 이를 교과목(syllabus) 라고 부른다 (Burton and McDonald 2001). 이 내용은 보통 커리큘럼 영역(curriculum domains) 내에 조직되는데, 이는 관련 자료들의 개념적 그룹화(conceptual groupings)로서 (Behar and Ornstein 1994), 학습이 적용되는 전문적 맥락과 달성해야 할 졸업생 성과를 반영한다.

 

영역(domains)은 보통 어느 정도 겹치는데, 이는 졸업생 성과에 따라 커리큘럼 구성 요소들을 다르게 결합하기 때문이다. 졸업생 성과를 달성하려면 모든 커리큘럼 영역에서 만족스러운 성취가 필요하며, 모든 커리큘럼 내용과 중간 학습 성과(intermediate learning outcomes)는 졸업생 성과에 대응(mapping)되어야 한다. 이를 구성적 정렬(constructive alignment) 이라 부른다 (Biggs 1996).

 

평가의 초점은 학습을 위한 평가(for learning), 학습의 평가(of learning), 그리고 학습으로서의 평가(as learning)여야 하며(Dann, 2014), 학생의 학년이 올라가면서 “알고 있다(knows how)”와 “보여준다(shows how)”에서 “실제로 한다(does)”와 “이다(is)”로 이동한다 (개정된 Miller의 피라미드). 또한 “기억한다(remember)”에서 “평가한다(evaluate)”와 “창조한다(create)”로 이동하는 것이 개정된 Bloom의 분류학(Bloom’s Taxonomy)에서의 흐름이다 (Anderson and Krathwohl 2001; Cruess et al. 2016).

 

평가 방법과 형식은 다양하지만, 이러한 진행 과정에서는 역량(competencies)이 어떻게 선택되고 적용되는지를 현장 기반 평가(workplace-based assessment)를 점점 더 많이 활용해야 하며, 이는 특히 졸업 시점과 대학원 교육에서 중요한 개념인 신뢰할 수 있는 전문 활동(entrustable professional activities, EPAs) 의 근간이 된다 (Norcini and Burch 2007; Boursicot et al. 2011; ten Cate et al. 2015).

 

비록 대부분 독립적으로 고려되고, 대부분의 인증(accreditation) 기준 문서에서 별도의 표준으로 나열되지만, 커리큘럼 내용(content), 교수·학습 방법(teaching and learning methods), 평가 관행(assessment practices)은 너무 밀접하게 얽혀 있어서 항상 함께 커리큘럼 생태계(curriculum ecosystem)의 일부로 고려되어야 한다. 개념적으로 이들은 학습자가 “올바른 것을(right things)” “올바른 방식으로(right way)” 배우도록 지원하는 ‘삼각대(tripod)’ 를 구성한다 (Kibbe et al. 1994). 여기에 “적절한 시기(at the right time)”와 “적절한 목적(for the right purpose)”이라는 요소도 추가될 수 있다. 삼각대의 한두 다리만 바뀌어도 균형(balance)에 영향을 미칠 가능성이 크다. 이러한 긴밀한 관계는 그림 1(Figure 1) 에 잘 묘사되어 있다. 이상적으로는 세 가지 커리큘럼 구성 요소 모두가 학습자에게 무엇을 어떻게 배울지에 대해 일관된 메시지를 제공해야 한다. 이는 구성적 정렬(constructive alignment, Biggs 1996) 의 핵심이며, 이 개념은 프로그램의 비전 또는 미션, 특정 유형의 학생 선발, 프로그램 평가까지 확장될 수 있으나, 이 논문에서는 범위에 포함하지 않는다. 구성적 정렬의 중요성은 전체 커리큘럼 생태계에 내재되어야 한다는 점에 있다. 이 논문에서 ‘커리큘럼(curriculum)’이라는 용어는 바로 그 생태계를 의미하지만, 우리의 주된 초점은 학습이 어떻게 평가되는가에 있다.

 

 

 

커리큘럼 생태계(curriculum ecosystem)의 한 부분에만 변화가 생겨도 학습에 의도하지 않은 부작용(unintended consequences) 이 발생할 수 있다. 예를 들어, ‘숨겨진 커리큘럼(hidden curriculum)’ 이 형성될 수 있는데, 이는 임상 경험(clinical experience), 평가(assessment) 또는 둘 다가 커리큘럼 내용(curriculum content)과/또는 졸업생 성과(graduate outcomes)와의 정렬(alignment)에서 벗어나는 현상이다 (Jackson 1968).

 

이것은 학습에 부정적 영향을 미칠 수 있으며, 학습자는 통제하기 어려운 서로 상충하는 압력(competing pressures)에 노출된다.

  • 첫 번째 압력은 직장 내 문화(workplace culture) 로, 이는 학생 학습 전달(delivery)과 성과(outcomes)에 상당한 영향을 미친다 (Lempp et al. 2004). 커리큘럼 문서가 무엇을 명시하든 간에, 학습은 어느 정도 커리큘럼을 어디서, 언제, 어떻게, 누가 경험하는지에 달려 있다.
  • 두 번째는 학습이 어떻게 평가되는가(assessment of learning) 이다. 이는 커리큘럼 내용이나 전달보다 학습에 더 큰 영향을 미칠 수 있다 — 즉, “평가가 학습을 주도한다(assessment drives learning)” (Newble and Jaeger 1983).
    • 더 나아가, 점수가 진도(progress) 결정에 반영되는 경우와 단지 진도에 대한 피드백만 제공되는 경우 학습 접근법이 다를 수 있다 (Rapauch et al. 2013). 구체적인 예로, 표준화된 국가 시험(standardised national examinations)의 영향이 있다. 여러 맥락에서 이 시험들은 실제 이해 및 임상 적용과 같은 고차원 인지 과정(higher cognitive processes)보다 사실적 지식(factual knowledge)을 더 향상시키는 것으로 나타났다 (Bezuidenhout and Alt 2011; Jürges et al. 2012). 이 시험들은 단일 시점 시험(single moment in time examination, “SMITHEX”)에서 모든 응시자가 동일한 기준점(benchmark standard)을 충족한다고 확신을 줄 수 있지만 (Dave et al. 2020), 학생들은 미래 임상 실습을 위한 학습보다는 시험에 “합격하는” 단기 학습에 집중할 수 있다 (예: 면허 취득 자격).
    • 학습 여정(learning journeys)은 장기적이고 점진적(longitudinal and incremental) 이며, 더 중요한 것은 진행(progress)과 궤적(trajectory)을 평가하는 것이다. 이는 계단(steps)보다 경사(slope)에 더 가깝다. 평가는 이러한 학습 진행을 맞추고 촉진해야 한다.
  • 세 번째는 인증 기관(accreditation agencies), 고용주(employers), 자금 지원자(funders)로부터 오는 외부 압력(external pressures)으로, “더 나은” 졸업생과 보다 포괄적인 인력(inclusive workforce)을 만들기 위해 변화를 요구한다. 하지만 이러한 요구에 대한 대응이 반드시 프로그램 전달 수준(programme delivery)까지 도달하지는 않는다. 예로는 전문성(professionalism), 업무 준비성(work readiness), 환자 안전(patient safety)에 대한 강조가 증가하는 것이 있다. 이러한 속성들은 모두 칭찬할 만하지만 평가하기 쉽지 않다. 더 나아가, 졸업에 가까운 학생들의 임상 평가자들은 전통적인 개별 임상 역량(individual clinical competencies)보다 팀워크(teamwork), 안전(safety), 신뢰성(trustworthiness)과 같은 시스템적 요소(system factors)에 초점을 맞출 수 있다는 증거도 있다 (Malau-Aduli et al. 2021).

 

 

보건의료전문직 교육(Health Professional Education, HPE) 프로그램은 정체되어(static) 있어서는 안 된다.

  • 과학적 발전은 끊임없이 이루어지고 있으며, 임상 실무(clinical practice)는 새로운 내용(new content), 새로운 학습 경험(new learning experiences), 그리고 새로운 역할(new roles)에 맞춰 진화한다.
  • 미래 지역사회의 요구와 전문직 역할은 반드시 고려되어야 하며, 이는 자금 지원자(funders), 규제 기관(regulators), 고용주(employers)의 관점을 더 반영하는 경우가 많다.
  • 기술 발전은 학습 자원, 최신 임상 정보, 그리고 새로운 평가 형식(assessment formats)에 대한 접근성을 향상시키지만, 이들은 개발의 주된 동력(main drivers)이 아니라 도구(tools) 로서 기능해야 한다.
  • 커리큘럼의 “유효 기간(shelf life)” 을 측정하는 것은 어렵지만, 모든 보건의료 전문직 커리큘럼은 ‘살아있는(living)’ 문서 로 간주되어야 하며, 최신성을 유지하기 위해 정기적인 검토가 필요하다.
  • 모든 변화는 증거 기반(evidence-based) 이어야 하며, 명확하게 기술되고 평가되어야 한다. 이것이 바로 ‘건강한(healthy)’ 커리큘럼 개발 이다.

모든 커리큘럼 변화가 반드시 ‘건강한’ 것은 아니며, 특히 급하게 시행되는 경우 그렇다. 교수진의 변화는 기존 내용에 다른 관점, 새로운 아이디어와 활력을 불어넣을 수 있지만, 때때로 검증된 필요성(proven needs)보다 개인적 관심(personal interests)에 치우칠 수 있다. 학습자가 더 복잡한 주제에 대한 추가 강의를 요청할 수 있으나, 아마도 학습 자원(learning resources)을 검토하는 것이 강의 수를 늘리는 것보다 더 적절할 수 있다.

 

‘새로운’ 평가 방법이나 형식이 경험적 근거나 광범위한 커리큘럼 생태계(curriculum ecosystem), 그리고 잠재적 의도치 않은 부작용(unintended consequences)에 대한 고려 없이 인기를 얻어 도입될 수도 있다. 예를 들어, 아주 작은 변화라도 ‘커리큘럼 서서히 확장(curriculum creep)’ 으로 이어질 수 있다.

 

모든 커리큘럼 변화는 적절하게 개발되고 프로그램 전반에 걸쳐 균일하게 시행되어야 한다. 더 중대한 변화는 중요한 프로젝트에 대해 교수진을 동기 부여하고 단합시키려는 새로운 리더십(new leadership), 커리큘럼 개혁을 권고하거나 요구하는 인증(accreditation) 보고서, 또는 커리큘럼 전달에 영향을 미치는 중대한 상황 변화(major change in circumstances)로 촉발될 수 있다. 중대한 변화의 예로는 최근의 COVID-19 팬데믹, 국제 분쟁, 그리고 ‘일상적인(normal)’ 보건의료 및 HPE 전달을 방해하는 대규모 자연재해가 있다. 이러한 이유들은 서로 배타적이지 않으며, 내부적(internal) 및 외부적(external) 압력과 모두 관련될 수 있다. 외부 압력은 평판 위험(reputational risk) 때문에 더 긴급하게 여겨질 수 있다.

 

 

커리큘럼 변화 중에 평가를 변경하지 않는 이유로 흔히 사용되는 설명은, 평가가 커리큘럼 변화가 학습자에게 불이익이 없음을 보여주는 품질 보증(quality assurance)의 수단으로 사용될 수 있다는 점이다. Longitudinal Integrated Clerkships (LICs)와 같은 여러 커리큘럼 전달 이니셔티브(delivery initiatives)가 이 접근법을 취해왔다 (Worley et al. 2001; El et al. 2019). 이 주장은 혁신을 지지하는 데 있어 어느 정도 강점이 있지만, 상당한 커리큘럼 변화는 학습을 안내하기 위해 상당한 평가 재설계(substantial assessment re-design)를 필요로 할 수 있다.

 

이 논문에서는 실제 사례(익명 처리된, de-identified 사례)에 기반한 시나리오(scenarios)를 사용하여 (표 1 참조), 이 원칙들이 다양한 맥락에서 어떻게 적용될 수 있는지를 보여준다 (표 2). 이 원칙들은 주로 초등 의학 교육(primary medical education)에 치우친 문헌과, 비록 더 광범위하지만 여전히 의학에 집중된 저자들의 통합 경험(pooled experiences)에 근거한다. 초등 HPE 자격 프로그램(primary HPE qualification programmes)은 더 엄격한 외부 인증 기준과 절차(external accreditation standards and processes)를 갖는 반면, 대학원 프로그램(postgraduate programmes)은 개별 전문직(individual professions)의 손에 더 많이 맡겨져 있어, 커리큘럼과 평가 접근 방식에서 국가 및 전 세계적으로 더 큰 변이가 발생한다. 이러한 한계에도 불구하고, 저자들은 이 원칙들이 모든 보건의료 전문직의 모든 교육 단계에서 유효할 수 있다고 믿으며, 전문 분야(specialty)와 지속적 전문성 개발(continuing professional development) 맥락을 반영한 시나리오도 포함시켰다.


커리큘럼 검토 시 성공적이고 지속 가능한 평가 변화 지침 원칙

리더십, 거버넌스 및 소유권 (Leadership, governance and ownership)

커리큘럼 검토 과정의 준비부터 완료까지 모든 단계를 안내하기 위해서는 명확한 거버넌스 구조와 위임(delegations) 이 필요하다. 변화 관리(change management)는 여기서 자세히 다루지 않지만, 성공을 위해서는 리더십, 참여(engagement), 조직의 준비도(organizational “readiness”), 명확한 결과, 명확한 의사결정, 변화의 근거와 평가를 제공할 데이터 수집이 필수적이다 (Gelaidan et al. 2017; Ford et al. 2021; Law 2022). 리더는 “이해관계(vested interests)”에서 독립적이어야 하며, 팀을 하나로 묶는 활동의 매개체로서 보건의료 결과 개선과 인증 요구사항 충족에 대한 열망(aspirations)에 집중해야 한다. 명확하고 수용 가능하며 명백한 절차는 실행 가능성이 더 높은 의사결정을 촉진한다. 아이디어와 전략을 정교하게 다듬기 위해 존중하는 이견(respectful disagreement) 이 권장되어야 한다.

  • 의사결정은 합의(consensus)나 다수결(majority vote)에 의해 이루어지는가?
  • 그렇다면 모든 참여자가 투표권을 가지고 있는가?
  • 제안된 선택지는 기관 규정(institutional regulations), 전문직 규범(professional norms), 지역사회 기대(community expectations)와 어떻게 부합하는가?

변화를 추적하고 변화 사유를 문서화하기 위한 데이터 수집은 특히 혁신적 변화(innovative changes)의 커리큘럼 근거(provenance)와 영향 평가를 입증하는 데 필수적이다. 대규모 검토 과정에서는 혼란과 불만(disaffection)의 가능성이 있으며, 기존(old) 과정의 학생들이 소외되거나 불이익을 느낄 수 있다. 명확한 메시지 전달을 위해 “기존(old)”과 “신규(new)” 프로그램을 각각 담당하는 두 개의 별도 커리큘럼 및 평가 팀을 두는 것이 현명할 수 있다. 평가 관점에서 핵심 이슈는, 커리큘럼 변화가 평가 관행에 미치는 잠재적 영향을 모니터링할 수 있는 평가 전문성을 갖춘 고위 교수진(senior faculty member) 을 임명하거나 접근할 수 있도록 하는 것이다. 모든 평가 문항에 단 하나의 정답이 없을 수 있지만, 초점은 학습을 안내하고 성취를 측정하는 “더 나은(better)” 방법을 찾는 데 있어야 한다. 커리큘럼이나 평가 변화를 접근할 때는, 표 3에 나열된 우리가 ‘6P’라고 부르는 요소들을 고려해야 한다.


커리큘럼 거버넌스 구조(curriculum governance structures)에는 교수진(faculty members), 상급 학생(senior students), 최근 졸업생(recent graduates), 졸업생 고용주(employers of graduates), 환자 대표(patient representatives)가 포함되어야 하며, 이들은 과정(process)을 감독하고 기여할 기회를 제공해야 한다. 모든 이해관계자(stakeholders)에 대한 “투자 대비 수익(return on investment)” 을 제공하기 위해 상당한 에너지와 노력이 필요하다.

 

초기 단계에서는 특히 서로 다른 관점이 표출되고 상호 이해가 이루어짐에 따라, 때때로 격렬한 토론(debate)이 정상적이다. 존중하는 논의(respectful discussions) 는 참여자들의 전망을 방해해서는 안 되며, 새로운 아이디어는 장려되어야 한다. 다른 의학 프로그램의 동향에 대한 인식을 높일 수 있는 외부 컨설턴트(external consultant)를 초빙하는 것도 도움이 될 수 있다. “외부를 바라보는 것(looking outside)”은 유익한 학습이 될 수 있으므로, 검토팀(review team) 구성원들을 잘 알려진 다른 프로그램에 방문하도록 보내는 것도 고려해 보아야 한다. 특히 학생들과 교수진에게 정기적인 진행 상황 보고(regular progress reports)를 제공하여 참여를 유지하고 피드백을 장려해야 한다. 합의(consensus)가 목표지만 필수는 아니며, 모두가 실행(implementation)을 위해 노력하는 것이 중요하다. 이러한 단계들은 변화의 수용성(acceptability), 달성 가능성(achievability), 그리고 질(quality)을 개선할 것이다. 교수진의 역할은 단순히 학습자에게 정보를 제공하는 것보다 훨씬 더 광범위하다 (Harden and Lilley 2018).

 

교수진은 프로그램에 콘텐츠(content), 맥락(context), 전달(delivery), 평가(assessment) 전문성을 제공한다. 교수의 참여는 성공적인 변화에 필수적이다 (Cintra et al. 2023). 교수진은 어떤 검토 논의(review discussions)에도 참여하고, 이상적으로는 결과(outcomes)에 대한 소유권(ownership)을 가져야 한다. 하지만 교수진은 바쁜 사람들이며, 지속적인 질 향상(Continuous Quality Improvement, CQI)은 보통 직무 기술서에 명시되지 않는다.참여하는 교수진은 이 업무에 전념할 수 있는 전용 시간(dedicated time)이 필요하다. 기존 교수진의 업무 부담을 줄이기 위해 추가 교수진이 필요할 수도 있다. 이는 교육 전문성을 확장하고 경력 전망을 향상시키는 교수 개발 활동(faculty development activities)을 진행하기에 이상적인 시기일 수 있다.

 

학습자의 역할도 단순히 정보를 수신하는 것 이상이다 (Karakitsiou et al. 2012). 학습자는 HPE 프로그램의 초기 ‘소비자(consumers)’이자 미래 임상 및 교육 인력(future clinical and educational workforce)이다. 학생들은 가치 있는 관점을 제공할 수 있으므로 검토팀에 참여해야 한다. 이들의 참여는 새로운 평가 전략이 졸업생 성과 달성을 위한 학습을 장려하고, 저항을 줄이며 실행과 지속 가능성을 촉진하는 데 도움이 될 수 있다. 대규모 검토의 경우, 프로젝트 팀에 한 명 이상의 학생을 모집하는 것(e.g. intercalated HPE project)은 프로그램 변화와 학생의 미래 경력 양쪽 모두에 가치를 더할 수 있다.

 

목적 (Purpose)

목적에는 세 가지 수준이 있다.

전체 프로그램(overall programme)의 목적은 보통 변하지 않으며, 주로 규제 기관(regulator)이 정의한 적절한 보건의료 인력(providing an appropriate healthcare workforce)을 제공하는 데 초점을 맞춘다. 커리큘럼 및/또는 평가에 변화가 제안되는 경우, 각 변화의 목적은 명확해야 한다. 변화가 잠재적으로 서로 다른 평가 방법을 요구하는 경우, 각 평가 방법의 목적도 명확해야 한다. 커리큘럼 변화는 전체 평가 철학(overall assessment philosophy)과 평가 목적을 재검토할 기회이며, 이는 경험적 증거(empirical evidence)에 기반하고 현대적 동향(contemporary trends)을 반영하여 HPE 프로그램을 개선하는 데 도움이 된다. 주요 목표는 학습을 안내하는 것인가, 특정 인력 결과(workforce outcomes)를 입증하는 것인가, 혹은 국가 인증 상태(national accreditation status)를 달성하는 것인가? 모두 중요하지만, 유사한 자원의 적용 방식이 달라질 수 있다.

 

최신 내용을 추가하는 경우이든, 졸업생 성과(graduate outcomes)를 수정하는 경우이든, 전체 커리큘럼 생태계(curriculum ecosystem)에 영향을 미칠 수 있다. 변화의 목표와 목적에 대한명확성(clarity)과 공유된 이해(shared understanding) 가 필요하며, 이는 “무엇(what)”과 “왜(why)”를 넘어 “어떻게(how)”로 나아가도록 돕는다.

  • 이것이 특정 계기(specific trigger)에 대응하는 ‘일상 유지(routine maintenance)’ 인가?
  • 동일한 졸업생 성과를 갖는 병렬 커리큘럼(parallel curriculum; 서로 다른 장소 또는 배치 모델) 도입과 같은 대대적 개편(major overhaul) 인가?
  • 혹은 낮은 통합(lower integration)에서 높은 통합(higher integration)으로(또는 그 반대로) 변경하는 등, 사실상 새로운 프로그램(new programme)인가?

검토가 클수록 더 많은 자원(resources), 교육 전문성(educational expertise), 교수진 전체의 참여(faculty-wide engagement)가 필요하다. 가능하다면 새로운 내용 추가는 커리큘럼 또는 평가 과부하(overload)의 위험 때문에 저지하는 것이 좋으며, 덜 중요하거나 오래된 내용을 대체하는 것이 바람직하다.


구성적 정렬 (Constructive alignment)

구성적 정렬은 목적 지향 설계(purposeful design) 의 핵심이며, 모든 커리큘럼 검토는 학습을 지원·강화하기 위해 프로그램 구성 요소의 일관성(consistency), 균형(balance), 정렬(alignment)을 교정하거나 개선하는 것을 목표로 해야 한다. 특정 문제를 다루는 “사소한(minor)”, 겉보기에는 “고립된(isolated)” 변화조차도 다른 프로그램 구성 요소에 영향을 미칠 수 있다. 특히, 커리큘럼 성과(curriculum outcomes) 및 전달(delivery)에 대한 모든 변화는 평가 전략(assessment strategy)의 개정을 요구할 가능성이 크다. 더 중대한 변화는 프로그램 전체에 걸친 모든 커리큘럼 구성 요소에 대한 검토를 필요로 할 수 있다. 예를 들어, 낮은 수준에서 높은 수준의 커리큘럼 통합으로 변경하는 경우, 커리큘럼 전반에 걸쳐 평가에서도 이에 상응하는 변화가 요구된다.

 

또한, 평가 일정(assessment schedule)의 일부를 검토하는 경우, 정렬과 균형을 유지하기 위해 전체 일정을 검토해야 한다. 평가 청사진(assessment blueprint)과 샘플링(sampling)은 구성적 정렬을 보여주기 위해 커리큘럼 청사진(curriculum blueprint)을 기반으로 해야 한다 (Raymond and Grande 2018).


체계적이고 포괄적인 접근 (Systematic and comprehensive)

커리큘럼의 모든 측면, 즉 모든 영역(domains)에 걸쳐 졸업생 성과(graduate outcomes)에 의해 안내되며, 평가 대상이 되어야 한다 (Schuwirth and Van Der Vleuten 2004). 여기에는 광범위한 인지적(cognitive), 절차적(procedural), 행동적(behavioural) 속성이 포함된다. 평가는 지식 및 시뮬레이션 기술(simulated skills)과 같은 “측정하기 더 쉬운(easier to measure)” 속성에만 의존하는 것을 넘어, 전문성(professionalism)과 자기 관리(self-care)와 같은 다른 중요한 속성들을 포함해야 한다.

 

현재 접근법은 프로그램 전반에 걸쳐 더 자주 평가를 수행하고, 여러 평가자(assessors), 방법(methods), 맥락(contexts)을 활용하여 전체 커리큘럼에서 학습 진행 상황을 “조명(shine a light)”하는 것이다 (Norcini et al. 2018). 더 발전된 모델은 프로그램 평가(programmatic assessment)로, 전체 커리큘럼 연결점(curriculum nexus)을 고려하여 학습에 초점을 맞춘다 (van der Vleuten et al. 2012; Heeneman et al. 2021; Torre et al. 2021).

 

초기 임상 실습(early clinical practice) 요구사항 “우주(universe)”의 일부 샘플만 전달할 수 있듯이, 평가는 프로그램 전반의 평가 청사진(programme-wide assessment blueprint)을 기반으로 커리큘럼의 일부 샘플만 평가할 수 있다. 적절한 샘플링(sampling)은 타당성(validity)을 강화하고, 전체 커리큘럼이 중요하다는 메시지를 학습자와 교사에게 전달한다. 학습 포트폴리오(learning portfolios)는 졸업생의 ‘프로필(profile)’을 구축하는 보완 정보(complementary information)를 수집하기에 적합하지만, 포함된 내용과 증명 방식에 따라 성과가 달라진다. 학습 포트폴리오의 의사결정 역할은 여전히 진행 중인 연구 주제이다 (Buckley et al. 2009; Hong et al. 2021; Tan et al. 2022).


개별 평가 방법의 선택 (Selection of individual assessment methods)

광범위한 평가 방법과 형식이 존재한다. 일반적인 평가 개발과 마찬가지로, 개별 방법의 선택은 목적(purpose) 에 기반해야 한다. 변화하는 커리큘럼의 내용(content), 전달 방법(delivery methods), 맥락(context)을 고려해야 한다. 고려하기 편리한 모델은 개별 방법의 평가 효용(assessment utility)이다 (Schuwirth and Van Der Vleuten 2004). 전통적으로는 높은 신뢰도(reliability)를 가진 방법에 초점이 맞춰졌으나, 전문성(professionalism), 환자 안전(patient safety), 자기 관리(self-care) 등과 같은 “평가하기 더 어려운(harder to assess)” 속성 및 결과에 대해서는, 높은 타당성(validity)과 교육적 영향(educational impact)을 지닌 방법이 중요하다. 학습 진행이 모든 영역(domains)에서 이루어지도록 ‘복합 신뢰도(composite reliability)’ 접근법 을 채택해야 한다 (Moonen-van Loon et al. 2013).

 

새로운 평가 방법을 도입하는 것은 목적 지향적 설계(purposeful design) 의 일부여야 한다. 평가 업무량을 단순히 증가시키지 않도록 주의해야 하지만, 이전에 평가되지 않았던 구성 요소가 포함되는 경우 일정한 융통성(flexibility)은 필요할 수 있다. 평가 방법은 의도하지 않은 중복이나 전체 평가 범위의 축소를 줄이기 위해 “동일한 종류(like for like)”로 대체되어야 한다. 예를 들어, 임상 평가 방법(clinical assessment method)은 다른 임상 평가 방법으로 대체되어야 한다. 만약 현장 기반 평가(workplace-based assessment, WBA)가 객관식 구조화 임상 시험(objective structured clinical examinations, OSCE)에 추가된다면, OSCE 수를 줄이고 동일 청사진(blueprint)을 기반으로 두 방법의 샘플 항목(sample items)을 조정하는 것이 바람직하다. 이때 평가 방법, 개별 문항 품질, 평가자 교육(assessor training)에 집중해야 한다.

 

또한 일부 평가 변화는 상당한 재설계(substantial re-design)를 요구할 수 있다. 예를 들어, 역량(competencies)에서 EPAs(entrustable professional activities)로 이동하는 경우, 이는 직장 역할(workplace roles)과 업무(tasks)에 연결된 맥락화된 “메타 역량(meta-competency)”이므로, 적절한 기간 동안 훨씬 더 광범위하고 다중 방법(multi-method)의 평가가 필요할 수 있다 (ten Cate et al. 2015).

 

 

각 평가가 졸업생 성과(graduate outcomes) 달성에 어떻게 기여하는지에 대해 명확성(clarity) 이 필요하다. 커리큘럼 변화는 제공되는 피드백의 질과 양을 증가시킬 기회이며, 피드백 부족은 학생들의 흔한 불만 사항이다 (Lefroy et al. 2015). 이때 피드백의 주요 동인이 학습을 “위한(for)”, “에 대한(of)”, “로서(as)”의 목적 중 무엇이든 관계없다. 학생들은 각 목적에 따라 다르게 행동할 수 있다. 모든 평가는 학습 “위한(for)” 평가일 수 있으며, 이는 경력 개발에 중심적인 역할을 한다.

 

진급 결정(progress decisions)은 다양한 평가, 다양한 방법, 다양한 평가자들을 폭넓게 고려해야 한다. 일부 평가는 학습 과정 중 단계나 학년 말의 점수 평가 대신 ‘장애물(hurdles)’ 로 설정하는 것을 고려하자. 이렇게 하면 평가 업무량을 분산시키고, 중요하지만 “평가하기 더 어려운(harder to assess)” 속성들도 포함할 수 있다. 확인된 문제를 해결하는 데는 하나 이상의 접근법이 있을 수 있으므로, 다른 변화 옵션들도 탐색해야 한다. 예를 들어, 평가 문항 수와 질을 늘리고, 필기 문항에 임상 시나리오를 추가하며, 임상 평가자 수를 증가시키고, 현행 방법에 대한 평가자 교육을 개선하는 것이 평가 효용(assessment utility)을 더 높일 수 있다. 이는 방법(methods)을 변경하는 것보다 더 효과적일 수 있다 (Schuwirth and Van Der Vleuten 2004; van der Vleuten and Schuwirth 2005).

 

평가에서 기술(technology)의 역할은 이상적으로 교육적 필요(educational needs)에 의해 주도되어야 한다. 기술은 빠르게 발전하며 유용한 평가 도구 및 관리 소프트웨어를 제공하지만, 기술은 평가 설계 원칙을 지배해서는 안 되며(should not dictate assessment design principles), 시스템 장애가 가끔 발생하므로 비상 계획(contingency planning)이 필요하다 (Sen Gupta et al. 2021). 개별 학습 스타일(individual learning styles)의 중요성은 논란이 있지만, 학습자들은 평가 관행(assessment practices)에 반응하여 학습 접근법을 조정할 수 있다 (Newble and Jaeger 1983; Wilkinson et al. 2007). 예를 들어, 임상 실습(clinical rotations)에 대한 객관식 문항(MCQ) 평가 수를 늘리는 결정은 학생들이 임상 실습 기회를 활용하기보다는 교과서 암기에 치중하도록 유도할 수 있다.

 

학생과 교수진 간 세대 차이(generational influences)가 존재하며, 보통 한 세대 차이가 나는 만큼 선호(preferences)와 이해(understanding)의 차이가 있을 수 있다 (Reyes et al. 2020). 다양한 학생들이 보건의료전문직 교육에 참여하는 만큼, 특정 평가 도구가 특정 학생 집단에 불공평하게 불이익을 줄 가능성(unfair disadvantage)에 대한 고려가 필요하다 (de Lisa and Lindenthal 2012; Tai et al. 2023). 현재 의과대학 입학생들은 커리큘럼 내용, 전달 및 평가의 ‘공동 창조(co-creation)’ 에 더 관심이 있을 수 있다 (Plochoki 2019; Twenge 2009). 이러한 관심과 에너지를 잘 활용한다면 변화 과정(change processes)에 자산(asset)이 될 수 있다.


합의된 국가 표준과 졸업생 성과가 평가 범위를 안내해야 한다

커리큘럼 변화는 해당 관할권(jurisdiction)과 전문직(profession)에 대해 명확히 정의된 국가 표준(national standards) 을 준수해야 한다. 의학 분야에서는 주로 규제 기관(regulators), 자금 지원자(funders), 전문직 단체, 광범위한 지역사회(broader community)의 의견에 기반한 졸업생 성과(graduate outcomes)에 초점이 맞춰져 있으며, 이 과정은 규제 기관에 의해 감독된다. 프로그램들은 연구 역량(research proficiency), 업무 준비성(work-readiness), 업무 범위(scope of practice)와 같은 지역적 맥락(local context)이나 브랜드 목적(branding purposes)에 따른 추가 졸업생 성과를 가질 수 있다. 이러한 성과들도 평가되어야 하지만, 국가 졸업생 성과(national graduate outcomes)를 희생해서는 안 된다.

 

미래 지향성(future-orientation)은 중요할 수 있으며, 고려되어야 한다. 예를 들어, 기후 변화(climate change), 지구 건강(planetary health), 졸업생의 변화하는 역할(evolving roles of graduates) 등이 있다. 학생들은 이러한 주제에 관심이 많으며 초대받을 경우 토론에 적극 기여할 수 있지만, 평가하기는 어렵다.

 

평가 프로그램(assessment programme)이 개정된 커리큘럼에서 벗어날 수 있는 또 다른 영역은 각 학년/단계/과정(year/phase/stage)의 학습 성과(learning outcomes)와 관련된다. 이는 신중히 보정(calibrated)되고 졸업생 성과에 연계(mapping)되어야 하며, 특히 진행 결정 지점(progression decision points)을 나타내는 경우 그러하다. 이는 전체 프로그램에서 평가 관행의 일관성(consistency)에 기여한다. 

 

각 평가 방법(assessment method)에 적합한 공식적인 기준 설정 방법(formal standard setting methods) 을 적용해야 한다 (Norcini, 2005). 이 방법들은 완벽하지 않지만, 대체로 사전 합의(pre-hoc consensus judgment)와 사후 심리측정(post-hoc psychometrics)을 결합하여 평가의 정확도(precision)를 향상시킬 수 있다. 특히 항목반응이론(Item Response Theory, IRT)과 같은 강력한 심리측정 기법을 도입할 경우 더 공정한 판단(fairer decisions)이 가능하다 (Schauber and Hecht 2020).


진행 결정 과정은 근거 기반이며 명확하고 일관되어야 한다

“안전한(safe)” 상태와 “안전하지 않은(unsafe)” 상태 사이의 경계선(borderline)에 있는 후보자 관리는 점점 중요해지고 있으나,
이는 커리큘럼 및 평가 변화에 매우 민감할 수 있다. 평가 데이터를 기반으로 의사결정을 변경할 때는 두 가지 상호 보완적 문제를 고려해야 한다.

  • 경계선을 보다 명확히 정의할 수 있는가?
  • 경계선 점수(borderline scores) 근처나 이하에 있는 후보자를 어떻게 더 잘 관리할 수 있는가?

모든 점수에는 오류(error)의 다양한 원인이 존재하며, 이는 학습 진행(progress) 결정이 이루어지는 경계선에서 특히 중요하다.
평가의 목표는 이러한 오류 원인을 식별하고 관리하여, 후보자의 점수가 가능한 한 거짓 양성(false positives)과 거짓 음성(false negatives)을 적게 포함한 진정한 능력의 척도(true measures of ability) 가 되도록 하는 것이다. 오류 최소화는 명확한 합격(pass)과 불합격(fail) 사이의 “회색 지대(grey zone) 감소” 로 요약될 수 있다 (Schauber and Hecht 2020).

 

전통적 접근법은, 여러 방법(methods)에서의 점수를 합산하여 정해진 수치 기준(criterion or norm-referenced)에 도달하면 합격을 부여하며, 이는 p-값(p-values)이나 신뢰 구간(confidence intervals)과 같은 정밀도 척도로 표현된다. 보건의료전문직 교육(HPE)에서는 대부분 고등교육 학위 프로그램보다 상황이 더 복잡하다.

  • 이는 많은 방법과 평가자(assessors)가 사용되고, 평가 데이터에 정량적(quantitative) 및 정성적(qualitative) 정보가 모두 포함되어 단일 수치 점수로 통합할 수 없기 때문이다. 
  • 게다가 HPE에서는 후보자의 경력(careers), 환자의 안전(safety), 고용주의 치료 질(quality of care)이라는 중요한 이해관계가 있으므로 오류 최소화와 정밀도 향상이 매우 중요하다. 평가 문항 품질, 청사진(blueprinting), 샘플링(sampling), 기준 설정(standard setting)에 대한 강조가 증가하고 있다. 수치 점수 결합은 고전 측정 이론(classical measurement theory)을 따라야 하며, 이상적으로는 모든 점수가 “구간(interval)” 측정이어야 한다 (Foulkes et al. 1994).
  • 서사적(narrative)이고 성찰적인(reflective) 구성 요소를 포함한 정성적 정보는 필수적이지만, 전체 진행 결정(overall progress decision)을 내리는 작업을 더 복잡하게 만든다 (Charon 2001; Wald et al. 2012).

이상적으로는

  • 모든 정보가 경험 많은 평가자들의 합의 판단(consensus judgements)을 바탕으로 고려되고, 의견 불일치(discrepancies)는 심의 위원회(panel)에서 논의되어야 한다.
  • 평가 방법이나 문항의 가중치(weighting)는 졸업생 성과(graduate outcomes)에 의해 안내되는 진단(diagnoses) 또는 관리 지도(guidance)를 위해 필요한 바를 반영해야 한다. 
  • 모든 평가 데이터가 어떻게 관리되는지에 대한 명확성(clarity) 이 요구된다. 측정 오차 표준(Standard Error of Measurement)의 사용은 경계선 점수(borderline scores)의 예측 가능성을 향상시킬 수 있다 (Hays et al. 2008).
  • 진도 규칙(rules of progression)은 성공적인 이의 제기(appeals)를 줄이기 위해 대학 전체 규정(university regulations)과 일관되어야 한다 (Hays et al. 2015).
  • 의사결정 과정은 모든 교직원과 학생에게 공개되어야 한다. 비교적 작은 커리큘럼 또는 평가 변화도 의사결정 알고리즘(decision-making algorithms)을 의도치 않게 변경하여, 정렬(alignment)을 감소시키고 약한 후보자에게 관대함(leniency)을 제공할 수 있다.

두 번째 문제는 경계선 점수를 가진 후보자 관리이다. 대부분의 HPE 학습자는 학업적으로 우수하며, 성공할 것이라는 기대와 함께 경쟁이 치열한 HPE 프로그램에 입학한다. 이로 인해 학습자가 예상대로 진도를 나가지 못하는 경우를 확인하고, 이들에게 추가 학습 지원을 제공할 책임이 학습 기관에 더 크게 부여된다. 경계선 후보자(borderline candidates)는 미래 평가에서 실패할 가능성이 높으며, 종종 HPE 프로그램 초기에 식별된다는 증거가 쌓이고 있다 (Cleland et al. 2008). 증가된 학습 지원과 지도 지원(pastoral support)을 제공하는 것이 현재 기대사항이다.

 

HPE에서 학업 진행 부진은 보통 개입 가능할 수 있는 비학업적 압력(non-academic pressures)과 관련된다 (Hays et al. 2011). 접근성(access) 향상은 이전에는 엄격한 선발(selection)과 현장 능력(workplace ability) 요인으로 입학이 제한되었던 학생들을 위한 현재의 ‘핫 토픽(hot topic)’이다. 원래 특수교육(special education)을 위해 개발된 ‘학습을 위한 보편적 설계(universal design for learning, UDL)’ 접근법을 채택하라는 압력이 있다. 이의 칭찬할 만한 목표는 교수 및 평가 방법에서 유연성(flexibility)을 높여 포용성을 개선하는 것이지만 (Rao et al. 2014), HPE 고등교육에서의 적용은 아직 불확실하다.


품질 보증 (Quality assurance)

의학 프로그램이 고등교육과 졸업생들이 봉사할 지역사회를 위한 기준을 충족하는지 확인하기 위해 두 가지 품질 보증(quality assurance, QA) 과정이 있다.

  • 대부분의 보건의료전문직 교육 프로그램(HPE programmes)은 내부 품질 보증 프로세스(internal QA processes)를 통해 모든 교육 프로그램의 질을 유지해야 하는 인증된 고등교육 기관(보통 대학)에서 제공된다. 이 내부 과정은 고위 교수진(senior faculty)이 감독한다.
  • 두 번째 품질 보증 과정은 대부분의 전문직 프로그램에 공통적이며, 대학 외부(external)에 위치한다. 이는 보건 전문직 규제 기관(health professional regulation agencies)이 관리하며, 졸업생의 현대적 역할에 대한 전문직(professional), 규제(regulatory), 고용주(employer), 자금 지원자(funder)의 관점을 포함한다.

두 과정 모두 이해관계자를 대표하며 관련 전문성을 제공하도록 신중히 선발된 심사위원단(panel)에 의한 주기적인 검토(periodic reviews)를 포함한다.

 

내부 품질 보증 (Internal QA)

 

내부 QA는 해당 기관의 통제하에 있다. 검토 위원회(review panel)는 대학 내 다른 교육 프로그램의 대표, 다른 대학의 유사 프로그램 외부 대표, 관련 보건 전문직 및 지역 의료 제공자(local healthcare providers)와 고용주를 포함한다. 주요 초점은 정책, 시스템, 절차에 대한 면밀한 검토(scrutiny), 모범 사례(best practices) 전시, 개선 영역 파악, 그리고 교훈 전파에 있다. 이는 주로 문서의 책상 감사(desk audit)를 통해 이루어지며, 일부 교수진 및 학생과의 인터뷰도 포함된다. 평가는 그 초점의 일부지만, 보건 전문직과 다른 프로그램 간에 평가 방법, 기준 설정(standard setting), 진행 규칙(rules of progression)에 상당한 차이가 존재한다.

 

내부 프로세스는 특히 졸업생의 미래 보건의료 및 지역사회 역할과 관련된 외부 인증 요구사항(external accreditation requirements)을 고려해야 하지만, 커리큘럼 설계의 보다 일반적인 고등교육 기준(generic higher education standards)에 초점을 맞춘다.

 

내부 QA 검토는 보통 외부 인증 과정(external accreditation processes)보다 덜 집중적이다. 내부 QA 보고서는 외부 인증 검토 제출서류에 부록(appendix)으로 제출되어야 하는데, 이는 고등교육 기준 준수 증거를 제공하여 인증 과정이 HPE 기준 준수에 집중할 수 있도록 한다. 내부 및 외부 QA 과정의 쌍방향 정보 교환은 과소평가되었으나 상당한 이점이다. 또한 외부 QA의 자기성찰(self-reflection) 요소는 더 강력한 내부 QA를 장려할 수 있다.

 

대학원 교육 프로그램(postgraduate educational programmes)의 내부 QA도 원칙상 유사하지만 상황(context)은 다르다. 이들 프로그램은 종종 대학에서 제공하지 않으므로 “기관(institution)”이 “전문직(profession)”과 통합된다. 이들은 교육 전문성(educational expertise)에 대한 충분한 자원을 갖추지 못한 작은 단위일 수 있지만, 내부 QA 필요성은 대학 제공 프로그램보다 더 클 수도 있다. 같은 원칙이 적용되어야 한다.


외부 품질 보증 (External QA, accreditation)

인증(accreditation) 과정은 해당 관할권(jurisdiction)의 규제 기관(regulator)의 통제하에 있다. 인증 심사위원단(panels)은 전적으로 다른 HPE 프로그램의 외부 구성원, 규제 기관, 지역사회, 광범위한 전문직 및 최근 졸업생으로 구성된다. 주요 초점은 거버넌스(governance), 자원 지속 가능성(sustainability of resources), 보건의료 시스템 참여(engagement with the health care system)와 같은 문제를 포함하는 정의된 국가 표준(national standards)을 충족하는 데 있다. 커리큘럼, 교수·학습, 평가 기준은 졸업생이 졸업생 성과(graduate outcomes)를 얼마나 잘 달성하고 전문직에 진입할 준비가 되어 있는지 관점에서 면밀히 검토된다.

 

평가 관행은 더 넓은 고등교육 부문과 다르며, 이 점은 대학과 규제 기관 간 겹침과 긴장 관계가 있을 수 있다. 평가를 위한 인증 기준은 의도적으로 폭넓게 설계되어 제공자가 졸업생 성과를 달성하고 근거 기반의 최신 평가 발전을 반영하는 한 혁신을 장려한다. 현재 강조점은 진정성(authenticity), 현장 기반 평가(workplace-based assessment, WBA), 적용 지식(applied knowledge), 전문성(professionalism), 학습을 위한 평가(assessment for learning)와 정기적이고 건설적이며 의미 있는 피드백이다. 구성적 정렬(constructive alignment)은 커리큘럼과 평가 맵핑(mapping)에서 입증되어야 한다.

 

인증 관할권 내 기관 간에 의학교육 및 평가 표현은 다를 수 있으나, 특히 “글로벌 사우스(global south)” 국가의 자원 상황에서 인증 과정이 “글로벌 노스(global north)” 국가와 다를 수 있기 때문에 국가 간 변이가 더 클 수 있다 (Nadarajah et al. 2023). 기관들은 더 큰 자율성을 가질 수 있으며, 지역 요구(local needs)를 충족할 인력을 양성하거나 더 매력적이거나 안전한 국가로 이주할 졸업생을 배출하는 선택을 할 수 있다. 자원이 적은 국가가 반드시 낮은 품질의 프로그램을 갖는 것은 아니며, 지역에서 개발된 혁신적이고 효과적인 프로그램 사례가 많이 존재한다 (Antunes dos Santos and Nunes 2019). 자원이 풍부한 국가에서 자원이 적은 국가로 프로그램을 “이식(transplanting)”한다고 해서 품질이 보장되는 것은 아니다. 커리큘럼 전달은 지역 보건의료 시스템에 의존하는데, 이는 “원 프로그램(parent)”과 상당히 다를 수 있기 때문이다. 전 세계 보건의료 전문 인력 대부분이 글로벌 사우스 국가에서 훈련받고 있음에도 불구하고, 의학교육 관련 출판물 중 20% 미만만 이들 국가에서 나오기 때문에, 해당 맥락에서의 다양성에 대한 이해는 부족하다 (Wondimagegn et al. 2021; Amaral and Norcini 2019).

 

 

결론 (Conclusion)

 

커리큘럼 검토(curriculum review)는 비교적 자주 이루어지며, 계획적이든 비계획적이든 새로운 지식과 기술의 출현, 교수·학습 방법의 발전, 보건의료 시스템 내 새로운 역할을 관리하기 위해 필요하다. 변화는 내부(교수진 또는 학생) 혹은 외부(고용주 또는 규제 기관) 압력에 의해 촉발될 수 있다. 내용(content)이나 전달(delivery)에 관한 논쟁에 가려 평가 관행(assessment practices) 검토가 간과될 수 있는데, 이는 평가가 학습을 안내하는 데 중심적 역할을 한다는 점을 간과하는 것이다. 이로 인해 구성적 정렬(constructive alignment)이 약화되고, 심지어 잘 설계된 중요한 커리큘럼 변화의 영향이 훼손되거나 무효화되는 의도하지 않은 결과(unintended consequences)가 발생할 수 있다.

 

커리큘럼 생태계(curriculum ecosystem)의 어떤 구성 요소라도—졸업생 성과(graduate outcomes), 내용(content), 교수 설계(instructional design), 평가(assessment)—변화가 생기면, 구성적 정렬을 유지하기 위해 전체 연결망(nexus)에 대한 자동 검토가 촉발되어야 한다.

 

커리큘럼 변화를 촉진하는 강력한 외부 동인은 국가 시험(national examinations), 프로그램 인증(programme accreditation), 보건의료 시스템 기대(healthcare system expectations)를 포함한다. 내부 동인으로는 새로운 학습 기술 도입(new learning technologies), 학생 및 교수진의 학습 선호(learning preferences)가 중요하다. 각 평가 프로그램은 고유한 맥락(context) 내에 존재하며, 이는 커리큘럼 및 평가 검토 결과에 영향을 줄 수 있다. 최적이면서도 지속 가능한 결과를 달성하기 위해서는 강력한 거버넌스(governance)와 지원, 이해관계자 참여(stakeholder engagement), 커리큘럼 및 평가 전문성, 내부 품질 보증 과정(internal quality assurance processes) 이 필요하다. 이 컨센서스 논문은 커리큘럼 변화 중 평가 관리에 관한 지침을 제공한다.

 

 

 

Table 1. 평가 변화 고려를 위한 시나리오 (Scenarios for consideration of assessment change)


A. 주요 커리큘럼 변화 (A major curriculum change)
한 신임 학장이 기존에 성공적이었던 의학 프로그램을 현대화하기로 결정했다. 기존의 ‘전통적(traditional)’, 모듈형, 과목 기반의 전임상(pre-clinical)과 임상(curriculum) 커리큘럼을 강한 수평적(horizontal) 및 수직적(vertical) 통합, 초기 임상 기술 교육(early clinical skills teaching)과 조기 환자 접촉(early patient contact)이 포함된 커리큘럼으로 바꾸려 한다. 이 커리큘럼은 튼튼해 보이고 교수진과 학생 모두 도입을 기대하고 있지만, 별도로 운영되는 평가 사무국은 그동안의 개발 과정에서 “시간의 시험을 견뎌냈다(stood the test of time)”는 이유로 기존 평가 방식을 계속 유지할 계획이다. 하지만 완전히 새로운 인증 주기(accreditation cycle)가 필요할 수도 있고, 이에 따른 평판 위험과 상당한 자원 요구가 있다.


B1. ‘사소한(minor)’ 변화

  • 교수진 주도 (Faculty driven)
  • 학생 주도 (Student driven)
  • 전문직 주도 (Profession driven)

예시들:

  • 한 학문 외과 의사가 현장 초음파 기기(point-of-care ultrasound machines, POCUS)를 사용해 왔으며, 모든 의대 졸업생이 이 기술을 익혀야 한다고 믿는다. 그는 자신의 외과 팀에서 이를 시범 적용했으며, 모든 학생이 외과 수술 “합격(pass)” 능력을 입증하기를 원한다.
  • 학생들이 COVID-19 팬데믹 기간 동안 적응한 커리큘럼과 평가 방식에 관한 국제 HPE 컨퍼런스 발표에 영감을 받아 돌아왔다. 당시 온라인 자원은 충분했으나, 상호작용 기술 발전 부재로 젊은 층 참여가 제한되었다. 단순 전달보다는 디자인 변화에 학생들이 관심을 보이며, 프로그램이 과거 방식으로 회귀하지 않고 비슷한 설계 방식을 채택하길 원한다.
  • 치과 위원회가 정한 국가 역량 변화에 대응해, 치과 교수진이 학부 커리큘럼 전달과 평가를 모두 검토했다. 치과 졸업생은 졸업 후 독립적인 진료 허가를 받으므로, 팀은 일상 전문 과업과 연결된 역량 기반 평가에 기반한 신뢰할 수 있는 전문 활동(entrustable professional activities, EPAs)을 학생 주도 치과 실습에서 평가하기로 결정했다.

이 세 가지 사례 모두 커리큘럼 위원회에 제출되어 원칙적으로 승인되었고, 검토 위원회가 구성되어 변화를 관리할 계획을 세웠다. 교수진과 학생도 검토팀에 참여했다. 이 시나리오들은 “하향식(bottom-up)” 창의성이 환영받으며, 거버넌스 구조를 통해 잘 관리된다는 점을 보여준다.


C. 부정적인 외부 인증 보고서 (An adverse external accreditation report)
관련 국가 당국과의 정기 재인증 주기 후, 학장은 커리큘럼 업데이트가 필요하다는 조언을 받았다. 20년 된 커리큘럼은 수년간 국가에서 가장 뛰어난 것으로 간주되었으며, 학생과 지역 고용주 모두에게 현대적이고 혁신적이며 인기 있었다. 하지만 다른 프로그램들이 이제는 그 품질에 “도달했거나(surpassed)” 초과했으며, 이 커리큘럼 변화는 전략적이라기보다는 임시방편(ad hoc)으로 이루어졌고, 대부분 혁신가들은 떠났거나 은퇴했으며, 현 교수진은 ‘성공적(successful)’ 모델에 너무 익숙해져 변화에 저항하고 있다.


D. 새로운 전문 분야 등장 (A new specialty emerges)
기존 전문 분야에서 새로운 그룹이 형성되었으며, 그들은 구성원들이 기존과 다른 훈련이 필요하다고 강하게 믿고 있다. 이들은 전문직 그룹과 규제 기관과 함께 일하며, 이러한 차이에 대해 상세한 제출서류를 요구한다.


E. 임상 실습의 급격한 변화 (A rapid evolution in clinical practice)
1980년대 후반과 1990년대 초반 미국에서, 개복 담낭절제술(open cholecystectomy, OC)이 질병 담낭 제거 표준이었다. 1990년대 후반에 복강경 담낭절제술(laparoscopic cholecystectomy, LC)이 도입되어, 복잡하지 않은 경우 우선 선호 방법이 되었고 이후 다른 복부 수술로 확산되었다. 하지만 실제로는 외과의사들이 복강경 수술 경험이 제한적이었고, 이에 대해 이 수술에 특화된 지속 의학 교육(continuing medical education, CME)의 수요가 증가했다.


필요한 부분 더 있으면 말씀해 주세요!

 

 

 

원칙 (Principles)  주요 커리큘럼 변화 (Major curriculum change)  사소한 커리큘럼 변화 (Minor curriculum change)  부정적인 인증 보고서 (Adverse accreditation report)  새로운 전문 분야 (New specialty)  임상 실습의 급격한 변화 (Rapid change in current practice)
거버넌스 (Governance) 학교/보건 시스템 수준에서 시스템 변화, 리더십 주도 및 이해관계자 지원. 비즈니스 프로세스 재설계(BPR) 고려 교수진 또는 학생 주도로, 커리큘럼 위원회에 보고 및 승인 거버넌스 구조 기반으로 커리큘럼 및 평가 변경에 대한 명확한 문서와 승인 전문 그룹이 규제 기관에 제안서 제출 기술 개발자, 고용주, 자금 지원자로부터 초기 압력. 대표자를 초대해 논의
목적 (Purpose) 국가/글로벌 수준 보건의료 요구와의 효율성과 정렬성 강화. 비용 절감하되 품질 저하 없음 원격 교육 증가를 위한 기술 향상 학습 및 평가에 관한 구체적 아이디어 포함 현재 증거와 실천에 기반해 고품질 프로그램을 만들기 위한 구체적 요구사항과 권고사항 해결 규제 기관, 자금 지원자, 전문직 및 환자에 의해 인정된 새로운 전문 분야 설정 안전을 저해하지 않는 선에서 임상 효율성 향상
구성적 정렬 (Constructive alignment) 커리큘럼 내용, 전달 및 평가가 정렬되도록 새로운 커리큘럼 지도/청사진 작성 커리큘럼 내용, 전달, 평가가 정렬되도록 커리큘럼 지도/청사진 수정 새로운 평가 방법과 전체 평가 전략 정렬을 위해 커리큘럼 및 평가 지도/청사진 수정 역할과 보건의료 실무에 맞춘 새로운 커리큘럼 지도/청사진 작성 새로운 지속적 전문성 개발(CPD) 교육 모듈 개발, 역량 평가 및 전문 분야 훈련 프로그램 도입
체계적이고 포괄적 (Systematic and comprehensive) 졸업생 성과 범위 평가를 위한 모든 영역에 걸친 적절한 방법에 초점 모든 평가를 원격으로 할 수 없으므로 사소한 변화를 포함하되 평가의 균형과 폭 유지 더 많은 방법, 평가자, 빈도를 위해 평가 전략 수정. 더 빈번한 평가와 피드백 고려 커리큘럼 전 영역에 포괄적 평가 필요. 목적 지향 커리큘럼 설계에 포함 특정 절차에 국한되었지만 다른 절차 및 진단 도구 사용에도 영향
방법 (Methods) 효용에 따라 더 많은 방법 고려하며 백지 상태에서 시작 적합한 방법과 기술 검토 자원과 시행 노하우를 갖춘 새로운 평가 방법 도입 훈련 전반에 걸친 지식, 기술, 행동 평가, WBA 강조 직접 관찰 시뮬레이션과 현장 감독 후 역량 평가
기준 (Standards) 국가 기준 준수. “미래 대비(future proof)” 및 수명 연장 고려 보건의료 또는 HPE 기준 준수 규제 위원회가 설정한 모든 기준 준수 유사 전문 분야 기준에 기반 개발 최소 침습 수술이 전문 분야 훈련에 추가되고 기준에 반영
진행 규칙 (Rules of progression) 더 넓은 평가 데이터 포인트에서 근거 기반 최선 실천 도입 기회 개선 및 투명성 제고 기회 공정하고 투명한 방식으로 설정된 기준에 따라 학생 진도 보장 전문직, 새로운 전문 분야 그룹, 고용주 공동 개발 모든 외과의사가 기술 적용 전 훈련 필요
품질 보증 (Quality Assurance) 졸업생 성과 측정 방식에 대한 포괄적 보고 제공으로 인증 지원하는 강력한 내부 QA 프로세스 성공과 졸업, 인력 진입 증거 제공을 위한 데이터 수집 지속적 질 향상 이니셔티브와 함께 종단 평가 근거 제공을 위한 데이터 수집 새로운 전문 분야가 데이터를 수집해야 하며, 보건의료 기관도 마찬가지 주로 보건의료 시스템 내에서 입원 기간, 재입원, 합병증 등 환자 결과 모니터링

 

 

 

 

 

Table 3. 커리큘럼 및 평가 검토 참여에서의 6P (The 6 Ps of engagement in curriculum and assessment review)


Permission (허락)
참여자들은 기존 틀을 벗어나 창의적인 학술 활동에 참여할 명확한 허락(explicit permission)이 필요하다. 주요 커리큘럼이나 평가 변화는 교수 재임 기간 중 한두 번만 있을 수 있기 때문에, 모든 옵션을 고려하는 것이 차이를 만드는 더 나은 결과를 촉진할 수 있다. 명확한 방향 제시와 고위 리더들의 지원이 열정을 불러일으킬 수 있다.


Promise (약속)
변화를 위한 압력이 이해관계(vested interests)에서 나올 수 있지만, 노력은 환자 치료 결과 향상(patient care outcomes)에 부합하는 변화에 집중해야 한다. 모든 참여자는 이 목표를 지지해야 하며, 기존 커리큘럼에 대한 부정적인 태도는 피해야 한다.


Power (권력)
교육 기관과 보건의료 기관은 계층적이며, 대학과 기업의 경영 스타일이 결합되어 있다. 초기 단계에서 권력 역학(power dynamics)에 대한 성찰이 중요하다. 권력의 원천은 명확하지 않고, 개인에서부터 팀이나 파벌에 이르기까지 다양할 수 있다. 평가 영향 모니터링 책임은 존경받는 고위 교수진에게 있어야 한다. 변화가 영향력과 자원 배분에 영향을 미치지 않으면 저항은 줄어든다. 고위 교수진, 초임 교수진, 학생 간 권력 차이는 변화 논의에서 배제되어야 한다.


People (사람)
성공적인 변화는 결과를 중요하게 여기지만 평가 전문성은 없을 수 있는 이해관계자와의 건설적 참여를 필요로 한다. 지역 사회의 목소리와 학생들의 목소리가 점점 중요해지고 있으며, 특히 커리큘럼 변화가 학생 진도에 미치는 영향과 관련된다. 이해관계자들의 명확한 매핑과 그들의 기대, 변화 옵션은 최종 내러티브(narrative) 통합에 대한 투명성을 높이고, 공동 창조(co-creation)를 보여주며 관계를 강화한다. HPE 평가에서 교수 개발에 투자하는 것은 내부 전문성을 높이고 실천으로 옮기는 데 도움을 줄 수 있다.


Practice (실천)
참여자들은 평가 범위(scope)나 맥락(context)의 변화를 위해 기존 평가 관행에 대한 공유된 이해가 필요하다. 관련 교수 개발은 도움이 되지만, 추가 HPE 전문성 접근도 필수적이다. 교수를 다른 존경받는 프로그램에 보내 관찰하게 하는 것은 다양한 접근법이 어떻게 작동하는지에 대한 이해를 증진시킬 수 있다.


Provision of resources (자원 제공)
지속적인 질 향상은 교수진 역할에 암묵적으로 포함될 수 있지만, 보통 직무 계획(job planning)에는 명시되지 않는다. 변화에는 커리큘럼과 평가 개발 모두를 위한 자원이 필요하다. 교수진과 학생은 기존 역할을 희생하지 않고 전담 시간을 확보해야 한다(예: 추가 교수 채용, 백필, 학생을 위한 프로젝트 연도). 상세하고 비용 산정된 프로젝트 계획과 일정은 리더십의 승인을 받아야 한다.

 

Med Teach2025 May 9:1-15. doi: 10.1080/0142159X.2025.2501257. Online ahead of print.

Emotional intelligence in medical education: Its role in professional identity formation: AMEE Guide No. 186

 

 

 

1. 감성지능이 뭐길래?

EI는 “자신과 타인의 감정을 인식하고, 이해하며, 조절하고, 효과적으로 반응하는 능력”이에요.

“Emotional intelligence (EI) refers to the capacity to recognize, understand, regulate, and respond effectively to emotions in oneself and others.”

 

의사로서 스트레스 관리나 환자와의 관계 형성에 정말 중요하죠!


2. 왜 의대생에게 EI가 필요할까?

  1. 전문 정체성 형성(Professional Identity Formation, PIF)
    • EI가 높으면 스스로를 ‘진짜 의사’로 느끼는 과정이 더 자연스러워진대요.
    “Higher EI levels support the development of professional identity by enabling students to navigate the emotional complexities of medical practice…”
  2. 학업 성적(academic performance)
    • EI가 높으면 시험 불안(anxiety)은 줄고, 동기(motivation)는 확 올라간대요.
    “Students with higher EI exhibit lower anxiety and heightened motivation, facilitating better-coping strategies for academic pressures.”
  3. 임상 역량(clinical competence)
    • 공감(empathy)과 의사소통(skillful communication)이 무척 좋아져서, 환자 진료 결과(patient outcomes)가 확 달라진다고!
    “Meta-analyses have shown a consistent positive association between EI and various clinical outcomes…”

3. EI를 교육과정에 쏙! 통합하기

  • 사례 토론(case studies)이나 성찰 저널(reflective journals)
  • 워크숍(workshops), 멘토링(mentorship)
  • 학제 간 협업(interdisciplinary modules)으로 다른 전공 교수님들과 콜라보!

이렇게 하면 학생들이 EI 원칙을 임상 기술(clinical skills)과 함께 자연스럽게 익힐 수 있어요.


4. 수업에서 이런 거 해보세요 ✨

  • 비디오 모델링(video modeling) + 성찰(prompted reflection):
    • “9회 성찰적 글쓰기를 한 학생들이 가장 깊은 학습 효과를 봤다”
  • 또래 피드백(peer feedback) 세션:
    • “서로 피드백 주고받으며 감정 조절(emotional regulation) 연습”

이런 활동들이 EI와 자기주도 학습(self-regulated learning)을 함께 높여준대요! 😎


5. 장기적으로 이득 보는 건?

  • 환자 신뢰(trust)
  • 직무 만족(job satisfaction)
  • 번아웃(burnout)

그리고 사회정서학습(SEL, Social-Emotional Learning) 개념을 도입하면, EI를 더 체계적으로 다룰 수 있어요.

“SEL focuses on emotion and stress management, empathy, and social skills…”


6. 앞으로 연구할 것들

  1. 장기 추적(longitudinal studies): EI 훈련이 10년, 20년 뒤 의사 커리어에 어떤 영향을 줄까?
  2. 문화적 다양성(cultural tailoring): 각 나라·기관 특성에 맞춰 EI 교육을 어떻게 바꿔야 할까?
  3. 표준화된 평가(tool development): 믿을 수 있는 EI 측정 도구를 만들어 보자!

마무리하며

EI는 단지 ‘좋은 성격’을 넘어, 진짜 의사로 성장하는 데 꼭 필요한 핵심 역량(core competency)이에요. 오늘 소개한 아이디어, 여러분이 공부나 실습할 때 한 번 시도해 보세요! 환자와도, 동료와도 더 따뜻한 관계를 맺게 될 거예요. 💖

읽어주셔서 감사하고, 다음에 또 유익한 내용 들고 올게요! 👩‍⚕️👨‍⚕️

 

 


서론 (Introduction)

 

감성지능(Emotional Intelligence, EI)은 자신과 타인의 감정을 인식하고, 이해하며, 조절하고, 효과적으로 반응하는 능력을 의미한다. 이 능력은 전문적 관계를 조율하고, 학업적 도전을 관리하며, 스트레스를 줄이고 전반적인 웰빙(well-being)을 증진하는 데 핵심적인 역할을 한다 [1]. 의학교육(Medical Education) 맥락에서 EI는 점점 더 핵심 역량(core competency)으로 인식되고 있으며, 이는 학업적 성공뿐만 아니라 전문성 정체성 형성(Professional Identity Formation, PIF)에도 기여한다. 의과 교육과정에 EI를 통합하는 것은 미국 졸업 후 의학교육 인증위원회(Accreditation Council for Graduate Medical Education, ACGME)가 제시한 역량 기준, 특히 의사소통 기술(communication skills)전문직업성(professionalism)과도 맥을 같이 한다 [2].

 

EI는 교육, 직장 내 역학(workplace dynamics), 정신건강 등 다양한 영역에서 인간 행동에 영향을 미치는 핵심 요소로 점점 더 많은 인정을 받아왔다. 기존 연구들은 높은 수준의 EI를 가진 개인들이 보다 뛰어난 적응력(adaptability), 회복탄력성(resilience), 강한 대인관계 기술(interpersonal skills)을 보이며, 이로 인해 갈등이나 스트레스를 효과적으로 관리할 수 있는 역량이 뛰어나고, 이는 결국 학업 성취, 직무 만족도, 정신 건강의 안정성에 긍정적인 영향을 미친다는 점을 꾸준히 입증해왔다 [3]. 더불어, EI는 임상 추론 능력(clinical reasoning abilities)을 향상시키고 환자 중심 진료(patient-centered care)를 지원하는데, 이 두 가지는 모두 의료 전문가로서의 성공을 위한 핵심 요소이다 [4].

 

세계적으로 인정받는 여러 전문 분야의 선도 기관들은 EI 교육 프로그램을 도입하였고, 그 결과 팀의 결속력(team cohesion), 리더십 효과성(leadership effectiveness), 전반적인 직원 만족도(employee satisfaction)가 유의미하게 향상되었다고 보고하였다. 이러한 결과는 EI가 직장 내 역동성을 긍정적으로 형성하고 다양한 산업 분야—특히 보건의료를 포함한 분야—에서 전문적인 상호작용을 강화하는 데 중요한 역할을 한다는 점을 부각시킨다.

 

감성지능(EI)은 정신 건강 증진에 있어 매우 인상적인 효과를 보여왔다. 예를 들어, 펜실베이니아 대학교(University of Pennsylvania)에서 실시한 연구에 따르면, EI 교육 프로그램에 참여한 사람들은 불안(anxiety)과 우울(depressive symptoms) 증상이 유의미하게 감소한 것으로 보고되었다. EI의 중요성이 초기 발달 단계부터 강력하게 뒷받침되는 광범위한 증거들을 고려할 때, 이 주제에 대한 기존 지식을 더욱 확장하고 심화할 필요가 있다. 향후 연구 및 교육적 개입은 EI의 구성 요소들을 독립적으로 또는 통합적으로 탐색하여 개인적 및 대인관계 발달을 포괄적으로 촉진하는 방향으로 나아가야 한다 [5].

 

기존 문헌은 EI와 의대생의 학업 성공 간의 강한 상관관계를 강조하고 있다. 예컨대, Chew 외 연구진은 다양한 성별과 문화적 배경을 가진 163명의 1학년 및 졸업반 의대생을 대상으로 연구를 수행하였고, 높은 EI 수준을 가진 학생들이 지속평가(continuous assessments)와 최종 전문시험(final professional examination) 모두에서 더 우수한 성과를 보였다고 보고하였다 [6]. 비슷하게, Hutchinson 외 연구진EI 수준이 높을수록 임상 추론 능력(clinical reasoning)이 향상되며, 그 결과 더 공감적이고 근거 기반의 의학적 결정을 내릴 수 있다는 점을 강조하였다 [4].

 

더 나아가, EI는 마음챙김(mindfulness)과도 긍정적인 연관을 보이는데, 특히 감정 조절 능력(emotion regulation) 측면에서 그렇다. 이 능력은 의학교육의 본질적 스트레스를 극복하기 위해 필수적이다. 예를 들어, 여러 연구는 마음챙김 수준이 높을수록 의대생의 감정 소진(emotional exhaustion)이 감소한다는 사실을 보여주고 있다 [7,8]. 마음챙김 중심의 교육 개입은 감정 균형(emotional balance), 자기 인식(self-awareness), 수용(acceptance), 감정 인지(recognition) 능력을 향상시킬 뿐 아니라, 표현 억제(expressive suppression) 관련 기술도 증진시키며, 결과적으로 감정 소진을 현저하게 줄이는 효과를 낳는다. 이러한 속성들은 종합적으로 작용하여 환자 진료 결과(patient care outcomes)를 향상시킨다. EI는 개인적 및 전문적 수행 능력(personal and professional performance)과 유의미하고 긍정적인 상관관계를 가지며, 감정(emotion)과 인지(cognition)가 얽혀 있는 상황에서 더 나은 기능을 수행하게 하여, 개인적, 사회적, 전문적 영역 전반에서의 기능 향상을 이끈다 [9].

 

의학교육에서 EI의 핵심 측면 중 하나는 전문성 정체성 형성(Professional Identity Formation, PIF)에 대한 중대한 기여이다. PIF는 학생들이 미래의 의사로서의 핵심 가치(core values), 행동(behaviors), 책임(responsibilities)을 내면화하는 역동적이고 진화적인 과정이다. 높은 EI 수준은 학생들이 의료 실천의 감정적 복잡성을 탐색할 수 있도록 도와주며, 이는 자기 성찰(self-reflection), 공감(empathy), 적응력(adaptability)을 증진시킴으로써 전문성 정체성 형성을 촉진한다 [10]. 의대생에서 의사로 전환되는 과정은 단순히 의학적 전문성뿐 아니라, 응집력 있는 전문 정체성(cohesive professional identity)을 요구하며, 이는 윤리적 실천, 팀워크, 환자 중심 진료의 토대가 된다.


감성지능(EI)과 전문성 정체성 형성(Professional Identity Formation, PIF)의 교차점감정 조절(emotional regulation), 자기 인식(self-awareness), 회복탄력성(resilience)이 전문적 행동(professional behavior)을 형성하는 데 있어 얼마나 중요한지를 부각시킨다. PIF를 효과적으로 발전시키기 위해서는 개인이 자기 인식과 감정 조절 능력을 기를 필요가 있으며, 이는 EI의 핵심 구성 요소로, 자신의 감정뿐 아니라 타인의 감정을 이해하는 데 도움을 준다. 이러한 감정의 이해는 동료들의 행동 이면에 있는 의도를 해석하고, 이를 통해 지지적인 학습 환경(supportive learning environment)을 조성하는 데 필수적이다 [11].

 

보건의료 전문가가 되기를 희망하는 학생들은 자신이 선택한 직업의 가치와 일치하는 전문직 가치(professional values)를 의식적으로 받아들이고, 동시에 상충하는 규범(conflicting norms)을 비판적으로 평가하고 필요한 경우 그것을 배제하는 과정을 겪어야 한다. 이 과정은 사회적 학습(social learning)에 깊이 영향을 받으며, 학생들은 경험 많은 의사들이 보여주는 전문적 행동을 관찰하고 내면화하면서 그 정체성을 형성해 간다. 이때 감성지능은 의사소통(communication), 공감(empathy), 협업(collaboration)과 같은 비판적인 대인 관계 기술(interpersonal skills)을 강화하며, 이는 임상 역량(clinical competence)과 전문성 통합(professional integration)에 핵심적으로 작용한다 [12].

 

EI에 관한 방대한 연구에도 불구하고, 몇 가지 연구 공백(gaps)과 불일치점(inconsistencies)이 여전히 존재한다. 특히 의학교육 과정 중 EI의 종단적 발달(longitudinal development)과 관련된 부분이 그렇다. 이러한 불일치는 연구 간 측정 도구의 다양성(measurement variability)과 더불어, EI가 특성(trait)인가 상태(state)인가에 대한 지속적인 논쟁에서 비롯된다. 일부 연구는 EI가 교육 개입과 훈련 프로그램을 통해 향상될 수 있다고 보고하지만 [7], 또 다른 연구는 EI가 시간이 지나도 비교적 안정적으로 유지되며, 오히려 성격적 특성에 가깝다고 주장한다 [1]. 이러한 상반된 결과는 EI의 가변성(malleability)을 명확히 하고, 다양한 개입 전략의 효과성을 평가하기 위해 표준화된 종단 연구(standardized longitudinal methodologies)를 활용한 추가 실증 연구의 필요성을 뒷받침한다 [1,7]. 이러한 불확실성을 해소하는 것은 의과대학생의 전문성 정체성을 향상시키기 위한 증거 기반 EI 교육 프로그램 설계를 위해 필수적이다.

 

EI가 전문성 정체성 형성에 기여한다는 점점 더 풍부해지는 증거 기반(body of evidence)을 고려할 때, EI가 전문 역량(professional competence)과 장기적 진로 적응(long-term career adaptation)에 어떤 방식으로 영향을 미치는지를 이해하기 위한 추가 연구가 필요하다. EI, 자기 인식(self-awareness), 그리고 자기 주도성(agency)을 강화함으로써, 의학교육자는 향후 의사들이 복잡한 의료 환경을 효과적으로 탐색하고, 동시에 환자 진료의 질과 전문적 웰빙을 확보할 수 있도록 보다 잘 준비시키는 역할을 할 수 있다.

 

이번 AMEE 가이드의 목적은 EI 훈련을 의과 교육과정에 통합함으로써, 전문성 정체성 형성(PIF), 회복탄력성(resilience), 그리고 적응력(adaptability)에 어떤 영향을 미치는지를 탐구하는 것이다. 나아가 본 연구는 의과대학생이 의료 직업이 요구하는 감정적·사회적 도전에 대비할 수 있도록 준비시키기 위한 교육 전략을 조명하고자 한다. 이러한 관계들을 분석함으로써, 본 연구는 의학교육과 전문성 발달을 개선하기 위한 실용적 통찰(practical insights)을 제공하고자 한다.


이론적 틀 (Theoretical Frameworks)

감성지능 이론 (Emotional Intelligence Theories)

감성지능(Emotional Intelligence, EI)의 이론적 틀은 교육, 심리학, 보건의료 등 다양한 분야에서의 개념적 발전과 실제 적용을 형성해 온 여러 기초 모델들에 기반하고 있다. EI는 Salovey와 Mayer에 의해 처음 소개된 이후 [13], 다양한 이론적 관점을 통해 폭넓게 탐구되고 정교화되어 왔다.

 

Salovey와 Mayer의 모델은 EI를 자신과 타인의 감정을 관찰하고, 이를 구분하며, 그 정보를 활용하여 사고와 행동을 안내하는 능력으로 정의한다. 이 모델은 네 가지 영역(four branches)으로 구성되어 있다:

  1. 감정 인식(Perceiving Emotions)
  2. 감정을 사고에 활용하기(Using Emotions to Facilitate Thought)
  3. 감정 이해하기(Understanding Emotions)
  4. 감정 조절하기(Regulating Emotions)

이 모델은 EI를 측정 가능한 지능(intelligence)의 한 형태로 간주하며, 수행 기반(performance-based) 평가 도구를 통해 측정할 수 있다고 본다. 대표적인 도구는 Mayer–Salovey–Caruso Emotional Intelligence Test (MSCEIT)로, 이는 표정에서 감정을 식별하거나 감정적 상황을 조절하는 과제 등을 통해 감정 능력을 평가한다. 실증 연구들은 EI 수준이 높은 개인들이 사회적 및 학문적 환경에서 더 뛰어난 성과를 보인다는 사실을 뒷받침하고 있으며, 이는 EI의 실용적 유의성(practical relevance)을 강조한다 [13].

 

그러나 일부 학자들은 이 모델이 실증적으로는 강력하나, Goleman의 모델과 같은 보다 광범위한 적용성을 결여하고 있다는 점을 지적하기도 한다. Daniel Goleman은 EI의 개념을 리더십, 직장 내 성공, 대인 관계 역학(interpersonal dynamics)의 관점에서 확장하였다 [14]. 그의 혼합형 모델(mixed model)은 다음의 다섯 가지 핵심 요소를 제시한다:

  1. 자기 인식(Self-awareness)
  2. 자기 조절(Self-regulation)
  3. 동기(Motivation)
  4. 공감(Empathy)
  5. 사회적 기술(Social skills)

Goleman은 이러한 역량들이 효과적인 리더십과 대인 관계의 핵심 요소라고 주장한다. 그의 모델은 특히 조직심리학(organizational psychology)에서 영향력이 크며, 성과 향상 및 팀워크 강화와 관련된 EI의 역할을 부각시켜왔다. 그러나 그의 모델은 범위가 지나치게 넓고, 기존의 성격 이론과 중복되며, 역량 기반 모델에 대한 실증적 근거가 부족하다는 비판도 받고 있다 [14].

 

Albert Bandura는 EI의 교육 맥락에서의 발전을 이해하기 위한 중요한 개념으로 주체성(agency)을 도입하였다 [15]. 그는 주체성을 단순한 개인의 자율성이 아니라, 개인 인지(personal cognition), 사회 구조(social structures), 제도적 영향력(institutional influences) 간의 역동적인 상호작용(dynamic interaction)으로 보았다. 상호 결정론 이론(Reciprocal Determinism Theory)에 따르면, 인간의 행동은 개인 능력, 환경 조건, 행동 반응 간의 상호 작용을 통해 형성된다 [15].

 

이러한 관점은 학생들이 멘토, 동료, 그리고 실제 제도적 경험과의 상호작용을 통해 관찰 학습(observational learning)을 수행하며, 자기 주도적 노력과 사회적 상호작용을 통해 전문성 정체성(professional identity)을 구성해 간다는 점을 시사한다 [16]. 이는 PIF가 본질적으로 개인 내부의 과정이 아니라 사회적으로 공동 구성되는 과정(socially co-constructed process)이라는 관점과도 일치한다 [17].


주체성(Agency)의 핵심 구성 요소 중 하나는 자기 차원(self-dimension)으로, 여기에는 자기 개념(self-concept), 자기 조절(self-regulation), 자기 효능감(self-efficacy)이 포함된다. 자기 차원은 인지 및 메타인지 발달(cognitive and metacognitive development)의 맥락 속에서 자신의 역할과 능력을 인식하는 개인의 역량을 의미한다. 이러한 자기 인식(self-awareness)은 매우 중요한데, 이는 학습자가 반성적 사고(reflective thinking), 목표 설정(goal setting), 행동 조정(behavioral adjustment)에 어떻게 참여하는지를 형성하기 때문이다. 자기 차원은 메타인지와 정체성 형성(identity formation) 사이를 잇는 중요한 다리 역할을 하며, 학생들이 기존 규범과 기대를 수동적으로 받아들이는 수혜자가 아니라, 자신의 학습을 능동적으로 주도하는 주체적 행위자(active agents)가 되도록 만든다.

 

주체성에서 또 다른 핵심 요소는 동기(motivation)이다. 동기는 의도적이고 목표 지향적인 행동을 이끄는 내적 원동력(internal driving force)으로 작용한다. 이는 학습자가 자기조절 학습(self-regulated learning)을 시작하고 지속하며, 도전을 극복하고, 전문성 개발에 꾸준히 참여할 수 있도록 하는 데 핵심적인 역할을 한다. 특히 자기 차원 내에서 동기와 자기 효능감(self-efficacy)은 밀접하게 상호작용한다. 자신의 능력을 믿는 학생일수록, 더 많은 노력을 기울이고, 구체적인 목표를 설정하며, 자신의 학습 진전에 대해 더 깊이 성찰하는 경향을 보인다.

 

Deci와 Ryan은 그들의 자기결정 이론(Self-Determination Theory)에서 다음과 같이 주장한다: 자율성(autonomy), 유능감(competence), 관계성(relatedness)에 의해 유도되는 내재적 동기(intrinsic motivation)는 주체성을 유지하고 성장 지향적 학습(growth-oriented learning)을 촉진하는 데 중심적인 역할을 한다 [18].

 

최근 연구는 주체성 함양에서 자기 차원의 중요성을 더욱 강조하고 있다. 예컨대, Zimmerman자기조절 학습(self-regulated learning)이란 모니터링과 성찰(reflection)을 포함하는 학습 전략으로, 이는 메타인지 발달(metacognitive development)에 필수적이라고 주장한다 [19]. 학습자가 자신의 인지 과정(cognitive processes)을 이해하게 되면, 학습의 자율성(learning autonomy)이 강화되고, 이는 곧 전문적 환경에서의 적응력과 효과성으로 이어진다. 따라서, 자기 차원과 동기를 중심으로 주체성을 함양하는 것은 평생학습(lifelong learning)과 윤리적 실천(ethical practice)을 위해 결정적으로 중요하다.

 

주체성을 구조화된 사회적 맥락(structured social context) 속에 내재화함으로써, 의학교육자는 멘토링(mentorship), 체험 기반 학습(experiential learning), 안내된 성찰(guided reflection)을 통해 정체성 형성(identity formation)을 촉진할 수 있다. 이러한 접근 방식은 미래의 의사들이 의학적 실천에 필요한 기술적 역량(technical competencies)뿐만 아니라, 자기 인식(self-awareness), 적응력(adaptability), 회복탄력성(resilience)을 함께 개발하게 함으로써, 의미 있는 전문성 성장(meaningful professional growth)을 가능하게 한다.


Reuven Bar-On의 감성-사회적 지능 모델(Emotional-Social Intelligence Model, 1997)은 감성지능(Emotional Intelligence, EI)의 정의를 확장하여, 개인이 환경적 요구에 적응하는 데 영향을 미치는 정서적·사회적 역량(emotional and social competencies) 전반을 포괄한다. 이 모델은 다음과 같은 다섯 가지 핵심 구성요소로 이루어져 있다:

  1. 개인 내 역량(Intrapersonal skills)
  2. 대인 관계 역량(Interpersonal skills)
  3. 적응력(Adaptability)
  4. 스트레스 관리(Stress management)
  5. 전반적 기분(General mood)

이 모델을 기반으로 한 평가 도구로는 Bar-On 감성지능 검사(Emotional Quotient Inventory, EQ-i)가 있으며, 이는 자기보고식(self-report) 설문지를 통해 정서적 및 사회적 역량을 측정하는 데 널리 사용된다. 그러나 일부 비판에 따르면, 이 접근은 인지 능력보다는 성격 특성(personality traits)을 측정하는 성향이 강해, 구성 타당성(construct validity)에 한계가 있을 수 있다고 지적된다 [20].

 

Petrides와 Furnham이 제안한 성격 특성 기반 감성지능 모델(Trait Emotional Intelligence Model)은 EI를 자신이 인식하는 감정적·사회적 능력(self-perceived emotional and social competencies)의 집합으로 개념화한다 [21]. 이 모델은 정서 인식(emotional awareness)감정 조절(emotional regulation) 같은 특성을 강조하며, 개인이 자신의 감정 능력을 어떻게 인식하느냐에 초점을 맞춘다. 이 모델의 평가는 주로 TMMS(Trait Meta-Mood Scale)를 통해 수행되며, 이는 감정에 대한 주의(attention to emotions)나 감정 명확성(emotional clarity)과 같은 영역에서 자기 인식된 정서적 능력에 대한 평가를 제공한다. 연구에 따르면, 높은 수준의 특성 EI(trait EI)는 정신 건강(mental health)과 대인 관계(interpersonal relationships) 향상과 관련이 있으며, 이는 감정 기능에서 자기 인식의 중요성을 강조한다.

 

Mayer와 Salovey는 2003년에 그들의 능력 기반 모델(Ability Model)을 더욱 정교화하였다. 이 모델은 EI를 감정 정보를 처리하는 인지 능력(cognitive abilities related to processing emotional information)의 집합으로 정의하며, 기존의 네 가지 핵심 구성 요소(감정 인식, 감정 활용, 감정 이해, 감정 조절)를 그대로 유지한다. 이 모델은 EI가 수행 기반(performance-based) 평가, 예컨대 MSCEIT(Mayer–Salovey–Caruso Emotional Intelligence Test)를 통해 측정 가능하며, 사회적 복잡성(social complexities)을 탐색하고 개인적·전문적 성공(personal and professional success)을 달성하는 데 유용하다는 점을 강조한다.

 

이 외에도 EI를 이해하는 데 기여하는 다양한 이론적 틀들이 존재하며, 각 모델은 상이한 초점과 측정 접근법을 가지고 있다. 예를 들어, 혼합형 모델(mixed models)은 능력(intelligence)과 성격 특성(personality traits)을 통합하여, 인지 능력과 정서 역량 간의 상호작용을 리더십 등의 맥락에서 강조한다.

 

감정 조절 모델(Emotional Regulation Model)은 감정을 관리하는 데 관련된 과정(processes)을 집중 조명하며, EI와 감정 조절 전략의 효과성(efficacy of emotional regulation strategies) 간의 관계를 탐구한다. 또한, 4지 모델(Four-Branch Model)은 EI에 관련된 인지 과정을 세분화하여 설명하며, EI가 목표 기반 훈련(targeted training)을 통해 개발될 수 있다는 개념을 강화한다. 그 외에도 I-PACE 모델, HEXACO 성격 모델(HEXACO Model of Personality) 등은 EI와 행동적 결과(behavioral outcomes) 사이의 관계를 탐색하며, EI 담론을 한층 풍부하게 확장시키고 있다 [22].

 

Table 1은 위에서 소개한 모든 모델을 핵심 원리(core principles), 평가 방법(assessment methods), 적용 분야(applications), 상호 관계(relationships), 모순점(contradictions), 비판(critiques) 등의 측면에서 비교하여 강조한다.


전문성 정체성 형성 이론 (Theories of Professional Identity Formation)

전문성 정체성 형성(professional identity formation)에 대한 탐색은 다양한 심리학적·사회학적 이론(psychological and sociological theories)을 통해 더욱 풍부하게 확장될 수 있다. 각 이론은 정체성 발달(identity development)에 영향을 미치는 과정과 요인들에 대해 고유한 통찰을 제공한다.

에릭슨의 심리사회 발달 이론 (Erikson’s Psychosocial Development Theory)

Erikson의 이론은 인간 발달을 8단계의 심리사회적 발달(psychosocial development)로 구분하며, 특히 청소년기(adolescence)초기 성인기(young adulthood)에 주목한다. 이 시기의 개인은 정체성 형성(identity formation)과 친밀감(intimacy)과 관련된 중대한 심리적 도전(critical challenges)에 직면한다.

  • 특히, "정체성 대 역할 혼란(Identity vs. Role Confusion)" 단계는 청소년기에 해당하며, 이 시기의 개인은 개인적 가치(personal values)와 신념(beliefs)을 탐색하는 과정을 통해 일관된 전문성 정체성(coherent professional identity)을 형성하게 된다 [23].
  • 이후, 초기 성인기(young adulthood)로 접어들면 도전은 "친밀감 대 고립(Intimacy vs. Isolation)"으로 이동하며, 이는 의미 있는 관계 형성(meaningful relationships)의 중요성을 강조한다. 이러한 관계는 전문성 정체성에도 영향을 미칠 수 있는 중요한 사회적 요인으로 작용한다.

의대생(medical students)의 경우, 이 두 단계에서 정체성 탐색을 성공적으로 통과(navigating these stages successfully)하는 것이 중요하다. 이는 그들이 자신의 개인 정체성과 의학 전문직(medical profession)이 요구하는 기대(expectations)를 통합하는 과정에 직접적으로 영향을 미치며, 결과적으로 향후의 인간관계(interactions) 및 윤리적 의사결정(ethical decision-making)에도 영향을 준다 [24].

사회 정체성 이론 (Social Identity Theory)

사회 정체성 이론(Social Identity Theory)Henri TajfelJohn Turner에 의해 개발된 이론으로, 집단 소속(group membership)이 개인의 정체성 형성에 미치는 역할을 강조한다. 의대생에게 있어, 의료 공동체의 일원이라는 소속감은 강력한 사회적 정체성(social identity)을 형성하며, 이는 그들의 자기 인식(self-perception)과 행동(behavior)에 영향을 미친다 [25].

 

이 이론은 특히 내집단/외집단 역학(in-group/out-group dynamics)을 강조하는데, 이는 학생들이 또래 집단의 규범(norms)에 순응해야 한다는 압력을 느끼는 동시에, 다른 사회 집단으로부터의 배제(exclusion)를 경험할 가능성도 있다는 점을 시사한다. 이와 같은 사회적 긴장(social dynamics) 속에서, 감성지능(EI) 능력의 개발은 학생들이 이러한 상황을 보다 효과적으로 탐색할 수 있도록 도우며, 보건의료 팀 내 협업(collaboration)과 의사소통(communication)을 향상시키는 데 기여한다 [26].


실천공동체 이론 (Communities of Practice Theory)

Etienne Wenger의 실천공동체 이론(Communities of Practice, CoP Theory)은 학습이 사회적 맥락(social contexts) 속에서 이루어지며, 개인이 공유된 실천(shared practices)에 참여함으로써 형성된다고 본다. 의학교육에서 학생들은 또래, 교수자, 의료 전문가들을 포함한 공동체의 일원이 되며, 이는 그들의 전문성 정체성(professional identity) 형성에 지대한 영향을 미친다.

 

CoP 틀은 특히 멘토링(mentorship)과 역할 모델링(role modeling)의 중요성을 강조하며, 이는 학생들이 전문적 성장(professional development)을 효과적으로 탐색할 수 있도록 돕는 핵심 메커니즘이다 [27].

 

성찰적 실천 이론 (Reflective Practice Theory)

Donald Schön성찰적 실천 이론(Reflective Practice Theory)은 전문성 개발(professional development)에서 자기 성찰(self-reflection)의 중요성을 강조한다. 의학교육에서는 성찰적 실천(reflective practices)을 통해 학생들이 자신의 경험, 신념, 감정비판적으로 분석할 수 있으며, 이를 통해 자신의 전문성 정체성에 대한 깊은 통찰(deeper insights)을 얻게 된다.

 

특히, 서사적 성찰(narrative reflection)에 참여하는 것은 학생들이 자신의 경험을 언어화(articulate)하고, 그 경험이 미래의 의사로서의 정체성 형성에 어떻게 영향을 미치는지 이해하는 데 도움이 된다 [28].

 

역할 이론 (Role Theory)

역할 이론(Role Theory)은 개인이 사회적 맥락(social contexts) 속에서 다양한 역할을 수행하는 방식과, 그 역할에 수반되는 기대(expectations)와 행동(behaviors)을 어떻게 내면화하고 실천하는지를 탐구한다. 의대생은 학습자(learner)이자 미래의 의사(future physician)라는 복수의 역할(multiple roles)을 동시에 수행해야 하며, 이러한 역할 수행은 전문성 정체성 형성(professional identity formation)에 지대한 영향을 미친다 [29].

 

이러한 역할 역학(role dynamics)을 이해하는 것은 교육자들이 학생들이 다양한 역할을 통합하여 일관된 전문 정체성(coherent professional identity)을 형성할 수 있도록 돕는 교육과정(curricula)을 설계하는 데 유용하다.

 

사회 인지 이론 (Social Cognitive Theory)

Albert Bandura사회 인지 이론(Social Cognitive Theory)행동 발달(behavior development)에서 관찰 학습(observational learning), 모방(imitation), 모델링(modeling)의 역할을 강조한다. 의학교육에서는 학생들이 멘토(mentors)와 또래(peers)를 관찰하며 학습하게 되는데, 이러한 경험은 전문성 정체성 형성에 중요한 영향을 미친다 [30].

 

이 과정에서 핵심이 되는 개념은 자기 효능감(self-efficacy), 즉 자신이 성공할 수 있다는 믿음이다. 긍정적인 역할 모델을 관찰한 학생일수록, 강력한 전문 정체성(strong professional identity)을 형성할 가능성이 높아진다 [31].


서사 정체성 이론 (Narrative Identity Theory)

서사 정체성 이론(Narrative Identity Theory)은 개인이 자신에 대한 이야기(stories they tell about themselves)를 통해 정체성을 구성한다고 가정한다. 의학교육 맥락에서, 학생들은 의료 전문직 진입 여정(journeys into the medical profession)에 관한 경험을 반성(reflect)하고, 그 경험을 기반으로 한 서사를 구성하게 된다.

 

이러한 서사적 구성(narrative construction)은 학생들이 자신의 경험을 의미화(make sense of)하고, 개인적 정체성과 전문 정체성(personal and professional identities)을 통합하며, 미래의 의사로서의 가치와 열망(values and aspirations)을 명확히 표현하는 데 도움을 준다 [32].

 

의대생의 전문성 정체성 형성 (Professional Identity Formation of Medical Students)

의대생의 전문성 정체성 형성(professional identity formation)은 복잡하고 역동적인 과정(complex and dynamic process)으로, 임상 경험(clinical encounters), 멘토링 관계(mentorship relationships), 전문적 실천에 대한 노출(exposure to professional practices) 등 다양한 요인에 의해 영향을 받는다. 이러한 요인들을 이해하는 것은 미래 보건의료 제공자들(future healthcare providers)에게 탄탄한 전문성 정체성(robust professional identity)을 함양하고자 하는 교육자와 교육기관에게 매우 중요하다.

 

의학교육에서 전문성 정체성을 지원하기 위한 다양한 이론적 틀(frameworks)이 제안되어 왔다. 그 중 하나의 핵심 개념은 "숨은 교육과정(hidden curriculum)"이다. 이는 의학교육의 문화와 환경으로부터 암묵적으로 학습되는 내용(implicit lessons)을 의미한다. 이 숨은 교육과정은 전문직업성(professionalism)과 윤리(ethics)에 대한 학생들의 관점에 깊은 영향을 미칠 수 있으며, 특히 학생들의 관찰이 공식 교육(formal teachings)과 모순될 경우, 미래 역할에 대한 혼란(confusion)을 야기할 수 있다 [33]. 따라서, 숨은 교육과정을 주목하고 이를 다루는 것은 일관되고 긍정적인 전문성 정체성(cohesive and positive professional identity)을 형성하기 위해 필수적이다.

 

역할 모델링(role modeling)은 전문성 정체성을 형성하는 데 있어 핵심적인 요소이다. 경험 많은 전문가들과의 상호작용을 통해, 의대생들은 환자 중심 진료(patient care), 윤리적 의사결정(ethical decision-making), 전문적 행동(professional behavior)의 중요성을 학습한다. 이러한 역할 모델들은 학생들이 현재의 자아(current identities)를 미래 의사의 역할(future roles as physicians)에 맞춰 정렬할 수 있도록 지침을 제공하는 존재(guiding figures)로 기능한다.

 

또한, 지역사회 봉사 참여(participation in community service)는 사회적 책임감(social responsibility)을 고양시키며, 이는 다양한 환자 집단에 봉사하겠다는 학생들의 의지를 강화하고, 결과적으로 전문성 정체성을 심화시키는 데 기여한다 [34].

 

하지만 역할 모델링의 영향은 외부 요인 없이 독립적으로 작용하지 않는다. 사회적 기대(societal expectations)나 제도적 구조(institutional structures)와 같은 외적 요인들도 학생들이 전문적 가치를 어떻게 내면화하는지중대한 영향을 미친다.

 

특히, 의과대학은 종종 인종화된(racialized) 및 위계적(hierarchical) 맥락 속에서 운영되며, 이는 불평등을 지속시키고, 학생들의 교육 경험에 영향을 미칠 수 있다. 만약 이러한 체계적 장벽(systemic barriers)을 해결하지 않는다면, 학습 환경의 격차(disparities in learning environments)는 학생들의 포용적이고 강력한 전문 정체성 형성 능력저해할 수 있다 [35].

 

따라서, 공정하고 포용적인 교육 문화(an equitable and inclusive culture)는 미래의 의사들이 복잡하고 다양한 보건의료 시스템(complex realities of diverse healthcare systems)에서 효과적으로 활동할 수 있도록 준비시키는 데 필수적이다.

 

팬데믹 속에서의 전문성 정체성 형성과 의학교육의 과제

팬데믹 상황에서 환자를 돌보는 경험(caring for patients during the pandemic)은 의대생들의 전문성 정체성(professional identity)에 중대한 변화를 유도하였으며, 이는 의학교육 전반에서 지속적인 제도적 지원(institutional support), 멘토링(mentorship), 구조화된 성찰(structured reflection)의 필요성을 강조한다 [36]. 보건의료 환경이 끊임없이 변화하는 현실 속에서, 의학교육 또한 이에 능동적으로 적응해야 하며, 학생들이 미래의 의료인으로서 갖추어야 할 역량과 사고방식(mindsets)을 효과적으로 개발할 수 있도록 준비시켜야 한다.

 

의대생에서 전문의로의 전환(transition from medical student to professional physician)은 단순히 의학 지식(medical knowledge)을 습득하는 것에 그치지 않고, 응집력 있는 전문 정체성(cohesive professional identity)을 형성하는 과정을 포함한다. 잘 형성된 전문 정체성은 윤리적 실천(ethical practice), 환자 중심 진료(patient-centered care), 효과적인 팀워크(effective teamwork)의 기반이 된다. 더불어, 이는 의사가 직장 내 복잡한 상황(workplace complexities)을 잘 극복하고, 번아웃(burnout)이나 냉소주의(cynicism)를 완화할 수 있도록 돕는다.

 

그러나 동시에, 제도적 지원(institutional support), 업무 부담 관리(workload management), 정신건강 개입(mental health interventions)에 대한 접근성 또한 의사의 웰빙(well-being)을 증진시키는 데 필수적인 요소임을 인식해야 한다 [37].

 

연구에 따르면, 의대생들은 의학교육 과정에서 상당한 정서적(emotional) 및 심리적(psychological) 어려움을 경험하며, 이는 웰빙, 학습, 전문적 성장(professional growth)에 악영향을 미칠 수 있다 [38]. 따라서, 탄탄한 전문 정체성(robust professional identity)을 기르는 것은 의료 실천의 진실성(integrity)을 유지하고, 질 높은 환자 진료(high-quality patient care)를 제공하기 위한 핵심 전략이다.

 

전문성 정체성 형성(PIF)은 공식 교육과정(formal curriculum)뿐만 아니라, 비공식 학습 경험(informal learning experiences)숨은 교육과정(hidden curriculum)을 포함한 복합적 요인에 의해 영향을 받는다. 이처럼 복잡하게 얽힌 상호작용(interplay)은 학생들이 전문직업성(professionalism)과 미래 의사로서의 역할을 어떻게 인식하는지에 큰 영향을 미친다 [33]. 예를 들어, 학생들은 멘토와 또래의 행동을 관찰함으로써 전문직업성에 대해 학습하며, 이는 정체성 발달을 강화하거나 도전하게끔 한다. 이러한 경험 기반 학습(experiential learning)은 학생들이 의료인으로서 기대되는 가치와 행동을 내면화(internalize)하는 기회를 제공한다.

 

무엇보다도, 학생의 전문 정체성의 강도(strength of a student’s professional identity)는 개인 차원을 넘어서는 집단적 역량이며, 보건의료 환경에서 효과적인 팀워크의 핵심 요소이다. 의료 전문가는 간호사(nurses), 보건의료 유관 전문가(allied health professionals), 환자(patients) 등 다양한 이해관계자와 협업하며 통합적 진료(comprehensive care)를 제공해야 한다. 명확하게 정의된 전문 정체성(well-defined professional identity)은 의사소통(communication)과 협업(collaboration)을 촉진하고, 궁극적으로는 환자 결과(patient outcomes)를 향상시키며, 보건의료팀 내 상호 존중의 문화(mutual respect)를 조성한다 [34]. 따라서, 의학교육은 전문성 정체성 개발을 교육의 핵심 구성 요소로 우선시해야 하며, 이를 교육과정의 중심(core component of training)에 두어야 한다.


의대생의 전문성 정체성을 재형성하는 요인들 (Factors Reshaping Professional Identity among Medical Students)

🏫 교육 환경 (Educational Environment)

의과대학의 구조(structure)와 문화(culture)는 의대생의 전문성 정체성 형성(professional identity formation)에 중대한 영향을 미친다. 지지적이고 포용적인 교육 환경(supportive and inclusive educational environment)긍정적인 정체성 발달을 촉진하는 반면, 경쟁적이거나 유해한 문화(competitive or toxic culture)는 이러한 형성을 방해할 수 있다.

 

또한, 경직된 제도적 구조(rigid institutional structures)시대에 뒤처진 교육과정(outdated curricula)은 학생들이 경험 기반 학습(experiential learning)을 수행할 기회를 제한하고, 시험 중심의 학습(exam-focused learning)에 과도하게 몰두하게 만들 수 있다. 그 결과, 학생들은 의료 전문가에게 요구되는 가치와 행동(values and behaviors)을 충분히 내면화하지 못하게 되며, 이는 궁극적으로 전문성 정체성의 형성을 저해하게 된다.


🩺 임상 경험 (Clinical Encounters)

임상 경험(clinical encounters)은 의대생의 전문성 정체성을 형성하는 데 있어 핵심적인 요소이다. 실제 환자(real patients)와의 상호작용을 통해 학생들은 이론 지식(theoretical knowledge)을 실제 상황(practical settings)에 적용할 수 있으며, 이를 통해 임상 기술(clinical skills)뿐만 아니라 미래 역할에 대한 이해도를 심화시킨다.

 

연구에 따르면, 이러한 경험은 학생들이 자신을 보건의료 제공자(healthcare providers)로 상상하고 인식하게 되는 과정에서 결정적인 역할을 한다 [39]. 임상훈련 중 마주하게 되는 정서적(emotional)윤리적 도전(ethical challenges)은 학생들이 복잡한 환자 상황을 탐색하고, 의료 전문직의 가치(values of the medical profession)를 체화해 가는 과정을 심화시킨다 [40].

 

더 나아가, 임상 경험의 질(quality of clinical experiences)은 매우 다양하게 나타날 수 있으며, 이는 학생이 자신의 전문 정체성을 어떻게 인식하게 되는지에 중대한 영향을 미친다. 지지적인 감독(supportive supervision)과 의미 있는 환자 상호작용(meaningful patient interactions)이 있는 긍정적인 임상 경험은 학생의 소속감(sense of belonging)과 전문성 정체성 강화로 이어진다는 연구 결과들이 있다 [41].

 

반대로, 무시당하거나 지원받지 못한다고 느끼는 부정적 경험(negative experiences)정체성 형성을 방해하고, 의료 전문직으로부터의 소외감(disconnection)을 초래할 수 있다 [42].

 

 

🧑‍⚕️ 멘토링 관계 (Mentorship Relationships)

멘토링 관계(mentorship relationships)는 의대생의 전문성 정체성 형성(professional identity formation), 전문성 발달(development), 그리고 진로 경로(career trajectories)에 있어 핵심적인 역할을 한다. 훌륭한 멘토는 학생들에게 중요한 안내(guidance), 정서적·전문적 지원(support), 역할 모델링(role modeling)을 제공함으로써, 학생이 의사로서 자신감을 갖고 자신의 정체성을 구축해 가는 과정에 깊이 관여하게 된다.

 

한 체계적 문헌고찰(systematic review)은, 의학교육 및 실제 임상 수련의 복잡성을 헤쳐 나가는 데 있어 고품질의 멘토링(high-quality mentorship)이 매우 중요하다는 점을 강조한다. 특히 멘토는 학생의 자신감(confidence)과 미래 의사로서의 정체성(identity as future physicians)에 지대한 영향을 미친다고 보고되었다 [43]. 또한, 학생의 열망과 가치(aspirations and values)에 부합하는 멘토는, 학생의 정체성 인식(sense of identity)과 동기(motivation)를 더욱 강화할 수 있다.

 

그러나 현실에서의 멘토링에는 여러 도전 과제(challenges)가 존재한다. 예컨대,

  • 수직적 권력 구조(hierarchical power dynamics),
  • 멘토의 편향(mentor bias),
  • 멘토링의 질적 편차(variability in mentoring quality) 등이
    멘토링 경험을 부정적으로 만드는 요인이 될 수 있다.

연구에 따르면, 많은 학생들이 적절한 멘토링 기회의 부족(a lack of adequate mentorship opportunities)을 인식하고 있으며, 이는 소외감(isolation)과 전문 정체성에 대한 불확실성(uncertainty regarding their professional identities)을 느끼게 하는 요인이 된다 [38].

 

이러한 지원의 결여(lack of support)는 특히 중요한 전환기(critical transition periods)—예를 들어, 기초 의학 교육(preclinical training)에서 임상 실습(clinical training)으로의 이동 시기—에 더욱 치명적인 영향을 미친다. 이 시기에 학생들은 정체성 형성에 있어 가장 취약한 상태(vulnerable to identity challenges)에 놓이기 때문이다 [44].


⚠️ 의대생에게 가해지는 압박과 기대 (Pressures and Expectations)

의대생에게 가해지는 다양한 압박과 기대(pressures and expectations)는 그들의 전문성 정체성(professional identity)을 깊이 있게 형성하거나, 반대로 위축시킬 수 있는 요인이다. 의학교육의 고강도(highly demanding) 특성은 종종 높은 수준의 스트레스(stress)와 불안(anxiety)을 유발하며, 이는 학생의 자아 인식(self-perception)과 전문 정체성에 영향을 준다 [45].

 

연구에 따르면, 높은 수준의 스트레스를 경험하는 학생들의료 공동체(medical community) 내에서 소속감(sense of belonging)을 느끼는 데 어려움을 겪으며, 이는 정체성 형성을 방해할 수 있다. 더불어, 학업 및 임상 수행에서의 높은 기대(high expectations)는 완벽주의 문화(culture of perfectionism)를 조장하고, 이는 번아웃(burnout)과 전문 정체성의 약화(diminished sense of professional identity)로 이어질 수 있다 [46].

 

학생들은 자주, 자신에게 가해지는 기대 수준을 충족해야 한다는 부담에 압도당한다고 보고하며, 이는 자기 의심(self-doubt)과 함께 의학 진로에 대한 본래의 동기(motivation)로부터 멀어지게 만든다. 따라서, 이러한 심리적 부담을 완화하기 위해서는 지지적인 교육 환경(supportive educational environments)과 정신건강 지원(mental health resources)을 갖춘 구조가 필요하며, 이는 건강한 전문성 정체성을 육성하는 데 핵심적이다.


💪 회복탄력성과 대처 전략 (Level of Resilience and Coping Strategies)

회복탄력성(resilience)대처 전략(coping strategies)은 특히 의학교육의 맥락에서 정체성 형성(identity formation)에 있어 핵심적인 구성 요소이다. 회복탄력성을 기른 학생들은 의학교육의 강도와 임상 경험에서 오는 정서적 부담(emotional toll)을 더 효과적으로 감당할 수 있다.

 

여러 연구에 따르면, 지지적인 멘토링 관계(supportive mentorship relationships)회복탄력성 향상에 기여하며, 이를 통해 학생들은 스트레스와 역경(adversity)에 효과적으로 대응할 수 있는 도구(toolkit)를 습득하게 된다 [45]. 또한, 지역사회 건강 활동(community health initiatives)이나 임상 실습(clinical rotations)과 같은 전문적 실천에의 노출은 학생들에게 자기 주도성(agency)과 목적의식(sense of purpose)을 길러주며, 이는 전문성 정체성을 강화하는 데 도움이 된다 [47].

 

특히, 고스트레스 환경(high-stress environments)인 의과대학에서의 적응 및 대처 능력(adapt and cope)은 매우 중요하다. 연구에 따르면, 성찰적 실천(reflective practices)에 참여하고 사회적 지지(social support)를 추구하는 학생들은 더 높은 회복탄력성을 개발하고 긍정적인 전문 정체성(positive professional identity)을 유지하는 경향이 있다.

 

더 나아가, 의학교육과정 내에 회복탄력성 교육(resilience training)을 통합하면, 학생들의 대처 전략과 전반적 웰빙(well-being)을 향상시키고, 궁극적으로 더 강력한 전문성 정체성 형성(stronger professional identity)에 기여하는 것으로 나타났다 [48].

 


🧠 감성지능(EI)과 의대생의 전문성 정체성 교차점 (The Intersection of EI and Medical Students’ Professional Identity)

의대생에게 있어 정체성(identity)이란, 의학 전문직에 내재된 가치(values), 규범(norms), 특성(characteristics)을 내면화(internalization)해 가며 점진적으로 전문적 자아(professional self)를 형성해 가는 과정을 의미한다. 이러한 발달은 학생들이 미래의 의사로 전환되는 과정에서 그들의 사고(thoughts), 행동(actions), 감정(feelings) 전반을 형성하게 된다. 이 과정에서 감성지능(EI)의 향상은 전문성 정체성의 여러 측면실질적으로 변화시킨다.


💗 공감(empathy)과 연민(compassion)의 발달

감성지능(EI)은 감정에 대한 이해(emotional understanding)와 공감(empathy)이라는 핵심 전문직 가치(fundamental professional value)를 촉진함으로써, 환자 진료(patient care)의 질을 향상시킨다. EI는 의료인이 신뢰(trust)를 형성하고, 환자가 존중받고 인정받으며 가치 있는 존재로 느낄 수 있는 환경을 조성함으로써, 의사-환자 관계를 강화하는 데 필수적이다. 이러한 감정적으로 민감한 상호작용(emotionally attuned interactions)은 의사소통 능력을 향상시키며, 이는 다시 정확한 진단, 환자 만족도 증가, 치료계획에 대한 순응도(adherence) 향상으로 이어진다 [49].

 

또한, 연구에 따르면 공감적 진료를 제공하는 의사환자의 병력을 더 포괄적으로 수집하고, 치료 권고에 대한 환자의 순응을 유도하는 데 더 효과적이며, 이는 더 나은 건강 결과와 환자 만족으로 이어진다. 여러 메타분석(meta-analyses)은 EI와 다양한 임상적 결과 간의 일관된 긍정적 상관관계를 보여주며, EI를 향상시키는 것이 진료의 질과 임상 환경의 효과성에 실질적으로 기여한다는 점을 뒷받침하고 있다 [22].

 

이처럼 EI를 여러 추가 요인들과 함께 통합적으로 고려할 때, EI가 의료에 미치는 영향에 대한 보다 정교한 이해(nuanced understanding)가 가능해진다.


💬 의사소통 능력 향상 (Improved Communication Skills)

감성지능(EI)은 감정적으로 민감한 상황(emotionally charged settings)에서 일하는 보건의료 전문가에게 필수적인 의사소통 기술(communication skills)을 향상시킨다. EI가 촉진하는 역량—예컨대 자기 인식(self-awareness), 공감(empathy), 감정 조절(emotional regulation)—은 고스트레스 상황(high-stress situations) 속에서도 전문가가 침착하게 대응하고 응답할 수 있도록 돕는다 [50].

 

공감 능력을 갖춘 의료인은 환자와 동료의 감정을 인정하고 정당화(validate)할 수 있으며, 이는 신뢰(trust)심리적 안정(psychological safety)을 형성하여 환자 중심 진료(patient-centered care)팀워크(teamwork)의 기반을 마련한다. 또한, 효과적인 의사소통자(effective communicators)는 복잡한 의료 정보를 민감하게 전달(adapt communication styles)함으로써 환자의 이해도와 치료 순응도를 향상시킨다 [49].

 

나아가, EI가 높은(high EI) 의료인은 비언어적 신호(non-verbal cues)를 해석하고, 환자의 정서적·신체적 문제를 공감적으로 대응하는 데 뛰어나다. 다학제 팀(interdisciplinary teams) 내에서도 EI는 의사소통 촉진과 갈등 해결(conflict resolution)을 가능케 하며, 상호 존중과 협업 문화를 조성한다 [51].

 

 

🧱 회복탄력성과 적응력 구축 (Building Resilience and Adaptability)

의료 전문직의 요구는 극도의 스트레스(extreme stress)와 정서적 도전(emotional challenges)을 관리하기 위해 회복탄력성(resilience)과 적응력(adaptability)을 필수적으로 요구한다. 감성지능(Emotional Intelligence, EI)은 전문가가 감정을 인식, 조절, 반응할 수 있도록 돕는 핵심 자원(vital resource)으로서, 개인적·전문적 성장(personal and professional growth)을 촉진한다.

 

EI가 높은 개인은 자기 인식(self-awareness) 수준이 높아, 스트레스 요인(stressors)을 조기에 인식하고 적절한 대처 전략(coping mechanisms)을 적용할 수 있다. 또한, EI는 감정 조절 전략(emotional regulation strategies)을 통해 집중력을 유지하고, 고압 상황(high-pressure situations)에서 신중한 의사결정(sound decision-making)을 가능하게 한다 [49].


💪 능동적 대처와 정서적 회복력 (Proactive Coping and Emotional Resilience)

EI가 높은 의대생은 도전 상황을 해결 중심(solution-focused)으로 접근하여 정신적 웰빙(mental well-being)을 증진하고 동기를 지속시킨다. 이들은 문제 중심 대처 전략(problem-focused coping strategies)을 활용하여 스트레스의 근원을 효과적으로 다룬다. 또한, EI는 정서적 유연성(emotional flexibility)을 증진시켜, 빠르게 변화하는 보건의료 환경(dynamic and evolving circumstances)에 잘 적응하게 한다 [14].

 

높은 EI는 자기 효능감(self-efficacy)을 강화하고, 번아웃(burnout)을 완화시키며, 이는 직무 만족도(job satisfaction)와 지속적인 성과(sustained performance)와 밀접하게 연관되어 있다 [52].


🤝 보건의료팀 내 팀 역학 강화 (Strengthening Team Dynamics in Healthcare)

현대 보건의료에서는 협업(collaboration)과 팀워크(teamwork)가 환자 중심 진료의 핵심이며, EI는 이를 위한 중요한 자산(critical asset)이다. EI는 정보 전달의 명확성(clarity)과 신호 해석 능력(cue interpretation)을 높여 효과적인 의사소통(effective communication)을 촉진하고, 다학제 팀(multidisciplinary teams) 내에서 신뢰(trust)와 조율(alignment)을 형성한다 [53].

공감(empathy)은 팀 구성원 간의 관계 심화를 가능하게 하며, 이해와 지지의 분위기(supportive environment)를 조성한다. 높은 EI는 변화하는 팀 역학에 대한 적응력(adaptability)을 높이고, 리더십 능력(leadership capabilities)도 강화하며, 포용성과 성장(inclusivity and growth)을 촉진한다. 또한, 갈등 상황을 건설적으로 관리(manage conflicts constructively)할 수 있는 역량을 제공한다 [54].


🏥 환자 중심 진료 지향성 (Patient-Centered Care Orientation)

환자 중심 진료(patient-centered care)임상적 측면과 정서적 웰빙(emotional dimensions of well-being) 모두에 대한 포괄적인 주의를 강조한다. EI는 의료인이 공감 어린 진료(compassionate care)와 환자 옹호(patient advocacy)를 수행할 수 있도록 돕는다. EI는 전문가가 환자를 전체적 존재(holistically)로 바라보고, 신체적 요구뿐만 아니라 심리적 요구(psychological needs)도 다루며, 지지적인 진료 환경(supportive environments)을 조성할 수 있게 한다 [53]. 공감적 대화(compassionate dialogue)는 존중(respect)을 강화하고, 공유된 의사결정(shared decision-making)과 치료 순응도(adherence)를 향상시킨다.


⚖️ 윤리적 의사결정 (Ethical Decision-Making)

EI는 윤리적 의사결정(ethical decision-making)을 위한 기초적인 자질(fundamental competency)로 작용하며, 감정 통찰(emotional insight)과 도덕적 추론(moral reasoning)을 결합한다. EI가 높은 의료인윤리적 차원에 더 민감하게 반응하며, 이는 감정적 요소를 고려한 전인적 환자 진료(holistic patient care)로 이어진다 [55].

 

EI는 정직(honesty)과 청렴(integrity)으로 특징지어지는 윤리적 정체성(ethical identity)을 강화하며, 자기 성찰적 실천(self-reflective practices)을 통해 전문적 기준(professional standards)에 부합하는 행동을 유지한다. 도전적인 윤리 상황(challenging ethical situations)에서도 EI는 감정 인식(emotional awareness)과 비판적 사고(critical thought)를 통합하여 신중한 결정(thoughtful decision-making)을 가능케 하고, 갈등 해결과 침착 유지를 돕는다.


🧩 의학교육과정에 대한 시사점 (Implication on Medical Curriculum)

감성지능(Emotional Intelligence, EI)은 최근 교육, 직장 내 역학(workplace dynamics), 정신 건강(mental health) 등 다양한 분야에서 전반적인 웰빙(well-being)과 성과(performance)에 광범위한 영향을 미친다는 점에서 주목받고 있다. EI가 초기 발달 시점부터 중요한 역할을 한다는 사실은, 향후의 연구 및 교육훈련(training)이 EI 구성 요소의 개인적·집단적 탐색에 초점을 맞춰야 함을 강조하며, 전인적 성장(holistic growth)을 가능하게 한다.

 

🏗️ 통합형 교육과정 설계 (Integrative Curriculum Design)

의학교육과정 내에 EI 훈련을 통합하는 것은 학생들의 사회·정서적 역량(socio-emotional competencies)을 향상시킬 수 있다. 사례 기반 학습(case studies)을 활용하고, 심리학(psychology)의료 커뮤니케이션(communication) 전공 교수들과의 토론을 촉진함으로써, 학제간(interdisciplinary) 교육 모듈을 구성할 수 있으며, 이는 학생들에게 큰 교육적 혜택을 제공한다. 연구에 따르면, EI와 상담 기법(counseling techniques)을 STEM 교육에 통합했을 때, 회복탄력성(resilience), 동기(motivation), 대인관계 기술(interpersonal skills)지지적인 학습 환경(supportive learning environments) 속에서 유의미하게 향상되었다고 보고되었다 [56].


🤝 학제간 협업의 강화 (Cross-Disciplinary Collaboration)

학제간 협업(cross-disciplinary collaboration)은 이론적 지식(theoretical knowledge)과 실천적 적용(practical application) 간의 연결 고리를 형성한다. 『Collaboration in Higher Education』이라는 저작에서는 특히 COVID-19 팬데믹 이후, 개인주의적 교육 방식(individualistic educational practices)을 넘어서야 한다는 점을 강조하며, 협력적이고 포용적인 교육 접근(cooperative and inclusive approaches)의 필요성을 제기한다 [57].


🪞 성찰적 실천 (Reflective Practices)

학생들에게 성찰 저널(reflective journals) 작성을 장려하는 것은 자기 인식(self-awareness)과 정서적 성장(emotional growth)을 촉진하는 데 효과적이다. 최근 e-러닝 환경(e-learning conditions)에서의 연구에 따르면,

  • 비디오 모델링(video modeling)
  • 비디오 기반 성찰(video reflection)
  • 통합형 접근(combined approach)
    을 비교했을 때, 임상 1학년 학생들이 9회의 성찰적 글쓰기(reflection writing)를 수행한 경우 높은 수준의 성찰 수준(good reflection levels)을 달성하였으며, 비디오 모델링이 가장 큰 개선을 보였다.

이 연구는 e-러닝에 성찰 유도 질문(reflection prompts)을 통합함으로써, 학생들이 자신의 감정과 행동을 비판적으로 분석하며 깊이 있는 학습(deep learning)과 개인적 성장(personal development)을 이룰 수 있다는 점을 시사한다 [58].

 

 

🤝 또래 피드백과 멘토링 (Peer Feedback and Mentorship)

또래 피드백(peer feedback)은 학생의 감정 조절(emotional regulation) 능력과 대인관계 역학(interpersonal dynamics)에 대한 이해를 높이는 데 도움을 준다. 구조화된 피드백 세션(structured feedback sessions)을 도입하고, 학생들을 멘토(mentor)와 짝지어 주는 방식은 실제 상황에서의 적용과 피드백을 통해 감성지능(EI)을 개발할 수 있도록 도와준다.

 

한 탐색적 연구(exploratory study)는 3학년 의대생자기 피드백(self-feedback)또래 피드백(peer feedback) 참여를 분석했다. 낮은 성취자(low achievers)는 피드백에 효과적으로 참여할 준비가 덜 되어 있다고 느꼈지만, 모든 그룹에서 이전의 지식과 결합된 또래 피드백의 가치를 인정하였다. 감정적 성숙(emotional maturity)은 자기 주도 학습(self-regulated learning)에 영향을 미쳤으며, 신뢰 기반 환경(trusting environment)과 다양한 자기평가 기회(self-assessment opportunities)는 피드백 수용성을 높이는 데 기여하였다. 학생들에게는 비판 이해(understanding criticism), 감정 조절(managing emotions), 평가적 판단력 개발(developing evaluative judgment)에 대한 교육이 매우 중요하다 [59].


🧘‍♀️ 마음챙김과 스트레스 관리 훈련 (Mindfulness and Stress Management Training)

명상(meditation)과 같은 마음챙김 기법(mindfulness techniques)을 도입하면 학생들이 감정 인식(emotional awareness)을 개발하는 데 도움이 된다. 또한, 대처 전략(coping strategies) 및 스트레스 관리(stress management)에 대한 교육은 정서적 회복력(emotional resilience)을 강화하여, 전문적 도전에 대비할 수 있게 한다.

 

EI는 보건의료 전문가에게 필수적인 역량이며, 스트레스 관리, 자기 관리(self-care), 직무 만족(job satisfaction)에도 영향을 미친다. 한 체계적 문헌고찰(systematic review)에서는 마음챙김과 EI 간의 관계를 분석한 결과, 특히 감정 조절(emotional regulation) 측면에서 긍정적인 상관관계가 있고, 감정 소진(emotional exhaustion)과는 부정적인 상관관계가 있음이 드러났다 [7].

 

마음챙김 훈련은 다음과 같은 다양한 효과를 가진다:

  • 감정적 균형(emotional balance) 증진
  • 감정 인식, 수용, 명확성(awareness, acceptance, recognition) 향상
  • 감정 억제(expressive suppression) 능력 향상
  • 감정 소진 감소

이러한 결과는 보건의료 전문가의 웰빙(well-being)을 위해 마음챙김이 가지는 유익을 강하게 뒷받침한다.


🌍 지역사회 참여와 봉사 학습 (Community Engagement and Service Learning)

지역사회 참여(community engagement)는 학생들에게 의미 있는 성장 기회를 제공하며, 사회적 책임(social responsibility)과 공공의 복지에 대한 헌신(commitment to community welfare)을 강화하는 데 기여한다. 의대생들은 전통적인 교실 환경을 벗어난 학습 경험을 통해, 자신이 속하게 될 미래 공동체에 자연스럽게 통합될 수 있는 준비를 하게 된다 [60].

 

의과대학의 봉사 학습 프로그램(service-learning programs, SLPs)은 성인학습 이론(adult learning principles)을 통합하여, 다양한 환자 진료 경험에 대비할 수 있도록 교육과정을 확장시킨다. SLP의 도입은 다음과 같은 효과를 가져온다:

  • 경험 기반 학습(experiential learning) 촉진
  • 전문성 개발(professional development) 강화
  • 학생과 지역사회 모두에 유익

SLP를 통한 성찰(reflection)은 학생들이 지역사회 참여가 미래 의료인으로서 자신에게 어떤 영향을 미치는지를 깊이 이해하는 데 도움을 준다. 나아가, SLP의 성과를 학술적으로 확산(disseminating outcomes)하는 것은 의학교육에서 SLP의 중요성을 더욱 강조하는 계기가 된다 [61].

 

 

🎓 의학교육과정에 감성지능(EI)을 통합했을 때의 효과 (Benefits of Embedding EI in Medical Curriculum)


📈 학업 성취에 미치는 영향 (Impact on Academic Performance)

감성지능(Emotional Intelligence, EI)은 교육 환경 내에서의 학업 성취(academic achievement)와 대인 관계(interpersonal relationships)를 형성하는 데 있어 중심적 요인(pivotal factor)으로 점점 더 인정받고 있다. EI는 학생들이 학업적 도전을 효과적으로 극복하고, 동료 및 교수진과 긍정적인 관계를 형성하는 데 도움을 줌으로써, 교육적 성공의 기초(foundation for educational success)를 제공한다.

 

연구에 따르면, EI와 학업 성과 간에는 일관된 긍정적 상관관계(positive correlation)가 존재한다. 예컨대, Taibolatov은 EI가 학업 동기(academic motivation)에 영향을 주고, 이는 다시 교육적 성취(educational attainment)를 이끈다고 보고한다 [62]. 이 관계는 특히 국제 학업 평가(Program for International Student Assessment, PISA)와 같은 평가에서 뚜렷하게 나타나며, 정서적 역량(emotional competencies)이 학습 경험 전반에 중대한 영향을 미친다.

 

Halimi 외 연구진은 EI를 측정 가능한 지능의 한 형태(measurable form of intelligence)로 규정하며, 이는 학업 성취와 유의미한 상관관계를 보인다고 제안한다. 다만, EI의 효과는 학업 영역에 따라 다소 차이를 보인다고도 지적한다 [63].

 

EI가 학업 성과에 기여하는 메커니즘에는 다음과 같은 요소들이 포함된다:

  • 우수한 스트레스 관리 능력(superior stress management)
  • 높은 동기 수준(heightened motivation)
  • 학업 압박에 대한 효과적 대처 전략(coping strategies for academic pressures)

EI가 높은 학생일수록 불안 수준은 낮고, 동기 수준은 높으며, 이는 학습 몰입 및 자기주도 학습(self-regulated learning)으로 이어진다. 예를 들어, Kim은 임상 교육 상황에서 자기주도 학습이 EI와 성취 간의 관계를 매개한다는 점을 보여주며, 정서적 역량(emotional competencies)이 학업 성공의 핵심임을 강조하였다 [64].


🤝 교육 맥락에서의 대인 관계 (Interpersonal Relationships in Educational Contexts)

EI는 학업뿐만 아니라 교육 환경 내의 대인 관계에서도 중대한 기여를 한다. 감성지능이 높은 학생또래 및 교수진과의 긍정적인 관계를 형성하고 유지하는 데 더 능숙하며, 이는 협력(collaboration)과 사회적 지원(support)을 증진시킨다. Meza 외 연구진은 EI가 팀워크(teamwork)와 협력(cooperation)을 강화한다고 강조하며, 이는 의학교육처럼 협력 기반 학습(collaborative learning)이 임상 기술 발달의 핵심인 분야에서 특히 중요하다고 주장한다 [65].

 

Kim과 Sohn은 EI가 문제 해결(problem-solving) 및 자기 효능감(self-efficacy)과 밀접하게 관련되어 있으며, 이 두 요소는 임상 성과(clinical performance)에 매우 중요하다고 보고하였다 [66]. 감성지능이 높은 학생은 효과적인 의사소통(effective communication)과 팀워크를 통해 환자 진료(patient care)와 협업 실천(collaborative practice)에서 뛰어난 성과를 보인다.

 

또한, Niu 외 연구진은 EI가 대인관계(interpersonal relationships)와 정신건강(mental health)을 모두 향상시킨다고 밝혔으며, 이는 학생들이 의학교육과 환자 진료에서 마주하는 정서적 복잡성(emotional complexities)을 보다 잘 탐색할 수 있도록 돕는다 [67].


🔥 학생 몰입과 동기 (Student Engagement and Motivation)

감성지능(Emotional Intelligence, EI)은 의학교육(medical education)에서 학생 몰입(student engagement)을 촉진하는 데 특히 중요한 역할을 한다. 연구에 따르면, 감성지능이 높은 교육자(emotionally intelligent educators)는 더 포용적이고 반응적인 수업 분위기(inclusive and responsive classroom atmosphere)를 조성하여, 학생의 참여와 학습 동기(motivation)를 효과적으로 증진시킨다. 예를 들어, Christodoulakis 외 연구EI가 비판적 사고(critical thinking) 및 학습 환경(learning environments)과 관련되어 있으며, 이는 보건의료 계열 학생들의 몰입도와 학업 성과(academic performance)를 향상시킬 수 있음을 보여준다 [68]. 또한, Toufan 외 연구의 질적 분석에 따르면, 학생들은 정서 상태(emotional states)에 유연하고 민감하게 반응하는 교수자를 높이 평가하며, 이로 인해 임상 추론 능력(clinical reasoning skills)과 학습 전반에 대한 몰입도가 크게 향상된다고 보고하였다 [69].

 

의학교육에서의 교육 방법의 적응성(adaptability in teaching methods)은 필수적이다. 왜냐하면 의대생들은 고스트레스(high-stress) 상황을 자주 경험하며, 복잡한 정서적 풍경(emotional landscapes)을 헤쳐 나가기 위한 지지가 필요하기 때문이다. 더불어, 의료가 점점 팀 기반(team-based)으로 전환됨에 따라, EI 역량(proficiency in EI)은 다학제 이해관계자(multidisciplinary stakeholders) 간의 합의를 이끌고 환자 진료 결과(patient care outcomes)를 향상시키는 데 필수적이라는 점을 주장한 연구도 있다 [70]. EI를 실제로 구현하는 교육자들은 단지 교육 효과를 높이는 것에 그치지 않고, 학생들이 임상 현장에서 마주할 정서적 요구(emotional demands of clinical practice)에 대비하도록 돕는다.


🚧 도전과 장벽 (Challenges and Barriers)

EI 교육에 대한 저항(resistance)은 종종 그 중요성에 대한 인식 부족이나, 새로운 프로그램 도입에 따른 실행상의 어려움(logistical challenges)에서 기인한다. 그러나 많은 교육기관들은 EI 훈련을 기존 교육과정에 통합하고, 그것이 개인적 및 전문적 성장(personal and professional development)에 어떻게 연관되는지를 보여주며, 이러한 장벽을 점진적으로 극복해오고 있다.

이러한 시도는 종종 다음과 같은 프로그램으로 구성된다:

  • 워크숍(workshops)
  • 세미나(seminars)
  • 멘토링 프로그램(mentorship programs)

이들은 교수자와 학생 모두에게 EI 원칙에 대한 이해와 수용(understanding and acceptance)을 증진시키기 위한 목적을 가진다.

EI의 가치에 대해 일반적인 인식이 존재함에도 불구하고, 일부 의대생들은 EI가 과학적으로 엄격한 분야(scientifically rigorous field)인 의학에서 실질적이고 적용 가능한지에 대한 회의(skepticism)를 표명한다. 이러한 회의에 대응하기 위해 교육기관은 EI와 관련된 근거 기반 결과(evidence-based outcomes)를 강조하며, EI가 환자 진료 향상(patient care)전문가 간 상호작용 개선에 실질적으로 기여함을 입증하고 있다.

 

또한, 많은 학교들은 EI 훈련이 학생들에게 추가적인 부담이 되지 않도록, 지원책(supportive measures)을 마련하여, EI 훈련의 효용성 및 중요성명확하게 인식할 수 있도록 설계하였다.


📊 EI 평가 및 전문성 발달과의 연계 (Assessment of EI and Its Link to Professional Development)

EI와 그것이 전문성 발달(professional development)에 미치는 영향을 평가(assessment)하는 것은 여전히 중요한 과제이다. 다양한 EI 평가 도구(assessment tools)가 개발되었지만, 그 타당도(validity)와 신뢰도(reliability)는 여전히 비판적 검토를 받고 있다. 그럼에도 불구하고 일부 교육기관은 다음과 같은 포괄적 평가 전략(comprehensive evaluation strategies)을 도입하였다:

  • EI를 측정하는 동시에,
  • 그것이 임상 역량(clinical competencies) 및 환자 결과(patient outcomes)에 미치는 측정 가능한 변화(measurable improvements)를 연계시킴.

이러한 접근 방식은 EI 평가 방법을 지속적으로 개선(refine)할 수 있는 프레임워크를 제공하며, 의학교육 내에서 EI 훈련의 정당성과 필요성강화하는 역할을 한다.


🌱 미래 방향성 (Future Directions)

💡 감성지능(EI)의 확장 가능성과 사회적 함의

감성지능(Emotional Intelligence, EI)은 교육(education), 고용(employment), 정신건강(mental health) 등 삶의 여러 측면에 지대한 영향을 미친다. EI를 개발하면 대인관계 문제(interpersonal issues), 갈등(conflicts), 공격성(aggression), 분노(outrage), 직장 내 문제(workplace challenges)를 효과적으로 조절할 수 있으며, 건강한 관계 형성과 정신적 웰빙(mental well-being)에 크게 기여한다. 많은 연구들은 어린 시기부터 EI를 개발하는 것의 중요성을 지지하고 있으며, 이를 더 잘 이해하고 적용하기 위한 추가적인 연구와 훈련(training)의 필요성을 강조하고 있다.


🏫 의학교육 커리큘럼 개발에 대한 제언
(Recommendations for Curriculum Development)

이러한 도전과제를 해결하기 위해 전문가들은 EI 훈련을 의학교육과정(medical curricula)에 통합하기 위한 다음과 같은 전략을 제시한다:

  • 기존 과목 내에 EI 개념을 내재화(embed EI concepts)
  • 전용 EI 워크숍(dedicated EI workshops) 운영
  • 성찰적 학습(reflective practice)의 활성화

특히, 학부 의학과정(undergraduate medical curriculum)에 EI 훈련 프로그램을 통합하는 것은 학생들이 EI 원칙과 임상기술(clinical skills)을 함께 습득하고, 이를 실제 전문 실천(professional practice)에 통합하여 환자 중심 진료(patient-focused healthcare)를 실현할 수 있도록 돕는다[71]. EI 발달이 가능하도록 하려면, 단지 훈련만이 아닌, 감성 역량(emotional competencies)을 임상 역량(clinical competencies)과 동등하게 중요하게 여기는 조직 문화(culture)를 조성하는 것이 결정적으로 중요하다.


🔬 향후 연구의 방향 (Potential Research Avenues)

향후 연구는 EI 훈련이 의학 실천(medical practice) 및 환자 진료(patient care)에 미치는 장기적인 영향을 조사하는 종단적 연구(longitudinal studies)에 초점을 맞추어야 한다. 현재 의사(physicians)를 대상으로 한 EI 훈련과 그 효과에 대한 평가 연구는 아직 제한적이다.

 

예를 들어, Dugan 외 연구팀이 수행한 6년간의 종단적 전향 코호트 연구(prospective longitudinal cohort study)는 중요한 사례로 꼽힌다. 이 연구는 다음과 같은 세 수준의 중재를 포함하였다:

  1. 4년간 반복적 EI 평가 (Repeated EI assessments)
  2. 7년에 걸친 고위험/고스트레스(high-risk/high-stress) 시뮬레이션 중심의 상호작용적 훈련
  3. 교수진의 지속적인 모델링 및 멘토링 (Modeling and mentoring of EI skills)

그 결과, 참가자의 97%가 프로그램을 유익하게 평가했으며, 98%는 프로그램에서 배운 내용을 실제 적용했거나 적용할 수 있다고 응답했다. EI 점수의 지속적 향상환자 만족도(patient satisfaction) 점수의 상승과도 관련이 있었다[72].

 

이러한 사례는, 의학교육기관과 보건의료기관 간의 협력(collaboration)이 종합적 EI 훈련 프로그램(comprehensive EI training programs) 개발을 촉진하고, EI의 임상적 영향에 대한 보다 깊이 있는 이해로 이어질 수 있음을 시사한다.

 

 

🏥 의료 실천에서의 장기적 함의 (Long-term Implications for Medical Practice)

의과대학 교육에 감성지능(Emotional Intelligence, EI) 훈련을 통합하는 것은 장기적으로 매우 중요한 변화를 초래할 수 있다. 미래의 의료전문가들이 자신의 감정을 관리하고, 효과적으로 소통하며, 윤리적 딜레마를 헤쳐 나갈 수 있는 능력을 갖추게 된다면, 이는 결과적으로 다음과 같은 긍정적 효과로 이어질 수 있다:

  • 환자 진료의 질 향상
  • 직무 만족도 증가
  • 의료인의 번아웃(burnout) 감소

비록 의료 기술의 발전이 의료서비스의 질을 향상시킨 것은 사실이나, 이로 인해 진료 현장의 초점이 효율성(efficiency) 중심으로 이동하면서, 의사-환자 관계(patient-doctor relationship)는 위협을 받을 수 있다. 이러한 흐름에 대응하기 위해 최근 연구들은 사회정서학습(Social-Emotional Learning, SEL)을 의학교육에 통합할 것을 권고하고 있다.


🧠 사회정서학습(SEL)의 교육적 기반 및 적용

SEL(Social-Emotional Learning)은 알버트 반두라(Albert Bandura)의 사회학습이론(social learning theory)에 뿌리를 두고 있으며, 이는 관찰학습(observational learning), 모방(imitation), 모델링(modeling)을 통해 행동이 학습된다는 점을 강조한다.

SEL은 다음과 같은 핵심 역량에 초점을 맞춘다:

  • 정서 및 스트레스 관리 (Emotion & Stress Management)
  • 공감 능력 (Empathy)
  • 사회적 기술 (Social Skills)

의료현장에서 타인의 행동을 관찰하고 상호작용하며 모방하는 과정을 통해, 의대생들은 이러한 사회정서 역량을 효과적으로 개발할 수 있다.


🧩 SEL의 핵심 영역과 ACGME 핵심역량과의 연계

SEL 프레임워크는 다음과 같은 6개 영역(domains)으로 구성되어 있으며, 이는 미국 전공의 수련 인증위원회(ACGME)의 핵심역량(Core Competencies)와 밀접하게 관련된다:

  1. 인지 영역 (Cognitive)
  2. 정서 영역 (Emotional)
  3. 사회적 역량 (Social)
  4. 가치(Value)
  5. 관점(Perspective)
  6. 정체성 형성(Identity)

이러한 영역은 단순한 기술 습득을 넘어, 인간 중심의 진료(humanistic care)까지 포괄하는 전인적 접근(holistic approach)을 가능하게 하며, 의사 양성(physician training)의 방향성을 보다 입체적으로 정립하는 데 기여한다.


🧘‍♂️ 공감능력 향상과 회복탄력성 증진

SEL은 의사들이 환자의 감정과 관점을 더 깊이 이해할 수 있도록 돕고, 그 과정에서 공감 능력(empathy)을 키울 수 있게 한다. 동시에 SEL은 회복탄력성(resilience)을 강화하여, 의료인들이 업무에서 직면하는 정서적 부담(emotional burden)을 보다 효과적으로 관리할 수 있도록 돕는다. 이러한 총체적 접근 방식은 기술적 역량(technical skill)과 감성적 역량(emotional intelligence)을 겸비한 균형 잡힌 의료인(well-rounded doctors)을 양성하는 데 필수적이다[73].


🌍 문화적·제도적 다양성에 따른 적용의 유연성

EI 및 SEL은 각각의 문화적(cultural)제도적(institutional) 맥락에 따라 다르게 인식되고 적용될 수 있음을 간과해서는 안 된다. 특정 국가나 기관에서는 감성 역량 훈련이 상대적으로 낮은 우선순위를 가질 수 있으며, 정서 표현에 대한 문화적 규범이 학습 방식에 영향을 줄 수 있다. 따라서 EI 및 SEL을 성공적으로 통합하려면, 각 교육 환경에 맞춘 맞춤형 접근(tailored approaches)이 필요하다. 이러한 맥락 적합성(contextual relevance)을 고려한 전략은 다양한 교육 환경에서 EI 개입의 효과성을 극대화할 수 있는 기반을 마련한다.

 

 

🔚 결론 (Conclusion)

감성지능(Emotional Intelligence, EI)은 현대 의학교육의 핵심 기둥 중 하나로, 다음과 같은 여러 측면에서 깊은 영향을 미친다:

  • 전문직 정체성 형성 (Professional Identity Formation)
  • 학업 성취 (Academic Performance)
  • 스트레스 관리 (Stress Management)
  • 임상 실천 (Clinical Practice)
  • 리더십 역량 (Leadership Capacity)

의학교육 과정에 EI 교육을 통합함으로써, 교육자들은 미래의 의료 전문가들이 복잡한 임상 상황 속에서도 회복탄력성(resilience)과 공감(compassion)을 갖고 대응할 수 있도록 필요한 정서적 통찰(emotional insight)과 대인민감성(interpersonal sensitivity)을 길러줄 수 있다.


💡 전인적이고 공감적인 진료를 위한 기반

EI는 환자의 다양한 요구를 전인적(holistic)으로, 개별화된 방식(individualized)으로, 그리고 공감적으로(empathetically) 이해하고 대응하기 위한 핵심 요소이다. 감성지능을 통해 의료인은 다음을 실현할 수 있다:

  • 신뢰(trust) 구축
  • 의사소통(communication) 향상
  • 의사-환자 관계(patient-doctor relationship) 강화
  • 더 따뜻하고 효과적인 진료(compassionate and effective care) 제공

이러한 환자 중심 접근(patient-centered approach)은 단지 개별 진료의 질을 높이는 데 그치지 않고, 더 나아가 회복력 있고 윤리적으로 건전한 의료 시스템의 구축에 기여한다.


🔍 향후 연구 방향

앞으로의 연구는 다음과 같은 주제에 초점을 맞출 필요가 있다:

  • EI 교육의 장기적 효과에 대한 종단 연구(longitudinal outcomes)
  • EI와 커뮤니케이션 능력, 윤리적 추론(ethical reasoning)다른 핵심 역량과의 통합
  • 표준화되고 문화적 다양성을 고려한 평가 도구(culturally responsive assessment tools)의 개발

📘 의학교육의 새로운 지평

인지 발달(cognitive development)과 정서 발달(emotional development)을 동시에 중시함으로써, 의학교육은 단순한 지식 전달을 넘어서는 진정한 전문직 양성의 장으로 발전할 수 있다. 이는 지성과 감성을 겸비한 의료인을 양성함으로써, 보다 인간 중심적이고 지속가능한 보건의료체계를 만드는 데 중요한 기여를 할 것이다.

Med Teach2024 Oct 11:1-9. doi: 10.1080/0142159X.2024.2414823. Online ahead of print.

Teaching for transfer of learning in health professions education: AMEE Guide No. 176

 

 

🧠 학습 전이(Transfer of Learning)를 진짜 일어나게 하려면?

요즘 교육 현장에서 자주 듣는 말 중 하나가 바로 "학습한 걸 실제 상황에 쓸 수 있어야 해요"일 거예요.
하지만 말처럼 쉬울까요? 오늘 소개할 AMEE 가이드는 이 학습 전이(transfer of learning)라는 개념을 실제로 교수 설계에 녹여내는 방법에 대해 아주 실용적인 조언을 줍니다.


🔍 학습 전이란?

"Transfer of learning occurs when past learning is applied to new situations that may be similar or different, and also at a varying time from the initial time of learning."
학습 전이란, 과거에 배운 내용을 새로운 상황(유사하거나 다른 상황)에, 배운 시점과는 다른 시점에 적용하는 것을 말합니다.

 

📝 이 정의가 중요한 이유?
현실에서는 이런 일이 자주 안 일어납니다. 즉, 학습자가 배운 내용을 다른 곳에서 잘 못 써먹는다는 거죠.


🎯 전이를 돕는 교수 전략 3가지

  1. 허깅(Hugging)
    → 학습 상황 자체를 실제와 비슷하게 만들어주는 방법이에요. 시뮬레이션(simulation), 사례 기반 학습(case-based learning)이 여기에 해당해요.
    "…by incorporating similarities between the learning situation and the future situations in which the learning might be used."
  2. 브리징(Bridging)
    → 이미 배운 것과 새로운 상황 사이의 연결점을 찾도록 도와주는 방식이에요.
    "…by helping learners to find connections between their previous learning and the new situation…"
  3. 대조 학습(Contrast learning)
    → 비슷한 두 상황을 비교하면서 차이점을 인식하게 해요.
    "This strategy enhances the learner’s key metacognitive processes… by comparing and contrasting different situations."

🧩 핵심 요소는 4가지

이 가이드에서는 전이가 성공적으로 일어나기 위해 꼭 필요한 네 가지 핵심 요소를 정리했어요.
각 요소는 학습자의 정신적 모델(mental model) 형성과 적용에 직접적인 영향을 미칩니다.

 

요소 설명 설명
🧠 인지(Cognition) 지식 간 연결을 만들고 정신적 모델을 형성하는 능력
🧭 메타인지(Metacognition) 전략을 계획하고 조정하는 자기 점검 능력
🔥 동기(Motivation) 의미 있는 학습과 전이에 대한 내적 의욕
🌍 상황(Situation) 실제와 유사하거나 다양한 맥락에의 반복 노출 기회

🛠 실습 예시 – ALS 수업에서는 이렇게!

ALS(Advanced Life Support)는 복잡한 지식과 술기를 통합적으로 요구하죠. 그런데 심전도 해석은 배웠지만, ALS 상황에서 바로 적용하지 못하는 경우 많지 않나요?

"Although learners may recognize different types of electrocardiogram patterns, they may not be able to recognize them during an ALS scenario."
→ 배운 걸 새 상황에 적용하는 연습이 부족한 것이에요.

 

이럴 땐 어떻게 해야 할까요?

  • 다양한 임상 사례(case)를 제공하고
  • 반복적으로 연습할 기회를 주고
  • 시뮬레이션 상황에서 적용하며
  • 유사성과 차이점을 비교해보는 프롬프트(prompt)를 주면 좋아요!

🤖 AI가 도와줄 수 있을까?

흥미롭게도, 이 가이드는 AI의 가능성에 주목해요.

"AI can create adaptive simulations that mimic real-life clinical scenarios…"
→ AI는 실제처럼 구성된 시나리오를 만들고,
"AI systems deliver real-time, personalized feedback…"
→ 실시간 개별화 피드백도 줄 수 있어요.

 

하지만 문제도 있어요.

"Privacy is a major concern… Fairness is also a significant issue… a lack of transparency… accountability…"
→ 개인정보, 편향성, 설명 불가능성, 책임 문제까지… AI가 아무리 좋아도 윤리적·제도적 장치가 따라줘야 한다는 이야기죠.


📌 마무리: 반복과 연결의 힘

"An essential aspect of teaching for transfer is the repeated opportunity for learners to transfer their mental model to a variety of different situations…"
→ 전이를 위한 교수의 핵심은 정신적 모델을 다양한 상황에 반복 적용해보는 기회를 제공하는 거예요.

 

이제는 '배웠다'에서 끝나는 교육이 아니라, '쓸 수 있게 만드는 교육'으로 나아가야겠죠.


서론 (Introduction)

“우리가 전이를 원한다면, 전이의 가능성을 실제로 증진시키는 방식으로 가르쳐야 한다 … 우리는 우리가 자리에 없을 미래의 어느 시점을 목표로 가르치고 있다는 사실을 기억해야 한다!” [1].

 

교육에서의 주요 과제 중 하나는 바로 학습의 전이(transfer of learning)이다. 이는 과거에 학습한 내용을 새로운 상황에서 성공적으로 사용하는 것을 의미한다 [2]. 교육자들은 자신이 가르친 내용이 현재의 상황을 넘어서 유용하게 사용되기를 기대하며, 학습자들 역시 자신이 배운 것이 미래에도 관련성을 가질 것이라고 기대한다 [3].

 

전이에 대한 정의는 다양하지만, 대부분의 견해는 전이가 성공적이라는 것은 원래의 학습이 일어난 상황과는 다른 상황에서 학습자가 그 내용을 입증해 보일 수 있을 때라고 본다 [4]. 중요한 점은, 교육자와 학습자 모두 전이가 자연스럽게 일어날 것이라는 가정을 자주 한다는 것이다 [4]. 그러나 학습자들은 실제 상황(real-life situations)에 전이할 수 있는 적절한 전략을 종종 갖추지 못했으며, 교육자들 역시 이러한 전략을 어떻게 사용할 것인지에 대한 구체적인 지침을 거의 제공하지 않는다 [5][6].

 

건강전문직 교육(health professions education, HPE)의 학문적 및 임상 영역 모두에서 전이가 성공적으로 이루어지지 않는다는 연구들이 증가하고 있다. 예를 들어, 기초의학 지식이 한 주제에서 다른 주제로, 과목 간, 또는 임상적 문제 해결로의 전이가 부족한 경우가 흔하다 [7]. 마찬가지로, 시뮬레이션 기반 교육(simulation-based education)에서 임상적 의사결정(clinical decision-making) 및 환자 진료(patient care)로의 전이 역시 제한적이다 [8–10]. HPE 외부의 연구들을 종합한 한 리뷰에 따르면, 교육훈련의 15%에서 30%만이 실제 업무(workplace)로 전이되며, 이러한 비율은 지난 30년간 거의 변하지 않았다고 한다 [11]. 이와 유사한 전이율이 HPE에서도 나타날 가능성이 높지만, 이 맥락에서 전이를 직접적으로 다룬 메타분석은 아직 없다.

 

전이를 위한 교육(teaching for transfer)을 이해하고 실행하기 위해서는 학습자가 과제 수행을 위한 정신적 모델(mental model)을 적극적으로 구축하는 것뿐 아니라, 그 모델을 다양한 새로운 상황에서 반복적으로 적용해보는 기회가 중요하다. 예를 들어, 심전도 해석과 같은 과제를 학습할 때, 이를 환자 증례 기반 질문(clinical vignette-based question)이나 환자 관리 상황에 반복적으로 활용하는 과정이 포함되어야 한다. 이와 같은 과정은 다음의 네 가지 핵심 요소(cognitive, situation, metacognition, motivation) 간의 복잡한 상호작용을 강조한다.

 

본 Guide에서는 전이의 주요 이론들을 소개하고, 네 가지 핵심 요소를 통합한 전이 모델(an integrated model of transfer)을 제시한다. 이 모델이 HPE의 학문적 및 임상 영역에서 어떤 실천적 학습 전략(practical learning strategies)을 안내할 수 있는지를 다룰 것이며, 나아가 이러한 전략들이 기초의학 및 임상기술 교육(current teaching activities)에 어떻게 적용될 수 있는지도 구체적으로 보여줄 것이다.

전이(transfer)의 이론적 기반
Underlying theories of transfer

Baldwin과 Ford는 학습자 특성, 훈련 특성, 직장 환경을 통합한 포괄적인 훈련 전이 모델(transfer of training model)을 제시하였다 [12]. 이 모델은 다음과 같은 세 가지 구성요소의 주요 특성을 포함한다:

  • 학습자 특성(Learner characteristics): 학습자의 능력 수준(level of ability), 성격(personality), 그리고 동기(motivation)
  • 훈련 특성(Training characteristics): 교수 설계(instructional design)내용의 관련성(content relevance)
  • 직장 환경 특성(Work environment characteristics): 동료의 지원(support from colleagues)과 새로운 정신적 모델(mental model)을 실제로 적용할 수 있는 기회(opportunity to apply)

이 모델은 전이에 있어 동기의 중요성을 강조한다. 여기에는 학습자, 학습 활동, 환경이 전이에 미치는 영향이 포함된다. 그러나 대부분의 학문적 연구는 전이의 인지적(cognitive) 측면에 초점을 맞추고 있다. 전이를 설명하기 위해 두 가지 인지 모델(cognitive models)이 널리 사용되어 왔으며, 이들은 전이가 성공적인지 여부에 대한 시사점을 제공한다:


a. Salomon과 Perkins의 모델 [13]

Salomon과 Perkins는 전이 모델을 개발하며 두 가지 전이 기제(mechanism)를 제안했다: 저차 전이(low-road transfer)고차 전이(high-road transfer).

  • 저차 전이(low-road transfer)는 주로 무의식적이고 자동적인 인지 처리 과정(unconscious automatic cognitive process)을 수반한다. 예를 들어, 기초 심폐소생술(CPR)과 같은 기술은 학습자가 숙달(mastery)된 이후, 다양한 상황에 쉽게 적용될 수 있다.
  • 고차 전이(high-road transfer)는 의식적인 인지 처리(conscious process)와 함께, 한 상황이 다른 상황에 어떻게 적용될 수 있는지에 대한 메타인지적 성찰(metacognitive reflection)을 요구한다. 고차 전이는 초기 학습으로부터 오랜 시간이 지난 후, 또는 복잡한 상황에 대한 적용에서 발생한다.
  • 이때 핵심 인지 과정은 주의 깊은 추상화(mindful abstraction)이며, 이는 특정 상황에서 일반적인 패턴(general pattern)을 탐색하고, 유사한 패턴을 가진 이전 상황에서의 문제 해결 방식을 식별하는 것이다. 예를 들어, 고급 심폐소생술(ALS)의 전문성은 단지 축적된 실습 경험만이 아니라, 전략적인 메타인지적 사고(metacognitive thinking)를 통해 환자에게 최선의 진료를 제공하려는 노력에 기반한다.

b. Gagné의 모델 [14]

Gagné는 수평 전이(lateral transfer)와 수직 전이(vertical transfer)의 구분을 강조하는 전이 모델을 개발하였다.

  • 수평 전이(lateral transfer)동일한 복잡성 수준에서의 전이를 의미한다. 예를 들어, 기초 CPR 기술이 이에 해당된다.
  • 수직 전이(vertical transfer)하위 수준(lower-level) 기술에서 상위 수준(higher-level) 기술로의 전이를 의미한다. 예를 들어, ALS에서 요구되는 고급 기술은 하위 기술(기초 CPR 등)을 완전하게 숙달한 이후에만 가능하다.

이 두 가지 모델은 전이에 대한 설명 방식에는 차이가 있지만, 과제를 적절히 수행하기 위해 학습자가 정신적 모델(mental model)을 형성하고 이를 다양한 상황에 적용할 수 있어야 한다본질적인 요구 사항을 공유한다 [4]. 인지과학(cognitive science)은 과제 수행을 위한 정신적 모델을 형성하는 인지 과정을 설명해줄 수 있으며, 이는 학문적 과제와 임상 과제 모두에 적용될 수 있다. 이때, 선언적 지식(declarative knowledge)과 절차적 지식(procedural knowledge)의 통합이 필요하다 [15].

  • 선언적 지식(declarative knowledge)은 ‘무엇을 아는가(knowing what)’에 해당하며, 예를 들어 심장 주기의 단계(phases of the cardiac cycle)와 같은 사실적 정보를 의미한다.
  • 반면 절차적 지식(procedural knowledge)은 ‘어떻게 아는가(knowing how)’에 초점을 맞추며, 이러한 사실을 과제 수행에 적용하는 것이다. 예컨대, 심폐소생술(CPR)에 관한 문제 해결 문항에 답하거나 직접 CPR을 수행하는 것이 이에 해당한다 [16,17].

학습은 이러한 정신적 모델을 형성하는 과정 속에서 이루어지며, 이는 선언적 지식이 점차 절차적 지식으로 전환되는 과정을 통해 이루어진다. 이 과정을 절차화(proceduralisation)라고 한다 [18].

  • 절차화는 선언적 지식의 소실(decay)을 방지하고, 오류를 줄이며, 수행 속도를 증가시킨다 [16,17].
  • 절차적 지식이 전이에 중요하다는 점은 Singley와 Anderson [19], 그리고 Taatgen [20]에 의해서도 강조되었다.

또한, 메타인지(metacognition)는 효과적인 전이(effective transfer)에 있어 필수적이다 [21]. 메타인지는 ‘생각에 대해 생각하는 것(thinking about thinking)’으로 정의되며 [22], 학습자가 전이를 위해 다양한 전략을 갖추고 이를 실제로 적용하는 것의 중요성을 인식하도록 돕는다. 정신적 모델을 새로운 상황에 효과적으로 개발하고 적용하기 위해서는, 전이에 필요한 전략을 효과적으로 활용하는 능력이 요구된다. 예를 들어, 이전 상황과 유사하거나 다른 특성을 식별하는 것은 전이에 핵심적인 전략이다.

 

이러한 전략의 활용을 가능하게 하는 핵심 메타인지 과정(key metacognitive processes)에는 다음이 포함된다:

  • 요구되는 과제를 분석하는 것(analysing the required task)
  • 적절한 전략을 선택하는 것(choosing appropriate strategies)
  • 그 전략의 효과성을 평가하기 위한 자기 모니터링(self-monitoring)
  • 전략이 효과적이지 않을 경우 조정하는 성찰(reflecting to adjust strategies)

전이의 통합 모델 (The integrated model of transfer)

우리는 전이의 통합 모델(integrated model of transfer)을 제시한다(그림 1 참조). 이 모델은 기존의 다양한 이론들과 모델들의 주요 특징을 통합하여, 전이(transfer)의 성공을 위해 필수적인 네 가지 핵심 요소인지(cognitive), 상황(situation), 메타인지(metacognition), 동기(motivation)—를 강조한다. 이 모델은 전이에 대한 유용한 이해를 제공할 뿐 아니라, 실제 교육 현장에서 전이를 촉진하기 위한 교수 활동을 설계하는 데 실질적인 통찰을 제공할 수 있다.

 

 

  • 통합 전이 모델에서 핵심 인지 요소(core cognitive component)는 바로 성공적인 전이를 위해 요구되는 정신적 모델(mental model)의 형성이다. 학습자는 정신적 모델을 지속적으로 발전시키는 과정에 있으며, 이 모델은 학습자가 유사하거나 다른 다양한 상황에서 과제를 수행하는 활동을 통해 적극적으로 구성된다. 이러한 상황은 초기 학습 시점과 시간적으로도 차이가 날 수 있다. 과제는 학문적인 것(예: 평가 문항에 답하기)일 수도 있고, 임상적인 것(예: 진단 내리기, 임상 술기 수행 등)일 수도 있다. 새로운 상황의 특성이 이전 상황과 유사한 특징을 지닌 경우, 전이는 발생할 가능성이 높다.
  • 상황(situation) 역시 핵심 요소(core component)이다. 왜냐하면 상황은 학습자가 자신의 정신적 모델을 개발하고 적용할 수 있는 필수적인 기회를 제공하며, 이 과정에는 또 하나의 핵심 요소인 메타인지(metacognition)의 활용이 포함되기 때문이다.
  • 메타인지는 핵심 요소로서, 동적인 과정이다. 이는 의식적일 수도 있고, 무의식적일 수도 있다. 학습자는 자신의 정신적 모델이 다른 상황으로의 전이에 적절한지 여부를 스스로 점검(self-monitor)하며, 이러한 점검은 새로운 학습의 자극(stimulus to new learning)이 되기도 한다.
  • 이 모든 핵심 요소들을 밑받침하고 있는 기반은 바로 학습자의 동기(motivation)이다. 동기는 학습자가 정신적 모델을 형성하고 전이 전략을 활용하며, 다양한 상황에서의 학습 기회를 적극적으로 활용하도록 이끄는 추진력(driving force)이다.

이 통합 모델은 추가적으로 확장될 수 있으며, 전이의 통합 모델에 포함된 핵심 요소들이 실제 교수에 어떻게 적용될 수 있는지를 구체적으로 보여줌으로써 전이를 향상시키는 교수 전략에 실질적인 통찰을 제공한다.

 

인지(Cognitive)

학습자는 과제를 수행할 수 있는 정신적 모델(mental model)을 처음에 반드시 개발해야 하며, 이 모델은 전이(transfer)에 사용될 수 있어야 한다. 이 모델은 선언적 지식(declarative knowledge)과 절차적 지식(procedural knowledge)을 모두 적절한 수준으로 포함하고 있어야 한다 [23]. 학습에서 가장 중요한 측면 중 하나는 이러한 정신적 모델의 개발이며, 이는 개별 정보 조각(discrete pieces of information)들 사이의 연결 관계(linking relationships)를 구축함으로써 이루어진다 [24]. 이 점은 교육자들에게 중요한 시사점을 제공한다. 사실들 간의 관계를 명시적으로 드러내는(teaching the relationships between facts) 교수법이 반드시 필요하다. 그렇지 않으면 전이는 훨씬 더 어려워질 수밖에 없다.

 

정신적 모델의 형성을 촉진하는 근거 기반 전략(evidence-based strategies)으로는 다음과 같은 것이 있다:

  • 통합적 교수(integrated instruction) [25]
  • 생산적 실패(productive failure) [26,27]
  • 대조 사례 활용(contrasting cases) [28,29]

이 세 가지 전략은 모두 사실과 정보 조각 사이의 연결을 형성하여 정신적 모델을 구축하는 데 중점을 둔다 [28]. 

 

전이의 또 다른 중요한 요소는 ‘원천 학습(original learning)’의 존재이다 [23]. ‘원천 학습’은 바람직한 난이도(desirable difficulties), 노력(struggle), 수고(effort)의 관점에서 설명된다. 전반적으로 일관된 핵심 메시지는 다음과 같다: 학습자가 정신적 모델을 형성하고 적용할 수 있는 충분한 학습 기회가 초기 단계에서 제공되지 않는다면, 전이는 일어나지 않는다. 또한, 비판적 사고(critical thinking)와 질문하기(questioning)는 정신적 모델을 개발하는 데 있어 핵심적인 역할(pivotal role)을 한다. 물론, 직접 교수(direct instruction)는 전문가의 통찰과 효율적인 해결책을 제공한다는 점에서 가치가 있다. 그러나 직접 교수는 때때로 정신적 모델의 형성과 전이를 저해할 수 있다는 점도 간과해서는 안 된다 [30].


동기(Motivation)

동기는 전이(transfer)에 있어 결정적인 역할을 한다. 최근 연구들은 전이에 대한 동기(motivation to transfer), 학습 동기(motivation to learn), 그리고 자기효능감(self-efficacy)이 직장 내 교육 전이 과정(training transfer process)을 촉진하는 데 있어 핵심적인 역할을 한다는 점을 강조하고 있다 [31].

 

자기효능감(self-efficacy)동기와 밀접하게 연결된 변수이며, 전이를 예측하는 또 하나의 중요한 요소이다. 자기효능감은 학습자가 특정 과제를 수행할 수 있다는 자신의 능력에 대해 얼마나 자신감을 느끼는지를 의미한다 [32]. 학습자가 자신이 배우는 내용이 다른 상황에 적용 가능하고 관련성이 있다고 인식하면, 그 학습은 의미 있게 느껴지고 동기 역시 증가하게 된다 [4].

 

교육자에게 있어 중요한 고려사항은, 학습자가 미래의 학습과 수행—특히 임상 현장(clinical workplace)에서의 수행—에 대비할 수 있도록 준비시키는 것이다. 이를 위해 학습자의 목표 및 열망과 정렬된 학습 활동을 설계해야 한다 [23]. 예를 들어, 학습자에게 “세상과 부딪히는 경험(bump up against the world)”을 제공할 수 있는 활동을 통해, 그들이 현재 발전시키고 있는 정신적 모델을 시뮬레이션된 혹은 실제 임상 상황 속에서 점차 복잡해지는 과제를 반복적으로 수행하며 적용할 수 있도록 해야 한다.

 

학습자들이 자신이 성장하고 발전할 수 있다고 믿는 정도학습과 전이에 대한 흥미와 관심에 중대한 영향을 미친다 [33,34].
Dweck의 연구에 따르면, 성장 마인드셋(growth mindset)을 가진 사람은 자신의 능력을 보다 정확하게 이해하는 반면, 고정 마인드셋(fixed mindset)을 가진 사람은 특정 상황에서 자신의 능력을 과대평가할 가능성이 있다고 한다 [35]. Dweck은 다양한 성취 목표(achievement goals) 중에서 두 가지 주요 유형을 제시하였다 [33]:

  1. 학습 목표(learning goals): 자신의 능력을 향상시키는 것을 목표로 함
  2. 수행 목표(performance goals): 타인의 긍정적인 평가를 받는 것을 목표로 함

연구에 따르면, 학습 목표를 가진 학습자들이 수행 목표를 가진 학습자보다 더 높은 전이 점수를 기록하는 경향이 있다 [33].
성장 마인드셋은 학습에 긍정적인 영향을 미치며, 이전에 학습한 내용을 새로운 상황으로 전이할 때 필연적으로 마주치는 도전(difficulties and challenges)을 기꺼이 수용하게 만든다.

 

마지막으로, 자기결정 이론(self-determination theory) 역시 동기를 이해하는 데 핵심적인 역할을 한다 [36,37]. 이 이론에 따르면, 인간은 세 가지 기본 심리적 욕구(basic psychological needs)가 충족될 때 동기를 느끼며 성장할 수 있다:

  1. 자율성(Autonomy): 목표를 향해 자신의 행동을 통제하고 있다고 느끼는 것
  2. 관계성(Relatedness): 타인과의 연결감과 소속감을 느끼는 것
  3. 유능감(Competence): 과제를 수행할 수 있다는 자신감을 느끼는 것

높은 자기효능감, 성장 마인드셋, 그리고 이 세 가지 기본 욕구의 충족은 미래의 전이와 성과(performance and transfer)를 현저히 향상시킬 수 있다.

메타인지(Metacognition)

메타인지는 성공적인 전이(successful transfer)를 위한 핵심 요소이다. 그 이유는 메타인지가 학습자에게 자신이 선택한 전략의 효과를 스스로 점검하고(self-monitor), 필요에 따라 변화(adjustment)를 줄 수 있는 기회를 제공하기 때문이다. 이러한 자기 점검과 전략 수정 능력은 학습의 핵심 요소(key for learning)다. 교육자는 학습자가 전이를 위해 메타인지 과정을 실제로 사용할 수 있는 기회를 제공하는 활동을 설계할 수 있다 [38,39]. 다음과 같은 활동들이 특히 중요하다:

a. 전이를 위한 목표 설정 및 전략 계획

학습자는 이전에 경험했던 상황들과 유사하거나 다른 특성들을 식별하여, 새로운 상황(new situation)의 특징을 분석하고, 이에 맞춘 전략을 계획(plan)해야 한다. 이러한 활동은 학습자가 자기주도적으로 전략을 수립하고 조정할 수 있는 기반을 마련해준다.

b. 자기 평가(self-assessment)

학습자는 자신이 선택한 전략이 얼마나 효과적인지 평가해보아야 한다. 이 성찰(reflective) 활동은 전이 과정 중 또는 이후에도 수행될 수 있으며, 다음과 같은 학습을 자극한다:

  • 해당 상황에서 어떤 정신적 모델(mental model)이 적절한지 판단하고
  • 미래의 새로운 상황에 효과적으로 적용하기 위한 전략이 무엇인지 탐색

이러한 메타인지 활동은 학습자가 이전 경험을 분석하고, 미래의 전이에 대비한 전략적 사고를 기를 수 있는 계기가 된다.

상황(Situation)

통합 전이 모델(integrated model of transfer)의 관점에서 상황(situation)은 전이가 성공적으로 일어나기를 기대하는 맥락 또는 환경을 의미한다. 이 상황의 핵심은 학습자가 자신의 정신적 모델을 개발할 수 있는 기회를 제공해야 한다는 점이다. 그러나 이때 주의할 점은, 학습 활동이 실제 세계(real world)의 활동과 유사해야 한다는 것이다. 이러한 유사성 원리(similarity principle)’의 중요성Thorndike를 비롯한 여러 인지심리학자들에 의해 강조되어 왔다 [4]. 하지만, 학습 활동이 반드시 실제 세계(real world)의 환경을 그대로 반영해야 하는 것은 아니다. 실제 환경과 유사한 특성을 갖도록 구성된 저기술(low-technology) 시뮬레이션도 전이 촉진에 효과적일 수 있다 [40].

 

또한, 학습자가 특정 내용이나 기술을 잊어버리지 않도록 하기 위해서는 반드시 반복 연습(repeated practice)의 기회를 제공해야 한다. 학습 활동에서는 사례의 복잡성(complexity)과 학습자의 자율성(autonomy)도 점진적으로 증가해야 한다. 교육자는 ‘상황’ 자체를 전략적으로 사고(strategically think)해야 한다. 특정 상황은 선언적 지식(declarative knowledge)과 절차적 지식(procedural knowledge)의 통합뿐 아니라, 외부 요소(예: 중단 상황 추가)와의 통합까지도 요구할 수 있기 때문이다.

 

실제로 교육자나 학습자 모두 과제 간 전이가 높을 것이라 기대하는 경우가 많지만, 실제 과제의 상황이 매우 다를 경우, 전이는 제대로 일어나지 않을 수 있다. 예를 들어, 마네킹을 활용한 기관삽관(intubation) 훈련이 실제 임상 환경(clinical environment)으로의 전이로 이어질 가능성은 낮다. 그 이유는 실제 상황에서는 시간 압박(time pressure), 주의 산만(distraction), 해부학적 변이(anatomical variation) 등 다양한 요인이 존재하기 때문이다. 그럼에도 불구하고, 고급 심폐소생술(ALS) 시나리오에 도전하기 전에, 학습자는 먼저 기관삽관에 대해 충분히 숙달(mastery)해야 한다.

 

학습자에게 새로운 상황에 노출(exposing to a new situation)시킬 때, 두 가지 측면을 고려하는 것이 중요하다.

  1. 학습자는 새로운 상황을 먼저 관찰(observe)해야 한다. 이 전략은 사회 인지 이론(social cognitive theory)의 대리 학습(vicarious learning) 개념에 기반한다. Bandura 등 [41]의 연구에 따르면, 타인의 행동을 관찰하고 그 결과를 인식함으로써 학습이 이루어질 수 있다.
  2. 몇 차례 관찰한 후에는, 학습자가 직접 그 상황에 참여(participate)하여 자신의 지식과 기술을 숙달해야 한다. 이러한 활동은 학습자의 전이에 대한 동기(motivation for transfer)를 높일 수 있으며, 다양한 상황에 반복적으로 참여하는 것 자체가 전이의 가능성을 증대시킨다.

전이를 촉진하는 핵심 실천적 학습 전략과 교육 활동
(Key practical learning strategies and educational activities to increase transfer)

이 절에서는 전이를 향상시키기 위한 핵심 실천적 학습 전략과 교육 활동들을 제시한다. 이 전략들은 강의실 수업부터 임상 실습까지, 어떤 유형의 교육 활동에서도 적용될 수 있다. 전이를 위한 두 가지 주요 교수 접근법은 바로 ‘허깅(hugging)’과 ‘브리징(bridging)’이다 [42].

  • a. 허깅(hugging): 교육자가 학습 상황과 향후 전이가 이루어질 수 있는 상황 간의 유사성(similarities)을 포함시켜 전이를 장려하는 방식이다.
    • 전이 학습을 처음 연구한 심리학자인 Woodworth와 Thorndike [43]는 학교 교육과 실제 생활에서 마주치는 과제 간 유사성을 고려하여 교육과정을 설계할 것을 강조했다. 이 메시지는 지금도 매우 유효하며, 시뮬레이션(simulation)이나 사례 기반 수업(case-based teaching)의 활용이 그 예이다.
  • b. 브리징(bridging): 교육자가 학습자가 기존에 배운 내용과 새로운 상황 간의 연결점을 찾도록 도와주는 방식이다. 이때 핵심은 선언적 지식(declarative knowledge)의 추상화(abstraction)이다.

허깅과 브리징 모두, 교수 상황에서 다양한 예시와 상황에의 노출(exposure to a variety of situations and examples)을 통해 더욱 효과적으로 구현될 수 있다. Gick와 Holyoak [44]의 연구에 따르면, 하나의 개념을 여러 상황에 걸쳐 소개하면 전이 가능성이 향상된다. 따라서 학습자에게 다양한 활동에 대한 노출을 제공하는 것정신적 모델의 발달과, 그 모델을 실제로 적용할 수 있는 맥락을 인식하는 능력을 지원하는 데 필수적이다. 반복 연습(repeated practice)과 함께 이루어지는 안내된 수업(guided instruction)과 피드백(feedback)정신적 모델을 개발하는 데 가장 효과적인 전략 중 하나이다 [45].

 

대리 학습(vicarious learning)은 이러한 전략들을 보완해준다. 이는 학습자가 관찰을 통해 정신적 모델을 개발할 수 있는 기회를 제공한다 [46]. 이 전략은 학습자가 복잡한 규칙과 절차를 실제로 작동하는 모습으로 관찰할 수 있게 하여, 이해를 증진시키고 자기 효능감(self-efficacy)을 높여준다 [47]. 예를 들어, 운전 학습에는 다른 사람의 운전 행동을 관찰하는 대리 학습과, 직접 운전하는 능동적 참여가 모두 포함된다. 이 방식은 특히 행동(behaviours), 태도(attitudes), 조직 문화(culture of an organization)를 가르치는 데 효과적이다. 전문가들이 다양한 상황에서 어떻게 행동하는지를 관찰함으로써, 학습자는 환자에게 해를 끼치지 않고도 전이의 가능성을 높일 수 있다. 이 때문에 대리 학습은 임상 교육에서 필수적인 도구가 되며, 학습자가 정신적 모델을 개발하고 실세계에서의 실천을 통해 동기(motivation)를 강화하는 데 도움이 된다.


학습자가 다양한 상황에 노출되는 것은 전이를 촉진한다. 이는 다음과 같은 효과를 낸다:

  • 적응력(adaptability) 향상
  • 일반화를 위한 유사성 패턴 인식(pattern recognition) 능력 향상
  • 핵심 메타인지 과정(metacognitive processes)의 발달

다양한 맥락을 경험하게 되면, 학습자는 자신의 정신적 모델을 새로운 상황에 맞게 조정(adapt)할 수 있는 능력을 갖추게 되며, 이는 다양한 상황에 공통적으로 적용할 수 있는 근본 원칙(common underlying principles)을 인식하게 한다 [28,29]. 이러한 다양한 상황의 제공은 또한 교육자가 피드백과 안내를 제공할 수 있는 기회를 늘려주며, 이를 통해 학습자는 자신의 정신적 모델과 개념 적용을 더욱 정교화(refine)할 수 있다.


메타인지를 향상시키기 위한 추가 전략으로는 다음이 있다:

  • 메타인지 사용을 유도하는 프롬프트(prompts)
  • 학습자의 메타인지 과정 사용에 대한 피드백(feedback)
  • 대조 학습(contrast learning)

프롬프트 (Prompts)

프롬프트(prompt, 유도 질문)를 제시하는 것은 학습자가 다양한 상황 간의 유사점이나 차이점을 인식하도록 돕는다. 이 전략은 학습자의 핵심 메타인지 과정인 과제 분석(task analysis)맥락에 적합한 전략 선택(choice of appropriate context-specific strategies) 능력을 향상시킨다. 스캐폴딩(scaffolding)은 이와 밀접하게 연관된 교수 기법으로, 프롬프트와 교사의 안내(guidance), 전략 및 도구를 활용하여 학습자가 스스로는 도달하기 어려운 이해 수준을 달성하도록 지원한다. 이후 점차 지원을 줄여가며, 학습자가 독립적으로 과제를 수행할 수 있게 된다 [48].

프롬프트는 학습자의 정신적 모델(mental model)과 핵심 메타인지 기술을 개발하는 데 유용한 도구로 권장된다.

전이를 위한 실천적 프롬프트 예시

  • 이 지식과 기술을 앞으로 어떻게 사용할 수 있을까?
  • 이걸 전에 본 적이 있니? 무엇을 떠올리게 하니?
  • 이것은 무엇과 유사해 보이니?
  • 이 주제에 대해 이미 알고 있는 것이 있니?

핵심 메타인지 과정에 대한 피드백(Feedback on key metacognitive processes)

모든 피드백은 먼저 개별 학습자의 행동에 대한 평가(assessment)를 필요로 하며, 이를 위해 마이크로분석(microanalysis)이라는 정형화된 분석 방법(structured method)이 활용될 수 있다. 이 기법은 학습자가 핵심 메타인지 과정을 실제로 어떻게 활용하고 있는지를 식별하는 데 효과적이다 [49–51]. 학습자가 전이를 수행하기 직전이나 직후, 해당 메타인지 과정에 초점을 맞춘 구체적인 질문을 제시할 수 있다 [52]. 각 질문에 대한 학습자의 반응은 교육자에게 학습자가 해당 메타인지 과정을 실제로 얼마나 능동적으로 활용하고 있는지에 대한 유용한 정보를 제공하며, 전이에 대한 학습을 개선하는 효과적인 피드백을 제공할 수 있게 해준다.

메타인지 과정을 식별하기 위한 마이크로분석 질문 예시

  • 전이 직전의 계획 수립(planning before transfer)
    → “학습을 성공적으로 전이하기 위해 무엇을 해야 할까?”
  • 전이 이후의 성찰(reflection after transfer)
    → “이번에 학습 내용을 얼마나 잘 전이했다고 생각하니?”
    → “전이를 하면서 어떤 점을 바꾸고 싶었니?”
    → “앞으로 학습 내용을 전이할 때는 어떤 방식으로 접근할 거니?”

학습자의 메타인지 과정 활용에 대한 피드백은, 성장 마인드셋(growth mindset)을 통해 학습 동기(motivation)를 높이는 데에도 효과적이다. 학습자는 자신의 전이 시도—성공이든 실패든—를 노력이나 전략처럼 발전 가능한 요소로 귀인하게 되며, 이는 추가 학습과 연습을 통해 개선 가능하다는 신념을 강화시킨다. 더불어, 핵심 메타인지 과정에 대한 피드백은 실제 임상 과제(clinical task)의 수행 능력(performance)과 메타인지 기술 모두를 향상시키는 것으로 입증되었다 [53].


대조 학습 (Contrast learning)

두 개의 유사한 상황에서 정보를 대조(contrast)함으로써, 학습자는 다음과 같은 차이를 인식할 수 있다: 기존 상황에 기반한 자신의 원래 정신적 모델(original mental model)과, 새로운 상황에서 적용을 시도하며 형성되고 있는 현재의 정신적 모델(developing mental model) 간의 차이점이다. 중요한 점은, 이러한 변화나 차이(variations or contrasts)를 강조하는 것 자체가 해당 상황을 어떻게 관리할 수 있는지에 대한 핵심 개념(key concepts)을 이해하는 데 도움을 준다는 것이다 [28].

 

프롬프트(prompts), 서면 디브리핑 활동(writing debriefing sessions), 그리고 “만약 ~라면?”(what-if?) 시나리오
다양한 상황을 비교·대조하여 contrast learning을 효과적으로 구현할 수 있는 전략이다. 프롬프트와 달리, 대조 학습은 두 유사한 상황 간의 차이를 실제로 드러내는 시연(demonstration)을 필요로 한다. 대조 학습은 학습자의 정신적 모델을 발달시키는 데 권장되는 접근법이다. 그 이유는 이 방식이 더 깊은 이해(deeper understanding)를 유도하고, 정신적 모델을 다양한 상황에 적절하게 적용하는 능력을 향상시키기 때문이다.

대조 학습 촉진을 위한 실천적 프롬프트 예시

  • X는 Y와 어떻게 약간 또는 많이 비슷한가요?
  • X는 Y와 어떻게 약간 또는 많이 다른가요?

학습 전이를 위한 교수의 실제 사례
(Practical example of teaching for transfer of learning)

우리는 여기에서 기초 의과학 지식과 임상 실습 상황을 결합한 실제적인 교수 사례를 통해 학습 전이(teaching for transfer of learning)를 설명하고자 한다. 이 예시는 다양한 교수 전략들이 정신적 모델에 대한 학습자의 이해를 증진시키고, 이를 실제 임상 상황(real-world medical scenarios)에 능동적으로 적용하도록 유도하는 방식을 보여준다. 예를 들어, 고급 심폐소생술(Advanced Life Support, ALS)은 기초 의학 지식(basic science knowledge)과 여러 절차적 기술(procedural skills)의 통합을 요구한다. 심정지 상황(cardiac arrest scenario)을 적절히 다룰 수 있는 역량을 갖추기 위해 학습자는 다음의 요소들을 필요로 한다:

  • (a) 기초 의과학 지식: 심혈관 해부학과 생리학, 사용 약물의 작용 기전 등
  • (b) 임상적 의사결정 능력의 개발: 가능한 병인, 가장 가능성 높은 진단, 감별 진단, 최적 치료 선택
  • (c) 임상 술기 능력의 개발: 흉부 압박, 인공호흡 같은 기술적 기술(technical skills)뿐 아니라, 의사소통, 리더십 등의 비기술적 기술(non-technical skills)

기초 의과학 지식은 학습자가 임상 실습으로 나아가기 전에 갖추어야 할 정신적 모델의 기반을 제공한다. 해부학, 생리학, 생화학, 미생물학, 병리학, 약리학 등은 건강과 질병 상태에서 인체에 대한 통합적 이해를 구성한다. 하지만 교육자들은 종종 학습자가 임상 현장에서 이러한 정신적 모델을 충분히 갖추지 못했다고 언급한다. 학습자에게는 선언적 지식과 절차적 지식을 통합하는 것뿐 아니라, 이를 새로운 상황에 적용하는 능력이 도전 과제가 된다. 예를 들어, 학습자가 다양한 심전도 패턴을 식별할 수 있다고 해도, ALS 상황에서는 이를 즉각적으로 인식하지 못할 수 있다. 따라서, 학습자는 먼저 기본적인 정신적 모델을 충분히 습득해야 한다. ALS처럼 복잡한 기술을 포함하는 경우라면, 예컨대 심전도에 대한 기초적인 정신적 모델을 먼저 갖춘 후, 이를 실제로 적용하고 발전시킬 수 있는 다양한 연습 기회가 반드시 제공되어야 한다. 임상 증례(clinical cases)를 포함시키는 것은 학습자가 심전도, 이학적 검사 등 여러 선언적 지식을 통합하여 정신적 모델을 형성하는 데 도움이 된다. 교육자는 학습자에게 이전 증례들과의 유사점과 차이점을 프롬프트(prompt)할 수 있으며, 이를 통해 학습자가 자신의 정신적 모델을 다양한 상황에 어떻게 적용할 수 있는지를 더 잘 이해할 수 있도록 도울 수 있다. 또한, 서로 다른 임상 증례 간의 정보를 대조(contrast)함으로써 학습자는 상황 간의 차이를 인식하고, 이후 새로운 상황에서도 더 잘 전이하고 적용할 수 있는 가능성이 높아진다.

 

그러나 이러한 모든 전략을 사용하더라도, 학습자가 향후 실제 임상 실습에 자신의 정신적 모델을 완전히 성공적으로 전이하기까지는 여전히 어려움이 따를 수 있다. 이는 더 많고 다양한 반복적 적용 기회(repeated opportunities for application)를 요구하기 때문이다. 시뮬레이션(simulation)은 전이를 향상시키는 잠재력을 가진다. 시뮬레이션은 학습자에게 다양한 수준의 복잡도로 설계된 다양한 상황 속에서 훈련할 수 있는 안전한 환경(safe environment)을 제공하며, 비시뮬레이션 상황(no-simulation)보다 전이 가능성이 높다는 연구 결과도 있다 [54,55].

 

다양한 시뮬레이션 시나리오를 제공함으로써, 학습자는 선언적 지식과 절차적 지식을 통합하고, 이를 실제와 유사한 복잡한 상황에서 적용해보는 기회를 가질 수 있다. 전이를 증진시키기 위해 활용할 수 있는 다양한 전략들이 존재하며, 이에 대해서는 Table 1에 정리되어 있다. 또한, 시뮬레이션 시나리오 자체가 현실 세계의 복잡성을 반영할 때, 전이 가능성은 더욱 높아진다.

 

 

학습 전이를 위한 교육과정 구현
(Implementing a curriculum for teaching for transfer of learning)

이상적으로는, 모든 수준에서의 교수 활동은 통합적으로 설계되어야 하며, 학습자들이 임상 환경에서 성공적으로 전이(transfer)를 실현할 가능성을 최적화할 수 있도록 다양한 활동에 참여할 수 있어야 한다. 이는 교육과정 전반에 걸쳐 선언적 지식(declarative knowledge)과 절차적 지식(procedural knowledge)의 개발을 모두 고려해야 한다는 것을 의미한다 [28]. 전이를 촉진하는 교육 활동을 교육과정 수준(curricular level)에서 체계적으로 조직하는 일은 매우 도전적인 과제이며, 이에 대한 과정은 문헌에서도 충분히 기술되지 않았다.

 

사실 대부분의 교육기관에서의 교수는 전통적으로 강의 중심(lecture-focused)이며 교수자 중심(educator-centred)으로 이루어져 왔다. 그 결과, 전이를 위한 교수는 파편적(fragmented)이고 학문 중심(discipline-centred)으로 설계되어 있는 경우가 많다. 학습자가 성공적으로 전이를 수행하려면, 교육과정은 그들이 전이를 이루어낼 수 있는 활동에 적극적으로 참여하도록 돕는 방향으로 설계되어야 한다. 개별 수업이나 시뮬레이션 활동에서는 이러한 전이 중심 교육이 다소 문서화되어 있긴 하지만, 어떠한 주요 교육 개혁도 효과적으로 구현되기 위해서는 제도적 지원(institutional support)이 필수적이다. 또한, 교수법은 최근 수십 년간 개별 교수자의 책임에서 교육기관 전체의 책무로 전환되는 변화를 겪어왔지만, 교수의 질을 지속적으로 향상시키기 위한 체계적인 메커니즘(quality enhancement of teaching)은 아직 충분히 정착되지 못했다 [56].

 

교수개발(Faculty development)은 학습 전이를 중심에 둔 보건의료 교육과정 설계에서 매우 중요한 역할을 한다. 교수개발은 단순히 단발성 워크숍이나 강좌를 제공하는 수준을 넘어서, 교수자의 지속적인 성장과 전문성 향상을 지원하는 프로그램 중심의 실천(programmatic practice)으로 정의 범위를 확장해 왔다 [57]. 이러한 범위 확장의 일환으로, 교육자들에게 다음과 같은 기회와 지원이 포함된다:

  • 임상 실습 상황(clinical practice situations)에 대비할 수 있는 고품질의 준비(training and preparation) 제공
  • 새로운 교수 전략을 연습하고 적용할 수 있는 기회 제공 (예: 학문 강의실이나 시뮬레이션 환경에서)

최근 직장 내 교수개발 연구에 따르면, 현장 기반 교수개발(faculty development in the workplace)은 그 현장에서 실제로 일하는 임상의(clinicians)와의 협력(collaboration)을 바탕으로, 해당 조직문화에 대한 상황적 지식(situated knowledge of the culture) 위에 기반해야 한다는 점이 강조되었다 [58].

 

또한 다음과 같은 요소들이 필수적이다:

  • 교수자들이 새로운 활동을 시도할 때 정서적 지원(emotional support) 제공
  • 첫 시도에서 기대한 결과를 얻지 못했더라도 그 시도 자체를 수용할 수 있는 분위기(tolerability) 조성

그리고 무엇보다 중요한 것은, 학습자로부터 정기적으로 피드백을 받고(follow-up and regular feedback), 그들이 다양한 상황에서 임상 실무를 수행할 준비가 얼마나 되어 있는지를 평가하는 과정을 교육 시스템에 내재화하는 것이다.


학습 전이를 위한 교수의 미래 방향
(Future directions for teaching for transfer of learning)

인공지능(Artificial Intelligence, AI)은 개별화된 지원(personalized support)을 제공함으로써 학습 전이(transfer of learning)를 향상시킬 상당한 가능성(significant potential)을 지니고 있다. AI는 학습자의 정신적 모델(mental model)을 실제 임상 환경에 가까운 맥락에서 연습하고 적용할 수 있도록, 현실 임상 시나리오(real-life clinical scenarios)를 점진적으로 복잡하게(adaptively complex) 설계한 적응형 시뮬레이션(adaptive simulations)을 생성할 수 있다 [59].

 

또한, AI 시스템은 실시간(real-time)으로 개별화된 피드백(personalized feedback)을 제공할 수 있으며, 이는 정신적 모델을 개발하는 데 있어 매우 중요하다. 이러한 기능 외에도, 자연어 처리(natural language processing) 기술을 활용한 AI 기반 튜터링 프로그램(AI-powered tutoring programs)은 학습자의 답변을 이해하고, 심화된 분석을 유도하며 서로 다른 정보 조각들 간의 연결(connection)을 도출하는 데 도움이 되는 프롬프트(prompts)를 제공한다. 이러한 적응형 기능(adaptive capability)을 통해 AI는 학습자의 수행 데이터를 분석하고, 도전(challenge)과 지원(support)을 지속적으로 제공할 수 있도록 교육 콘텐츠를 조정(adjust instructional content)할 수 있다.


적응형 교수 시스템(Adaptive Instructional Systems), 예를 들어 가상 환자(virtual patients) 시스템은 AI의 교육적 가능성을 더욱 잘 보여준다. 이러한 시스템은 핵심 메타인지 프롬프트(key metacognitive prompts)를 활용하여, 사용자의 임상적 의사결정(clinical decision-making)을 돕고, 진행 상황(user progress)에 따라 난이도를 조정하거나 제안을 제공한다. 이와 유사하게, 가상현실 시뮬레이션(virtual reality simulations)은 학습자가 복잡한 술기(complex procedures)를 안전하게 연습할 수 있는 몰입형 환경(immersive environments)을 제공하며, 다양한 임상 시나리오를 모사함으로써 실제 환경으로의 전이(transfer of skills to real-world settings)를 촉진한다 [60,61]. 이러한 시스템에 핵심 메타인지 학습 프롬프트를 통합하는 방식에는 다음이 포함된다:

  • 목표 설정(goal-setting)
  • 전략적 계획(strategic planning)
  • 수행 성찰(performance reflection)

이는 효과적인 전이를 위해 필수적인 핵심 메타인지 과정(key metacognitive processes)을 강화한다 [39]. 이러한 접근은 학습자에게 자신의 이해도를 평가(self-evaluation)하고, 개선이 필요한 영역을 식별하며, 보다 정확한 정신적 모델을 형성하도록 돕는다 [38].


이러한 기술을 기반으로 최근에는 메타인지 프롬프트를 지원하는 적응형 로봇 튜터(adaptive robotic tutors)가 교육 기술 분야에서 유망한 도구(promising tool)로 떠오르고 있다 [62]. 이러한 로봇 튜터(robotic tutors)는 학습자와의 상호작용 대화(interactive conversations)를 통해 비판적 사고(critical thinking)와 과정 성찰(process reflection)을 촉진하고, 학습자의 필요에 맞춘 실시간 적응형 스캐폴딩(real-time adaptive scaffolding)을 제공한다. 또한, 로봇 튜터는 다음을 통해 학습자의 동기를 강화할 수 있다:

  • 격려(encouragement)
  • 달성 가능한 도전 과제 제시(setting achievable challenges)
  • 진전 상황 인식(recognizing progress)

이러한 요소들은 학습자의 자신감(confidence)과 지속성(persistence)을 높이며, 이는 성공적인 전이(successful transfer)에 있어 결정적인 요소이다.


전이를 위한 AI 활용의 과제와 향후 방향

AI의 도입은 전이 중심 교육(teaching for transfer)을 위한 흥미로운 가능성(exciting potential)을 제시하지만, 이를 현장에 적용하기 위해 해결해야 할 몇 가지 주요 과제(major challenges)가 존재한다 [63]. 

  • 우선 개인정보 보호(privacy)가 핵심적인 우려 사항이다. AI 시스템은 일반적으로 사용 학습자 각각에 대한 개인적이고 민감한 정보(sensitive information)를 포함한 대량의 데이터를 요구하기 때문이다. 이러한 데이터가 어떻게 수집되고, 저장되며, 활용되는지, 그리고 이 모든 과정이 적절한 동의(consent)와 보안 조치(security measures) 하에서 이루어지는지에 대해 의문이 제기된다. 대다수의 AI 시스템은 외부 클라우드 컴퓨팅 서비스 제공자(cloud computing provider)를 통해 데이터 처리를 수행하며, 이 과정에서 데이터 소유권(data ownership)과 보안(security)에 대한 이슈가 함께 대두된다. 
  • 또한, 공정성(fairness) 문제도 매우 중요하다. AI 모델은 학습에 사용된 훈련 데이터(training data)에 내재된 편향(biases)을 무의식적으로 학습하고 재생산할 수 있으며, 이로 인해 특정 집단의 학습자에 대한 불공정한 대우기존 교육 불평등의 강화로 이어질 수 있다. 이러한 문제는 특히 딥러닝(deep learning) 기반 시스템의 불투명성(lack of transparency)으로 인해 더욱 복잡해진다. 딥러닝 시스템은 흔히 ‘블랙박스(black box)’처럼 작동하며, 그 결정 과정(decision-making process)을 이해하거나 신뢰하기 어려운 경우가 많다. 
  • 책임성(accountability)도 복잡한 문제다. AI 시스템이 오류를 일으키거나 피해를 유발했을 때, 책임이 누구에게 있는가를 명확히 하기 어렵고, 이에 따라 법적 책임(liability)과 윤리적 책임(ethical responsibility)에 대한 논의가 필요해진다. 
  • 데이터 소유권(data ownership)도 여전히 활발한 논쟁의 주제다. 즉, AI 모델을 학습시키는 데 사용된 데이터의 소유권은 누구에게 있으며, AI로부터 파생되는 이익은 어떻게 분배되어야 하는가에 대한 질문이 이어진다. 이러한 문제들은 다음과 같은 필요성을 강조한다:
  • 강력한 규제 체계(robust regulations)
  • 윤리 지침(ethical guidelines)
  • 기술적 해결책(technical solutions)

일부 교육기관은 AI 사용에 대해 매우 제한적인 지침(highly restrictive guidelines)을 마련하고 대응하고 있지만, AI는 매우 빠르게 진화하는 분야(rapidly evolving topic)이기 때문에 지속적인 논의가 필요하다.


데이터 프라이버시(data privacy), 접근성(accessibility), 교육자의 역할(role of educators) 등과 같은 우려를 해결하기 위해,
향후 정책 개발(policy development)은 다음과 같은 방향에 집중해야 한다:

  • AI, 증강현실(augmented reality), 가상현실(virtual reality) 기술을 보건의료 전문직 교육(HPE)에 통합하기 위한 표준과 권고사항(standards and recommendations) 마련
  • 이러한 기술을 사용할 수 있도록 교육자를 준비시키기 위한 교수개발 프로그램(faculty development programs)에 투자
    → 특히 효과적인 학습 활동, 피드백, 학습자 중심 환경 조성에 중점을 두어야 한다.

향후 AI 시스템 개발(특히 프롬프트 기반 시스템(prompt-based systems))은 의료 전문가, HPE 교육자, 교육 설계자, 프롬프트 엔지니어 등 다양한 분야의 전문가 간의 긴밀한 협력을 필요로 할 것이다.

 

마지막으로, 보건의료 전문직 교육(HPE)에 AI를 널리 도입하는 데 있어 가장 큰 장애물 중 하나는 현재 AI 시스템의 비용(cost)이다. 하지만 이 비용은 향후 크게 감소할 가능성이 있다. 향후 연구는 다음과 같은 비교 평가에 초점을 맞춰야 한다:

  • AI 기반 스캐폴딩 기법(AI-powered scaffolding techniques)
  • 가상 시뮬레이션(virtual simulations)
  • 로봇 튜터(robotic tutors)
    → 이들이 학습 전이를 촉진하는 데 얼마나 효과적인지

이러한 연구는 학습자의 수행(performance)에 미치는 영향을 시뮬레이션 상황(simulated settings)과 실제 임상 환경(real-world clinical settings) 모두에서 평가해야 한다 [64].

결론 (Conclusion)

학습 전이(transfer of learning)는 과거에 학습한 내용을, 유사하거나 다른 새로운 상황(new situations)에, 그리고 학습이 이루어진 시점과는 다른 시점(varying time)에 적용할 수 있을 때 발생한다. 그러나 이러한 핵심적인 교육 개념(key educational concept)은 아직까지도 교육 설계(educational design)에 충분히 통합되어 있지 않다. 이 AMEE 가이드에서는, 학습자의 동기(motivation), 정신적 모델(mental model)의 개발과 적용, 그리고 과제와 관련된 핵심 메타인지 과정(key metacognitive processes)의 활용을 향상시킬 수 있는 근거 기반 교육 활동(evidence-based educational activities)을 제시하였다.

 

전이를 위한 교육(teaching for transfer)의 핵심 요소는, 학습자가 자신이 구축한 정신적 모델을 다양한 상황에 반복적으로 적용해볼 수 있는 기회(repeated opportunity)를 갖는 것이다. 이러한 상황은 실제 임상 현장(real-life clinical workplaces)일 수도 있고, 시뮬레이션 환경(simulated environments)일 수도 있다. 앞으로의 연구는 다음과 같은 주제에 초점을 맞춰야 한다:

  • 다양한 학습 전략과 교육 활동 간의 상호작용(interplay)
  • 이들이 실제 임상 환경에서의 업무 학습(workplace learning)과 수행(performance),
  • 그리고 의료 서비스의 질 향상(improved quality of care)에 미치는 영향

이러한 연구는 전이 개념의 체계적 적용을 통해 보건의료 전문직 교육의 질을 높이는 데 기여할 수 있을 것이다.

 

 

 

 

 

 

🔑 학습 전이를 촉진하는 교수 전략 및 교육 활동 요약

1. 🫂 허깅 (Hugging)

  • 무엇을 할까?
    학습 상황과 앞으로 마주하게 될 상황 사이의 유사성을 통합하기
  • 왜 중요할까?
    학습자가 향후 수행에 중요한 특징을 인식하도록 도와 정신적 모델(mental model) 형성에 기여
  • 어떻게 할까?
    다음 수업과 유사한 점들을 현재 수업에서 강조하여 미리 연결 고리를 만들어줌

2. 🌉 브리징 (Bridging)

  • 무엇을 할까?
    학습자가 기존 학습 내용과 새로운 상황 간의 연결고리를 찾을 수 있도록 지원하기
  • 왜 중요할까?
    학습자가 성과에 중요한 특징을 인식하고 정신적 모델을 형성하는 데 도움이 됨
  • 어떻게 할까?
    개념도(concept map) 같은 과제를 통해 이전 지식과 새로운 상황 간의 연결을 명시적으로 도출

3. 👀 대리 학습 (Vicarious Learning)

  • 무엇을 할까?
    학습자가 다양한 상황을 관찰할 수 있는 기회를 제공하기
  • 왜 중요할까?
    정신적 모델과 동기를 함께 개발하는 데 기여
  • 어떻게 할까?
    학습자가 단순히 관찰만 하도록 설계된 학습 기회를 마련

4. 🔁 다양한 연습 (Variety of Practice)

  • 무엇을 할까?
    학습자가 다양한 상황에서 연습할 수 있는 기회를 늘리기
  • 왜 중요할까?
    학습자가 정신적 모델을 실제 다양한 상황에 적용해보도록 돕기 때문
  • 어떻게 할까?
    피상적인 변화만 있는 여러 과제를 제공해 반복 연습 유도

5. ❓ 프롬프트 (Prompt)

  • 무엇을 할까?
    유사점과 차이점을 찾을 수 있도록 도와주는 질문을 제시하기
  • 왜 중요할까?
    학습자의 정신적 모델과 메타인지(metacognition)를 동시에 구축하는 데 도움
  • 어떻게 할까?
    유사점과 차이점에 초점을 맞춘 목표 질문을 설계하여 제시

6. 🧠 메타인지 과정에 대한 피드백 (Feedback on Metacognitive Processes)

  • 무엇을 할까?
    핵심 메타인지 과정에 대한 질문을 통해 피드백 제공
  • 왜 중요할까?
    메타인지와 동기를 동시에 향상시킬 수 있음
  • 어떻게 할까?
    학습자가 메타인지 전략을 어떻게 활용했는지에 대한 피드백을 제공

7. 🔍 대조 학습 (Contrast Learning)

  • 무엇을 할까?
    유사한 사례들 간의 차이를 인식하도록 돕는 정보 제공
  • 왜 중요할까?
    중요한 정보를 인식하도록 돕고, 특히 유사한 사례들 사이의 결정적 차이점을 파악하는 데 유익함
  • 어떻게 할까?
    유사한 사례 간의 차이를 식별하는 과제나 활동을 설계

 

Abductive Coding: Theory Building and Qualitative (Re)Analysis

 

 

 

 

🔍 가추적 분석(abductive analysis)과 코드 방정식(code equation): 2차 질적 자료를 이론으로 연결하기

최근 들어 ‘2차 질적 분석(secondary qualitative analysis)’에 대한 관심이 점점 높아지고 있습니다. 코로나19 이후로 직접 인터뷰나 현장 조사가 어려워진 현실에서, 이미 수집된 질적 데이터를 새롭게 해석하고 이론적으로 확장하려는 시도가 활발해졌기 때문이죠.

이번 포스팅에서는 이런 변화 속에서 "가추적 분석(abductive analysis)"과 "코드 방정식(code equation)"이 어떻게 질적 연구를 보다 체계적이고 창의적으로 만들어주는지, 한 논문을 통해 소개해드리려 합니다.


🧠 가추(abduction)란 뭘까?

단순히 데이터를 관찰해서 일반화를 도출하는 귀납(induction)이나, 기존 이론을 기반으로 자료를 검증하는 연역(deduction)과 달리, 가추(abduction)은 예외적인 사례(anomalous case)나 놀라운 발견(surprising finding)을 통해 새로운 이론적 통찰(theoretical insight)을 도출하는 접근이에요.

 

연구진은 이렇게 말합니다:

A key part of qualitative abduction is that there is a dialogue between each step of the process that serves to develop, extend, and refine theory.
이 말은 즉, 가추는 데이터 분석 과정의 각 단계를 통해 이론을 개발하고 확장하고 다듬는 대화의 과정이라는 뜻입니다.


🔧 코드 방정식(code equation), 그게 뭐길래?

질적 분석을 해보신 분들은 아시겠지만, 코드북을 구성해서 텍스트에 의미 있는 ‘코드’를 붙이다 보면, 그 수가 수백, 수천 개로 늘어나요. 그중 정말 ‘이론적으로 중요한 현상’을 어떻게 걸러낼 수 있을까요?

여기서 등장하는 게 바로 코드 방정식(code equation)입니다. 이건 말 그대로 여러 개의 코드들을 조합해서(combine) 어떤 복잡한 현상을 조작화(operationalize)하려는 도구예요.

 

연구진은 이렇게 정의하고 있어요:

We define ‘code equations’ as the combination of codes to operationalize phenomena that span individual codes.

 

즉, 코드 방정식은 텍스트의 복잡한 맥락을 단순히 키워드로 줄이는 게 아니라,
이론적 관점에서 의미 있는 코드들의 결합을 통해 현상을 축소하고 해석하는 방식입니다.


🔁 가추의 3단계 분석 전략

이 논문에서는 3단계 가추적 분석 전략을 제시하고 있어요:

1️⃣ 가추적 코드북 생성

  • 기존 이론을 반영한 연역적 코드(deductive codes)로 시작
  • 이후 데이터를 코딩하면서 귀납적 코드(inductive codes)를 추가
  • 이를 통해 초기 가추적 코드북(abductive codebook) 완성!

2️⃣ 코드 방정식을 통한 자료 축소

  • “코드 방정식”을 사용해, 복합적 개념이 실제 데이터에서 어떻게 나타나는지 탐색
  • 예를 들어, “신자유주의(neoliberalism)”와 “민족주의(nationalism)”라는 코드의 결합을 통해
    브렉시트 이전부터 존재했던 영국 시민들의 유럽회의주의(Euroscepticism)를 분석함

We found that the intersection of nationalism and neoliberalism in citizens’ beliefs allowed for the emergence of a specific form of Euroscepticism in the UK.

3️⃣ 심층 수작업 정성 분석

  • 축소된 사례를 중심으로 정성적으로 깊이 있게 분석
  • 이 과정을 통해 기존 코드북의 불완전함을 발견하거나, 이론을 더욱 섬세하게 정제(refine)하게 됨

💡 이 방법이 왜 중요한가요?

이 연구는 다음과 같은 핵심 기여를 했다고 말합니다:

Our approach helps to facilitate qualitative theory building through teamwork and may assist in strategies for the division of labor between researchers.

 

✔️ 팀 기반 분석(teamwork)에 적합하고
✔️ 이론 생성(theory building)을 정교하게 지원하며
✔️ 2차 질적 자료의 가능성을 활짝 열어준다는 점이에요.

 

그리고 무엇보다 중요한 건 이 말이죠:

Secondary qualitative analysis should never be a replacement for primary qualitative analysis... Instead, it is a tool... to build theory and to respond empirically to scientific inquiry that is impossible to answer with primary qualitative research alone.

👉 즉, 2차 질적 분석은 1차 질적 분석의 대체물이 아니라, 서로를 보완할 수 있는 강력한 도구라는 겁니다.


📝 마무리하며

이 논문은 가추(abduction)와 코드 방정식(code equations)이라는 도구를 통해,
이론적 통찰을 이끌어내는 새로운 질적 분석 방법론을 제안하고 있어요.

✔️ 기존 데이터를 새롭게 바라보고 싶은 분들
✔️ 질적 연구에서 이론을 만들고자 하는 분들
✔️ 특히 대규모 인터뷰나 2차 자료를 다루는 분들께 강력 추천합니다!

🧭 "현상을 보는 새로운 틀"이 필요할 때, 코드 방정식과 가추라는 도구를 기억해보세요.

 


서론 (Introduction)

질적 자료의 분석에서 많은 연구자들은 Glaser와 Strauss(1967)가 개발하고, 이후 Glaser(1992), Strauss(1987), Charmaz(2000)가 더욱 발전시킨 근거이론(grounded theory)에 자신들의 방법론적 접근을—명시적이든 암묵적이든—기초하고 있다. 근거이론은 질적 자료를 수행하고 분석하는 데 유용한 일련의 절차를 제공하며, 풍부하고 통찰력 있는 연구 성과들을 창출해왔다. 그러나 Deterding와 Waters(2018)는 근거이론의 “핵심적 규범—theoretical sampling toward saturation, strongly inductive analysis, and full immersion in the research field—는 실제 대규모 인터뷰 연구자들이 사용하는 방법과는 거의 유사성이 없다”고 주장한다¹.

 

이러한 관찰에서 출발하여, 연구자들의 실제 연구 관행이 근거이론의 핵심 규범과 일치하지 않을 때, 질적 자료를 분석하기 위해 어떤 경로를 선택할 것인가라는 문제가 제기된다. 본 논문에서는 이 지속적인 논의에 참여하며, 근거이론과 정렬되지 않는 여러 연구 관행 중 하나인 여러 데이터셋의 질적 2차 분석(qualitative secondary analysis)에 초점을 맞춘다. 질적 2차 분석이란 이미 생산된 질적 자료—대면 또는 포커스 그룹 인터뷰, 현장노트 및 관찰노트 등—를 활용하여 새로운 사회과학적 또는 방법론적 통찰을 개발하는 것을 의미한다².

 

질적 2차 분석은 지난 20여 년 동안 새로운 방법론적 접근으로 개발되어 왔다(Bishop and Neale, 2011; Corti, 2006, 2012; Corti, Witzel and Bishop 2005; Fiedling, 2004; Beck 2018; Hughes and Tarrant 2020; Duchesne 2017). 그러나 이 접근은 질적 연구의 인식론(epistemology)과 관련하여 뜨거운 논쟁을 불러일으켰다(Hammersley, 1997, 2010; Mauthner et al. 1998; Savage 2005; Duchesne 2017). 반대론자들은 질적 2차 분석이 귀납적 인식론(inductive epistemology)에 기반한 질적 연구의 규범과 모순된다는 점을 집중적으로 논의해 왔다.

 

본 논문에서는 질적 2차 분석을 포기하기보다는, Timmermans와 Tavory(2012), Tavory와 Timmermans(2014) 등이 제안한 “가추(abduction)” 접근법으로의 전환이 이론 구축을 지향하는 질적 2차 연구자들에게 유익한 길이 된다고 주장한다. 가추는 인식론적 틀일 뿐만 아니라, 현대 질적 연구자들의 실제 연구 관행에 부합하는 분석 방법을 함께 제공한다. 그러나 증가하고 있는 가추 관련 문헌들에서도, 가추적 추론의 구체적인 실행 방식, 특히 코딩(coding)과 관련된 논의는 아직 충분히 발전되어 있지 않다(가장 최근의 기여로는 Brandt and Timmermans 2021 참조).

 

이에 본 논문에서는 이러한 가추 문헌의 핵심적인 공백을 채우기 위해, 2차 자료뿐 아니라 1차 자료 분석에도 적용 가능한 가추적 분석(abductive analysis)을 위한 일련의 실용적 전략(tactics)을 제시하고자 한다.


¹ “central prescription—theoretical sampling toward saturation, strongly inductive analysis, and full immersion in the research field—bear little resemblance to the actual methods used by many large-scale interview researchers” (Deterding and Waters 2018, p. 2).
² Irwin (2013) 참조.


우리가 제안하는 접근은 Timmermans와 Tavory(2012; 2014)가 제시한 가추(abduction)의 세 단계현상 재고(Revisiting the Phenomenon), 낯설게 하기(Defamiliarization), 대안적 사례화(Alternative Casing)—를 다음의 질적 (2차) 분석의 세 단계에 적용한다:

  1. 가추적 코드북 생성(Generating an Abductive Codebook),
  2. 코드 방정식을 통한 가추적 자료 축소(Abductive Data Reduction through Code Equations),
  3. 심화 가추적 질적 분석(In-Depth Abductive Qualitative Analysis).

구체적으로,

  • 연구자는 연역적 코드북(deductive codebook)에서 출발하여 코딩 과정을 거치며 자료 기반의 귀납적 코드(inductive codes)를 개발함으로써 이론적으로 예외적인 사례(theoretically anomalous cases)를 문서화하고, 이를 통해 코드북—더 나아가 이론 그 자체—을 구성해 나간다(1단계).
  • 우리의 전략은 질적자료분석(QDA: Qualitative Data Analysis) 소프트웨어를 활용하여, 가추적 코드북에 있는 코드들을 결합하고, 복잡한 현상을 조작적으로 정의한다. 이 과정을 우리는 “코드 방정식(code equation)”이라 부른다(2단계).
  • 이 단계는 자료 축소(data reduction)에 핵심적이며, 마지막 질적 분석 단계를 가능하게 하는 귀납적 코딩으로 이어진다(3단계).

우리는 각 단계에서 일반적으로 적용 가능한 특징들과, 가추적 접근(abductive approach)의 전체적 관점에서 각 단계가 지니는 분석적 기여(payoff)를 논의한다. 본 접근은 명확히 이론 구축(theory-building)을 목표로 하기 때문에, 각 코딩 전략은 분석을 풍부하게 하고 창의적이고 새로운 이론적 통찰을 생성하는 조건을 조성한다고 주장한다. 이런 점에서, 우리의 목적은 이론 형성이라는 창의적 과정을 제약하려는 것이 아니라, 오히려 Timmermans와 Tavory(2012; 2014)가 제시한 핵심 원칙(principles)을 촉진하고 창의적 연구과정 자체를 지원하는 전략 세트를 제안하는 데 있다. 또한, 우리는 이론 구축을 위한 전략으로서 Peirce(1934)의 철학을 질적 분석에 적용한 Timmermans와 Tavory의 견해에 공감한다.

 

이와 관련하여, 본 논문의 핵심적인 기여는 바로 “코드 방정식(code equations)”이라는 개념의 발전이다. 우리는, 코드를 결합함으로써, 질적 연구자가 점점 더 복잡한 현상을 조작적으로 정의할 수 있고, 동시에 더 복잡한 연구 질문에 답할 수 있다고 주장한다. 따라서 코드 방정식은 가추적 접근뿐 아니라, 질적 자료를 활용하여 이론을 구축하는 다양한 질적 방법론에 있어 핵심 자원(key resource)이 된다.

 

우리는 본 논문에서 소개하는 가추적 분석의 세 단계를 ATLAS.ti에서의 경험을 기반으로 설명하고 있지만, 이 전략들은 모든 QDA 소프트웨어에서, 1차 자료든 2차 자료든 관계없이 적용 가능하다. 우리는 구체적인 사례로, 영국에서 1990년대 중반부터 2017년까지 서로 다른 연구자들이 수집한 인터뷰 및 포커스 그룹 자료로 구성된 시민의 민주주의 인식에 관한 질적 데이터셋 세 개를 사용한다¹.

 

논문의 전개는 다음과 같다. 먼저, 질적 2차 분석을 둘러싼 방법론적 논쟁의 맥락을 설정하고, 이러한 문제에 대응하기 위한 전략으로서 가추 문헌(abduction literature)을 제시하며, 코딩 전략에 대한 기존 문헌의 공백에 우리 접근이 어떻게 응답하는지 강조한다. 이어서, 우리가 제안하는 코딩 프레임워크와 각 단계별 전략(tactics)을 설명하고, 우리 연구에서 얻은 구체적 사례를 제시한다. 마지막으로, 이 방법의 함의(implications)와 본 논문에서 다룬 2차 분석 사례를 넘어서는 한계점에 대해 논의하며 글을 맺는다.


¹ 영국 시민의 민주주의 인식에 대한 질적 자료는, 1990년대 중반부터 2017년까지 여러 연구자들에 의해 수집된 인터뷰 및 포커스 그룹 데이터를 기반으로 한다.

 


질적 2차 분석: 귀납(induction)에서 가추(abduction)로

이 절에서는, 가추적 접근(abductive approach)에 기반할 때 질적 2차 분석(secondary qualitative analysis)의 핵심 특성들이 이론 구축을 위한 가추적 코딩(abductive coding)을 촉진하는 데 어떻게 활용될 수 있는지를 보여준다. 이러한 관점에서 볼 때, 우리가 논의의 출발점으로 삼는 질적 2차 분석의 한계들에 대한 기존의 인식—혹은 근거이론(grounded theory)과 귀납적 접근(induction)의 전제조건들과 충돌하는 질적 1차 분석(primary qualitative analysis)—은 오히려 이론 구축(theory construction)과 가추적 분석(abductive analysis)을 위한 기회(opportunity)로 전환될 수 있다.

 

이에 우리는 Timmermans와 Tavory가 제시한 가추적 접근의 세 단계(three steps of an abductive approach)를 바탕으로, 이를 질적 2차 자료에 대한 가추적 코딩을 구축하는 데 어떻게 적용할 수 있는지를 논의하며, 기존 가추 문헌에서 이 부분이 비어 있던 학술적 공백(gap)을 메우고자 한다.


귀납적 인식론 관점에서 본 질적 2차 분석에 대한 저항

지난 수십 년 동안, Henry A. Murray Research Centre (하버드), Qualitative Data Repository (시러큐스), Australian Data Archive, UK Data Archive, BeQuali (Sciences Po 파리) 등과 같은 질적 자료 저장소(qualitative repositories)가 활발히 구축되어 왔다². 이러한 저장소들은 연구자들에게 기존 질적 데이터셋을 재분석(reanalyze)할 수 있는 새로운 기회를 제공하며, 이에 따라 질적 2차 분석(qualitative secondary analysis)이 가능해졌다(Duchesne 2017; Hughes and Tarrant 2020).

 

질적 2차 분석은 “기존의 정량적 또는 질적 연구 데이터를 활용하여 새로운 질문을 탐구하거나 기존 연구를 검증하는 연구 전략”으로 정의된다 (Heaton 2004, p.16). 요컨대, 질적 2차 분석은 Salganik(2018)이 사회과학에서의 빅데이터(big data) 논의에서 Marcel Duchamp의 예술에 빗대어 언급한 “기성 데이터(ready-made data)”를 활용하는 방식이라 할 수 있다.

 

질적 2차 분석의 발전은 이 방식이 제공할 수 있는 새로운 연구 가능성에 대해 광범위한 논의를 불러일으켰다(Hughes and Tarrant 2020). 그러나 동시에, 이를 반대하는 주된 세 가지 논거도 제기되었다.

  1. 첫 번째 논거는, 질적 데이터의 유효한 분석은 분석가가 직접 데이터 수집에 참여했을 때에만 가능하다는 주장이다(Mauthner et al. 1998; Mauthner and Parry 2009, 2013; Parry and Mauthner 2005).
    1. 이 논의의 대표적인 글에서 Mauthner et al.(1998)은 “연구자가 데이터를 해석하고 이론화하는 역할만큼이나, 데이터를 구성하는 과정 자체에 참여하는 역할도 중요하다”고 강조한다 (ibid 1998: 733). 그들은 질적 2차 분석은 질적 연구가 기반하는 패러다임—즉 자기성찰적(reflexive)이고 해석적인 성격—과 본질적으로 충돌하는 인식론적 문제(epistemological issue)를 가지고 있다고 주장한다(ibid 1998). 이러한 인식론적 문제를 간과하면, 연구자는 자기도 모르게 “순진한 실재론적 입장(naively realist position)”을 취하게 된다고 경고한다.
  2. 두 번째 쟁점은, 수집된 원래의 맥락(original context)을 벗어난 상태에서 데이터를 분석하는 것이 과연 가능한가에 관한 것이다(Moore 2007; Heaton 2004).
    1. Parry와 Mauthner(2005)는, 질적 분석이 정량적 분석과 구별되는 핵심적 특성 중 하나는 '자료 생산의 맥락(context of production)'이 결정적으로 중요하다는 점이라고 본다. 2차 분석가는 1차 자료 수집 과정에 참여하지 않았기 때문에, 원래 연구자의 경험(experience)에 접근할 수 없으며, 따라서 질적 자료는 정량적 자료처럼 동일한 방식으로 재사용되어 새로운 실질적 발견(substantive findings)이나 이론을 생성하기 어렵다고 본다(Beck 2018: 13 참조, Thorne 2013도 같은 입장).
  3. 세 번째 비판은, 질적 2차 분석은 기존의 질적 데이터셋들을 하나의 새로운 코퍼스로 재구성해야 하기 때문에, 이 과정이 1차 연구의 이론적 샘플링(theoretical sampling)을 약화시킨다는 점이다.
    1. 이로 인해, 질적 연구에서 반복적으로 제기되는 대표성(representativeness)과 일반화 가능성(generalizability)의 문제가 다시 등장하게 된다. 일부 학자들은 질적 2차 분석이 오히려 1차 연구의 대표성 문제를 더욱 악화시킬 수 있다고 경고한다(Beck 2018: 14).

 


이처럼 질적 2차 분석에 반대하는 주장들중요하고 타당한 우려를 제기하며, 2차 분석을 수행하는 연구자들은 이러한 문제를 충분한 자기성찰(reflexivity)을 가지고 고려해야 한다. 그러나 본 논문에서는 이 논점들을 직접적으로 논의할 지면이 부족하다. 대신, 우리는 이러한 주장들이 특정한 인식론적 관점(epistemological perspective)에 기반하고 있으며, 본질적으로 귀납적(inductive)이며 근거이론의 “핵심 규범(central prescriptions)”과 긴밀히 연결되어 있다는 점을 강조하고자 한다(참고: Deterding and Waters 2018, p. 2).

 

예컨대, 인터뷰 참여자와의 상호작용을 포함한 연구자의 경험의 우선성자료 생성 맥락에 대한 밀접한 이해의 중요성을 주장하는 논리는, 연구자가 현장에 깊이 몰입해야 하며(data immersion), 분석은 “강하게 귀납적(strongly inductive)”이어야 한다는 근거이론의 이상과 연결되어 있다(Deterding and Waters 2018, p. 2).

 

하지만 이러한 규범은 질적 2차 분석의 실제와는 충돌한다. 2차 분석에서는 일반적으로 자료의 양이 1차 연구보다 훨씬 많고, 하나의 표본(sample)을 넘는 질문들에 답하기 위해 다양한 자료 출처(multiple data sources)를 사용하는 것이 일반적이기 때문이다. 따라서 2차 분석의 핵심 쟁점은 연구 현장에의 몰입(immersion)이 아니라, 오히려 자료 축소(data reduction)라고 할 수 있다.

 

더욱 중요한 점은, 모든 2차 분석에서는 귀납(induction)이 실질적으로 성립하지 않는다는 점이다. 연구자는 자신이 재분석할 2차 자료에 익숙해지기 위해, 1차 연구자들이 설정했던 연구 질문, 이론, 개념들을 인지하고 이에 민감해질 필요가 있다. 다시 말해, 2차 분석은 이미 존재하는 이론적 틀과 해석 프레임에 어느 정도 의존할 수밖에 없다.

 

또한, 이론적 샘플링(theoretical sampling)에 대한 반론 역시 포화(saturation)를 주요 목표로 설정하는 개념적 전제에 기반한다. 그러나 질적 2차 분석에서는 이론적 샘플링이 사용되긴 하지만, 그 목적은 반드시 포화에 있는 것이 아니라, 오히려 비교(comparison)를 중시하며, 다양성의 원칙(principle of diversity)에 기반한다. 즉, 연구자의 질문에 따라 다양한 데이터셋을 선별하여 2차 자료 코퍼스를 구성함으로써, 비교 가능한 2차 연구(comparative secondary research)의 기회를 열게 된다(Halford and Savage 2017 참조). 이러한 방식에서의 샘플링은, 이론적 포착력을 높이기 위한 수단으로서의 다양성 확보를 목표로 한다.

 

요컨대, 질적 2차 분석이 불러일으킨 질적 연구 인식론에 대한 논쟁은 대부분 귀납적 인식론에 기반해 왔으며, 이로 인해 질적 2차 분석 방법론의 잠재력은 제대로 평가되지 못했다. 그러나 질적 2차 분석이 귀납적 분석 접근의 요건과 부합하지 않는다고 해서, 그것이 곧 이론 형성의 사각지대(dead-end)라는 의미는 아니다.

 

오히려 우리는, 가추적 접근(abductive approach)으로의 전환미래를 여는 하나의 경로라고 제안한다. 이러한 전환은 질적 2차 분석이 지닌 핵심적인 특성들을 적극적으로 활용하여 이론을 구축(build theory)할 수 있는 가능성을 제공하기 때문이다.


가추(Abduction): 나아갈 길로서의 가능성

이론 구축을 위한 기법으로서 질적 연구에 가추(abduction)를 적용하려는 시도는, 귀납(induction)과 연역(deduction)의 사용을 둘러싼 격렬한 논쟁의 맥락 속에서 등장하였다(Timmermans and Tavory 2012; Tavory and Timmermans 2014). Glaser와 Strauss(1967)는 귀납적 접근(inductive approaches)의 발전에 지대한 영향을 미쳤으며, Michael Burawoy(1998, 2009)는 확장 사례 방법(Extended Case Method)을 통해 질적 연구에서 연역적 분석(deductive analysis)에 대한 논의를 형성해왔다.

 

이러한 배경에서, Timmermans와 Tavory는 귀납과 연역이라는 이분법적 구도를 넘어서는 전략으로서 “가추(abduction)”를 제시하였다(Timmermans and Tavory 2012; Tavory and Timmermans 2014; Tavory 2016; Tavory and Timmermans 2019). 가추는 귀납과 연역 간의 이분법이 허구적인 것(false dichotomy)이라고 보는 흐름의 일부로, 이 흐름은 두 추론 방식 사이의 긴장을 극복하거나 창의적으로 통합하려는 시도를 반영한다(Goldberg 2015; Wagner-Pacifici, Mohr, and Breiger 2015)³.

 

가추적 자료 분석(abductive data analysis)이라는 방법은 Peirce(1934)에 의해 처음 이론화되었으며, 이론 구축을 지향하는 추론 방식으로서 개발되었다. 가추란, 이론적으로 놀라운 사례(theoretically surprising cases)와 잠정적 설명(tentative explanations) 간의 반복적 과정(iterative process)을 의미한다(Coffey and Atkinson 1996; Kelle 2007; Reichertz 2007; Strübing 2007; Timmermans and Tavory 2012; Tavory and Timmermans 2014). 따라서 가추는 귀납과 연역 어느 하나에도 완전히 속하지 않으며, 양자의 특징을 결합한 제3의 추론 방식이다.

 

가추가 전형적인 귀납적 추론과 구별되는 핵심적인 점은, 관찰된 현상이 그 자체로 설명을 내포하지 않으며(귀납과 구별됨), 동시에 이미 알려진 일반 법칙의 새로운 사례로 환원되지도 않는다는 점이다(연역과도 구별됨). 즉, 가추는 이론적 놀라움과 설명의 결합을 통해 새로운 설명을 형성하려는 시도다.

 

Peirce는 이렇게 설명한다:

가추는 설명적 가설(explanatory hypothesis)을 형성하는 과정이다.”
(“Abduction is the process of forming an explanatory hypothesis”; Peirce 1934, p. 171).

 

연구자가 이러한 이론적으로 놀라운 사례를 “발견(discover)”하면, 그들은 여러 개의 설명을 결합하여 이론적으로 타당한 설명(theoretically sound account)을 구성하게 된다(Reichertz 2007, pp. 159–164 참조). 그 후, 연구자들은 이러한 귀납적으로 생성된, 이론에 기반한 설명들을 기존 및 추가적인 경험적 자료(empirical data)에 대조하여 검토하고, 그 결과는 또 다른 이론 형성의 라운드로 이어질 수 있다. Peirce에 따르면, 가추(abduction), 귀납(induction), 연역(deduction)은 서로 배타적인 추론 방식이 아니라, 연구 과정의 서로 다른 단계에서 기능하며, 그 자체로 순환적(iterative)인 특성을 갖는다.

 

특히 가추(abduction)는 하나의 이론 집합(a set of theories)에서 출발하여, 이를 이론적으로 예외적인 사례(theoretically anomalous empirical cases)를 탐색함으로써 확장해 나가는 방식이다. 즉, 경험적 관찰(empirical observations)이 예외적(anomalous)이거나, 새롭거나(novel), 놀라운(surprising) 것으로 간주될 수 있는 것은 이미 이론적으로 정립된 바 있거나 기존 이론에 기반해 기대되었던 것들과 비교될 때에만 가능하다. 그렇기에 기존 이론들은 예상 밖의 경험적 관찰을 식별할 수 있게 해주는 기준점(benchmark)의 역할을 한다.

 

더 나아가, 기존 이론은 새로운 가설을 형성하는 데 있어서도 핵심적인 구성 요소다. 왜냐하면 새로운 가설은 대개 관찰된 사실과 기존 이론 간의 불일치에서 출발하기 때문이다. 이론적으로 볼 때, 새로운 가설다른 가능한 이론적 설명들이 모두 검토되고, 그 어떤 설명도 해당 현상을 설명할 수 없다고 증명되었을 때에만 생성될 수 있다. 따라서 가추적 분석(abductive analysis)에서 이론적 폭(theoretical breadth)은 이론 구축을 위한 필수 조건이 된다(Timmermans and Tavory 2012; Tavory and Timmermans 2014).

 

  • 지난 5년간, 가추는 질적 사회학 연구에서 점점 더 중요한 영향력을 발휘해 왔다. 이는 유럽 학자들(Vassenden and Jonvik 2019)과 미국 학자들(Carlson 2017, 2018, 2019; Timmermans 2017; Reilly 2018; Blee 2019; Vila-Henninger 2020)에 의해 실제 연구에 적용된 사례들을 통해 확인할 수 있다.
  • 가추는 또한 계산사회과학(computational social science) 분야에서도 주목받고 있다. 예를 들어, Ignatow(2020)는 “디지털 가추(digital abduction)” 전략을, Karell과 Freedman(2019)는 “계산 가추(computational abduction)”를 개발하였다. 일부 연구자들은 심지어 가추적 접근을 활용하여 질적 2차 분석을 수행하기도 했다(Blee 2019). 더 나아가 Brandt와 Timmermans(2021)는 정량 연구를 위한 가추적 과학 추론(abductive logic of scientific inference)을 제안하기도 했다.
  • 질적 연구자들 중 일부는 가추가 질적 자료의 코딩에도 유용할 수 있다는 가능성을 암시해 왔지만(Deterding and Waters 2018), 가추 및 가추적 코딩을 어떻게 이론 구축 전략으로 구체적으로 실행할 수 있는지에 대한 논의는 여전히 학술적 공백 상태다. 예를 들어, Carleheden(2016)은 가추에 비판적인 입장에서, 가추가 어떻게 실제로 수행될 수 있는지에 대한 보다 구체적인 설명이 필요하다고 촉구하였다. 그러나 이러한 요구에도 불구하고, 여러 연구자가 함께 적용할 수 있는 가추적 코딩 및 분석 전략은 아직 명확히 제시되지 않고 있다.
  • 예컨대, Blee(2019)와 Rinehart(2021)는 자신의 가추 사용 경험에서 나온 통찰을 공유하긴 했지만, 이러한 통찰을 바탕으로 가추의 이론 발견 논리(logic of theory discovery)를 혁신적이고 창의적인 전략(tactics)으로 정형화하는 데까지는 나아가지 못했다.

 

가추적 분석(Abductive Analysis)과 질적 2차 분석(Qualitative Secondary Analysis)

우리는 Timmermans와 Tavory가 제시한 가추적 접근(abductive approach)의 세 단계현상 재고(Revisiting the Phenomenon), 낯설게 하기(Defamiliarization), 대안적 사례화(Alternative Casing)—를 출발점으로 삼아, 이를 질적 2차 데이터에 가추적 코딩(abductive coding)을 구축하는 데 어떻게 적용하는지를 논의한다. 이와 병행하여, 우리가 직접 수행한 가추적 2차 분석 경험을 토대로, 가추적 코딩을 촉진하고 이 세 단계를 실천적으로 구현할 수 있는 일련의 전략(tactics)도 제시하고자 한다.

 

첫 번째 단계는 “현상 재고(Revisiting the Phenomenon)”이다. 가추는 다양한 이론적 관점에서 경험적 관찰을 재고할 수 있는 능력에 기반한다—즉, 데이터를 “재방문(revisit)”하는 것이다(Timmermans and Tavory 2012). 자료를 다시 살펴보는 과정에서 이전에는 주목되지 않았던 측면들이 부각되며, 이는 이론에 기반한 경험적 수정(empirically-based revision)으로 이어진다. 이러한 재방문은 또한 연구자가 “서로 다른 이론적 접근에 민감해지도록(sensitize)” 만드는 데 기여한다(ibid: p. 176). Timmermans와 Tavory는 경험적 관찰들을 반복적으로 재방문하는 것이 다음과 같은 방식으로 이론 구축에 시간성(temporality)을 활용하는 방법이라고 주장한다:

“시간이 지남에 따라 초기의 기술(description)과 분석(analysis)은 진화하고, 추가적인 이론적 렌즈들이 통합된다.” (ibid: p. 176)

 

이러한 과정은 초기 분석 단계에서 간과되었던 데이터의 경험적 특징들을 드러내준다. 이와 같은 방식으로 연구자는 기존 이론을 활용해, 데이터에서 이론적으로 예외적이거나 놀라운 사례를 찾아낸다.

 

질적 2차 분석(Davidson et al. 2019)에서는 이러한 재방문(revisit)이 핵심적인 특징이다. 그러나 활용 가능한 데이터의 양이 많기 때문에, 이론적 접근에 민감해지는 과정(sensitization)은 다소 다른 조건에서 수행된다. 우리는 가추적 코딩(abductive coding)에서는 이 재방문이 반드시 자료 분석의 초기 단계에서 체계적으로 준비되어야 한다고 본다. 이를 위해 초기 코드북(codebook)은 이론적으로 폭넓고(theoretically broad), 다양한 이론적 관점을 내포한 구성이어야 한다(→ step 1.a 참조). 이러한 이론적으로 포괄적인 코드북은 데이터를 여러 이론적 렌즈로 바라보는 데 필수적인 도구가 된다.

 

하지만 “현상 재고”는 초기 코딩 단계에만 국한되지 않는다. 이는 자료 축소(data reduction) 과정에서도 발생한다. 우리는 자료 축소가 “코드 방정식(code equations)”의 형태를 띤다고 제안한다(→ step 2.a 참조). 이러한 이론 중심의 코드 결합각 이론을 조작적으로 정의하는 수단이 되며, 면담(interview) 데이터에 이러한 코드 조합을 적용함으로써 연역적 검토(deductive test)가 수행된다. 바로 이 가추적 코딩 형태의 재방문을 통해, 예외적인 사례(anomalous cases)가 식별되고, 이는 연구자의 초기 이론적 프레임워크를 확장하는 데 기여한다(→ step 3.a 및 3.b 참조).

 

Timmermans와 Tavory(2012, 2014)에 따르면, “낯설게 하기(defamiliarization)”는 가추적 분석 논리를 뒷받침하는 또 다른 방법론적 단계이다. 그 핵심 아이디어는 당연하게 여겨졌던 것을 의심하고, 데이터를 새롭게 보는 관점을 확보하는 것이다. 이때 시간(time) 또한 가추적 분석을 촉진하는 중요한 매개가 된다. 즉, 자료 수집과의 직접성이 사라지면서 생기는 거리감이, 오히려 데이터를 낯설게 인식할 수 있는 여지를 제공하는 것이다. 이러한 낯설게 하기 과정은 결국 이론적으로 예외적인 사례를 발견하는 데 기여한다.

 

질적 데이터를 재분석할 때, 특히 중간 또는 대규모(N이 큰) 질적 연구에서는, 연구자들이 처음부터 자신이 다루는 자료에 대해 충분히 익숙한 상태일 가능성은 낮다. 이러한 맥락에서, 연구자들은 코퍼스(corpus)와 그 안에 포함된 개별 연구들에 익숙해지는 과정(familiarization)을 통해서야 비로소 새롭거나 예상치 못한 경험적 관찰(empirical observations)을 발견할 수 있게 된다.

 

우리는 이러한 데이터 익숙화(familiarization) 과정이 연역적 코딩(deductive coding)을 통해 진행되며, 그 이후의 귀납적 코딩(inductive coding)을 통해 이론적으로 예외적인 관찰(theoretically anomalous observations)을 식별할 수 있고, 이는 곧 ‘낯설게 하기(defamiliarization)’로 이어진다고 주장한다(→ step 1.b 참조). Deterding와 Waters(2018)가 강조했듯이, 코딩(coding)은 자료와의 익숙함 혹은 낯설음 (familiarization/defamiliarization)을 만들어내는 핵심적인 분석 활동이다.

 

그러나 질적 2차 분석에서는, 데이터와의 익숙함이 연구자에게 ‘낯설게 하기’의 대체물로 기능하기도 한다. 이러한 익숙함은 자료 축소(data reduction) 이후에도 발생하는데, 이때 연구자는 자신이 조작화하려는 현상이 실제로 자료 안에 존재하는지 확인하기 위해 코드 방정식(code equation)을 검증하게 된다(→ step 2.b 참조). 만약 현상이 뚜렷하게 드러나지 않는다면, 이는 코드 방정식이 불완전하거나, 현상에 불충분하게 조정된 것일 수 있으며, 이는 곧 해당 현상 및 그 개념화(conceptualization)에 대한 재고(reconsideration)를 유도한다.

 

또한, (낯설게 하기 / 익숙하게 하기)는 가추적 데이터 분석의 마지막 단계에서도 나타난다(→ step 3.a 참조). 축소된 사례(reduced cases)를 현상의 뉘앙스를 반영하도록 귀납적으로 다시 코딩(recoding)하면서, 연구자는 데이터를 새로운 방식으로 바라보게 되고, 이러한 과정은 이론 구축의 기폭제(trigger)가 된다. 이러한 점에서, (익숙함)/(낯설음)의 조합은 단지 예외적인 사례를 발견하는 데 그치지 않고, 이를 설명하기 위한 새로운 이론적 통찰(theoretical insights)을 생성하는 데 기여한다.


대안적 사례화(Alternative Casing)

세 번째 방법론적 단계는 “대안적 사례화(alternative casing)”이다(Timmermans and Tavory 2012; Tavory and Timmermans 2014).
Timmermans와 Tavory에 따르면,

“각 사례화(casing)는 현상의 서로 다른 측면을 추상화하고 강조하며, 이를 다른 현상과 비교할 수 있게 하고, 더 나아가 다른 분야 및 이론들과 연결될 수 있는 일반화(generalization)로 전환시킨다.” (ibid 2012: p.177)
또한, “이론적 배경은 경험적 퍼즐을 설정하는 방식으로 전면에 배치된다.” (ibid: p.177)

 

대안적 사례화란, 하나의 이론 혹은 복수의 이론 집합정밀하게 적용하여 수행하는 심층 사례 연구(in-depth case study)이다. 이는 분석 과정에서 본질적인 일부를 구성하며, 특히 팀 단위 연구(team-based research)에서는 더욱 그러하다. 이는 팀 구성원들이 주된 연구 질문의 서로 다른 측면을 분석하며, 각각 다른 학술 전통 및 이론적 틀을 활용할 가능성이 높기 때문이다. 이러한 점에서, 협업(teamwork)은 곧 대안적 사례화의 촉진 요인이 된다.

 

또한, 코드 방정식이 기존 이론에 기반하여 구성되어 경험적 데이터를 분석할 때, 대안적 사례화는 자료 축소 단계(step 2.a)에서도 발생한다. 마지막으로, 확장된 질적 분석 과정(extended qualitative analysis)에서도 대안적 사례화는 발생한다(→ step 3.a 및 3.b 참조).

 

따라서, 우리 접근에서의 “대안적 사례화”는 질적 분석을 통해 구현되며, 이는 연구자가 주요 경험적 사례에 대해 다양한 이론적 프레임워크를 깊이 있게 적용하는 과정이라 할 수 있다.


가추적 분석의 코딩 전략 해체하기 Unpacking Abductive Analysis in Coding

학술 문헌에서 존재하는 공백(gap)에 응답하고, 가추적 이론 구축(abductive theory-building)을 촉진하기 위해, 본 절에서는 1차 및 2차 데이터에 대한 가추적 코딩(abductive coding)을 위한 전략의 집합을 제시한다. 이 접근은 Peirce(1934)의 전통적인 가추 개념을 질적 연구 방법론 전략(Timmermans and Tavory 2012; Tavory and Timmermans 2014)과 결합한 것이다. 또한 이 접근은 계산사회과학적 가추 응용(computational applications of abduction)(Karell and Freedman 2019; Ignatow 2020), 질적 2차 분석을 위한 Breadth-and-Depth Method(Davidson et al. 2019)⁵, 그리고 Flexible Coding 접근법(Deterding and Waters 2018)을 기반으로 발전하였다. 더불어, 이 접근은 비계산적 질적 가추 적용 사례들(Carlson 2017a, 2017b, 2019; Timmermans 2017; Reilly 2018; Blee 2019; Vassenden and Jonvik 2019; Vila-Henninger 2020)에서 얻은 통찰을 반영하고 확장한 것이기도 하다.

 

마지막으로, 이 접근은 Tavory와 Timmermans(2014) 및 Fine and Tavory(2019)가 말한 “탐구 공동체(community of inquiry)”의 실천으로부터 출발하며, 우리는 우리 연구팀이 코딩과 분석에서 가추를 어떻게 집단적으로 적용했는지를 논의한다.

 

우리의 분석 단계는 다음 세 가지로 구성된다:

  1. 가추적 코드북 생성(Generating an Abductive Codebook)
  2. 코드 방정식을 통한 가추적 자료 축소(Abductive Data Reduction through Code Equations)
  3. 심층 가추적 질적 분석(In-Depth Abductive Qualitative Analysis)
    이러한 세 단계를 통해 가추(abduction)를 적용하여 이론을 구축하는 것이 가능하다(아래 Table 1 참조).

가추는 일련의 발견(discovery)의 순간들로 구성된다—분석 과정 중 일어나는 작은 발견들과, 그러한 순간들이 종합되어 나타나는 더 큰 발견이 그것이다(Tavory and Timmermans 2014). 우리의 접근에서

  • Step 1b(집단 코딩을 통한 귀납적 코드 생성)Step 2a(코드 방정식을 통한 텍스트 축소)는 분석자가 작은 가추적 움직임(little abductive movements) 속에서 창의적으로 데이터에 개입하는 단계이다.
  • Step 1b코딩과 관련된 작은 가추적 발견들이 축적되는 단계이며, 이러한 발견들은 Step 2a에서 코드 방정식을 발전시키고 데이터를 축소하는 또 다른 발견으로 이어진다.
  • 그 후 Step 2b(코드 방정식 검증)를 완료하고 Step 3(심층 가추적 질적 분석)으로 넘어가면서, 분석자는 이러한 작은 가추의 축적을 토대로 더 큰 이론적 발견을 이끌어낸다.

따라서 이 세 단계는 전체 가추적 분석(abductive analysis)의 논리와 진행을 구조화하는 데 도움을 준다. 연구자는 이 세 단계를 거치며, 보다 폭넓은 가추적 발견의 과정(abductive discovery process)에 참여하게 되고, Step 2b와 Step 3에서 놀랍고 이례적인 연구 결과를 기반으로 한 새로운 이론적 통찰(new theoretical insights)에 도달할 수 있다. 이러한 관점에서, 우리는 각 단계와 하위 단계가추적 탐구의 논리(logic of inquiry) 안에서 누적적(cumulative)인 성격을 지닌다고 본다.

 

이제부터는, 우리가 수행한 팀 기반 연구에서 각 단계에 해당하는 가추적 접근 사례를 제공할 것이다. 우리는 이 분석 접근을 통해 정책과 정치의 상호작용에 대한 이해를 심화시키고자 했다. 보다 구체적으로는, 공공정책에서 관찰 가능한 경향들(초국가화와 신자유주의)이 시민의 민주적 연결(democratic linkages)—즉 “시민이 정치 체계와 구조적이며 지속적인 방식으로 연결되는 다양한 형태”(Kitschelt and Wilkinson 2007)에 어떤 영향을 미치는지를 분석했다. 이 프로젝트의 중심 이론적 주장은 “정책 피드백(policy feedback)”이다 (예: Pierson 1993; Campbell 2003; Mettler 2002; Bussi et al., 2022).

 

본 논문에서는 이 중 두 가지 차원—민주적 연결(democratic linkages)과 신자유주의(neoliberalism)—에 집중하며, 세 개의 질적 데이터셋에 기반해 논의한다(각 데이터셋에 대한 세부 설명은 부록 Appendix 참조).

  • Céline Belot이 1995–96년에 영국에서 수집한 반구조화 면담(semi-structured interviews) (Belot 2000)
  • 2005–2006년 UK CITAE 포커스 그룹 (Duchesne et al. 2013)
  • 2016–17년 영국 총선 질적 연구(Qualitative Election Study of Britain)에서 수집된 반구조화 면담 (Carvalho, Winters and Oliver 2019)

Step 1. 가추적 코드북 생성(Generating an Abductive Codebook)

우리의 첫 번째 방법론적 단계는 가추적 코드북(abductive codebook)의 생성과 발전이다. 본 연구에서는 연구팀 구성원들이 각자 코딩 작업을 분담하여 수행하였다.

 

가추적 코드북 생성 과정은 두 개의 하위 단계로 나눌 수 있다:

  • a) 이론에 기반한 초기 연역적 코드북(initial deductive, theoretically-based broad codebook)을 사용하는 단계,
  • b) 이어서 집단 코딩(group coding)을 통해 귀납적 코드(inductive codes)를 생성하는 단계.

이러한 두 단계는 함께 가추적 코딩에서의 인덱싱(indexing)과 메모 작성(memoing)의 대응물로 기능한다(Deterding and Waters 2018 참조).

 

하지만 여기서의 인덱싱은 인터뷰 질문지(interview grid)를 기계적으로 따를 수 없다. 왜냐하면 1차 연구자들의 연구 목표와, 2차 질적 분석에서 새롭게 제기된 연구 질문들 간에는 방향성이 다르기 때문이다. 좀 더 일반적으로 보면, 이 두 하위 단계는 가추적 코딩을 위한 적용 가능한 전략(applied strategy)이자, 가추가 가진 분석적 잠재력(analytical potential)을 활용하여 혁신적인 발견(innovative findings)을 유도하는 첫 번째 전술(first tactic)로 간주할 수 있다.

 

Step 1은 연구자가 전문 코더(expert coder)로서 데이터에 몰입하고, 코딩을 통해—특히 revisit(재방문)과 (낯설게 하기)/(익숙해지기)를 통해—첫 번째 발견의 라운드를 만들어내는 단계이다. 이 전략을 통해, 연구자는 자신의 창의성(creativity)을 바탕으로 자신의 연구에 가장 적합한 방식으로 가추에 참여할 수 있으며, 동시에 이미 구조화된 전략을 바탕으로 가추적 코딩에 접근함으로써 놀랍거나 이례적인 결과(surprising and anomalous results)를 기존 이론들과의 대조 속에서 새로운 이론적 통찰(theoretical insights)로 발전시킬 수 있다(Brandt and Timmermans 2021 참조).


Step 1.a. 이론에 기반한 초기 연역적 코드북 사용하기
Step 1.a. Using an initial deductive, theoretically-based broad codebook

첫 번째 하위 단계는 초기 연역적이고 이론적으로 폭넓은 코드북(initial deductive, theoretically broad codebook)을 생성하는 것이다⁶. 이 코드북은 연구 질문을 구성하는 데 사용된 이론과 선행 연구를 기반으로 해야 한다. 핵심은, 이 코드북을 설계할 때 연구자가 본인의 연구 질문을 경험적으로 다룰 수 있도록 텍스트 발췌(excerpts)를 코딩할 수 있어야 한다는 점이다.

 

이 하위 단계는, 데이터셋 내에서 전략적으로 선별된 소수의 사례들(특히 다양성을 고려하여 선정)에 대해 첫 번째 코딩 라운드를 수행하고, 이를 통해 예시적(indicative) 코드들을 생성하는 과정을 포함한다.

 

우리 프로젝트에서는 연구팀 하위 그룹(subgroups)이 QDA 소프트웨어를 사용하여 데이터셋의 일부를 코딩하는 작업을 담당하였다. 초기 연역적 코드북은 크게 두 부분으로 구성되어 있었다:

  • 주제적 코드(thematic)
  • 기술적 코드(descriptive)

우리는 사회학적 지식(sociological knowledge)을 바탕으로, 시민들이 정치와 정책에 반응하는 방식을 구조화할 가능성이 높은 사회인구학적 요인들(예: 나이, 교육 수준)을 중심으로 분석에 중요한 변수들을 담은 기술적 코드북(descriptive codebook)을 구성하였다. 이러한 기술적 코딩은 Deterding와 Waters(2018, pp.17–18)가 강조한 속성(attributes) 코딩에 해당한다.

 

기술적 코드는 개인 특성에만 국한되지 않으며, 예를 들어 데이터가 수집된 시기(time period)나 장소(location)와 같은 다른 분석 수준(levels of analysis)도 분석에 중요한 역할을 할 수 있다.

 

이러한 기술적 코딩을 구축하고 적용하는 것과 동시에, 우리는 프로젝트의 네 가지 핵심 차원에 해당하는 관련 문헌을 조사하였다:

  • 정책(policies)
  • 민주적 연결(democratic linkages)
  • 초국가화(supranationalization)
  • 신자유주의(neoliberalism)

이들 각각의 차원은 대체로 연구팀 구성원 중 한 명 이상이 주로 분석을 담당한 핵심 연구 영역에 해당하였다. 이 모든 차원을 하나의 공통 코드북에 통합함으로써, 분석은 이론적 폭(theoretical breadth)을 확보하게 되었고, 이는 현상 재고(revisit)와 낯설게 하기(defamiliarization)를 동시에 가능하게 하여 가추적 추론의 핵심 논리를 강화할 수 있었다.

 

우리가 수행한 질적 2차 분석에서는, 이러한 개념들을 국가나 시기에 종속되지 않도록 조작화(operationalization)해야 했으며, 하나의 데이터셋에만 국한되지 않고 여러 데이터셋에 적용 가능해야 했다. 우리 연구의 주요 목표 중 하나는 “민주적 연결(Democratic Linkages)”에 대한 이해를 심화시키는 것이다. 초기에는 “민주적 연결” 코드북명시적으로 연역적 방식으로 개발하되, 귀납적 코드가 emergent할 수 있도록 충분히 넓은 설계를 택했다. 하지만 동시에, 이 코드북은 귀납적 코딩의 범위를 일정 부분 제한하는 역할도 하도록 구성하였다. 우리가 설정한 Democratic Linkages에 대한 연역적 코드들은 Easton(1965)의 패러다임적 틀(paradigmatic framework)에 기반하였다. 이 선택은, 시민과 민주주의의 관계에 대한 전후(post-war) 연구의 역사적 궤적에 대한 문헌 독해에서 비롯되었다(Dalton 2007; Hay 2007; Norris 2011). 많은 여론조사 문항들이 Easton의 이론에 영감을 받아 구성되었으며, 정치적 지지에 대한 장기 종단적 비교(longitudinal comparison)이 가능하도록 최소한의 변경만을 거쳐 유지되었다(Linde and Ekman 2003, p.1; 또한 Torcal and Moncagatta 2011 참조).

 

이러한 틀에 따라 우리는 다섯 가지 연역적 민주적 연결 코드를 생성하였다:

  • 정치 공동체(Political Community)
  • 체제 원칙(Regime Principles)
  • 체제 제도(Regime Institutions)
  • 정치 행위자(Political Actors)
  • 시민 참여(Citizen Participation)

(초기 연역적 코드 전체 목록은 부록 Appendix의 표를 참조할 것)


Step 1.b. 집단 코딩을 통한 귀납적 코드 생성
Step 1.b. Generating inductive codes through group coding

우리의 이론 구축 관점(theory-building approach)에서, 코딩의 초기 라운드(initial round of coding)를 통해 연구자는 귀납적 코드(inductive codes)를 생성하며, 이를 통해 이례적(anomalous)이거나 놀라운(surprising) 사례들을 식별하고 문서화하게 된다. 만약 분석이 팀 단위로 진행된다면, 이 과정 전반에 걸쳐 진행 상황을 논의하고 코드북을 업데이트하기 위한 정기적 회의가 도움이 된다.

 

연구자가 귀납적 코딩이 포화(saturation)에 도달했다고 판단하면, 코드북을 갱신하여 최종적인 가추적 코드북(abductive codebook)을 형성한다. 이후 분석자는 전체 코퍼스(corpus)—대개는 복수의 데이터셋으로 구성된 자료 모음—를 이 가추적 코드북을 활용하여 코딩하게 된다. 이 과정에서는 초기 연역적 코드북으로 코딩된 자료를, 새롭게 개발된 가추적 코드북으로 다시 코딩(recode)하는 작업도 포함된다.

 

우리 프로젝트에서는, 귀납의 첫 번째 요소가 나타난 지점은 바로 민주적 연결(Democratic Linkages)에 대한 연역적 코드북을 시험하고 발전시켜 나가던 과정에서였다. 초기에는, 우리는 정치권력의 공식적 지위를 지닌 정치 행위자들(예: 정치인)과, 공식적 권한은 없지만 정치적으로 영향력을 행사하는 기타 행위자들(예: 이익집단, 압력단체) 사이의 구분이 시민과 정치 체제 간의 관계 변화를 설명하는 데 유효할 수 있을 것이라고 가정했다. 이러한 가정은 기존 문헌, 특히 전통적 정치 행위자가 중요성을 잃고 “새로운” 행위자들이 비정치화된 정치 권력을 획득하는 이중 전환(double shift) 논의에서 도출되었다—예컨대 2008년 유로 위기 당시의 기술관료(technocrats)와 경제학자(economists)들의 사례를 참고하였다(Hay 2004, 2007; Harmes 2012; Stoker and Hay 2017). 그러나 실제 데이터를 분석한 결과, 이 두 유형의 정치적 행위자 간 구분은 시민과 민주주의 사이의 관계 변화를 설명하는 데 그다지 유의미하지 않았다. 대신, 우리가 발견한 것은 포퓰리즘(populism) 문헌에서 논의되는 요소들과 유사한 내용이었다(Kaltwasser 2017). 예컨대, 반복적으로 등장하는 “엘리트(elite)”에 대한 회의적 태도와, 민주주의를 “국민의 지배(rule by the people)”로 이해하는 경향, 그리고 참여를 투표나 시위 등을 통해 국민의 의지를 표현하는 수단으로 간주하는 시각 등이 그것이다.

 

우리의 관점에서 볼 때, 근거이론(grounded theory)의 코딩 체계나 기계 학습 알고리즘(machine learning algorithms)은 데이터 내의 이상(anomalies)을 식별하는 데에 본질적 한계를 지닌다. 근거이론의 경우, 선행 이론 없이 경험적 관찰을 “놀랍다”고 판단할 수 없다는 인식론적 이유가 문제이고, 기계 학습은 실천적 한계 때문이다. 이례적인 사례(anomalous cases)란 본질적으로 예상 불가능(unforeseen)한 것이며, 이를 감지하기 위해서는 상당한 수준의 전문가 지식(expert knowledge)이 요구된다. 예컨대 우리는 문맥상 핵심적인 의미를 담고 있음에도, 명확한 키워드(keyword)가 없는 문장, 단락, 혹은 전체 발췌 부분을 종종 코딩해야 했다.

 

게다가 2차 자료 분석(secondary data analysis)의 특성상, 분석할 코퍼스는 독립적으로 수집되었으며, 매우 다양한 형태의 데이터로 구성되어 있다. 예를 들어, 다양한 언어로 된 자료, 포커스 그룹(focus groups), 반구조화 인터뷰(semi-directive interviews) 등 데이터 유형 자체가 다양하다. 기계 학습 알고리즘이 이와 같은 문제들을 점차 처리할 수 있게 되어가고는 있으나, 이론적으로 이례적인 사례를 탐지하는 데는 아직 부족할 수 있다. 그럼에도 불구하고, 기계 학습 기반의 방법들이 가추적 논리(abductive logic)와 양립 불가능한 것은 아니라고 본다. 예컨대, 가추적 코드북에 기반하여 감독 학습(supervised learning) 알고리즘을 훈련시키고,
“테스트 세트(test set)”를 적용하여 그 타당성을 검토하는 방식을 고려해볼 수 있다(Grimmer and Stewart 2013).

 

우리는 Quinn et al.(2010)의 다음 주장에 동의한다:

텍스트 콘텐츠를 분석하는 각 방법은 고유한 전제를 지니며, 따라서 특정 연구 질문이나 텍스트 유형에 따라 고유한 장점과 한계를 가진다. (Quinn et al. 2010, p. 210)

 

결국, 연구자가 사용할 분석 방법은 연구 질문의 특성과, 텍스트 자료의 양과 이질성(heterogeneity), 그리고 탐색하려는 개념 범주의 복잡성을 고려하여 결정되어야 한다. 우리의 접근법은 특히 코딩 단계에서 비교적 높은 수준의 인간 자원(human “cost”)을 필요로 하며(Quinn et al. 2010), 이로 인해 분석 가능한 데이터의 양에는 제한이 있을 수 있음을 인정한다.


Step 2. 코드 방정식을 통한 가추적 자료 축소
Abductive Data Reduction Through Code Equations

우리의 접근에서 가추적 자료 축소(abductive data reduction)는 두 개의 하위 단계로 구성된다:

  • a) 코드 방정식을 통한 텍스트 축소(Text-reduction through code equations)
  • b) 코드 방정식 검증(Code equation verification)

 

Step 2a와 Step 2b 사이에는 중요한 구분이 존재한다.

  • Step 2a에서는 연구자가 코드와 상호작용하며, 이를 통해 데이터에 더욱 깊이 개입하고, 그 과정에서 초기 코드 방정식(initial code equation)을 구성하게 된다.
  • 반면, Step 2b는 이 코드 방정식을 활용하여 다시 데이터를 재접근(reengage)하고, 그 과정에서 “최종” 코드 방정식(final code equation)에 관한 중대한 가추적 발견(big abductive discoveries)을 이루는 단계이다.

이러한 “최종” 코드 방정식은 사실상 Step 1에서의 코딩을 통해 이뤄진 작은 발견들(little discoveries)의 누적으로 가능해진다. 코드 방정식(code equation)을 사용하면, 연구자는 여러 개의 코드를 서로 연결짓는 방식으로 복잡한 현상(complex phenomenon)을 이해할 수 있는 구조적 틀을 구성할 수 있게 된다.

 

또한, 코드 방정식은 하나의 현상을 구성하는 여러 요소들이 어떻게 상호 연관되는지를 통찰할 수 있는 수단을 제공한다. 이 단계는 다양한 방법론적 접근에서 사용되는 차원 축소(dimensions reduction) 개념과 유사하다. 예를 들어, 토픽 모델(topic modeling)이 문서 내 수많은 단어로 구성된 차원을 문서-주제(document-topics)라는 구조로 줄이는 방식이 그러하다(DiMaggio et al. 2013 참조). 다른 많은 분석 방법들도 복잡한 구성 요소들이 일정한 방식으로 ‘함께 움직인다(hang together)’는 패턴을 보이는 것을 통해 차원을 축소하며, 그 결과, 연구자가 새로운 개념화(new conceptualizations)에 도달할 수 있도록 돕는다.


Step 2.a. 코드 방정식을 통한 텍스트 축소
Text Reduction through Code Equations

키워드를 중심으로 정해진 단어 수 범위의 텍스트를 예비 분석(preliminary analysis)하는 기존 방식(Davidson et al. 2019, p. 372)과 달리, 우리는 전체 가추적 코드북(full abductive codebook)을 사용하여 코딩한 텍스트 발췌(passages)를 분석하는 또 하나의 유용한 접근 방식을 제안한다.

 

이 단계에서 핵심 과업은 QDA 소프트웨어를 사용해 이미 질적으로 코딩된 데이터를 축소하는 작업이다. 이를 위해, 우리는 연구자가 여러 코드에 걸쳐 존재하는 복합적 현상을 조작화(operationalize)할 수 있게 해주는 QDA 소프트웨어 기능을 활용할 것을 제안하며, 이 과정을 통해 질적 2차 분석 연구 질문을 경험적으로 다룰 수 있도록 한다. 우리는 “코드 방정식(code equations)”을, 개별 코드를 조합하여 그 너머에 있는 현상들을 조작화하는 방식으로 정의한다.

 

코드 방정식을 생성하는 것은 다음 두 가지 측면에서 특히 중요하다.

  1. 하나의 코드가 수백, 수천 개의 텍스트 발췌를 포함할 수 있기 때문에, 코드 방정식을 통해 보다 정밀한 이론 중심 조작화(theory-driven operationalization)를 수행할 수 있고, 이를 통해 텍스트를 의미 있는 방식으로 축소할 수 있다.
  2. 질적 2차 분석의 핵심적인 특징 중 하나는, 단일한 데이터셋을 넘어서는 연구 질문을 탐구할 수 있다는 점이다. 연구자들이 점점 더 복잡한 질문을 탐구하기 위해 데이터셋을 종합(compilation)하게 됨에 따라, 코드 방정식은 이에 대응하는 복잡한 조작화를 가능하게 한다.

이후 논의와 시연에서는 우리가 실제로 사용한 QDA 소프트웨어인 ATLAS.ti를 중심으로 설명한다. 우리 접근의 핵심 요소 중 하나는 ATLAS.ti의 “Query Tool”을 활용한 것이었는데, 이 도구는 NVivo의 “Coding Query” 기능과 유사하다. 코드 방정식은 “AND”, “OR”, “COOC”(co-occurrence, 두 개 이상의 코드가 함께 등장하는 경우) 등의 연산 기능을 활용하여 Query Tool에서 코드들을 조합함으로써 생성할 수 있다. 연구자는 이러한 방식으로 연역적 코드 방정식(deductive code equations)을 생성한 뒤, 해당 조작화가 실제 데이터 안에 존재하는지 여부를 탐색하게 된다. 이러한 과정을 통해, 우리는 거대한 텍스트 자료를 코드 방정식에 부합하는 발췌로 축소할 수 있게 된다. 만약 코드 방정식이 데이터 축소에 성공하지 못한다면, 이는 연구자가 해당 방정식을 조정할 필요가 있다는 신호일 수 있다(→ Step 2.b 참조).


이 접근은 모든 질적 연구자들이 공유할 수 있는 두 가지 상황에서 특히 유용하다고 우리는 주장한다.

  • 첫째, 이 방법은 연구 질문이 아직 이론화되지 않았거나(theorized), 충분히 이론화되지 않은(under-theorized) 현상에 초점을 맞추는 경우에 유용하다. 이러한 경우에는, 구체적인 연역적 코드를 생성하기에 충분한 정보가 존재하지 않는다.

예를 들어, 우리 팀의 초기 분석 중 하나는 영국 내 유럽연합 회의론(Euroscepticism)에 관한 문헌에서 파생된 다음과 같은 연구 질문에서 시작되었다:

“영국 시민들은 어떻게 시장 경쟁을 지지하는 신자유주의적(Neoliberal) 이념과, EU 가입을 반대하는 민족주의적(Nationalist) 이념을 결합하는가?”

 

이 질문의 핵심에는 특정한 형태의 영국식 유럽연합 회의론이 자리잡고 있다. 즉, 국민 정치 공동체(national political community)로서의 민족주의(nationalism)와 공정한 시장 경쟁(fair market competition)이라는 신자유주의(neoliberalism)를 결합하여 EU를 거부하는 시민들의 태도이다. 따라서, 우리는 신자유주의와 민족주의의 교차지점(intersection)을 탐색하고자 했다. 이러한 교차는 당시 상당히 이론화되지 않은 상태였다. 그러나 우리는 신자유주의 코드와 민족주의 코드를 결합한 코드 방정식(code equation)을 통해, 가추적 발견(abductive discovery)의 과정을 진행할 수 있었다. 이처럼 두 가지 코드의 조합을 통한 방정식을 활용함으로써, 이론적 틀 없이도 데이터를 통해 새로운 통찰을 도출해낼 수 있었다.

 

  • 둘째, 코드 방정식은 기존 코드북의 코드보다 훨씬 구체적인 코드를 사용할 때에도 유용하다.

예컨대, 우리는 “영국 시민들이 적용한 신자유주의와 민족주의의 교차”만을 분석하고자 했다. 이를 위해 우리는 영국이라는 주제에 코딩된 연역적 코드를 코드 방정식에 추가하였고, 이를 통해 응답자가 신자유주의와 민족주의 이데올로기를 영국과 관련된 맥락에서 결합해 사용하는 사례만을 추출할 수 있었다. 보다 구체적으로, 우리는 다음과 같은 이론적 가정에서 출발하였다: 우리는 우리의 연구 질문을 통해, 민족주의적 신자유주의 정당화(nationalist neoliberal legitimations) 담론 속에서 ‘인풋 정당성(input legitimacy)’과 ‘아웃풋 정당성(output legitimacy)’을 모두 발견할 수 있을 것이라고 기대하였다. 이를 조작화(operationalization)하는 초기 단계에서, 우리는 다음 두 가지 코드 방정식을 구성하였다. 이 방정식들은 각각 Scharpf(1997, 1999)의 개념을 기반으로 하며, 우리가 생성한 여러 코드를 동원하였다:

 

 

우리 연구에서 코드 방정식(code equations)을 활용하는 방식이론적으로 관련 있는 코드들(theoretically relevant codes)을 결합하는 것이었다. 따라서, 이러한 접근은 보다 해석 중심의 방법(interpretative approaches)(Glaser and Strauss 1967; Nelson 2017)에서는 불가능했을 것이다. 왜냐하면 우리가 생성한 코드 방정식은 이론적으로 중요하다고 식별된 코드들을 조합한 것이기 때문이다. 우리가 사용한 가추적 코드(abductive codes)는 연구자들이 해석적 분석(interpretative analysis)을 통해 생성한 것으로, 이는 기계 학습 알고리즘(machine learning algorithms)을 통한 코딩으로는 재현이 불가능하다.

 

이 점에서, Karell and Freedman(2019)이 수행한 접근 방식—즉,

계산적 결과(computational results), 특정 코퍼스 자료의 정밀 독해(close reading), 사회운동 관련 문헌 및 추가 이론을 순환적으로 연결하여 급진적 수사(rhetoric)에 대한 새로운 개념화를 도출” (ibid: 730)—와 비교해볼 수 있다.

 

우리의 접근은 연역적 코드(deductive codes)와 귀납적 코드(inductive codes)를 모두 활용한 순환적 가추 코딩 접근(recursive abductive coding approach)으로 구성되어 있다. 특히, 연구팀 구성원들이 이론적으로 이례적(theoretical anomalies)이라고 판단한 코드를 활용했다는 점에서, 이 접근은 귀납적 분석이나 기계 학습 접근으로는 제공될 수 없는 방식으로 연구 질문에 적합한 분석 타당성(relevance)을 부여해 준다.

 

마지막으로, 이 단계는 Davidson et al.(2019)이 제시한 두 번째 단계 “Recursive surface ‘thematic’ mapping”과 유사한 핵심 역할을 수행한다는 점을 주목할 필요가 있다. 하지만, 우리의 하위 단계(sub-step)는 키워드를 기반으로 한 자료 축소가 아니라, 코드 방정식(code equations)을 통해 데이터를 축소한다는 점에서 차별화된다.


Step 2.b. 코드 방정식 검증(Code Equation Verification)

우리가 Query Tool을 사용해 코드 방정식(code equation)을 생성한 이후, 해당 코드 방정식으로 지정된 텍스트 발췌(excerpts)를 분석하였다. 이 단계를 진행하기 위해서는 분석자가 각 발췌를 재방문(revisit)하여, 해당 코드 방정식이 조작화(operationalization)하려는 현상이 실제로 그 텍스트 안에서 식별될 수 있는지를 검증해야 한다. 이 과정에서 “위양성(false positives)”을 식별하는 절차가 이루어진다. 여기서 위양성이란, 해당 코드 방정식에 지정된 모든 코드로 코딩된 발췌임에도 불구하고, 연구자가 그 안에서 조작화된 현상을 실제로 인식할 수 없는 경우를 의미한다.

 

연구자는 코드 방정식으로 식별된 각 발췌에 대해 메모와 함께 기록을 유지해야 하며, 각 위양성이 해당 현상의 사례가 아닌 이유도 명확히 정리해야 한다. 이 과정을 통해, 연구자는 조작화된 개념에 이론적으로 이례적인(anomalous) 사례를 식별할 수 있게 되고, 이로써 가추적 분석(abduction)의 적용을 한 단계 더 확장하게 된다. 이후 분석에서는 위양성과 검증된 사례 간 비교 및 대조를 수행할 수 있다.

 

코드 방정식의 유용성을 판단할 수 있는 핵심 요소는 두 가지이다. 첫째는 자료 축소(data reduction)이다. 만약 코드 방정식이 데이터를 사람이 적절한 시간 안에 분석할 수 있을 정도로 축소하지 못한다면, 이는 해당 방정식이 너무 광범위하고(overly broad),
따라서 조작화의 범위도 과도하게 넓다는 신호이다. 둘째는 위양성(false positives)의 수이다. 수용 가능한 위양성의 수는 데이터와 연구 질문의 성격에 따라 달라지겠지만, 일반적인 기준은 위양성의 수가 실제 일치 사례(matches)보다 많을 경우, 코드 방정식이 충분히 정밀하지 않다는 것이다.

 

이 단계에서는 또한, 연구자가 코드 방정식이 불완전하다는 사실을 깨닫고, 검증 단계에서 방정식을 조정하여, 새롭게 업데이트된 방정식으로 식별된 발췌를 다시 검토할 수도 있다. 코드 방정식을 개발하는 과정은 다소 시간이 걸릴 수 있으며, 여러 차례의 반복적 수정을 동반할 수 있다. 예를 들어, 코드 방정식이 텍스트 발췌를 전혀 축소하지 못하거나, 극히 제한적으로만 축소할 경우, 이는 방정식이 조정이 필요하다는 신호일 수 있다.

 

질적 연구에서 코드 방정식 검증(code equation verification)은 개념 정제(concept refinement)를 위한 유용한 도구이다. 해당 방정식으로 식별된 데이터와 일치 여부를 이중 점검(double-checking)함으로써, 코딩의 타당성을 확인하는 것뿐만 아니라, 해당 현상의 조작화 방식도 정교화할 수 있다. 따라서, 코드 방정식 검증은 연구자가 조작화 및 개념화(conceptualization)의 범위가 지나치게 좁거나 넓은지 판단하는 데에도 유용한 수단이 된다.


가추적 분석(abductive process)의 맥락에서, 코드 방정식(code equations)은 핵심적인 전환점(key turning point)이다. 코드 방정식 검증(code equation verification)은 작은 발견(small discoveries)과 큰 발견(large discoveries)을 모두 포함한다. 연구자는 코드 방정식을 검토하고 수정하는 과정에서 작은 가추적 발견들을 이끌어내고, 방정식이 너무 좁지 않으면서(위양성이 지나치게 많지 않으면서), 너무 넓지도 않아야(데이터가 거의 축소되지 않을 정도로 방정식이 포괄적이지 않아야) 한다는 기준에 도달할 때, 연구자는 코드 방정식이 식별한 사례들(matching cases)을 바탕으로, 그 데이터가 이론적으로 타당하며 일관성 있는 발견인지를 평가할 수 있다. 이러한 과정이 완료되면, 연구자는 자신이 “큰 가추적 발견(big abductive discovery)”을 했다는 것을 알 수 있으며, 이를 통해 “최종 코드 방정식(final code equation)”을 확립하게 된다.

 

우리의 연구에서는, 이렇게 도출된 코드 방정식을 통해, 해당 방정식과 일치하는 모든 인용구(quotations)를 분석하였다. 이 과정을 통해 두 가지 점이 명확해졌다. 첫째, COOC(co-occur) 기능은 충분히 정밀하지 않아, 인풋 정당성(input legitimacy) 또는 아웃풋 정당성(output legitimacy)을 설명하지 않는 인용구들—즉 위양성(false positives)—을 너무 많이 생성했다. 둘째, 두 가지 다른 정당성 유형을 구분하는 대신, 우리가 분석한 인용구들에서는 응답자들이 동일한 정당화 논리(one logic of legitimation)를 사용하여 영국(UK)을 정당화하고, 동시에 EU를 비정당화(delegitimate)하고 있음을 발견했다. 이에 우리는 이러한 현상을 “국가주의적 신자유주의 유럽회의주의(Nationalist Neoliberal Euroscepticism)”라고 명명하였다(Vila-Henninger et al. 2019a, 2019b). 이처럼, 코드 방정식의 여러 차례 반복 개발(iteration)을 통해 우리는 최종 코드 방정식을 도출해냈다.

 

여기에서 중요한 점은, 이론적 틀의 변화(shift in theoretical frameworks)가 있었음을 인정하는 것이다. 우리가 인용구를 분석한 결과, 인풋/아웃풋 정당성 구분은 분석에 적합하지 않았고, 대신 이러한 ‘공정성 정당화(fairness legitimations)’를 “정당한 통치 기준(rightful standards of governance)”에 관한 사회적으로 널리 수용된 믿음을 이용한 정치 권력의 정당화”로 이해하는 것이 더 유용하다는 것을 알게 되었다(Beetham 1991; Beetham and Lord 1998 참조). 

 

우리는 이 모든 과정이 귀납적(inductive) 접근이나 기계 학습(machine learning) 접근만으로는 불가능하다고 본다. 왜냐하면 우리의 기법은 연역적 코드(deductive codes)와/또는 가추적 코드(abductive codes)를 활용하기 때문이다. 따라서, 우리는 연역적 및 가추적 코드들을 활용하여, 연구 질문과 관련된 더 섬세한 뉘앙스를 분석에 포함할 수 있는 두 번째 가추(abduction)의 과정을 수행할 수 있었다. 이러한 목표 지향적 분석(directed analysis)1차 연구자나 텍스트 내 단어의 확률적 결합이 아니라, 2차 연구자의 연구 질문에 중심을 두는 방식이다(Karell and Freedman 2019, p.729 참조). 이 단계는 Davidson et al.(2019)이 말한 세 번째 단계 “Preliminary analysis(예비 분석)”와 유사하다. 하지만, 키워드를 포함하는 텍스트 발췌를 분석하는 대신, 이 단계에서는 가추적 코딩(abductive coding)을 통해 후속 코딩 및 예비 분석을 수행할 수 있다.


Step 3. 심층 가추적 정성 분석 (In-Depth Abductive Qualitative Analysis)

우리의 접근에서, 가추적 정성 분석(abductive qualitative analysis)은 다음 두 개의 하위 단계로 구성된다:

  • a) 축소된 사례에 대한 귀납적 코딩(Inductive coding of reduced cases)
  • b) (수작업) 정성 분석(Manual qualitative analysis)

이 단계의 두 하위 단계 모두를 통해, 연구자는 Deterding와 Waters(2018)가 제안한 “3단계: 코딩 타당성 탐색, 이론 검증 및 정제(Exploring Coding Validity, Testing, and Refining Theory)”(ibid: p. 23)을 가추적으로 적용할 수 있다는 점이 중요하다.


Step 3.a. 축소된 사례에 대한 귀납적 코딩

연구자는 QDA 소프트웨어의 코드 방정식을 통해 검증된 사례들(verified cases)을 기반으로 수작업 수단(manual means)을 통해 심층 정성 분석(in-depth qualitative analysis)을 수행한다. 이 과정의 일환으로, 코드 방정식에 의해 식별된 코드들을 중심으로 한 새로운 귀납적 코딩 체계가 생성된다.

 

이러한 귀납적 코딩 체계는,

  • 코드 방정식을 통해 검증된 사례를 분석하는 과정에서 등장하며,
  • 코드 방정식이 조작화한 현상의 뉘앙스(nuance)를 포착하고,
  • 아직 문헌에 문서화되지 않은 더 정교한 수준의 데이터 기반 코드(data-driven codes)를 생성함으로써
    이론을 한층 더 발전시킬 수 있도록 해준다.

이 하위 단계는 또한, 코드 방정식의 재수정(code equation revision)을 초래할 수 있으며, 그 결과 다시 2단계로 되돌아가게 되는 순환(iteration)을 만들 수도 있다. 우리 연구에서는, 최종 방정식에 부합하는 모든 사례를 추출하고, 모든 위양성을 제거한 후, 이러한 사례들에 대해 귀납적 코딩을 수행하였다. 그 결과, 우리는 국가주의(nationalism)와 신자유주의(neoliberalism)의 교차가 시민들의 인식 속에서 어떻게 결합되어, 1990년대 중반부터 브렉시트 직후까지의 특정한 형태의 영국 유럽회의주의(Euroscepticism)를 형성해왔는지를 발견할 수 있었다. 우리의 코딩 결과에 따르면, 이러한 영국식 유럽회의주의의 형태는 우리가 분석한 모든 데이터셋에서 발견되었으며, 즉 20년이 넘는 기간 동안, 다양한 사회 집단에 걸쳐 존재하고 있었다. 보다 구체적으로, 최종 방정식을 통해 식별된 사례들에 대한 정성 분석은 영국 시민들이 EU를 평가할 때 참조한 비교 준거(benchmarking)에서, 국가주의적 신념과 신자유주의적 신념이 어떻게 결합되어 나타났는지를 포착하였다(Vila-Henninger et al. 2019b). 우리는 시민들이 자국의 자율성(national autonomy)을 긍정적으로 참조점으로 삼았기 때문에, EU 가입이라는 현상(status quo)이 불리한 선택지로 인식되었다는 것을 보여준다(De Vries 2018 참조). 이러한 결과는 우리 분석에서 핵심적 역할을 했다. 바로 이 두 번째 가추적 분석 라운드(second round of abductive analysis)를 통해, 우리는 이례적인 사례들(anomalous cases)을 식별할 수 있었고, 이를 통해 연구 대상 현상에 대한 보다 섬세한 이해에 도달하였으며, 궁극적으로 우리의 이론적 설명(theoretical explanation)을 구축할 수 있었다.


Step 3.b. 심층(수작업) 정성 분석 (In-depth (Manual) Qualitative Analysis)

마지막 단계는 심층적인 수작업 정성 분석(in-depth manual qualitative analysis)이며, 이 과정에서는 논문, 연구 보고서, 또는 단행본 집필(writing of articles, research reports, and/or books)로 이어진다. 이 단계는 Davidson et al.(2019)이 제시한 4단계 “심층 해석 분석(In-depth interpretive analysis)”(p. 372)에 해당하며, 동시에 Deterding와 Waters(2018)의 3단계 “타당성 탐색, 이론 검증 및 정제(Exploring Validity, Testing and Refining Theory)”(pp. 23–25)를 종결짓는 단계이기도 하다.

 

이 단계가 “수작업(manual)” 분석임을 강조하는 이유는, 이 분석이 QDA 소프트웨어나 컴퓨터 프로그램이 아닌 인간 연구자(human researcher)에 의해 수행되기 때문이다. 이 단계에서, 연구자는 2단계의 코드 방정식(code equation) 또는 3.a 단계의 귀납적 코드(inductive codes)가 불완전하거나 미흡하다는 점을 깨달을 수도 있다. 그럴 경우, 다시 2단계 또는 3.a 단계로 되돌아가 분석을 정제(refine)하고, 보다 완결성 있는 실증적 응답(empirical response)을 연구 질문에 제공하게 된다.

 

우리의 연구 질문과 관련해서는, 최근의 기존 연구들이 시민 담론에서의 신자유주의(neoliberalism)와 민족주의(nationalism)의 표현을 확인한 바 있다 (Taylor-Gooby et al. 2019; Andreouli and Nicholson 2018; Andreouli 2019). 그러나 우리의 접근은,
단지 유럽회의주의의 혼종적(hybrid) 형태를 식별하는 데에 그치지 않고, 시민들이 민족주의적 신념과 신자유주의적 신념 사이를 어떻게 ‘항해(navigate)’하면서, 영국의 EU 회원국 지위를 자율성에 비추어 비교 참조(benchmarking)하는지를 보다 깊이 있게 조명할 수 있게 해주었다. 아래에서는, 우리의 가추적 코딩(abductive coding)과 심층 정성 분석이 어떻게 기존 이론을 토대로 하면서도 새로운 이론적 통찰(theoretical insights)을 생성했는지를 보여주는 수작업 정성 분석의 실제 사례를 제시하고자 한다(Vila-Henninger et al. 2019a, 2019b).


논의 (Discussion)

가추적 분석(abductive analysis)과 코딩(coding)을 함께 논의하는 것은, 특히 질적 2차 분석(secondary qualitative analysis)이나 대규모 인터뷰 연구(large-scale interview research) 같은 현대 사회과학의 새롭게 부상하는 분석 방식에서 코딩 전략이 어떻게 발전(또는 발견)될 수 있는지를 모색하는 데 핵심적이다. 오늘날 (대규모) 질적 2차 분석이 보여주는 변화된 분석 관행을 인정하지 않는다면, 많은 질적 연구자들은 엄밀한 분석을 수행하는 데 필요한 방법론적 준비가 부족한 상태에 놓이게 된다(Deterding and Waters 2018).

 

우리는 가추적 분석이, 신중한 방법론적 자료 분석 및 코딩 전략을 통해 더 효과적으로 수행될 수 있다고 주장하며, 이러한 코딩 전략이 분석을 어떻게 풍부하게 하고, 창의적이며 참신한 이론적 통찰(theoretical insights)을 생성하는 조건을 어떻게 조성하는지를 이 글에서 체계적으로 설명하였다. 질적 가추의 핵심은, 각 단계들 간의 대화적 연결(dialogue)을 통해 이론을 발전(develop), 확장(extend), 정제(refine)해 나가는 데 있다. 이러한 대화는 가추에 관한 질적 연구들(Timmermans and Tavory 2012; Tavory and Timmermans 2014)에서도, 그리고 대규모 질적 연구(Big Qual)에 관한 문헌(Davidson et al. 2019)에서도 공통적으로 관찰된다.

 

우리의 접근은 이론 중심(Theory-driven) 분석과 데이터 중심(Data-driven) 분석 간의 대화를 유도하려는 시도로 볼 수 있다. 바로 이 가추적 과정(abductive process)을 통해, 연구자는 이례적인 사례(anomalous cases)를 식별하고, 이를 가추 분석을 수행하는 이론적 틀 속으로 통합함으로써 이론 구축(theory building)에 참여하고, 가추적 추론(abductive inference)을 확장해 나간다. 우리는 본 논문이 가추에 대한 방법론적 작업(methodological work on abduction)— 즉 Timmermans와 Tavory(2012, 2014, 2019)의 작업—에 기여하고 있으며, 이러한 틀이 사회학을 비롯한 다양한 학문 영역에서 가추의 실증적 응용(empirical application)을 촉진하는 데 활용되기를 바란다 (Carlson 2017a, 2017b, 2019; Timmermans 2017; Reilly 2018; Blee 2019; Karell and Freedman 2019; Vassenden and Jonvik 2019; Ignatow 2020; Vila-Henninger 2020 참조).

 

특히 우리는 코드 방정식(code equations)을 핵심적인 코딩 전략으로 제안하고 있다. 코드 방정식은 연구자가 단지 현상의 하위 구성 요소들이 어떻게 ‘함께 작동(hang together)’하는지를 볼 수 있게 할 뿐만 아니라, 그 구성 요소들 간의 관계를 이해하게 해준다. 즉, 코드 방정식은 가추적 발견(abductive discovery) 과정의 촉진자 역할을 하며, 우리의 적용적 접근(applied approach)을 지탱하는 핵심 축(anchor)이 된다. 또한, 자료 축소 전략(data reduction strategy)에서도 중요한 기능을 한다. 우리는 코드 방정식을 통해, 단일 코드로는 분석할 수 없는 더 복잡한 연구 질문의 요소들을 연구자가 탐색할 수 있다고 주장한다. 이론 중심의 코드 방정식은 기계 학습(machine learning)이나 계산적 접근(computational approaches)에도 잘 활용될 수 있으며, 이러한 도구를 사용하는 연구자들이 이 전략을 적극적으로 적용해보기를 권장한다.

 

우리는 이 논문이 질적 2차 분석(secondary qualitative analysis)에 관한 연구에도 기여하고 있다고 본다. 이는 프랑스어권 문헌(Duchesne 2017)과 영어권 문헌(Hughes and Tarrant 2020) 모두에 해당한다. 우리는 질적 2차 분석이 점점 더 유용하고 필수적인 도구로 부상하고 있다고 생각한다. 이 접근이 다른 연구자들이 질적 2차 분석을 활용해 이론을 구축하는 데 도움을 줄 수 있기를 기대한다(Swedberg 2017). 또한 본 논문은 질적 2차 분석(Duchesne 2017; Hughes and Tarrant 2020)과 가추에 관한 문헌(Timmermans and Tavory 2012; Tavory and Timmermans 2014) 간의 학술적 교류를 촉진하는 데에도 기여할 수 있다. 우리는 더 많은 연구자들이 COVID-19로 인한 연구 제약, 그리고 질적 데이터 저장소의 증가 속에서, 질적 2차 분석이 제공하는 가능성을 주목하게 되기를 바라며, 이러한 변화 속에 가추적 접근이 포함되기를 희망한다. 마지막으로, 우리의 접근은 팀워크를 통한 질적 이론 구축을 촉진하고, 연구자 간 역할 분담 전략의 개발에도 기여할 수 있다.

 

결론적으로, 우리는 다음과 같은 점을 강조하고자 한다. 질적 2차 분석은 결코 1차 질적 분석(primary qualitative analysis)의 대체물이 되어서는 안 된다. 그보다는, 연구 질문이 요구하는 경우, 이론을 구축하고, 1차 질적 분석만으로는 실증적으로 응답할 수 없는 과학적 탐구에 대응하기 위한 도구로 사용되어야 한다. 따라서, 1차와 2차 질적 연구는 상호보완적(complementary)이며, 특정 질적 데이터셋의 기여도를 확장하고, 가추적 추론을 더욱 심화시키는 데 함께 사용될 수 있다.

 

Abductive Analysis in Qualitative Inquiry

 

 

 

 

🧠 가추 분석(Abductive Analysis)이 뭐길래?

책상 밖에서 떠오르는 통찰을 연구로 이끄는 힘

연구 중에 산책하다가, 혹은 영화를 보다 말고, 또는 수영을 하다가 '아하!' 하는 순간이 있었던 적 있으신가요?
혹시 그때 떠오른 생각이 나중에 연구 결과의 핵심이 되었던 적은요?

오늘 소개할 논문은 바로 그런 ‘책상 밖에서 떠오른 아이디어’를 연구로 이끄는 힘,
가추 분석(abductive analysis)에 대해 이야기합니다.


🧩 가추 분석, 왜 필요할까?

현대의 연구 환경은 빠른 산출물, 빠른 성과, 빠른 논문을 요구하곤 하죠. 하지만 저자는 이렇게 말합니다:

“Abductive analysis takes time.”
가추 분석은 시간이 걸리는 작업입니다.

 

연구자가 증거에 깊이 몰입하고, 의미를 숙성시키며, 책상 밖에서 얻은 자극들까지 놓치지 않으려면 ‘서두르지 않는 사고’가 필요하다고 강조합니다.


🏞️ 수영 중 떠오른 질문 하나

연구자는 학교장들을 인터뷰하며 이런 의문을 품습니다.

“학교장이 실제로 어떤 업무를 하느냐보다, 그 일을 어떻게 ‘생각하느냐’가 더 중요하지 않을까?”
이 생각은 수영 중에 떠올랐다고 해요! 🏊

 

그리고 이 질문은 연구 전반을 관통하는 방향을 제시합니다.

“It is people that matter.”
결국 중요한 건 사람이라는 사실.


🔍 가추 분석을 위해 필요한 3가지

이 논문에서는 가추 분석을 가능하게 하는 세 가지 조건을 제안해요:

  1. 시간(Time): 익숙해지고, 낯설어지기 위한 시간. 의도적인 멈춤과 숙고의 시간.
  2. “To stay unbalanced for a moment longer than what is comfortable…”
    익숙한 균형에서 잠시 더 벗어나 있을 때, 우리는 무언가 새로운 걸 배울 수 있다. (Brinkmann, 2014)
  3. 비공식 자극의 수용(Prompt Awareness): 산책, 독서, 대화, 음악처럼 연구 외부의 경험에서 오는 자극을 가치 있게 여길 것.
  4. “Ideas will definitely not ‘emerge’ just from our repeated inspection of notes and transcripts.”
    아이디어는 메모나 전사문을 반복해서 들여다본다고 ‘절대’ 생기지 않는다. (Atkinson, 2017)
  5. 사후적 논리 구성(Backward Mapping): 아이디어가 어디서 왔는지, 왜 그렇게 생각하게 되었는지를 증거를 바탕으로 역추적해 설명할 수 있어야 함.
  6. “It might be as simple as asking ourselves, ‘Where did I get that idea?’”
    “그 생각은 어디서 온 거지?”라는 간단한 질문에서 시작할 수 있다.

🎯 연구의 질을 높이는 “느린” 방법

저자는 이렇게 제안합니다:

“I ask researchers to take time for deliberation as an important aspect of quality research processes and outcomes.”
연구자는 숙고의 시간을 확보해야 하며, 그것이 고품질 연구의 핵심 요소입니다.

 

그리고 자신의 아이디어가 어떻게 형성되었는지, 어떤 외부 자극들이 영향을 주었는지를 기록하고, 투명하게 공유하자고 제안합니다.


☕ 마무리하며…

이 글을 읽고 나면, ‘산책도 연구의 일부’라는 말이 그냥 미화된 표현이 아니라는 생각이 들 겁니다.
그리고 우리도, 무심코 스쳐간 순간에 떠오른 아이디어들을 무시하지 않고, 글로 남기고, 다시 돌아보고, 역추적하며 더 나은 연구로 이끌 수 있다는 용기를 얻게 될지도요.

“Abductive analysis is an approach and a process that is exploratory, creative, speculative, and about inference.”
가추 분석은 탐색적이고, 창의적이며, 사변적이고, 추론에 관한 접근 방식입니다.

 

📝 다음에 책상에 앉을 때는, 책상 밖에서 스친 생각 하나도 놓치지 마세요.


들어가는 말: Ingress

“단서가 있었나요?” 당라르가 물었다.
“네, 꽤 많았죠.”
“그런데 왜 우리한텐 말 안 했죠?”
“전 줄곧 말씀드렸습니다, 지휘관님. 저와 마찬가지로, 여러분도 같은 정보를 전부 가지고 있었어요.” 이 대목에서 아담스베르그는 목소리를 높였다. “제가 아이슬란드로 떠난 이후에도, 당신이 이끄는 팀 전체가 말입니다.”
— 프레드 바르가스, A Climate of Fear (Siân Reynolds 번역, 2015/2016, p. 391)

 

프레드 바르가스(Fred Vargas)의 범죄 소설 시리즈에 등장하는 주인공 장 바티스트 아담스베르그(Jean Baptiste Adamsberg) 경감은 수집된 증거를 읽고 나서 사건을 해결하기 위해 긴 산책을 즐깁니다¹. 소설 속에서 이러한 과정은 흔히 “연필과 종이(pencil and paper)” 방식의 논리와 대조됩니다:

"[그의] 긴 산책은 종종 머릿속에서 뭔가 흥미로운 생각들이 꿈틀거리기 시작했다는 느낌을 남겼다. 그 생각들이 숙주나물처럼 똑바로 뻗은 건 아니고, 좀 더 미끄럽고 엉겨 있는, 해초 같은 것이었지만, 발아는 발아니까. 아이디어가 생기고 나면, 그게 말끔한 흡수지 위에서든 쓰레기 더미에서든, 아무래도 상관없는 것이다."
“His long walks often left him with the feeling that not entirely uninteresting notions had started to squirm inside his head. Maybe they weren’t quite as straight up as bean sprouts, maybe they were more slippery and tangled, more like seaweed, but germination is germination whatever you say, and once you’ve got your idea it doesn’t matter two hoots whether it grew on a clean piece of blotting paper or on a rubbish tip.”
(Vargas, 2001/2003, p. 31)

 

다른 바르가스의 소설들과 마찬가지로, 단서들은 종종 아담스베르그가 표면으로 떠올리거나 복잡한 해초 속에서 끌어올린 후에야 다른 등장인물들—그리고 독자—에게 그 의미가 드러납니다. 한 작품에서는 캐나다 인물이 아담스베르그의 이런 과정을 “구름 퍼내기(cloud shoveling)”라고 부르며, 이 표현이 그대로 자리 잡습니다. 필자는 아담스베르그가 사무실 밖에서 산책하는 시간을 주목하는데, 이 ‘구름 퍼내기’라는 행위는 일종의 abductive analysis(가추 분석)으로 보입니다.

 

‘abductive’라는 단어를 풀어보면: “ab-”는 “~로부터(from)” 또는 “떨어져서(away)”를 의미하는 접두어이고, “duct”는 통로나 도관을 뜻합니다. 라틴어 duco 또는 ducare는 “이끌다(to lead)”를 의미하며, “-ive”는 “행위를 수행하거나 이를 향해 나아가는” 속성을 나타내는 접미사입니다 (Merriam-Webster, online). 즉, abductive analysis는 연구자가 증거를 엄격하게 분석하는 일에서 잠시 벗어나 다양한 가능성에 마음을 여는 과정이라 할 수 있습니다.

 

필자가 박사과정 연구를 수행할 당시, 소설을 읽거나 영화를 보던 중에 내 연구와 연관되어 보이는 어떤 장면이나 대사가 의미 있게 다가오곤 했습니다. 연구와 무관한 활동 속에서도 이런 연결들이 우연히 포착되었고, 이는 분석 과정에서 많은 전진을 이끌어냈습니다. 물론 이런 통찰을 일부러 찾으려 한 것은 아니었습니다. 그것들은 우연히(serendipitously) 일어났습니다. 본 논문에서는 이러한 현상이 어떻게 발생하는지를 설명하려는 것이 아니라, 이러한 연결이 연구자에게 발생할 가능성을 높이는 조건에 대해 논하고자 합니다.

 

현재의 이해에 따르면, abductive analysis를 위해 필요한 조건은 세 가지입니다².

  • 첫째, 가추적(abductive) 과정은 연구 증거에 익숙해지는(또는 낯설게 하기 위한) 시간을 필요로 합니다. 연구자는 계획되지 않은 시간(unscheduled time)과 성찰(reflection)을 위한 여유를 가져야 하며, 이 과정 속에서 증거를 충분히 탐독하고 이론적 제안을 도입해보는 훈련도 포함됩니다.
  • 둘째, 연구자는 연구 중에 나타나는 암시(prompt), 주의 환기(tuning-in), 영향력 있는 자극들을 인식하고 그것에 반응할 수 있어야 하며, 이를 소중하게 여겨야 합니다. 이러한 영향들이 연구 기록에 명시적으로 인정받는 문화가 형성된다면, 이 조건은 더욱 강력하게 뒷받침될 것입니다.
  • 셋째, 가추 분석을 수행하는 연구자는 “사후적 논리(logics-in-hindsight)”를 추적할 수 있어야 하며, 새로운 지식으로 이어진 경로를 역추적(backward mapping)할 수 있어야 합니다. 이러한 점에서 abductive analysis는 단순한 영감이나 번뜩임을 기다리는 수동적 과정이 아니라, 적극적인 실천이라 할 수 있습니다³.

 

가추 분석 (Abductive Analysis)

여기서 분석(analysis)이란, 연구자가 연구 과정 중에 수집된 증거(research evidence)를 해석적으로 다루는 능동적인 과정 또는 일련의 과정을 의미합니다⁴. 이는 연구자가 어떤 의미를 구성하고 해석을 부여하며, 그 결과로 새로운 지식을 도출하는 데 이르게 합니다. 듀이(Dewey)식 실용주의자(pragmatist)라면, 분석은 대개 ‘문제(problem)’를 설정하는 지점에서 시작된다고 볼 수 있습니다. 반면, 어떤 이들은 분석이 현장 조사를 시작하는 순간부터라고 보며, 또 다른 이들은 분석을 현장 조사가 끝난 이후, 수집된 자료를 정리하고 분류하고 글로 풀어내며 성찰하는 시기에 일어나는 것으로 간주합니다. 이드도 타보리(Iddo Tavory)와 스테판 티머만스(Stefan Timmermans, 2014)는 가추 분석(abductive analysis)을 논할 때, 연구자가 수집한 자료를 실제로 다루는 시점에 주목합니다. 본 논문도 필자의 박사과정 중 경험을 바탕으로 분석을 논하기 때문에, 현장 조사 중 및 그 이후의 시기를 중심으로 논의를 전개합니다.

 

가추 분석(abductive analysis)은 새로운 개념이 아닙니다. 요 라이헤르츠(Jo Reichertz)는 이렇게 설명합니다:

“1597년 율리우스 파키우스(Julius Pacius)에 의해 아리스토텔레스의 개념인 apagoge를 번역하는 데 처음 사용된 abduction이라는 개념은, 거의 300년 동안 주목받지 못했습니다. 찰스 퍼스(Charles Peirce, 1839–1914)가 이를 되살려서, 일반적인 논리적 추론 유형인 연역(deduction)이나 귀납(induction)과 구별되는, 유일하게 진정으로 지식을 확장하는 추론 방식이라 주장하며 사용하기 시작했습니다.”
(Reichertz, 2010, p. 3)

 

논리적 사고(logical thinking), 즉 분석의 논리는 여러 가지 과정 또는 유형으로 구분될 수 있습니다. 그중 가장 잘 알려진 유형이 바로 귀납(inductive)연역(deductive)입니다. 특히 뉴질랜드 박사과정의 교육 연구에서는 귀납적 접근(inductive approach)이 흔히 사용됩니다. 귀납수집된 자료로부터 시작하여 이를 분석함으로써 더 일반화 가능한 이론이나 규칙을 도출하려 합니다 (Timmermans & Tavory, 2012 참조). 반면, 연역적 추론(deductive reasoning)이미 정립된 이론이나 규칙을 바탕으로 사례를 분석하고, 이를 통해 초기 이론을 지지하거나 반박하는 결론에 이르게 합니다 (예: Levin-Rozalis, 2004; Saldaña, 2014; Timmermans & Tavory, 2012).

  • 타보리와 티머만스(Tavory & Timmermans, 2014)는 연역적 분석이 연구자들로 하여금 유행하는 이론(en vogue theorist)에 맞추어 자료를 억지로 끼워 맞추게 하며, 이로 인해 ‘작고 이상하거나 놀라운 소리(smaller noises)’ 같은 자료는 쉽게 가려지거나 무시될 수 있다고 지적합니다. 브링크만(Sven Brinkmann)은 연구자들이 “데이터가 기대한 대로 작동하지 않는다”고 불평하는 경우를 언급하기도 합니다 (Tavory & Timmermans, 2014, p. 720).
  • 이들은 귀납적 접근 방식의 한계점도 지적합니다. 특히 수집된 방대한 양의 자료는 브링크만의 표현을 빌리자면 “데이터에 빠져 허우적대는 상황(drowning in data)”을 야기할 수 있으며, 단순히 묘사적인 자료가 연구의 질을 보증하는 것처럼 오해될 수도 있습니다.
  • 실제로 귀납 분석은 연구자의 기존 신념과 세계관을 완전히 배제할 수 없기 때문에, 이론으로부터 완전히 독립적으로 작동한다고 보기는 어렵습니다.
  • 마찬가지로, 연역적 분석증거를 어떻게 사용할 것인지에 대한 연구자의 적극적인 결정을 필요로 합니다.

 

브링크만(2014)은 다음과 같이 설명합니다: “귀납(induction)과 연역(deduction)은 모두 데이터와 이론 간의 관계를 다룬다”, 그러나 “가추(abduction)는 ‘상황(situation)’과 ‘탐구(inquiry)’ 간의 관계에 초점을 둔 추론 방식”이라고 말합니다 (강조 원문 그대로, p. 722). 이는 연구자가 세계와 단절되지 않고, 오히려 그 안에서 연구를 수행하며 연구 자체가 상황의 연속선상에 있다는 실용주의 관점과 일치합니다. 요컨대, “삶과 연구, 이론과 방법 사이에 명확하게 구분되는 경계선은 없다”는 것입니다 (p. 722).

 


귀납(inductive)연역(deductive)을 구분하는 것은 연구자들이 연구 분석(research analysis)에 대해 논의하고, 자신의 (습관적인) 사고방식에 대한 자기 인식(self-knowledge)을 높이며, 특히 초보 연구자들에게는 방법론적 결정(methodological decisions)과 대안적 접근 방식의 발전에 대한 인식을 심어주는 데 도움이 됩니다. 그러나 우리가 흔히 사용하는 분석 절차는, 루틴하거나 습관적이며 의례적인 방식일 경우 오히려 우리 발목을 잡을 수 있습니다.

 

안토니 브라이언트(Antony Bryant, 2017)는 다음과 같이 지적합니다:

“연구의 문제는, 이미 정립된 이론적 정전(canon)을 시험하려는 것이 목표일 경우, 뿌리 깊은 사고 습관에서 벗어나 새로운 관점에서 사안을 보는 것이 매우 어렵다는 데 있습니다. 특히 연구자가 고전 이론—즉, 전통적인 지혜—를 깊이 있게 학습하는 도제 과정을 거치게 될 경우, 이러한 어려움은 더욱 심화됩니다.” (p. 13)

 

동시에, 인간은 일상적인 과업을 효율적으로 처리하기 위해 사고 패턴을 내면화하고 습관화할 필요가 있습니다. 그렇지 않으면 일상적인 일조차 무수한 결정에 짓눌려 마비될 정도가 될 수 있기 때문입니다 (de Bono in Dudgeon, 2001). 에드워드 드 보노(Edward de Bono)는 뇌의 탁월함은 패턴을 형성하고, 이를 활용하며, 이탈을 배제하는 능력에서 비롯된다고 설명하면서, 다음과 같이 말합니다:

“창의성(creativity)이란 정립된 패턴을 벗어나, 사물을 새로운 방식으로 바라보는 것이다.”
(1971, p. 1)

 

찰스 퍼스(Charles Peirce)는 기존의 사고 패턴을 깨뜨리는 방법 중 하나로 긴급성(urgency)’을 부여하는 것을 제안했습니다. 그는 전통적인 연필과 종이 방식의 논리를 뒤흔들기 위해 시간 압박(time pressure)을 도입함으로써, 암묵적 지식(tacit knowledge)에 기반한 보다 직관적인 반응을 이끌어낼 수 있다고 보았습니다 (Reichertz, 2007에서 인용). 퍼스는 abduction을 일상에서 마주치는 문제 상황(breakdowns)을 직관적으로 처리하는 방식이라고 설명했습니다 (Brinkmann, 2014 참조). 퍼스에게 있어 가추(abduction)는 귀납이나 연역에 앞서는, 제3의 접근 방식이었습니다.

 

브링크만(Brinkmann, 2014)은 이 제3의 방식—즉, 가추(abduction)—을 다음과 같이 설명합니다:

귀납(phenomenological or grounded theory approaches)자료 기반(data-driven) 분석이라면, 연역가설 기반(hypothesis-driven) 분석이다. 반면 가추는 ‘놀라움(astonishment)’, ‘수수께끼(mystery)’, 그리고 ‘이해의 붕괴(breakdowns)’로부터 출발한다.” (p. 722)

 

타보리(Tavory)와 티머만스(Timmermans, 2014)는 가추 분석을 “창의적인 추론 과정(a creative inferential process)”이라고 설명합니다 (p. 5). 한편에서는 사회 세계의 경험적 관찰(empirical observations)이, 다른 한편에서는 이론적 명제(theoretical propositions)가 대화를 나누는 구조입니다 (p. 2). 이들은 가추 분석을 자료와 이론 간을 오가는 상호작용의 과정(back-and-forth process)으로 봅니다⁵. 이러한 대화를 지속하기 위해서는 연구자는 자료에 대한 심층적 이해뿐 아니라 이론에 대한 폭넓은 지식도 갖추고 있어야 하며, 이는 ‘잠재성(potentials)’과 ‘현실화(actualizations)’, ‘일반화(generalizations)’ 간의 상호작용을 이끌고, 그 타당성(plausibility)을 평가하는 기반이 됩니다 (Tavory & Timmermans, 2014, p. 5)⁶.

 

하지만 가추는 순차적인 역할 교대(turn taking)가 아닙니다. 가추를 일련의 단계로 단순화하는 방식은 적절하지 않으며, 오히려 이 과정은 연구자가 상황과 증거를 탐색함에 있어, 가까이 다가갔다가 다시 멀어지는 반복적인 움직임이라 할 수 있습니다.

 

브링크만(2014)은 가추란 연구 전반을 아우르는 지속적인 과정이며, 그 놀라움은 우리가 세상 속을 살아가며 경험하는 것에서 비롯된다고 봅니다. 타보리와 티머만스(2014)는 가추 분석을 위해 “연구 자료 속에서 놀라움을 발견하려는 시도”라고 설명합니다⁷. 여기서 말하는 놀라움’이란 연구자의 기존 신념, 이론, 지식, 세계관에 대한 도전이 되는 요소입니다. 다시 말해, 무엇이 놀라운 것인가에 대해서는 연구자나 공동체 간에 합의가 이뤄지지 않을 수 있습니다.

 

중요한 점은, 퍼스(Peirce), 브링크만(Brinkmann), 타보리와 티머만스(Tavory & Timmermans), 그리고 그라운디드 이론의 대표적 학자인 캐시 샤르마즈(Kathy Charmaz)와 같은 이들에게 있어서도, 가추 분석은 깊은 몰입(deep engagement)을 요하는 작업이라는 점입니다⁸.

 


가추 분석을 위한 조건: “구름 퍼내기(Cloud Shoveling)”

시간을 들이는 것(Taking Your Time)

가추적 과정(abductive processes)은 익숙해지기(familiarization)와 동시에 낯설게 하기(defamiliarization)를 위한 시간(time)을 필요로 합니다. 가추 분석은 연구자가 자신의 지식에 의문을 제기하고, 증거에 대해 치밀하게 검토하는 것을 포함합니다 (Charmaz, 2006; Reichertz, 2010). 연구 증거에 대한 풍부하고 전문적인 이해—심사숙고되고, 성찰되고, 대화를 통해 다듬어진 이해—는 새로운 아이디어의 가능성을 열어줍니다. 현재 알고 있는 지식은 질문받아야 할 대상이며, 연구자는 열린 태도와 새로운 통찰에 대한 준비된 자세를 가져야 합니다 (Charmaz, 2006; Reichertz, 2010).

 

브링크만(Brinkmann, 2014)은 실용주의적 관점에서, 연구자는 자신이 알고 있다고 믿는 것과 당연하게 여기는 것들을 질문하고, 낯설게 만들기(defamiliarize) 위한 노력을 통해 현상을 새롭게 인식해야 한다고 주장합니다:

“편안한 상태에서 벗어나 조금 더 오래 불균형 상태로 머무르는 것—바로 그 지점에서 우리는 새로운 무언가를 배울 수 있다.”
“To stay unbalanced for a moment longer than what is comfortable, for this is where we may learn something new” (p. 724)

 

존 듀이(John Dewey)는 빠른 판단을 내리는 것을 경계하라고 여러 차례 강조했습니다. 그는 성찰(reflection)과 분석(analysis)과 같은 과정에서 지성의 작용(operation of intelligence)이 중요하다는 점을 나타내기 위해 “심사숙고(deliberation)”라는 단어를 사용했습니다 (Dewey, 1938). 이는 분석에서 핵심적인 요소로, Opie(1999)가 말했듯이 다음을 포함합니다:

“연구자가 데이터를 해석할 때 동원하는 성찰적 지적 자산경험적 자산
“the reflexive intellectual and experiential capital one brings to bear on the data” (p. 228)

 

연구자는 여러 번의 읽기, 듣기, 보기 등을 통해 자료에 익숙해지는 것이 필요하며, 동시에 그 자료를 낯설게 바라보는 노력도 필요합니다 (Becker, 2014; Timmermans & Tavory, 2012). Charmaz(2006)는 연구자들에게 가능한 모든 설명을 “환대하라(entertain)”고 조언하며, 이는 시간이 필요한 작업이라고 말합니다.

 

필자는 가추 분석을 다음과 같은 문제에 대한 대응책으로 제안하고자 합니다: 연구자의 실제적인 실천이 시간 압박 속에서 지하로 숨어버리거나 연구 기록에서 침묵하게 되는 현상, 그리고 연구 성과 산출의 효율성을 추구하다가 연구 본연의 깊이를 잃어버리는 상황입니다. 이에 대해 시오반 오드와이어(Siobhan O’Dwyer) 외(2018)는 학계가 직면한 시간 중심 압박을 다음과 같이 묘사합니다:

“더 많이 산출하라는 압박, 측정 가능한 성과를 더 많이 산출하라는 압박, 더 적은 자원으로 더 많이 산출하라는 압박; 참여하되 영향력을 갖고, 더 큰 영향력을 발휘하며 참여하라는 압박; 성과를 내되 효율적으로, 더 높은 효율로 성과를 내라는 압박; 항상 대기하되, 더 빠르게, 지체 없이 즉시 대기하라는 압박.”
“The pressure to produce more, to produce more that is measurable, to produce more with less; to engage, to engage with impact, to engage with more significant impact; to deliver, to deliver with efficiency, to deliver with more efficiency; to be available, to be more available, to be available without delay.”
(p. 244)

 

이러한 현실에 대응할 대안적인 방식이 필요할 수도 있습니다⁹.

 

나는 연구자들이 연구 산출물과 영향력(impact)에 대한 조급함과 긴급성의 요구에 맞서야 한다고 주장한다. 왜냐하면 분석을 효율적으로 수행하고자—코드를 부여하고, 신속하게 주제나 범주를 결정하는 과정—할 때조차, 우리는 종종 모든 것이 해결되지 않았다는 느낌을 받을 수 있기 때문이다. 막연하게 ‘손에 닿지 않는’ 생각 하나가 계속해서 머릿속을 맴돌며 집중을 방해하기도 한다.

 

얼마나 여러 번이나 이 주석(comment)이나 증거 속 한 에피소드가 어떻게 기존 체계에 잘 들어맞았는지(또는 타당한 이유로 제외되었는지)를 스스로 논리적으로 설명해보았더라도, 그 감각은 쉽게 사라지지 않는다. 그것은 신경을 긁고, 짜증나게 한다(niggles, irritates). 때때로 우리는 어떤 말이나 사건, 혹은 느껴지는 감각(felt sense)에 대해 정서적으로 불안하거나 불편함을 느끼는 자신을 발견하기도 한다 (Gendlin, 1991; Perl, 2004).

 

이처럼 어떤 요소가 논리 구조에 들어맞지 않을 때, 우리는 그 퍼즐을 일단 제쳐두거나 계속해서 질문하고 숙고하는 선택권을 가진다. 그러나 우리는 종종 기관의 요구나 학술지 출판 관행에 의해 서둘러 프로젝트를 마무리하라는 압박을 받는다. 하워드 베커(Howard Becker, 2007)는 연구자들에게 ‘일단 내보내는 것(getting it out the door)’‘더 나은 것을 만드는 것(making it better)’ 사이의 긴장을 상기시키며 다음과 같이 말했다:

“우리는 다양한 전략이 조직 내에서 받게 될 보상과 처벌을 고려해야 한다.”
“Take into account the organizational rewards and punishments of different strategies” (p. 126)

 

연구 과업을 ‘잘 마무리했다는 만족감’을 가지고 마칠 시간뿐 아니라, 그 작업으로부터 잠시 멀어질 시간도 필요하다. 여기에 분석이라는 이름이 붙은 일들조차 포함된다. 아인슈타인은 종종 요트 항해, 바이올린 연주, 그리고 양말을 신지 않은 채로 아이스크림을 들고 거리를 산책하곤 했다 (Berne, 2016). 우리가 그 활동들이 그의 과학적 사고에 어떻게 기여했는지 정확히 알 수는 없지만, 중요한 점은 그가 명확하게 여가와 방황(wandering), 사유(wondering)의 시간을 가졌다는 사실이다.¹⁰

 

다니엘 카너먼(Daniel Kahneman, 2011)도 그의 저서 Thinking, Fast and Slow에서 자신의 산책 속도(분당 몇 마일인지)까지 측정해 가장 잘 사고하고 연구했던 순간들을 기록했다.¹¹ 그는 오랜 협업자 아모스(Amos)와 함께한 느긋한 산책 속에서 자신의 인생 최고의 사고를 해냈다고 회상하며 다음과 같이 말한다:

“I did the best thinking of my life on leisurely walks with Amos.” (p. 40)

 

카너먼의 이 말은 연구와 무관한 활동을 위한 시간반드시 고립적이거나 독립적일 필요는 없다는 점을 시사한다. 그러므로 가추 분석은 ‘컴퓨터 앞에 앉은 개인의 작업’으로만 분석을 규정하는 사고방식과는 명확히 구분된다. 새로운 아이디어는 과거와 미래를 포함한 연구 외적 경험들을 통해 떠오른다. 제리 로지에크(Jerry Rosiek, 2013)는 이렇게 말한다:

“… 가추(abduction)를 통해, 이전에는 존재하지 않았던 새로운 관계가 경험의 흐름 안에서 생성된다. 이 새로운 관계들은 직관적으로 미래 결과를 예상하며 판단한 판단력의 산물이자, 동시에 퇴적된 과거의 산물이다.”
“...through [abduction], new relations are created within the stream of experience that did not exist before. These novel relations are the product—in part—of the exercise of our judgment, judgments that intuitively anticipate future consequences, but that are also products of [a] sedimented past.” (p. 699)

 

로지에크의 “경험의 흐름(stream of experience)”은 존 듀이(Dewey, 1938)의 연속성(continuity), 노먼 덴진(Norman Denzin, 2015)의 움직이는 의미(meanings in motion)”, 콜린 쿠프먼(Colin Koopman, 2011)의 “전이적 이해(transitional understanding)”와 맥을 같이 한다. 로지에크가 말하는 “새로운 관계(novel relations)”는 판단력(judgment)의 실행이며, 이는 연구 증거 속의 다양한 특징들이 새로운 방식으로 결합하거나 조합될 때 창의적으로 나타날 수 있는 결과다.

 

이를 위해서는 연구자가 아이디어가 표면으로 드러나고 결합하고, 어느 정도의 물질성을 갖도록 다듬어질 수 있는 시간과 공간—즉 여유가 필요하다. 그러나 이러한 시간과 연구 외 활동의 영향력은, 연구 기록이나 방법론 안내서 속에서는 여전히 잘 드러나지 않는 희귀한 요소로 취급된다. 이는 우리가 ‘퇴적된 과거(sedimented past)’를 드러내고 (연구자 관점과 전기적 배경 포함), ‘미래 결과를 예측(anticipate future consequences)’하려는 시도를 하기 전까지는 마찬가지다 (Rosiek, 2013, p. 699).

 

존 로(John Law, 2004)는 다음과 같은 과정을 제안한다:

“느리고 불확실하며, 위험하고 불편한 과정”, 그리고
“느린 방법(slow method), 취약한 방법(vulnerable method), 조용한 방법(quiet method)”을 살아갈 것. (p. 10–11)

 

가추 분석은 시간이 걸리는 과정이다. 자료에 몰입하고, 연구의 흐름 속에서 사유하고, 가끔은 낚시도 하고, 구름(혹은 개념)을 쫓고, 주의를 딴 데로 돌리고, 주전자의 물 끓는 소리를 놓치는 일도 허용해야 한다. 그리고 초보 연구자들에게도 이러한 방식을 장려할 시간과 여유가 필요하다.

산책하거나, 좋은 소설을 읽거나, 영화를 보거나, 음악을 듣는 것도 우리의 사고에 간접적으로 도움을 줄 수 있으며, 결과적으로 우리의 연구를 더 깊고 풍요롭게 만들 수 있다.

 


비공식적인 자극(informal prompts)을 영향력으로 인정하기

질적 연구자들의 작업이 관계 중심적(relational)이고, 성찰적(reflexive)이며, 창의적(creative)인 방향으로 점점 진화하고 있음에도 불구하고, 연구 분석(research analysis)은 여전히 주로 “자료의 코딩(coding of data)”과 주제 생성(theme generation)에 초점이 맞춰지는 경향이 있습니다 (Kalpokaite & Radivojevic, 2019). NVivo 같은 디지털 도구와 소프트웨어의 사용을 통해, 체계적이고 효율적인 절차를 따르면 증거를 체로 거르듯 정리하고, 분류하고, 라벨링할 수 있다는 믿음이 퍼져 있습니다.¹²

 

그러나 존 로(John Law, 2007)는 이에 대해 다음과 같이 지적합니다:

“지배적인 방법론은 혼란(mess)의 가능성 자체를 억압하려는 방향으로 작동한다... 명료함, 구체성, 확실성에 대한 집착에 사로잡혀 있다.”
“Dominant approaches to method work with some success to repress the very possibility of mess... caught in an obsession with clarity, with specificity, and with the definite” (p. 596)

 

로는 이를 일종의 “위생(hygiene)”, “방법론적 청결(methodological cleanliness)”이라고 부릅니다. 이 방식은 연구의 혼란과 모순, 불확실성‘타자화(othering)’하거나 완전히 부재시키는 방식으로 가려버린다고 설명합니다 (p. 598). 그는 사회과학 연구자들이 “기계적, 기술적, 시스템적 혹은 레시피적인 것에 의존하지 않는 삶의 방식을 배워야 한다”고 주장합니다 (p. 9).

 

연구자는 무엇을 보고(읽고), 듣고(말하고), 경험하는가에 영향을 받습니다 (Atkinson, 2017; Brown, 2019 참조). 폴 앳킨슨(Paul Atkinson, 2017)은 다음과 같이 말합니다:

“아이디어는 단순히 필기나 전사 기록을 반복해서 살펴보는 것만으로는 ‘절대’ 떠오르지 않는다.”
“Ideas will definitely not ‘emerge’ just from our repeated inspection of notes and transcripts” (p. 167)

 

그는 연구자가 아이디어의 출처를 의식적으로 인식하고, 연구 보고서에서 그런 출처를 삭제하지 말아야 한다고 주장합니다. 필자는 이러한 성찰성과 투명성한 단계 더 확장해서 해석하고자 합니다. 만약 사람들이 연구를 경계 지어진 활동(bounded activity)으로 생각한다면, 나는 그 인위적인 경계를 넘어 연구자의 ‘다른 삶의 활동들(other life activities)’까지 포함하도록 유도하고 싶습니다.

 

연구 프로젝트의 경계를 넘는 영향들을 고려하는 것은 지그문트 바우만(Zygmunt Bauman)과 팀 메이(Tim May, 2001)가 사회학에 대해 말한 바와도 일치합니다. 그들은 사회학이 “우리 삶의 보통은 배제되곤 하는 측면들을 포함함으로써 다른 방식으로 사고할 수 있는 가능성(possibilities for thinking differently)을 열어준다”고 했습니다 (p. 167).

 

듀이(Dewey)의 연속성의 원리(principle of continuity)연구자가 한 연구의 ‘순간(moment)’ 또는 상호작용(interaction)에 어떻게 도달하게 되었는지를 설명해 줍니다. 듀이는 이를 경험의 측면(lateral aspects of experience)을 통해 설명하며, 이는 연구자의 입장이나 위치 선언(standpoint or positioning)이 왜 필요한지를 뒷받침합니다 (Dewey, 1938, p. 44). 연속성의 원리는 또한 미래가 반드시 고려되어야 한다는 점도 강조합니다 (p. 47).

 

듀이의 ‘연속성과 상호작용’이라는 두 원칙을 적용할 때, 나는 가추 분석(abductive analysis)을 연구라는 상호작용 안에서 일어나는 일들을 더 많이 드러낼 수 있는 방식으로 제안합니다. 여기서 말하는 상호작용(interaction)은 사회적 접촉과 의사소통의 경험의 종적 측면(longitudinal aspect of experience)입니다. 이 상호작용은 참여자에게는 몇 시간에서 몇 달이 걸릴 수 있고, 연구자에게는 몇 년이 걸릴 수도 있습니다.

 

만약 우리가 연구 프로젝트의 과업에서 벗어난 일상 속 현재(contemporary present)의 영향을 더 명시적으로 인정한다면, 즉 이러한 시간적 ‘혼란(temporal mess)’을 연구 보고서와 출판물 안에 포함시킨다면 어떨까요?¹³ 그렇게 되면 우리는 우리 자신의 창의성과, 우리가 만들고자 하는 지식과 이해에 대한 기여를 새롭게 인식하게 될지도 모릅니다.

 

내가 제안하는 것은, 연구자가 연구의 특정 시점(interaction 시기)에 ‘보통은 고려되지 않는 영향력’, 즉 당시에 병행해서 존재했던 영향들(concurrent influences)을 존중하고 기록하는 것입니다. 초보 연구자를 포함한 연구자들은 증거를 숙고하고 과업에서 벗어난 시간에 의미가 있음을 인식하게 될 수 있습니다. 연구자의 시간이 존중받으려면, 그 가치가 연구 보고서와 출판물에서 더 명시적으로 드러나야 할 것입니다.


역추적(Backward Mapping)

연구자들이 자신의 통찰에 더 강력한 신빙성(credibility)을 부여하기 위해 할 수 있는 일 중 하나는 “자신의 영향력들을 인정(admit our influences)”하는 것입니다. 그리고 이 과정을 완성하기 위해서는, 해석의 개연성(plausibility)을 '확인'해주는 사후적 논리(logics in hindsight)를 역추적(backward map)하거나 설명하는 작업이 필요합니다 (Charmaz, 2006).

 

미국 드라마 하우스(House)¹⁴에서 그레고리 하우스(Gregory House) 박사는 의학적 천재로 묘사됩니다. 그는 가상의 프린스턴-플레인스보로 대학병원(Princeton–Plainsboro Teaching Hospital)에서 미스터리한 질병을 진단하는 팀을 이끕니다. 하우스 박사는 종종 오토바이를 타거나 피아노를 연주하는 중에 “아하!” 순간(aha moment)을 통해 환자의 증상 원인을 떠올립니다. 일부 설정에 따르면, 진통제를 포함한 약물 복용이 그의 진단 능력에 일정한 영향을 준다는 암시도 존재합니다.

 

초기 에피소드에서 하우스는 병원에 등장하여 자신의 진단 논리(logic)를 팀원들과 시청자에게 직접 설명합니다. 이 방식은 앞서 언급한 프레드 바르가스(Fred Vargas) 소설 속 아담스베르그(Adamsberg)와 유사합니다. 그러나 후반부 에피소드로 갈수록, 해결책은 여전히 하우스에게 떠오르지만, 그 진단이 어떻게 도출되었는지의 논리적 흐름, 즉 역추적 과정(backward-mapping process)은 더 이상 설명되지 않습니다. 물론 TV 드라마의 열성 시청자는 학술 연구자나 논문 편집자처럼 높은 분석적 엄격함을 요구하지 않습니다. 하지만, 연구자들은 통찰(insight)을 제시할 때 반드시 자신의 증거 속 단서들을 되짚어야 하며, 이를 통해 사후적으로 존재하는 논리를 재구성하거나 전달할 필요가 있습니다. 이는 먼저 자신을, 그리고 독자를 설득하기 위한 작업입니다.

 

무엇보다 중요한 점은, 이와 같은 자기 성찰적 움직임(self-reflexive move)이 해결을 가능하게 했던 다소 이질적인 조각들을 명확하게 드러내 준다는 점입니다. 하워드 베커(Howard Becker, 2014)가 말한 사고의 블랙박스(black box of thinking)를 열어보는 이 작업은 더 많은 발견으로 이어질 수 있습니다. 그것은 어쩌면 단순히 “그 생각은 어디서 온 거지?”라는 질문을 스스로에게 던지는 것에서 시작될 수 있습니다.

 

조니 살다냐(Johnny Saldaña)는 “강력하고 설득력 있는 주장(strong and compelling case)”을 위해 “잘 문서화된 증거(well-documented evidence)”가 중요하다고 말하면서도, 때때로 “선도적 자극(initiative prompts)”, “직감(hunches)”, “육감(gut feelings)”이 연구자에게 다르게 행동하도록 자극한다고 덧붙입니다. 기존 해석을 다시 돌아보고, 다시 사고하고, 다시 표현하고, 다시 조직하게 만들기도 합니다. 살다냐는 연구자에게 직감을 확인해보고, 그 신뢰성을 검증해보라고 조언합니다:

“직감을 확인하고, 검증을 통해 그 신뢰성을 평가하라.”
“Assess their credibility through confirmation” (p. 54)

 

살다냐(2014)는 가추적 사고(abductive thinking)를 다음과 같이 설명합니다:

“최종 결정을 내리기 전에 자신이 가진 선택지와 옵션을 고려하는 것”
“Considering the choices and options available to you before making that ‘final’ decision” (p. 25)

 

그는 연구자가 다양한 가능성을 탐색하기 위한 세 가지 질문을 던질 것을 제안합니다:

  • “무엇이 가능한가?(What is possible?)”
  • “무엇이 개연성 있는가?(What is plausible?)”
  • “무엇이 바람직한가?(What is preferable?)” (p. 25)

여기에 추가로 “무엇이 합리적인가?(reasonable)”, “무엇이 신뢰할 만한가?(credible)라는 질문도 포함시킬 수 있습니다. 가추 분석의 목표는 확실성(certainty)이나 고정되고 보편적인 지식(fixed and universal knowledge)에 도달하는 것이 아닙니다. 찰스 퍼스(Peirce)의 관점에서 보면, 공유된 ‘진리(truth)’란 모든 사회 구성원이 동일한 신념에 도달했을 때만 가능합니다. 그런데 퍼스의 저작에서는 ‘모든 사람(all)’이란 우리보다 나중에 태어난 사람들까지 포함하므로, 다음과 같은 결론에 도달합니다:

“그 검증의 과정은 원칙적으로 결코 완결될 수 없다.”
“Since, in PEIRCE’s [capitals used in original] work, ‘all’ includes even those who were born after us, the process of checking can in principle never be completed” (Reichertz, 2010, p. 10)


사례(An Example)

2013년부터 필자는 6명의 학교장(school principals)을 대상으로 연구를 수행하였다.¹⁵ 연구 증거는 18개월에 걸쳐 이들과 1:1로 세 차례에 걸쳐 진행한 인터뷰 자료로 구성되었다. 필자는 오디오 녹음, 인터뷰 전사본(transcripts), 현장 노트(field notes), 연구 일지(research journals)를 수집하였고, 각 교장별로 하나씩 총 6개의 폴더에 세 번의 인터뷰 전사본을 저장하였다. 그리고 각 차수의 인터뷰별로 모든 교장의 전사본을 모아둔 추가 폴더 3개도 따로 만들었다.


익숙해지기와 낯설게 하기의 시간 (Time for Familiarization and Defamiliarization)

연구 분석 과정의 여러 시점마다, 필자는 각 인터뷰 전사본의 깨끗한 사본을 출력하여 다시 ‘눈으로 살펴볼 수 있도록’ 준비하였다. 그러나 필자는 다양한 형태로 수집한 증거에 깊이 몰입하여, 주석을 달고, 곁에 두고 숙고하며, 주의 깊게 귀를 기울이고, 의문을 품는 시간을 오랜 시간 들였다.

 

분석에서는 오디오 녹음과 전사본 모두를 증거 자료로 활용하였다. 인터뷰 녹음 파일은 분석에서 중요한 자료가 되었으며, 필자는 이를 전사 전후로 반복해서 청취하였다. 필자의 분석 방식은 일종의 포화(saturation) 과정, 즉 자료와 함께 머무르고 그 안에서 작업하는 과정이기도 했다. 수주에 걸쳐 필자는 메모를 작성하고, 모든 자료를 반복해서 읽으며, 인터뷰가 진행될수록 아이디어들이 반복되고 강화되며 되돌아왔다.

 

분석은 ‘주의(attention)를 끄는 과정’이자 ‘주의를 기울이는 과정’이 동시에 이루어지는 통합적 절차이다. 연구 증거 중 특정 내용은 눈에 띄게 드러나기도 하며, 연구자는 자신이 인식할 수 있는 내용을 찾기 위해 질문을 품고 증거에 접근한다.

하워드 베커(Becker, 2007)를 읽은 이후, 필자는 다음과 같은 의문을 품기 시작했다:

“만약 지금 주목하고 있는 이 발화가 남성이 아닌 여성이, 혹은 다른 인종의 사람이 했다면 다르게 들릴까?”¹⁶

 

필자는 전사본의 일부 구절을 손으로 필기해 보기도 했고, 글씨체를 바꿔가며 필사해보기도 했다. 산책을 하면서 소리 내어 구절을 읽어보기도 했다. 이는 내가 참여자에 대한 공감(sympathy)이 증거 속 불일치를 가리는 건 아닐지, 혹은 교육 담론에 익숙하다는 사실이 어떤 질문들을 묻지 않게 만드는 건 아닐지 경계하기 위한 시도였다.

 

시간을 충분히 들일 준비가 되어 있었기 때문에, 나는 내 자신의 가정과 위치성, 참여자의 존재 방식, 연구의 한계에 대해 더 많은 질문을 던질 수 있었다. 그리고 무엇이 증거 속에서 중요한지를 점점 더 명확하게 인식할 수 있는 자신감도 생겼다.

 

‘무엇이 중요한가’는 부분적으로 ‘무엇이 눈에 띄는가’, ‘무엇이 인식되는가’에 의해 결정되며, 이는 나의 개인적 경험과 신념, 세상이 어떻게 작동하는지에 대한 관찰, 그리고 이 연구가 진행되는 동안 벌어진 특정 사건들에 의해 영향을 받는다.

 


영향력 있는 자극들을 인정하기(Acknowledging Influential Prompts)¹⁷

국제 질적 연구 대회(International Congress of Qualitative Inquiry)의 워크숍 발표자들을 인터넷으로 찾아보던 중, 제리 로지에크(Jerry Rosiek)의 카우보이 부츠와 바비큐 이야기가 눈길을 끌었고, 그것이 계기가 되어 그의 연구를 더 깊이 탐색하게 되었다. 그의 논문 *“Contemporary Pragmatism” (2013)*은 푸코(Foucault)와 같은 포스트구조주의자(poststructuralists)들에게 응답할 수 있는 하나의 이론적 틀로 보였으며, 나는 이를 통해 듀이안 실용주의(Deweyan pragmatism)에 입각한 이론적 입장을 취할 수 있는 정당성(license)을 발견했다. 당시 나는 1950년대 이후 등장한 연구 이론의 발전을 무시하지 않으면서도 듀이식 실용주의를 현대적 맥락에서 재해석하고자 했고, 이를 ‘현대적 실용주의(contemporary pragmatism)’라 명명하여 교육 연구의 방법론으로써의 가능성과 현재적 재조명을 인정하고자 했다.

 

이 시기 연구 일지에 남긴 또 다른 기록들 역시 연구 과업에서 한 걸음 물러나 시선을 돌렸을 때의 배움을 보여준다. 삶의 안녕을 위한 독서나 문학적 글쓰기의 독서가 내게 연구적으로도 영향을 미쳤다. 앨런 와츠(Alan Watts, 2011)는 내가 조심해야 할 것을 일깨워주었다. 즉, 학교장들이 자신의 경험을 바라보는 방식—그것이 대체로 긍정적이든 부정적이든—을 나 또한 그대로 해석해서는 안 된다는 점, 대신 내가 들은 이야기를 다양한 시각으로 바라보며 무엇이 드러나는지를 살펴야 한다는 점이었다.

 

존 스타인벡(John Steinbeck)의 『찰리와 함께한 여행(Travels with Charley)』(1962)을 읽던 중, 그의 질문 “미국인은 어떤 사람들인가?”를 “학교장은 어떤 사람들인가?”라는 질문으로 바꾸어 보았다. 그리고 스타인벡이 그러했듯, 나는 다음과 같이 궁금해졌다:

“미국인(학교장)은 개인이고, 미국인들(학교장들)은 전체다. 이 둘은 서로 반대처럼 느껴질 정도로 다르다(p. 242)... 내가 만난 미국인들(학교장들)은 분명히 각기 다른 개별 존재였지만, 점차 나는 ‘미국인들(학교장들)’이 실제로 존재한다고 느끼기 시작했다. 그들이 속한 주(state), 사회·경제적 지위, 교육 수준, 종교나 정치 성향과 상관없이, 일반화할 수 있는 특징들이 존재한다는 인상을 받았다. 그렇다면, 만약 ‘학교장’이라는 이미지가 정말 존재한다면, 그 이미지는 어떤 모습인가? 어떤 행동을 하는가?” (Steinbeck, 1962, p. 244)

 

이처럼 각기 다른 개별 학교장들이 존재하면서도 동시에 ‘학교장’이라는 일반화 가능한 특징이 있다는 발상은 나에게 깊은 의미로 다가왔다. 나는 당시 다음과 같은 질문들을 기록했다: 학교장들에게는 일반화된 특성이 있는가? 그렇다면 ‘학교장’이라는 이미지는 무엇인가? 이 이미지는 학교장의 업무 수행이나 그 업무에 대한 평가에 어떤 영향을 미치는가? 이 외에 또 어떤 작용을 하는가? 결국 학교장들이 자가평가(self-assessment)에 대해 말한 내용을 시(poetry) 형식으로 표현하기로 결정한 데에는 이 스타인벡 소설의 단 한 문단이 상당한 영향을 주었다.

 

우리 집 근처 뉴질랜드 해안으로 내려가는 길에는 훙가로아(Whaingaroa) 항구로 가는 계단이 있다. 여름에 안식년(sabbatical)을 얻은 나는 밀물 때를 맞춰 헤엄치러 갔고, 수영을 하는 동안 내 생각은 자유롭게 떠돌았다. 수면 위에서 나는 대개 물 온도, 바람 방향, 구름 모양, 주변 집들의 불이 켜졌는지 꺼졌는지 같은 사소한 것들을 떠올렸지만, 때때로 그런 인식 너머의 마음 한쪽 구석에서 내 연구에 관한 힌트가 떠오르기도 했다.

 

이는 종종 이전에 알아차렸지만 의식 위로 떠오를 기회를 얻지 못했던 아이디어들이었다. 어느 시점엔가 ‘사람들이 자신의 일을 어떻게 인식하느냐가 실제로 무엇을 하느냐보다 더 큰 영향을 줄 수 있다’는 생각을 접했는데, 수영을 하던 중 문득 ‘업무에 소요되는 시간의 비율이 반드시 그 업무의 가치 판단을 의미하지는 않는다’는 생각이 떠올랐다.¹⁸ 이 아이디어를 토대로, 나는 학교장 참여자들이 자신의 업무 중 어떤 부분을 더 중요하게 여겼는지에 대한 발언들을 탐색했고, 그들이 사용하는 평가 기준(appraisal criteria)과 비교해보았다.

 

2015년 8월, 뉴질랜드 라글란(Raglan)에서 열린 World Café Natural World Writers 발표회에서 야생동물 사진작가 트레버 펜폴드(Trevor Penfold)의 발표를 들었다. 그는 정지 사진을 통해 현장에 없는 사람에게도 피사체와 환경 간의 연결성을 전달하고자 한다고 했다. 그는 관람자에게 멈추어 서서 더 오래, 더 주의 깊게 사진을 바라보게 만들고, 그렇게 함으로써 세상 자체를 더 오래 바라보도록 유도하고 싶다고 말했다. 나는 이 발표를 듣고 나서 일지에 다음과 같은 고민을 기록했다: “나의 독자는 누구일까?”, “논문 표지 안에 담아야 할 것들과 담기지 않은 것들 간의 관계는?”, “독자의 속도를 늦추어 사유를 유도할 수 있는 지점은 어디일까?”

 

그렇게 내 일지에 반복적으로 등장한 생각들은 시간이 흐를수록 점점 더 큰 가치를 갖게 되었다. 일지를 다시 읽는 행위는 나에게 기억을 환기시키는 자극이 되었고, 특정 아이디어가 여러 달에 걸쳐 반복적으로 등장했다는 사실은 내가 수집한 증거와 연구 참여자들, 그리고 내 연구 전체에 대한 자신감을 더욱 확고히 해주었다.


아이디어에서 통찰로: 증거를 통한 역추적(Backward Mapping From Idea to Insight Using Evidence)

수영을 하던 중 떠올랐던 한 가지 생각—학교장이 실제로 무엇을 하는가 또는 어떤 기준으로 평가받는가를 분석하는 것만으로는, 그들이 자신의 일에서 무엇을 중요하게 여기는지를 알 수 없을지도 모른다—는 나를 다시 증거로 되돌아가게 했다. 나는 참여자들이 자신의 시간을 어디에 사용하는지, 무엇을 중요하게 여기는지에 대한 발언들을 찾아보았다. 그 결과, 행정적 요구사항(‘administrivia’)은 우선순위가 낮은 것으로 평가되었고, 반면 “아이들을 위한 것(it’s about the children)”이라는 표현에서 드러나듯, 아이들에게 긍정적인 변화를 만들어내는 것(making a difference)이 이들의 핵심 목적이라는 점을 알게 되었다. 또한 이들이 학교 내에서 개인과 집단 간의 갈등을 조율하고, 안전하고 긍정적인 학습 환경을 유지하며, 지역사회와의 관계를 지속적으로 관리하는 데 많은 시간을 할애한다는 사실도 발견했다. 이 분석을 통해 나는 “중요한 것은 결국 사람이다(it is people that matter)”라는 문구에 도달하게 되었고, 이 문장이 전체 학위 논문을 구성하는 핵심 관점을 형성하게 되었다.

 

어떤 아이디어가 느긋한(그리고 시간이 많이 드는) 수영에서 비롯되었든, 읽거나 들은 것에서 촉발되었든, 나는 항상 다시 책상으로 돌아와 증거를 토대로 그 아이디어를 검토하고 평가하는 작업을 거쳤다. 과제는 그 아이디어가 어디서 비롯되었는지를 증거를 통해 역추적(mapping)하는 것이다. 이 과정에서 유용했던 질문들은 다음과 같다:

  • 이 아이디어는 증거와 잘 들어맞는가?
  • 이 아이디어는 증거를 잘 설명해주는가?

그리고 기존 이론이나 문헌에서 제시하는 다른 가능성들을 고려했을 때:

  • 이 해석을 뒷받침하는 내 주장의 설득력은 어느 정도인가? (친구, 동료, 학회에서 테스트해볼 것)
  • 이 아이디어 또는 개념화 방식은 연구 참여자 공동체에 어떤 ‘도움’을 주는가?
  • 이것이 연구 공동체나 이 문제에 관심을 가질 수 있는 사람들에게 기여할 수 있는 부분이 있는가?

이러한 유형의 질문들은 지속적인 숙고(deliberation)를 자극하고, 분석을 진전시켜 주며, 해당 연구가 어떤 의미 있는 기여를 할 수 있을지 평가하는 데 도움을 준다.

 

실용주의자의 관점에서 보면, 연구자가 다루는 탐색, 아이디어, 이론이 어떤 결과나 함의를 가져올 수 있을지를 숙고하는 일은 매우 중요하다. 또한 그 가능성들을 다른 사람들과 함께 나누고 토론하는 것도 유익하다. 나 역시 들을 의향이 있는 사람이라면 누구와도, 내 지도교수, 세미나 동료, 박사과정 지원 모임, 학회 발표 등 다양한 자리에서 그 가능성들을 공유하고 토론하였다.


나가는 말(Egress): 마무리를 위하여

가추 분석(abductive analysis)은 시간이 걸리는 과정이다. 하지만 연구자들은 효율성 담론(discourses of efficiency)이나, 연구비 지원기관, 학술기관, 박사과정 프로그램 등으로부터의 가속화된 기대(accelerating expectations)가 야기하는 압박감에 휘둘리거나, 심지어 강제로 동원되기도 한다. 이러한 상황에서 가추 분석은 일종의 ‘면역 주사(inoculation)’처럼 작용하여, 연구자가 증거에 깊이 몰입하고, 그것에 대한 전문성을 획득하며, 조급함에 저항하는 힘을 부여할 수 있다.¹⁹

이를 위해 필요한 조건은 다음과 같다:

  • 숙고(deliberation)할 수 있는 시간,
  • 의도적으로 과업에서 벗어나는 시간(off-task),
  • 연구 외 경험에서 비롯된 자극(prompts)을 소중히 여기는 태도,
  • 아이디어에서 정당한 믿음이나 연구 주장으로 이어지는 과정을 사후적으로 역추적(backward mapping)할 수 있는 능력.

이러한 역추적 훈련은 연구자들로 하여금 시간을 들이는 것의 가치, 그리고 책상 밖에서 떠오른 자극의 중요성을 다시금 인식하게 만든다.

연구 증거를 잘 기록하는 것, 연구자의 입장(positionality)과 전제(assumptions)를 명확히 밝히는 것과 더불어, 나는 연구자들에게 다음과 같은 점들을 요청하고자 한다:

  • 숙고의 시간을 확보하고 그것을 ‘질 높은 연구 과정과 결과’의 핵심 요소로 간주할 것,
  • 지금 우리가 제시하는 통찰에 도달하는 데 도움을 준 ‘병행적 영향력(concurrent influences)’들을 더 투명하게 드러내고, 인정하며, 기록하고 공유할 것,
  • 아이디어에서 출발해 연구 증거를 통해 정당화해 나가는 과정을 역추적함으로써, 새로운 지식의 개연성(plausibility)을 독자와 함께 확신할 수 있도록 할 것.

가추 분석은 탐색적(exploratory), 창의적(creative), 추측적(speculative)이며, 추론(inference)에 기반한 접근이자 과정이다. 이 글에서 제시한 세 가지 조건이 과연 가추 분석에만 특유한 것이며, 다른 논리에는 해당되지 않는가? 나는 그렇게 생각하지 않는다.

 

오히려 가추 분석을 탐구하는 과정은, 다양한 질적 연구 형태들 사이의 유사점에 대한 주의를 환기시키는 계기가 되었다. 이는 가추 분석이 지닌 또 다른 강점을 시사한다. 다양한 학문 분야, 연구 영역, 이론적 관점을 넘나들며 이 방법을 적용할 수 있다는 점은 가추 분석의 큰 장점이 될 수 있다.

 

연구의 인위적 경계를 강화하기보다는, 학문적 차이를 넘어 장점을 인정하고 공유하는 태도가 더 나은 접근이다. 덴진(Denzin, 2008)이 말한 “더 큰 천막(a bigger tent)”, 즉 더 많은 것을 포괄하는 질적 탐구의 공간이 형성된다면, 가추 분석은 보다 널리 사용되고, 더욱 뚜렷하게 드러나는 방식으로 자리매김할 수 있을 것이다 (p. 321).

 

Thompson, J. (2022). A Guide to Abductive Thematic Analysis. The Qualitative Report, 27(5), 1410-1421. https://doi.org/10.46743/2160-3715/2022.5340

 

 

 

주제 분석, 이렇게까지 정교할 수 있다고?

– Abductive Thematic Analysis의 8단계 가이드 정리 –

정성적 연구(qualitative research)를 하다 보면 흔히 접하는 방법 중 하나가 바로 주제 분석(thematic analysis)입니다. 그런데 요즘은 분석 방법으로서의 유연함은 좋지만, 지나치게 느슨하다, 일관성이 부족하다는 비판도 많이 들려오죠. 이 글에서는 그런 문제를 정면 돌파한 논문 하나를 소개할게요.

 

바로, ‘가설적 추론적 주제 분석(abductive thematic analysis)’을 위한 8단계 분석 가이드를 제시한 연구입니다.


🧭 왜 ‘가설적 추론(abduction)’일까?

이 논문에서 말하는 핵심은 단순합니다. 이론에만 끌려가도 안 되고, 데이터에만 빠져도 안 된다.
그래서 이 두 가지를 나란히 병렬적으로 바라보는 시각이 필요하다는 것이죠.

“Abductive research is neither data-driven nor hypothesis-driven but conducts parallel and equal engagement with empirical data and extant theoretical understanding.”
“가설적 추론 연구는 데이터 중심도, 가설 중심도 아닌, 경험적 자료와 기존 이론 사이의 병렬적이고 동등한 관여를 통해 이루어진다.”


🧩 8단계 분석, 이렇게 하면 됩니다

이제 본격적으로 8단계 과정을 요약해볼게요. 논문에서는 친절하게 각 단계마다 실제 사례와 도구도 제시해주고 있어요.


1. 전사와 친숙해지기 (Transcription & Familiarisation)

직접 전사하면서 자료와 가까워지는 경험, 절대 소홀히 하면 안 돼요.
📝 자동 전사를 쓰더라도 다시 듣기 + 메모는 필수!


2. 코딩 (Coding)

코드는 단순한 라벨이 아니라 의미의 요약입니다.

“Coding condenses the mass of qualitative data by categorising and colour highlighting certain sentences and paragraphs into codes based on their related characteristics.”
“코딩은 관련 특성에 따라 문장과 단락을 범주화하고 색상 강조를 통해 방대한 정성 데이터를 응축시킨다.”

 

🔄 2~3회 이상 반복하는 순환적 작업이 좋습니다.


3. 코드북 만들기 (Codebook)

코드마다 이름, 정의, 사용 기준, 사용하지 말아야 할 기준까지 정리합니다.
📘 코드북은 타인을 위한 게 아니라, 내 이론화가 스스로 납득되는지 점검하는 도구입니다.


4. 주제 개발 (Theme Development)

주제는 단순 코드 묶음이 아닙니다.

“Themes can be much more complex and can consolidate a multitude of codes to theoretically explain phenomena.”
“주제는 훨씬 더 복잡하며, 다양한 코드를 통합해 이론적으로 현상을 설명할 수 있다.”

 

💡 한 개의 코드도 핵심이라면 주제가 될 수 있어요.


5. 이론화 (Theorising)

이제 데이터와 이론을 오가며, 해석의 토대를 세우는 단계입니다.

“The clustering and explanation of themes should be guided, but not determined by existing theoretical understanding.”
“주제의 군집화와 설명은 기존 이론에 의해 유도될 수 있지만, 그것에 의해 결정되어서는 안 된다.”

 

📌 기존 이론을 가져와도 좋지만, 전면 재구성하거나 혼합(consolidate)해도 괜찮아요.


6. 데이터셋 비교 (Comparison of Datasets)

성별, 연령, 조사 장소 등 여러 그룹 간 주제의 유사점과 차이점을 비교합니다.

“Are some themes present in one dataset but not another?”
“어떤 주제가 한 데이터셋에는 있지만 다른 데이터셋에는 없는가?”

 

📊 꼭 정량화할 필요는 없지만, 경향성을 읽는 데는 유용해요.


7. 데이터 시각화 (Data Display)

주제 간 관계를 거미줄처럼 시각화해봅시다.

“Web-like displays make explicit the data codes that have informed each theme.”
“거미줄 형태의 시각화는 각 주제를 형성한 데이터 코드들을 명시적으로 드러낸다.”

 

🕸️ 이때는 전문용어보다 누구나 직관적으로 이해할 수 있는 표현이 좋아요.


8. 결과 기술 (Writing Up)

주제별로 나눠 결과를 서술하고, 이론적 설명 + 인용문 + 참여자 배경 정보를 포함합니다.

“Quotations should be chosen that give compelling support for a theme.”
“주제를 설득력 있게 뒷받침할 수 있는 인용구를 선택해야 한다.”

 

📣 독자를 설득하는 수사도 중요합니다. 단정은 피하되, 자신 있게 쓰세요!


🧠 이 논문이 던지는 메시지

끝으로 이 논문의 핵심 메시지를 정리하자면 이렇습니다.

“This is not a flexible tool that can be employed across inductive and deductive research methodologies. Instead, the contribution from this article is an 8-step thematic analysis tailored for abductive research methods.”
“이 가이드는 귀납적/연역적 접근 모두에 적용 가능한 유연한 도구가 아니다. 이 글의 기여는 가설적 추론적 연구 설계에 특화된 8단계 주제 분석 절차를 제시한 데 있다.”


✨ 한 줄 요약

이론과 데이터를 병렬로 보면서, 구조화된 방식으로 주제를 정리하고 싶은 정성적 연구자에게 강력 추천!
📚 데이터 속에서 의미를 발굴해내는 여정에 이 글이 좋은 나침반이 되기를 바랍니다.


서론 (Introduction)

정성적 분석(qualitative analysis)은 연구자가 자료집합(dataset)을 해석하고 의미를 부여하는 과정이다(Rinehart, 2021). 데이터를 통해 사회적 세계를 탐색할 수 있으며, 참가자들의 진정한 의미와 이해에 보다 가까이 다가갈 수 있고, 어떤 현상에 대한 ‘두터운 서술(thick descriptions)’을 제시할 수 있다(Coffey & Atkinson, 1996). 따라서 정성적 연구자의 책무는 단순히 녹취된 서사를 그대로 제시하는 것이 아니라, 그것을 응축하고(synthesise), 재구성하며(restructure), 이론적‧실천적으로 의미 있는 정보로 전환하는 데에 있다. 그렇게 함으로써 독자는 연구 결과의 이론적 및 실제적 함의를 시각화하고 이해할 수 있게 된다(Miles & Huberman, 1994; Morse, 1994).

 

주제 분석(thematic analysis)은 정성적 데이터를 분석하는 점점 더 인기 있는 방법으로, 원자료(raw data) 전반에 걸친 패턴을 포착하고 이를 의미 있는 주제(themes)로 구조화하는 기법이다(Braun et al., 2019; Campbell et al., 2021). 이 분석법은 ‘유연성(flexibility)’으로 잘 알려져 있으며(Guest et al., 2012; Nowell et al., 2017), 귀납적(inductive) 연구 설계와 연역적(deductive) 연구 설계 모두에 적용할 수 있다(Boyatzis, 1998; Braun & Clarke, 2006; Kiger & Varpio, 2020). 그러나 이러한 유연성은 다양한 접근과 상이한 철학이 뒤섞인 ‘잡탕(mishmash)’ 형태로 주제 분석이 사용되도록 만들었고, 이로 인해 주제 분석 연구 설계의 신뢰도(credibility)가 손상되는 결과를 초래하였다(Braun et al., 2019; Braun & Clarke, 2019; Lochmiller, 2021; Nowell et al., 2017). 이에 대해 Kiger와 Varpio(2020)는, 연구자가 분석 과정에 적극적으로 참여하고 자신이 수행한 분석 단계에 대해 투명하게 설명해야 한다고 주장한다.

 

나 자신은 연구자이자 학술지 편집위원, 그리고 연구방법론 강사로서, 정성적 연구자가 “코딩을 수행했고, 그로부터 주제가 도출되었다”라고 간단히 기술하는 사례를 자주 접한다. 그러나 이 한 문장만으로는 주제 분석이 본래 내포하고 있는 복잡하고 이질적인 성격을 전혀 설명하지 못한다. 많은 연구자들이 Braun과 Clarke(2006)을 인용하면서도, 이들의 분석 스타일에서 핵심적인 요소인 ‘연구자의 성찰(reflexivity)’을 언급하지 않는다. 실제로, 이들을 인용한 연구 중 다수는 이론이나 코드북코딩과 주제 개발 과정에서 강력한 가이드 역할을 했다고 설명하고 있다. 그러나 이는 리뷰어 입장에서 ‘경고 신호(red flag)’에 해당한다. 왜냐하면 Braun et al.(2019)은 자신들의 주제 분석 접근 방식이 근거이론(grounded theory), 해석학적 현상학 분석(Interpretative Phenomenological Analysis, IPA)과 유사하며, 연구자가 주제를 생성하는 데 있어 능동적인(active) 역할을 한다는 점을 명확히 강조하고 있기 때문이다.

 

따라서, 기존 이론이나 프레임워크가 코딩 및 주제 개발에 지침 역할을 했다면, 연구자는 자신의 분석이 ‘가설적 추론적 방법론(abductive methodological design)’에 기반하고 있음을 분명히 밝혀야 한다. 하지만 현실적으로 가설적 추론적 분석 설계를 위한 안내서는 부족한 실정이다. 이에 본 논문은 주제 분석을 위한 보편적 절차를 제안하려는 것이 아니라, 가설적 추론적 방법론에 특화된 주제 분석의 8단계 접근법을 제시하고자 한다. 5단계(Step 5)에서 논의되겠지만, 이 접근은 기존 이론과 문헌을 원자료(raw data)와 함께 적용하여 데이터의 패턴과 그 이면의 스토리를 설명한다는 점에서 독특하다.


가설적 추론적 데이터 분석 (Abductive Data Analysis)

사회과학 분야의 연구 설계는 일반적으로 연역적(deductive), 귀납적(inductive), 그리고 가설적 추론적(abductive) 접근으로 구분된다(Mantere & Ketokivi, 2013; Reichertz, 2013).

  • 연역적 접근은 일반적으로 이론 주도적(theory-driven)이며, 실증주의적(positivist) 방법론과 연계되어 있으며, 현상을 객관적으로 검증하려는 목적을 지닌다(Hurley et al., 2021; Mantere & Ketokivi, 2013). 반면,
  • 귀납적 연구탐색적(exploratory) 성격을 띠며, 사전 가정(a priori assumptions)으로부터 벗어나 해석적 방법(interpretive methods)을 통해 이론적 이해를 구축한다(Gioia et al., 2012; Hurley et al., 2021; Mantere & Ketokivi, 2013).
  • 가설적 추론(abduction)은 이러한 연역과 귀납의 중간 지대를 지향한다(Coffey & Atkinson, 1996; Tavory & Timmermans, 2014). 가설적 추론은 프래그머티즘(pragmatism) 철학적 전통에서 비롯되었으며(Peirce, 1974), 데이터 주도(data-driven)도 아니고, 가설 주도(hypothesis-driven)도 아닌, 경험적 데이터(empirical data)와 기존 이론(theoretical understanding)을 병렬적이고 동등한 비중으로 함께 다룬다(Atkinson et al., 2003; Hurley et al., 2021; Kelle, 1997; Rinehart, 2021; Timmermans & Tavory, 2012).

가설적 추론적 방법론을 채택한 연구자는 ‘열린 마음(open mind)’만으로 현장에 들어가는 것이 아니다. 초기 탐색 범위는 이론적 이해에 의해 일정 부분 제한되어 있으며, 이는 연구 질문과 무관한 추상적이고 자의적인 결과의 도출을 방지하기 위한 목적을 지닌다(Alvesson & Kärreman, 2007; Coffey & Atkinson, 1996). 동시에, 가설적 추론적 연구자는 기존 이론을 단순히 테스트하여 경험적 데이터를 이론에 ‘끼워 맞추는’ 식의 연역적 절차에 얽매이지 않는다(Kelle, 1997). 왜냐하면 가설적 추론은 단일한 객관적 진리를 발견하는 것을 목표로 하지 않기 때문이다(Hurley et al., 2021).

 

오히려 가설적 추론의 목표는 현상을 가장 논리적으로 설명하고, 실용적인 해석을 제공하는 것이다(Coffey & Atkinson, 1996; Hurley et al., 2021; Peirce, 1974; Reichertz, 2013). 가설적 추론 연구를 통해 연구자는 기존 이론적 이해와 경험적 데이터가 불일치할 때 나타나는 ‘파열(breakdowns)’을 창의적으로 탐색한다(Reichertz, 2013; Schwartz-Shea & Yanow, 2013). 이러한 불일치는 종종 기존 이론이 경험적 데이터를 설명하지 못하는 이론적 공백(theoretical gaps)을 드러낸다(Alvesson & Kärreman, 2007; Rinehart, 2021).

 

이처럼 예상치 못한 데이터가 등장했을 때, 가설적 추론적 분석을 수행하는 연구자는 기존 이론을 재구성하거나 새로운 이론을 창안하는 데 있어 창의성(creativity)이 요구된다. 이러한 이론은 경험적 맥락(contextual empirical material)에 기반하여 더 적절하고 심화된 이해를 가능하게 한다(Alvesson & Kärreman, 2007; Coffey & Atkinson, 1996; Tavory & Timmermans, 2014; Timmermans & Tavory, 2012).

 

그 결과, 가설적 추론 연구는 순환적(recursive)이며 반복적(iterative)으로 간주된다. 즉, 새로운 이론을 생성하는 동시에, 기존 이론이 이미 현상을 충분히 설명하고 있는 부분에서는 이론 개발을 멈추기도 한다(Timmermans & Tavory, 2012). 이렇게 생성된 이론은 단지 특정 맥락에 국한되지 않고, 기존 지식과 연결됨으로써 어느 정도의 일반화 가능성(generalizability)을 획득하게 된다(Coffey & Atkinson, 1996).


가설적 추론적 주제 분석을 위한 단계별 가이드
(Step-by-Step Guide to Abductive Thematic Analysis)

Braun 외(2019)는 주제 분석(thematic analysis)이 단일한 기법이 아닌, 다양한 접근을 포괄하는 ‘우산 개념(umbrella term)’이라고 언급한 바 있다. 이러한 성격 때문에 주제 분석은 해석적이고, 주관적이며, 상향식(bottom-up)의 성찰적 분석(reflexive analysis) 형태로 귀납적으로(inductively) 수행될 수도 있고(Braun et al., 2019), 반대로 사전 정의된 코딩 체계나 이론적 프레임워크를 활용하여 연역적으로(deductively) 분석을 구조화하는 데에도 활용될 수 있다(Boyatzis, 1998; Lochmiller, 2021).

 

Braun과 Clarke(2019)는 실증주의적(positivistic)이고 연역적인 기법에 대해 비판적 입장을 취했지만, 일관된 코딩 신뢰도(coding reliability), 객관성(objectivity), 그리고 정확성(accuracy)이라는 연역적 기준에 초점을 둔 접근을 지지하는 연구자들도 있다(Boyatzis, 1998; Guest et al., 2012). 하지만, 정성적 연구 문헌에서는 ‘가설적 추론적 주제 분석(abductive approach to thematic analysis)’에 대한 논의는 매우 제한적이다.

 

이에 따라 본 논문은 가설적 추론 방법론의 철학에 기반하여, 정교하면서도 실질적으로 적용 가능한 8단계 주제 분석 절차를 제안한다. 이 단계별 분석법(step-by-step method)은 Braun과 Clarke(2006)가 지적한 “아무 방식이나 해도 된다(anything goes)”는 비판을 피하고자, 분석 과정에 투명성, 엄격성, 그리고 명확한 구조를 부여한다. 이는 주제 분석을 위한 보편적이거나 미래 모든 연구에 적용 가능한 유연한 방법을 제안하려는 것이 아니다. 이 가이드는 경험적 발견(empirical discovery)을 시도하면서도 이론적 이해(theoretical understanding)에 의해 인도되기를 원하는 연구자들에게 제공되는 구체적 안내서이다.

 

이 8단계는 본인의 박사과정(Ph.D.) 연구 중에 최초로 개발되었으며, 이후 필자의 후속 연구와 교육 경험을 통해 지속적으로 다듬어졌다. 필자는 이 과정에서 Guest et al.(2012)의 코드북(codebook) 개념이나 Attride-Stirling(2001)의 주제 네트워크 분석(thematic network analysis) 등 기존 주제 분석 문헌에서 중요한 개념들을 차용하고 수정하였다. 아울러, 본 가이드에는 Alvesson & Kärreman(2007), Atkinson et al.(2003), Hurley et al.(2021), Kelle(1997), Rinehart(2021), Timmermans & Tavory(2012) 등의 핵심적인 가설적 추론 연구의 원칙들도 통합되었다. 필자는 이 가이드가 자신의 연구에서 실제로 어떻게 적용되었는지에 대한 예시도 곳곳에 제시할 것이다.


단계 1: 전사 및 익숙해지기 (Step 1: Transcription and Familiarisation)

녹음(audio recordings)과 현장노트(field notes)는 자료 수집 단계 중이거나 완료된 이후에 전사(transcription)할 수 있다. 자료 수집과 전사를 병행하면, 어떤 지점에서 더 많은 정보가 필요한지 명확해지는 경우가 있으며, 그에 따라 연구자가 자료 수집 방식을 조정하여 필요한 내용을 명확히 파악할 수 있게 된다(Guest et al., 2012).

 

전사와 그 이후의 분석은 흔히 NVivo와 같은 소프트웨어 도구를 활용하여 수행되며, 이는 편리한 검색 기능시각적 배열 기능 등을 제공한다. 그러나 데이터셋의 규모가 관리 가능한 수준이라면, MS Word 문서에 직접 전사하고, 색상 강조 도구(colour highlighting tool)를 사용하여 관련되거나 유사한 구절을 색상으로 코딩함으로써 동일한 분석을 수행할 수도 있다.

 

전사 방식에는 두 가지가 있다.

  • 하나는 참여자의 실제 말투를 충실히 반영하는 '자연스러운 전사(authentic transcription)' 방식이며,
  • 다른 하나는 문법과 문장을 교정하여 읽기 편하게 만드는 '비자연스러운 전사(denaturalised transcription)' 방식이다(Jonsen et al., 2017; Oliver et al., 2005).
    어느 방식을 선택하든, 이 전사 과정에 대해 명확히 밝혀야 하며(transparency), 그 선택의 이유를 설명해야 한다.

최근에는 시간적 제약 때문에 전사 작업을 외부에 위탁하거나, YouTube/MS Teams의 자동 전사 도구(auto transcription tools)를 사용하는 경우가 늘어나고 있다(Hopper et al., 2021). 그러나 직접 전사하는 경우, 이 시점에서 전체 자료(corpus)의 깊이와 폭에 능동적으로 몰입할 수 있는 기회를 갖게 된다(Braun & Clarke, 2006). 따라서 무조건적으로 외주나 자동 전사에 의존하기보다는, 이 과정이 주는 자료와의 상호작용 기회를 고려해야 한다.

 

만약 외주를 맡기거나 자동 도구를 사용하는 경우라도, 녹음을 다시 들으면서 정확성을 확인하고, 성찰적 메모(reflective notes)를 작성하거나 흥미로운 지점에 표시를 하는 것이 바람직하다.

 

데이터는 전사 중이거나 전사가 끝난 직후에 능동적으로 읽혀져야 하며, 이 과정에서 서사(narratives) 이면의 의미와 상황이 발생한 맥락(context)을 탐색해야 한다(Boyatzis, 1998; Braun & Clarke, 2006; Morse, 1994). 이 단계에서 연구자는 예비적인 패턴과 코드에 대한 메모(notes)를 작성할 수 있으며, 이는 후속 자료 수집 시 고려할 요소가 될 수도 있고, 데이터 코딩의 첫걸음이 될 수도 있다(Boyatzis, 1998; Braun & Clarke, 2006).

단계 2: 코딩 (Step 2: Coding)

코드(code)란 “언어 기반 또는 시각적 데이터의 일부에 대해, 요약적(summative)이고, 두드러지며(salient), 본질을 포착하거나(essence-capturing), 감정적으로 호소력 있는(evocative) 속성을 상징적으로 부여하는 하나의 단어 또는 짧은 구절”로 정의된다(Saldaña, 2015, pp. 3–4). 코딩 과정은 정성적 데이터의 방대한 양을 응축시키는 작업으로, 관련 특성에 따라 문장이나 단락을 범주화하고 색상 강조(color highlighting)를 통해 시각적으로 구분한다(Coffey & Atkinson, 1996; Saldaña, 2015).

 

코딩은 순환적(cyclical) 활동이다. 즉, 첫 번째 코딩 라운드에서 모든 코드를 포착하는 경우는 드물기 때문에, 최소 2~3회의 반복 코딩을 수행할 것을 권장한다(Saldaña, 2015).

  • 첫 번째 코딩 라운드는 원자료(raw data)와 연구자의 인지적 해석(cognitive interpretation)을 연결하는 첫 연결 고리이다(Seidel & Kelle, 1995). 그러므로 텍스트의 의미론적 의미(semantic meaning)와 이해를 가능한 한 많이 추출하기 위해, 의미 있는 모든 포인트는 1차 코딩에서 코드로 포함되어야 한다(Braun & Clarke, 2006; Saldaña, 2015).
  • 두 번째 코딩 라운드는 보다 선택적인 과정으로, 의미가 중첩되는 코드들을 하나의 상위 범주로 통합하고, 중요하지 않거나 반복되지 않은 코드는 삭제할 수 있다(Saldaña, 2015). 이것은 휴리스틱(heuristic), 즉 시행착오적 탐색 과정으로, 데이터를 통해 드러나는 패턴과 관계에 대한 더 깊은 수준의 이해를 형성해가는 과정이다(Saldaña, 2015).

예를 들어, 스키 리조트 직원들을 대상으로 수집한 데이터(Taheri & Thompson, 2020)를 분석할 때, 1차 코딩에서는 참여자들이 “일이 재미있다(the job being fun)”라고 언급한 모든 부분에 하나의 코드로 강조 표시하고, “일이 흥미롭다(the job being exciting)”라고 말한 부분은 별개의 코드로 구분했다. 그러나 2차 코딩에서는 이 두 코드가 상당히 중복되어 있었음을 발견했다. 참여자들이 이 두 표현을 거의 동의어처럼 사용했기 때문이다. 따라서 두 코드를 하나로 통합하여 “즐거운 일(enjoyable work)”이라는 코드로 정리하였다. 그럼에도 불구하고, 1차 코딩에서 이 두 표현을 구분하여 코딩한 것은 의미 있는 선택이었다. 왜냐하면 ‘흥미로운 활동(exciting adrenaline-inducing activities)’과 ‘재미있는 활동(fun activities)’은 반드시 동일하게 중첩되지 않을 수도 있기 때문이다.

 

3차 코딩 이전에는 코드북(code-book)을 수립, 개발, 테스트할 수 있다(자세한 내용은 Step 3 참조).


단계 3: 코드북 (Step 3: Codebook)

코드북(codebook)은 코딩 과정에 명확성과 구조를 제공하기 위해 주제 분석(thematic analysis)에서 널리 사용되고 있다. 이 단계에서는 Guest 외(2012)의 접근을 바탕으로 수정된 구조화된 코드북 작성 지침을 제공한다.

 

우선, 각 코드마다 라벨(label)을 작성해야 하며, 이 라벨은 짧고 간결하며, 원자료(raw data)와의 거리를 너무 벌리지 않도록 유지해야 한다. 이는 과도한 개념적 비약을 방지하기 위함이다(Boyatzis, 1998; Guest et al., 2012).

 

다음으로는 코드의 정의(definition)를 제시해야 하며, 이 정의는 그 코드가 포착하는 주요 특징(key features)과 그 코드가 이야기하는 서사(narrative)를 분명히 드러내야 한다(Guest et al., 2012). 각 코드에는 반드시 두 가지 기준이 포함되어야 한다:

  • “언제 사용할 것인가(when to use)” 기준
  • “언제 사용하지 말아야 할 것인가(when not to use)” 기준
  • “언제 사용할 것인가” 기준은 어떤 조건 하에서 해당 코드가 특정 텍스트에 적용되는지를 구체적으로 기술하며(Guest et al., 2012),
  • “언제 사용하지 말아야 할 것인가” 기준은 두 코드 간에 중복 가능성이 있는 경우, 어떤 코드가 우선적으로 사용되어야 하는지를 설명하는 주석을 포함할 수 있다. 이를 통해 코드의 경계(boundaries)를 설정하고, 특정 서사를 설명하는 데 어떤 코드가 적합한지를 명확히 안내한다(Guest et al., 2012).

마지막으로, 코드를 명확히 이해할 수 있도록 인용구(quotation)를 예시로 제시할 수 있다. 아래의 Figure 1은 참여자들이 자신의 재정적 걱정(financial concerns)을 이야기한 코드북의 일부를 발췌한 예시이다.

 

한편, 성찰적(reflexive)이고 귀납적(inductive) 주제 분석을 지지하는 학자들은 코드북을 실증주의적 도구(positivistic tool)로 간주하며 비판적으로 평가해 왔다(Braun et al., 2019; Braun & Clarke, 2021). Braun과 Clarke(2021)은, 코드북은 단지 연구자들이 동일한 방식으로 코딩을 배웠는지를 검증할 뿐이며, 연구 결과가 객관적으로 정확한지를 측정하는 데에는 크게 기여하지 못한다고 주장한다.

 

그러나 여기서 제시하는 코드북을 사용하는 연구자는 데이터의 정확성을 객관적으로 측정하려는 것이 아니라, 자신의 코딩 선택에 대해 성찰(reflect)하고, 라벨(label), 용어(terminology), 정의(definition)에 대해 스스로 만족할 수 있는지를 검토하기 위한 수단으로 사용한다.

 

만약 연구팀이 구성되어 있다면, 코드북은 수치적 등급 체계나 상호 평가 신뢰도(inter-rater reliability)와 같은 객관적 지표 없이도 내부 논의를 촉진하는 출발점이 될 수 있다.

 

코드북은 최종 코딩 라운드에서 다시 활용될 수 있으며, 강조 표시된 각 구절이 “언제 사용할 것인가”와 “언제 사용하지 말아야 할 것인가” 기준에 따라 해당 코드에 적절한지를 판단하는 데 사용할 수 있다. 이 작업은 중복되는 부분이나 부적절하게 할당된 코드 영역을 사전에 줄여줌으로써 시간 절약의 효과가 있다(Guest et al., 2012).

 

코드북의 장점은 연구의 검증 가능성(verifiability)을 높이는 데 있다. 외부 독자들은 코드북을 통해 코딩 과정에서 연구자가 어떤 단계를 거쳤는지를 명확히 확인할 수 있다(Guest et al., 2012). 이는 특히 논문이나 학위 연구를 평가받는 학생들에게 중요한 요소가 될 수 있으며, 심사위원(markers), 평가자(examiners), 위원회 위원, 혹은 지도교수(advisors)에게도 유용한 정보를 제공한다. 더불어 Guest et al.(2012)은, 코드북이 존재하면 장기간의 공백 후에도 다시 원자료에 접근할 때, 특정 데이터가 왜 특정 코드로 분류되었는지를 쉽게 이해할 수 있게 된다고 강조한다.


단계 4: 주제의 개발 (Step 4: Development of Themes)

가설적 추론적 주제 분석(abductive thematic analysis)에서는 ‘주제(theme)’는 코드(code)와 명확히 구분되는 개념이다. 코드는 구체적이고 간결한 정보 단위인 반면, 주제는 훨씬 더 복잡하고, 여러 개의 코드를 통합하여 특정 현상을 이론적으로 설명하는 구조를 이룬다(Guest et al., 2012; Saldaña, 2015). 따라서 주제를 개발하는 과정은 코드 간의 관계를 살펴보고, 그것들이 어떻게 함께 데이터 이면의 이야기를 설명할 수 있는지를 기준으로 정렬하는 것에서 시작된다(Aronson, 1995; Braun & Clarke, 2006).

 

이와 같은 방식으로 분류했을 때, 특정 현상을 효과적으로 설명할 수 있는 코드의 집합은 하나의 ‘주제(theme)’로 명명될 수 있다(Braun & Clarke, 2006). 이때 주제의 라벨(label)은 독자가 쉽게 이해하고 기억할 수 있는 인상적인 문구로 작성되어야 하며, 해당 주제가 담고 있는 본질을 명확히 포착해야 한다(Campbell et al., 2021).

 

하나의 주제로 승격되기 위해 코드가 반드시 특정 빈도나 출현 비율을 충족해야 하는 것은 아니다. 하지만 모든 주제는 데이터에서 중요한 측면을 포착해야 하며, 그 주제가 없이는 전체 데이터가 말하고자 하는 이야기가 불완전해질 수 있어야 한다(Aronson, 1995; Braun & Clarke, 2006). 실제로 드물긴 하지만, 단 하나의 코드가 데이터의 중심적 특징으로 간주될 경우, 그 자체로 하나의 주제로 승격될 수 있다(Braun et al., 2019).

 

이 시점에서 일부 학자들은 연구자가 다음과 같은 결정을 내리는 것이 필요하다고 제안한다(Braun & Clarke, 2006):

  • 어떤 주제가 ‘상위 개념(overarching)’인지,
  • 어떤 주제가 ‘주(primary)’이고 ‘부(secondary)’인지,
  • 어떤 것은 하위 주제(sub-theme)로 분류되어야 하는지

하지만, 모든 주제가 현상 설명에 동등하게 기여하고, 주제의 수가 관리 가능한 수준이라면, 이러한 구분은 반드시 필요한 절차는 아니다.

 

Step 4의 주제 개발 과정은 연구자가 채택한 이론적 관점(theoretical perspective)에 의해 뒷받침될 수 있으며, 이론에서 사용되는 용어나 개념들이 주제를 명명하거나 구성하는 데 유용한 단서가 될 수 있다.

 

주제 분석의 결과물은 크게 두 가지로 나뉜다(Campbell et al., 2021):

  • 표층적 주제(semantic themes): 말해진 내용의 표면적 의미를 요약하여 포착
  • 잠재적 주제(latent themes): 데이터를 넘어 이론을 통해 발견된 내용을 개념적으로 설명

가설적 추론적 주제 분석(abductive thematic analysis)에서는 잠재적 주제(latent themes)가 항상 결과물이 되어야 한다. 왜냐하면 이론화(theorisation)는 가설적 추론(abductive reasoning)의 핵심이며, 이는 다음 단계에서 더욱 자세히 다루게 될 것이다.

 

 

단계 5: 이론화 (Step 5: Theorising)

지금까지의 단계에서는 데이터를 코드(code)와 주제(theme)로 분해하고 분석해왔다. 이제 이 단계에서는, 개별 주제들 사이의 관계와 그것들이 전체 데이터셋과 어떻게 연결되는지에 대한 스토리이론적으로 설명하게 된다. 이 과정은 가설적 추론적 주제 분석(abductive thematic analysis)의 핵심적이고 차별화된 부분이며, 다른 정성적 분석 가이드들과 구분되는 지점이기도 하다.

 

연역적 분석(deductive analysis)과는 달리, 기존의 이론적 틀에 데이터를 끼워 맞추어 검증하려는 시도는 어떠한 경우에도 해서는 안 된다(Coffey & Atkinson, 1996). 동시에, 근거이론(grounded theory)의 접근처럼 연구자의 열린 관점만으로 주제 간 관계를 이론화하려는 시도 역시 지양해야 한다(Coffey & Atkinson, 1996; Gioia et al., 2012). 대신, 가설적 추론적 연구(abductive research)에서는 기존 이론에 의해 주제의 군집화와 설명이 ‘유도(guided)’될 수는 있지만, 그것에 의해 ‘결정(determined)’되어서는 안 된다(Atkinson et al., 2003; Kelle, 1997).

 

이론화(theorisation)기존의 이론적 지식과 틀을 되돌아보고, 그것들이 주제 간의 관계를 어느 정도까지 설명할 수 있는지를 검토하는 것에서 시작된다(Timmermans & Tavory, 2012). 그러나 동시에, 기존 문헌으로 설명되지 않는 주제나 현상에 대해서도 주의를 기울여야 한다(Alvesson & Kärreman, 2007; Coffey & Atkinson, 1996; Tavory & Timmermans, 2014). 이 과정에서 연구자는 기존 이론을 정제(refine), 수정(adapt), 재구성(reframe), 또는 다른 개념과 통합(consolidate)함으로써, 데이터를 보다 적절히 설명할 수 있도록 이론을 재조정하게 된다. 이는 결국 연구의 핵심 이론적 기여(theoretical contribution)로 이어진다(Coffey & Atkinson, 1996).

 

경우에 따라, 기존 이론이 경험적 데이터 전체를 충분히 설명할 수 있다면, 해당 연구는 이론을 검증하는 연구(confirmatory study)가 되며, 이론적 기여는 비교적 적을 수 있다(Timmermans & Tavory, 2012). 하지만 작은 상호작용, 교환, 맥락적 예외(contextual anomalies)조차도 작은 이론적 발전(theoretical developments)을 촉발할 수 있다(Makadok et al., 2018). 이 단계에서 중요한 것은, 연구자가 이론과 데이터를 병렬적으로 인지적으로 연결하며, 이론적 결론을 도출해내는 것이다(Reichertz, 2013).

 

예를 들어 필자의 기 발표 연구에서는 이 단계를 통해 이론에 기반한 관계적 역학(relational dynamics)과 교환(exchange)에 집중할 수 있었다(Thompson, 2022; Thompson & Taheri, 2020). 예컨대, Bourdieu(1986)의 실천 이론(practice theory)은 사회에서의 교환 자원을 경제 자본(economic capital), 문화 자본(cultural capital), 사회 자본(social capital)로 분류한다. 따라서 필자의 이론화 출발점은 연구 맥락에서의 경제적‧문화적‧사회적 교환을 이해하는 것이었고, 이것이 핵심 주제들과 어떤 관련을 갖는지를 분석했다.

 

하지만 데이터가 이 교환 이론에 완전히 부합하지 않는 부분에서는, 다른 설명을 창의적으로 이론화할 필요가 있었다. 예를 들어 자원봉사 관광(volunteer tourism) 데이터를 분석하던 중(Thompson & Taheri, 2020), Bourdieu의 실천 이론은 자본 교환에 초점을 맞춘 분석 방향을 제공함으로써 연구의 초점을 흐트러뜨리지 않게 해주었다. 필자는 가능한 한, 자원 교환을 경제적, 사회적, 문화적 자본의 틀 안에서 이론화했고, 각각의 미시적 자원 교환(micro-resource exchange)마다 새로운 설명을 제시할 필요는 없었다.

 

그러나 동시에, 참여자들이 언급한 인지적 의미 생성(cognitive meaning-making)에 대해서는 Bourdieu의 이론만으로는 설명이 부족하다고 판단되었다. 이에 따라 필자는 Blumer(1986)의 상징적 상호작용주의(symbolic interactionism)를 Bourdieu의 실천 이론과 통합(consolidate)하여, 보다 포괄적이고 설득력 있는 이론적 설명을 제시하였다. 이렇게 함으로써 처음부터 새 이론을 만드는 것이 아니라, 기존 이론들을 재구성함으로써 데이터에 적합한 이론화를 이끌어냈다.

 

이러한 과정은 결국, 해당 연구의 주된 이론적 기여로 이어졌으며, 필자는 이 접근법이 향후 다른 연구자들에게도 유용할 수 있다고 제안하였다. 그러나 반드시 이처럼 두 가지 이론을 통합해야 하거나, 사용 중인 이론을 완전히 새롭게 혁신해야 하는 것은 아니다. 기존 이론이 주제 간 관계나 이면의 스토리를 완전히 설명하지 못할 경우, 기존 이론을 약간 수정하거나 조정하는 것만으로도 새로운 맥락에 적합성을 부여하거나 새로운 연구 질문에 대응할 수 있다(Makadok et al., 2018).

 


단계 6: 데이터셋 간 비교 (Step 6: Comparison of Datasets)

참여자 집단(cohorts) 간의 비교 분석(comparative analysis)을 수행하면, 연구 결과에 대한 보다 정교한 해석이 가능해진다(Miles & Huberman, 1994). Miles와 Huberman(1994)은, 서로 다른 집단 간에 코드가 얼마나 자주 등장하는지참여자 간에 코드가 얼마나 공통적으로 나타나는지정량적으로 비교하는 방식을 제안한다. 그러나 정성적 주제 분석(qualitative thematic analysis)에서 정량화(quantification)는 필수 요건이 아니다.

 

실제로 정성적 데이터를 정량화하기 위해서는, 현장조사(fieldwork)가 사전에 구조화되어 있어야 하며, 모든 참여자가 동일한 질문에 답할 기회를 갖고, 유사한 환경 조건 하에서 조사에 참여해야 한다(Guest et al., 2012). 하지만 이는 정성적 자료 수집의 특성상 현실적으로 거의 불가능하다. 나아가, 연구의 목적이 개념적 이해(conceptual understanding)를 구축하려는 탐색적(exploratory) 연구라면, 정성 데이터를 정량화할 필요성은 더욱 줄어든다(Guest et al., 2012).

 

그럼에도 불구하고, Guest 외(2012, pp. 162–163)는 다음과 같은 두 가지 질문을 통해 정성적 데이터셋 간 비교가 가능하다고 말한다:

  1. “어떤 주제가 한 데이터셋에는 존재하지만 다른 데이터셋에는 존재하지 않는가?”
  2. “동일한 주제가 두 집단 모두에서 나타났을 경우, 그 주제가 표현되는 방식에 차이가 있는가?”

따라서, 코드북(code-book)코딩된 데이터 분석 결과를 검토한 후, 특정 집단에서 어떤 코드가 더 자주 표현되는지를 확인할 수 있다. 그다음으로는, 각 참여자 집단이 주제 또는 코드를 어떻게 표현하고 있는지를 자세히 살펴보아, 집단 간 차이가 존재하는지를 평가해야 한다. 자주 사용되는 비교 기준으로는 다음과 같은 것이 있다:

  • 참여자의 성별(gender)
  • 연령(age)
  • 사례(case studies) 또는 현장조사 장소(fieldwork locations) 간의 차이

하지만 특정 연구 맥락에 따라 필요한 비교 기준을 자유롭게 설정할 수 있다.


단계 7: 데이터 시각화 (Step 7: Data Display)

데이터 시각화(data display)는 흔히 정성적 데이터를 정량적 행렬(quantitative matrices)로 축소하여 시각적으로 더 잘 보여주는 방법으로 인식되어 왔다(Boyatzis, 1998; Miles & Huberman, 1994). 하지만 6단계와 마찬가지로, 시각화를 위해 데이터를 정량화할 필요는 없다.

 

Attride-Stirling(2001)은 주제 네트워크 분석(thematic network analysis)을 제안하며, 이를 통해 경험적 텍스트와 코드로부터 이론적 주제가 어떻게 도출되었는지를 명확히 보여줄 수 있다고 주장한다. 가설적 추론적 데이터 분석(abductive data analysis)에서는, 리뷰어들이 연구자가 과도하게 이론화(over-reached)했는지, 또는 제시된 이론적 기여가 실제 원자료(raw data)를 진정으로 대표하는지에 대해 의문을 가질 수 있다. 이러한 우려는 주제 네트워크 분석 기법을 통해 해소할 수 있다.

 

Figure 2거미줄 모양의 시각화(web-like displays)를 통해 각 주제를 구성하는 데이터 코드들이 어떻게 연결되어 있는지를 명시적으로 보여주는 예시이다. 이러한 방식은 연구 결과의 투명성(transparency)을 높이는 데 기여할 수 있다(Attride-Stirling, 2001; Nowell et al., 2017).

 

 

데이터 시각화는 주제 분석 결과를 가장 잘 설명할 수 있는 경로(path)와 네트워크(network)를 보여주는 데에 초점을 맞추어야 하며, 창의적으로 접근해도 좋다. 이러한 도식은 누구에게나 이해 가능해야 하므로, 학술 용어나 전문적인 표현은 최대한 배제하는 것이 좋다.


단계 8: 결과 기술 (Step 8: Writing Up)

1단계부터 7단계까지 완료된 후에는, 각 주제를 제목으로 삼아 연구 결과를 기술해야 한다(Guest et al., 2012). 각 주제에 대해 이론적 설명(theoretical explanation)을 제공해야 하며, 이론이 어떻게 경험적 데이터(empirical data)와 연결되는지를 보여주는 동시에, 이론화에 대한 경험적 근거(empirical evidence)로서 원자료(raw data)의 인용구(quotations)를 함께 제시해야 한다(Braun & Clarke, 2006; Guest et al., 2012).

 

Braun과 Clarke(2006)는, 독자가 원자료에 접근하지 못하는 상황에서도 주제 개발과 추상화 과정을 명확히 이해할 수 있도록, 필요한 모든 지점에 인용구를 사용할 것을 권장한다. 또한, 설득력 있는 주장을 뒷받침할 수 있는 인용구를 선별적으로 제시해야 한다(Lochmiller, 2021). 이러한 인용구 제시는 연구의 신뢰성(trustworthiness)을 높여줄 뿐 아니라, 참여자의 목소리를 연구자의 개인적 해석과 감정으로부터 독립시켜 드러내는 방식의 성찰성(reflexivity)을 보여주는 방법이기도 하다(Guest et al., 2012).

 

또한, 맥락(context), 참여자(participants), 사회적 배경(social setting)에 대한 두터운 서술(thick description)을 제공해야 한다. 이러한 정보는 독자가 해당 연구의 현장(fieldwork setting)과 참여자가 자신들의 상황과 유사한지 판단하는 데 도움을 주며, 따라서 연구자의 권고사항이 자신의 상황에서도 적용 가능하고 효과적일지를 가늠하는 데 핵심적인 역할을 한다(Lincoln & Guba, 1985).

 

이러한 목적을 위해, 각 인용구가 등장할 때마다 해당 참여자의 개별 정보(예: 연령, 성별, 조사 장소 등)를 함께 제공해야 한다(Guest et al., 2012). 마지막으로, 독자가 연구 결과가 충분히 의미 있고 중요한 함의를 지니고 있다고 확신할 수 있도록 설득력 있는 수사적 표현(persuasive rhetoric)을 활용하는 것을 주저하지 말라고 조언한다(Jonsen et al., 2017).


결론 (Conclusion)

주제 분석(thematic analysis)은 정성적 연구에서 널리 사용되고 있음에도 불구하고, 그 구조적 기반이 부족하다는 점 때문에 신뢰성과 엄격성이 떨어진다는 비판을 받아왔다(Braun & Clarke, 2006; Kiger & Varpio, 2020; Lochmiller, 2021; Nowell et al., 2017). 따라서 본 가이드는 귀납적(inductive) 또는 연역적(deductive) 방법론 모두에 적용 가능한 유연한 도구를 제시하려는 것이 아니다. 이 글의 기여는, 가설적 추론(abductive) 연구 설계에 특화된 8단계 주제 분석 절차를 제시한 것에 있다.

 

이 가이드는 다음을 강조한다:

  • 기존 이론(extant theory)의 영향을 반영하면서
  • 원자료(raw data)를 함께 분석하여
  • 발견된 결과가 기존 지식과도 연결되고, 동시에 경험적 발견(empirical discovery)에도 기반하도록 해야 한다는 점(Alvesson & Kärreman, 2007; Atkinson et al., 2003; Coffey & Atkinson, 1996; Kelle, 1997).

이 방법은 이론적 프레임워크를 활용하여 연구 결과를 도출하고자 하는 연구자가 탐색적 정성 분석(exploratory qualitative data analysis)을 시작할 때 유용한 출발점이 될 수 있다.

 

전반적으로, 가설적 추론적 연구 설계와 주제 분석을 결합하는 것은 다음 두 가지를 동시에 달성할 수 있는 효과적인 도구이다:

  • 참여자의 서사를 통해 풍부한 이해를 도출하고
  • 결과가 이론적으로 일반화될 수 있는 가능성(theoretical generalizability)을 확보 (Coffey & Atkinson, 1996)

 

 

 

 

 

 

 

 

Abductive analysis in qualitative research

First published: 18 July 2024
 

 

 

 

🎯 정성적 연구에서 가설적 추론(Abductive Analysis), 어떻게 해야 할까?

정성적 연구(qualitative research)를 하다 보면, 계획대로만 흘러가지 않는 ‘일들’을 자주 마주치게 됩니다. 예상 못 한 참여자의 말, 당혹스러운 관찰, 설명되지 않는 긴장들. 이런 경험을 그냥 넘기기엔 아쉽고, 너무 즉흥적으로 대응하자니 체계성이 걱정되고요.

그래서 오늘은 그런 순간들을 분석의 출발점으로 삼는 연구 방법, 바로 가설적 추론 분석(abductive analysis)에 대해 소개하려고 해요. 최근 Public Administration 분야에서도 이 방법에 대한 관심이 높아지고 있는데요, 그 핵심 내용을 잘 정리해준 논문이 있어서 함께 살펴봅니다:

🧩 Abduction? Induction? 뭐가 다를까?

일반적으로 귀납(induction)은 데이터에서 출발해 패턴을 찾아내고, 연역(deduction)은 기존 이론에서 가설을 세운 뒤 검증하죠.

그런데 가설적 추론(abduction)은 다릅니다. 이건 연구자가 “어? 이거 왜 이러지?” 싶은 놀라운 관찰(surprise)이나 예상과 다른 긴장(tension)을 발견할 때 시작돼요. 논문에서는 이렇게 설명하죠:

"Abductive analysis starts iterating from surprises and tensions and theorizes them creatively."
→ 가설적 추론 분석은 놀라움과 긴장에서 출발하여 이를 창의적으로 이론화하는 반복적 과정이다.

 

즉, 그냥 이상하다고 넘어가는 게 아니라, 그 낯섦을 붙잡고 이론으로 발전시키는 것, 이게 가설적 추론이에요.


🧠 연구자에게 필요한 4가지 원칙

이 논문에서는 가설적 추론을 잘 해내기 위한 4가지 원칙을 제시해요. 아래 아이콘과 함께 기억해두면 좋아요:

  1. 🎯 놀라움, 긴장, 의심을 수용하라 (Embrace surprises, tensions, and doubts)
  2. 🧩 지식을 창의적으로 활용하라 (Use knowledges creatively to theorize)
  3. 🔧 방법론적 브리콜라주를 실천하라 (Craft through methodological bricolage)
  4. 🔁 반복을 멈추지 마라 (Iterate through the research process)

이 원칙들을 바탕으로, 연구자는 정해진 루트를 따르기보다는 현장에서 즉흥적으로 조정해나가며 이론을 빚어가는 사람이 되어야 해요.

"We offer principles that function as a relatively stable background, shaping but not restricting the improvisation needed in research projects."
→ 우리는 연구 프로젝트에 필요한 즉흥성을 제약하지 않으면서도 형성해주는, 비교적 안정적인 배경으로 기능할 원칙들을 제안한다.


🛠️ '방법론적 브리콜라주'란?

좀 낯선 말이죠? 브리콜라주(bricolage)는 ‘있는 도구로 어떻게든 해낸다’는 뜻이에요. 즉, 민족지학자처럼 그날그날 현장에서 주어진 상황에 맞게 분석 도구를 바꾸며 대응하는 능력이죠.

논문에서는 이렇게 말해요:

"Bricolage is about making do with the situation encountered and the tools at hand."
→ 브리콜라주는 마주친 상황과 주어진 도구로 해내는 것이다.

 

즉, 정성적 연구자는 엑셀, 메모, 인터뷰 노트, 서사 분석, 은유 분석 등 온갖 도구를 활용해 ‘상황에 맞는 분석’을 유연하게 수행하는 사람이어야 해요.


💬 실패도, 의심도 기록하자

이 논문이 특히 강조하는 건 연구자의 실천을 성찰하고 드러내는 것이에요. 논문 속 연구자들이 겪는 좌절, 의심, 당혹감 같은 감정은 흔히 논문 바깥에 숨겨지지만, 그것도 중요한 ‘자료’라는 거죠.

"Researchers can do even more to document their activities, choices, surprises, and doubts along the way so that they can feed into others’ research practices."
→ 연구자들은 자신의 활동, 선택, 놀라움, 의심을 더 많이 문서화함으로써, 타인의 연구 실천에 도움이 될 수 있다.

 

그래서 방법론 섹션(methods section)도 단순히 절차만 나열하지 말고, 왜 그렇게 했는지, 그 과정에서 무엇을 느꼈는지를 적는 게 중요하다고 해요.


✍️ 마무리하며

이 논문은 가설적 추론을 마치 ‘즉흥적이고 감각적인 예술가의 작업’처럼 그리면서도, 그 안에 숨은 원칙과 체계를 잘 풀어준 글이에요. 그런 점에서 연구자에게 자유와 책임을 동시에 부여하는 좋은 안내서라고 생각합니다.

"Good qualitative research in an abductive fashion is neither strict rule-following nor anything goes. It is a creative, dynamic process. Far from mechanistic."
→ 가설적 추론 방식의 좋은 정성적 연구란, 엄격한 규칙 따르기도 아니고, 아무렇게나 해도 되는 것도 아니다. 그것은 창의적이고 역동적인 과정이며, 기계적이지 않다.


 

서론

 

공공행정 분야의 연구를 시작하거나, 감독하거나, 검토하거나, 읽거나, 활용하는 학자와 실무자들은 최신 연구가 어떻게 수행되는지를 인지하는 것이 필수적이다. 특히 정성적 연구(qualitative research)—즉, 수치로 환원되지 않은 언어 혹은 인간의 의미 구성 방식의 형태를 띠는 데이터를 생성하고 접근하며 분석하는 연구—에 있어서, 지난 20년간 공공행정 분야에서 이루어진 논의는 매우 중요했다. 이러한 논의는 정성적 연구의 존재론적(ontological) 및 인식론적(epistemological) 기반, 그 엄밀성(rigor)과 관련성(relevance), 그리고 작성된 결과물을 적절히 평가하는 방법에 대해 독자들에게 중요한 통찰을 제공해왔다(Brower et al., 2000; Dodge et al., 2005; Haverland & Yanow, 2012; Mele et al., 2020; Nowell & Albrecht, 2019; Raadschelders, 2011).

 

본 논문은 이러한 논의에 기여하고자 하며, 특히 정성적 데이터로부터 이론적 통찰(theoretical insight)이 창출되는 분석적 과정을 더 깊이 해체(unpack)하고 설명(explicate)하는 것을 목적으로 한다(Ashworth et al., 2019; Brower et al., 2000; Ospina et al., 2018).

 

이론적 통찰은 공공행정을 이해하고, 설명하며, 실천하기 위한 핵심 요소이다(Dodge et al., 2005; Emerson, 2022; Hattke & Vogel, 2023). 이론화를 위한 본질적인 방식 중 하나가 바로 ‘abductive analysis(가설적 추론 분석)’이다. 가설적 추론 분석에서는 정성적 연구자가 ‘놀라움(surprises)’과 ‘긴장(tensions)’으로부터 출발하여 이론적 통찰에 이르는 반복적 과정(iterative process)을 거친다. 사실, 질 높은 정성적 연구는 현장조사(fieldwork)와 분석 간의 반복(iteration)을 포함한다는 점은 오래전부터 알려져 있었다(Miles & Huberman, 1994). 그러나 가설적 추론(abduction)의 특징은 연구 초기 단계부터 이론 및 기존 지식과의 적극적인 접촉과 창의적 활용에 있다.

 

이 접근은 귀납(induction)의 대안으로서 사회과학 여러 분야(e.g., Locke et al., 2008; Tavory & Timmermans, 2014)에서 점점 더 보편화되고 있으며, 공공행정 저널들의 방법론(methods) 섹션에서도 그 언급이 증가하고 있다¹. 공공행정 분야의 여러 학자들 또한 가설적 추론 분석의 중요성을 주장해왔다(e.g., Ashworth et al., 2019; Boswell et al., 2019; Haverland & Yanow, 2012). 하지만 여전히 일부 연구자들은 정성적 분석의 설명에서 이 접근을 생략하고 있다(e.g., McNabb, 2017; Nowell & Albrecht, 2019; van Thiel, 2022).

 

이러한 상황은 가설적 추론 분석이 실제로 어떤 연구 관행을 수반하며, 또한 공공행정 연구에 어떤 기여를 할 수 있는지에 대한 더 심도 깊은 탐구를 요구한다.


이 논문에서 우리는 정성적 분석(qualitative analysis)에 대한 새로운 시각을 제시한다. 우리는 따르도록 정해진 엄격한 규칙이나 단계를 제공하는 것이 아니라, 가설적 추론 분석(abductive analysis)을 이끄는 네 가지 원칙(principles)을 제안한다. 이 원칙들은 연구 과정을 인도하며, 이후의 성찰(reflection)을 가능하게 한다:

  1. 놀라움(surprises), 긴장(tensions), 의심(doubts)을 수용하라,
  2. 이론화를 위해 지식(knowledges)을 창의적으로 활용하라,
  3. 방법론적 브리콜라주(methodological bricolage)를 통해 연구를 구성하라,
  4. 연구 전반에 걸쳐 반복(iterate)하라.

정성적 연구를 처음 배우는 이들에게 가설적 추론의 실천(practices)을 지원하고, 이를 학술지에서 더 많이 성찰(reflect)하는 것이 요구된다. 이러한 시도는 연구 결과의 개연성(plausibility)을 보여줄 기회를 제공하고, 독자가 ‘연구 여정의 풍성함’을 이해(appreciate the richness of the research journey)할 수 있도록 필요한 방법론적 명료성(methodological intelligibility)을 높인다(Mele et al., 2020: 813).

 

가설적 추론 분석(abductive analysis)을 통해, 실무자들은 학자들로부터 단지 실무자의 일상 경험을 내부로부터 탐구하는 데 필요한 열린 마음뿐만 아니라(Ospina et al., 2018), 학자들이 알고 있거나 안다고 생각했던 것과 그들이 놀란 지점에 대해 대화를 나누고자 하는 의지 또한 기대할 수 있다. 가설적 추론 분석은 이론적 기대와 경험적 관찰 사이의 놀라움, 문서 속 정책과 실제 정책 집행 간의 긴장과 같은 실천의 복잡성(practical complexity)에 대한 민감성(sensitivity)을 기른다(Yanow, 2000). 이러한 민감성은 이론화(theorizing)를 가능하게 하며, 이를 통해 새로운 이론이 개발되거나 기존 이론이 명확화, 조정, 확장될 수 있다. 이 모든 것은 현장에서 발생하는 현상을 보다 섬세하게 이해함으로써 가능해진다(Nowell & Albrecht, 2019). 또한 이는 실무자에게 의미 있는 지식(knowledge relevant for practitioners)을 창출할 수 있게 한다(Brower et al., 2000; Dodge et al., 2005; Raadschelders, 2011).

 

우리는 이러한 주장을 전개하기 위해 공공행정(public administration)정책분석(policy analysis, 예: Yanow, 2000), 사회학(sociology, 예: Tavory & Timmermans, 2014), 조직연구(organization studies, 예: Klag & Langley, 2013; Pratt et al., 2022)의 정성적 분석에 관한 고전적 및 최신 통찰을 활용한다. 공공행정은 본질적으로 학제 간 분야(interdisciplinary field)로, 주변 학문으로부터 항상 배워왔다(Raadschelders, 2011). 연구 수행에 있어서도 이러한 태도를 지속해야 한다.

 

더 나아가, Haverland와 Yanow(2012, cf. Ospina et al., 2018)가 10여 년 전 이 저널에서 제시한 바와 같이, 우리는 정성적 연구에서 (신)실증주의(neo-positivist)와 해석적 접근(interpretive approaches) 간의 넓은 구분에 따라, 해석적 존재론(ontological) 및 인식론(epistemological) 전제를 기반으로 시작한다². 해석주의자(interpretivists)는 사회 이론이 세상에 대해 객관적이고 중립적인 설명을 제공할 수 있다고 믿지 않는다. 그들은 일반적으로 특정 실천(practice)이나 인간 유물(human artifacts)에 몰입하는 정성적 현장 연구(qualitative fieldwork)에 참여하며, 내부로부터 이해하려는 시도를 한다(Haverland & Yanow, 2012).

 

일부 사람들은 해석주의자들이 일반적인 현상 이해에 기여할 수 있는 이론적 공헌(theoretical contributions)을 추구하지 않는다고 생각할 수 있으나, 많은 해석주의자들은 오히려 이를 목표로 삼는다(Ashworth et al., 2019; Gioia et al., 2013; Mele et al., 2020). 이들은 우리가 연구하는 현실이 사회적이고 물질적으로 구성된 것이며 지속적으로 변화하고 있다는 점, 그리고 연구되는 특정 과정과 실천이 다른 시간이나 공간에서 발생하는 것과 유사성을 갖고 있다는 점(family resemblances)을 인식한다(Tsoukas, 2009). 이는 정성적이고 해석적인 연구자들이 지속적인 이론적 대화(theoretical dialogues)에 참여하도록 허용하고 환영하는 태도이다. 이를 위해 가설적 추론 분석과 관련 개념들은 매우 적절하다.

 

이러한 정성적 분석에 대한 새로운 시각우리 분야의 학자와 실무자들이 정성적 연구를 수행하고, 지원하고, 평가하고, 이해하고, 활용하는 데 큰 도움이 될 것이다.

 

이 논문의 나머지 구성은 다음과 같다. 먼저, 가설적 추론(abduction)의 개념을 소개한다. 이어서, 정성적 연구자가 가설적 추론을 통해 데이터로부터 새로운 이론 또는 수정된 이론으로 나아가는 과정을 다룬다. 다음으로, 우리는 가설적 추론 분석은 방법론적 브리콜라주(methodological bricolage)와 병행되어야 한다는 점을 주장하며, 가설적 추론 분석이 이루어지는 전체 연구 과정을 살펴본다. 마지막으로, 가설적 추론 분석이 연구 실천, 교육, 성찰에 미치는 함의를 논의하고, 향후 연구 방향에 대한 제언으로 글을 마무리한다.


가설적 추론(Abduction): 놀라움(Surprise)과 선이해(Prior Knowledge)

실용주의(pragmatism)의 공동 창시자인 찰스 퍼스(Charles Peirce)19세기 말에 가설적 추론(abduction)이라는 개념을 발전시켰지만, 사회과학 분야에서 이 개념이 본격적으로 주목받기 시작한 것은 최근 15년의 일이다(Locke et al., 2008; Schwartz-Shea & Yanow, 2012; Tavory & Timmermans, 2014).

 

귀납(induction)방대한 데이터 집합을 통해 점진적으로 일반화된 설명을 구축하는 것이라면, 가설적 추론(abduction)데이터와 이론적 아이디어 사이에서 창의적으로 퍼즐을 맞추는 과정이다. 접근 모두 반복(iteration)을 포함한다(Agar, 2010; Brower et al., 2000; Kapiszewski et al., 2022; Locke et al., 2022). 이는 다양한 실천과 자료 사이를 지속적으로 순환하거나 왕복 이동하는 것이다.

 

그러나 귀납현장에서 수집되거나 접근된 데이터의 의미를 구성하는 데 초점을 둔다면, 가설적 추론현장조사(fieldwork) 과정에서 발생하는 ‘놀라운 관찰(surprising observations)’로부터 의미 구성을 시작하라고 요구한다. 어떤 관찰이 놀랍게 여겨지기 위해서는, 그것이 세상이 어떻게 작동해야 하는지, 과정이 어떻게 전개되어야 하는지, 행위자가 어떻게 행동해야 하는지에 대한 우리의 기대와 충돌해야 한다(Tavory & Timmermans, 2014: 42).

 

이 기본 아이디어는 가설적 추론이 사회과학에서 널리 퍼지기 전부터 방법론적 실천의 일부였다. 예를 들어 Michael Agar의 민족지 연구(ethnography, 1986)에서는, 연구자의 기대가 무너지는 지점(breakdown)으로부터 탐구를 시작하라고 제안했다. 가설적 추론의 사고 방식은 또한 연구자들이 자신이 탐구하는 현상이 “무엇의 사례인가”(what is this a case of?)라는 질문을 끊임없이 되묻는 “casing” 개념에서도 중심적이다(Ragin, 1992: 5–6; Soss, 2021)³.

 

현장에서 연구자가 놀라움을 느끼는 지점은, 그들이 연구 대상에 대해 사전에 갖고 있던 이해(prior knowledge)에 따라 달라진다(Schwartz-Shea & Yanow, 2012). Tavory와 Timmermans(2014, Timmermans and Tavory 2022)는 이론(theory)이 놀라운 관찰을 가능하게 하는 배경(background)으로서의 중요성을 강조한다. 따라서 연구자들은 현장에 들어가기 전에 자신의 주제와 관련 있을 수 있는 다양한 이론에 친숙해질 필요가 있다.

 

귀납가설적 추론 모두 현장에 들어갈 때 열린 마음(open mind)을 요구하지만, 후자는 “이론으로 가득 찬 머리(a head full of theories)”유용성도 인정한다(Weick, 2007: 16). 이는 전통적으로 근거이론(grounded theory)에서 묘사되는 귀납적 접근(Glaser & Strauss, 1967; Strauss & Corbin, 1990)과는 대조적이다. 가설적 추론을 수행하는 정성적 연구자들은 연구 초기부터 이론을 적극적으로 활용한다⁴.

 

Schwartz-Shea와 Yanow(2012: 27)는 “연구자는 경험적 자료와 이론 문헌을 동시에 고민하고 있다”라고 표현한다. 그러나 Yanow(2000)에게 있어 선이해(prior knowledge)는 단지 학술 문헌을 넘어서는 의미를 지닌다(Agar, 1986; Emerson, 2022; Schwartz-Shea & Yanow, 2012 참조). 선이해는 경험, 교육, 훈련을 포함할 수 있으며, 실제 현장과의 접촉이나 실무자로서의 경험을 통해 얻은 것도 포함된다. 이러한 지식은 “게임에 대한 감각(feel for the game)”이라는 체화된(embodied) 이해로 간주될 수 있다(Bourdieu, 1990: 66).

 

Yanow(2000)는 또한 정성적 연구자가 현장에서 마주치는 긴장(tensions)을 지적한다(Timmermans & Tavory, 2022: 115–131). 특히, 문서상 정책(policies on paper)과 현장에서 실행되는 정책(policies on the ground) 사이의 긴장에 주목한다. 이러한 긴장을 특정 맥락과 시대 안에서 실천으로서 탐구하고 이해하는 것공공행정 이론과 실천 모두에 있어 과거에도 그랬고 지금도 여전히 중요하다(예: Brodkin, 2012; Maynard-Moody & Musheno, 2003).

 

 

이론적 통찰을 향해 나아가기 (Moving Toward Theoretical Insight)

가설적 추론 분석(abductive analysis)놀라움(surprises)과 긴장(tensions)으로부터 반복(iteration)을 시작하여, 이를 창의적으로 이론화(theorize)하는 방식이다. 이는 연구자가 데이터에서 이론으로 전환하고자 하는 시점에 특히 유용하다. Klag와 Langley(2013: 149)는 다음과 같이 관찰했다:

“정성적 연구로부터 이론적 기여를 도출하는 데는 거의 항상 형식화하기 어려운 통찰(insight)의 요소가 있다. 이는 어떤 확실한 공식도 접근을 보장할 수 없는 방법론적 ‘회색 지대’이다.”

 

즉, 연구자가 놀라거나 긴장을 경험하게 될 때, 이를 중심으로 하나의 ‘연구 퍼즐(research puzzle)’을 구성하고, 그에 대한 개연성 있는 이론적 설명(theoretical account)을 만들어내야 한다. Agar(1986)의 설명에 따르면, 기대가 무너지는 지점(breakdown)에 직면한 연구자는 초기 해석(initial interpretations)을 조정(modify)하여 무너진 지점을 해소하고(coherence is restored) 새로운 의미를 구성해 나간다. 이 퍼즐은 기존에 수집한 데이터를 재해석하거나(reinterpreting), 추가적인 현장 조사(additional fieldwork)를 하거나, 그 둘을 병행함으로써 해결될 수 있다(Timmermans & Tavory, 2022; van Maanen et al., 2007).

 

이론적 통찰(theoretical insight)은 때때로 번뜩임(flash)이나 계시(epiphany)로 묘사되기도 한다(Locke, 2011; Timmermans & Tavory, 2022: 16–17). 예를 들어 조직연구에서 근거이론을 변형한 Gioia et al.(2013)은 이 과정을 shazam이라고 표현하며, 이는 어떤 것이 갑자기 말이 되기 시작하는 순간, 즉 실천에서 벌어지는 현상에 대해 이론적 설명을 구성할 수 있게 되는 순간을 뜻한다.

 

그러나 우리는 경고받는다—이론적 통찰은 결코 마법 같은 한순간에 전적으로 달려 있는 것이 아니다(Klag & Langley, 2013). 또는, 설령 그런 순간이 있을 수 있다 하더라도, 그 전후에는 복수의 “순간들”과 여러 번의 좌절(setbacks)이 있으며, 이를 이끌어내는 다양한 실천(practices)들이 존재한다.

 

중요한 점은, 가설적으로 새로운 이론적 통찰을 도출하는 연구자들은 이론이라는 것이 ‘추측(guess), 가설(conjecture), 추정(speculation), 가정(supposition), 제안(proposition), 가설(hypothesis), 개념(conception), 또는 모델(model)’ 등 다양한 형태를 띨 수 있다는 것을 인정한다는 것이다. 이 중 형식(formal)에 가까운 것일수록 출판될 가능성이 높다(van Maanen et al., 2007: 1147). 따라서 가설적 추론 분석은 특정한 이론 형식에 스스로를 가두지 않으며, ‘이론’보다는 ‘이론화(theorizing)’ 자체에 초점을 둔다(Weick, 1995)⁵.

 

연구자들은 연구 프로젝트 초기부터 놀라움과 긴장을 포착하려는 시선을 유지해야 한다. Yanow(2000)는 이러한 긴장과 놀라움 속에 머무르고(dwell), 심지어 그것을 소중히 여길 것을 조언한다. 예를 들어, Klemsdal et al.(2022)은 최근 연구에서 놀라운 관찰을 적극적으로 발견하고 해석하려는 접근법을 채택하였다.

 

그들은 공공개혁(public reform)에서 일하는 일선 관리자(street-level managers)를 연구하며, 관리자들이 개혁 지향적일 것이라 기대했지만, 실제로는 상황지향적(situation-oriented)인 업무가 훨씬 많다는 사실을 발견하였다. 이에 Dewey의 ‘상황(situation)’과 ‘상황이 불확정(indeterminate)에서 확정(determinate)으로 전환되는 과정’ 개념을 바탕으로, ‘상황적 실천(situational work)’이라는 개념을 제안하였다.

 

Wong(2024) 또한 자신의 데이터에서 관찰한 긴장을 중심으로 연구를 전개하였다. 그녀는 보건 관리자들이 성과 측정(performance measure)을 실무자들에게 수행하게 하려는 노력을 조사했으며, 인터뷰에서는 관리자들이 해당 측정의 중요성을 강조하고 조직 성과 개선을 시도했지만, 관리자들 간의 회의에서는 그 측정을 비웃거나 비판하는 모습을 보였다.

 

Wong은 이러한 행동 속 웃음(laughter)의 역할을 깊이 탐구하며, 관리자들의 심리적 거리 두기(role distance) 이론과 대응 전략(coping practices)을 탐색하였다. 그녀는 이러한 관찰을 실천적으로 해석하며 다음과 같이 결론내린다: 조직은 관리자들이 정책과 실천에 동의하지 않을 때 의견을 제시할 수 있는 피드백 통로(feedback avenues)를 지속적으로 제공해야 하며, 이들이 그 업무로부터 거리를 두기보다는, 적극적으로 수용하고 주도권을 가질 수 있도록 유도해야 한다.


놀라움(surprises)과 긴장(tensions) 속에 깊이 머문다는 것(dwelling)연구자가 의심(doubt)을 연구의 중심에 두어야 함을 의미하기도 한다(Locke et al., 2008). 의심은 우리가 더 이상 자신의 신념에 확신을 가지지 못할 때, 즉 의미가 붕괴되고(sense breaks down), 즉각적으로 풀 수 없는 퍼즐에 직면했을 때 커지게 된다.

 

연구를 처음 시작하는 초심자(novice)에게는 이러한 의심이 자연스럽다. 그러나 경력 초기의 의심은 때로는 자기 마비적 자기 의심(paralyzing self-doubt)으로 이어질 수도 있다. 한편, 경험 많은 연구자와 실무자는 특정 이론이나 관점이 우월하다확신에 사로잡히기 쉽기 때문에, 오히려 이들에게도 의심은 연구 경력 후반기에 더 큰 요구를 수반하는 활동이 될 수 있다.

 

하지만 의심은 생산적인 실천이 될 수 있다, 특히 그것이 놀라움과 긴장에 대한 개연성 있고 일관된 설명을 탐색하려는 연구자의 열망을 자극할 경우 그렇다. Barley(1990)는 방사선과(radiology department)를 대상으로 한 장기 민족지 연구(longitudinal ethnographic study)에 대한 독특한 회고(reflection)에서, 중요한 세부사항을 놓칠까 두려워 늘 경계했던 경험을 서술한다. 그는 실수를 할까 봐, 혹은 무언가를 빠뜨릴까 봐 여러 차례 현장에 돌아가서 추가 데이터를 수집하고, 다양한 분석 전략을 병행하여 적용했다. 이러한 철저한 연구 과정은 기술이 전문가의 업무에 어떻게 영향을 미치는지를 보여주는 고전적 연구로 이어졌다.

 

이론화(theorizing)를 위해, 가설적 추론 분석은 연구자가 기존의 선이해(prior knowledge)에 기반하여 가지는 직관(intuitions), 예감(hunches), 연상(associations)을 활용한다. 그 결과, 특정 이론을 더 깊이 탐구하거나, 다양한 휴리스틱(heuristics)을 시험하게 될 수 있다(Abbott, 2004; Klag & Langley, 2013). 이러한 방식의 이론 활용은 연역적으로 형식화된 가설을 설정하는 것과는 다르다. 오히려 이는 수많은 아이디어를 생성하고 평가하는 과정이며(Sætre & van de Ven, 2021), 그 중 일부가 서서히 새로운 이론적 통찰로 발전해 간다.

 

예를 들어 Feldman과 Pentland(2003)은 처음에는 각자의 프로젝트에서, 이후에는 협업을 통해 조직의 루틴(organizational routines)을 기존의 구조(structure)가 아니라 ‘수행(performance)’의 관점에서 보기 시작했다. 이 관점의 전환은 그들에게 유연성과 변화(flexibility and change)를 포착할 수 있는 틀을 제공했다. 시간이 지나면서, ‘루틴을 수행으로 본다(routines-as-performances)’는 문헌 전통이 조직연구 분야에서 정립되었다(Feldman et al., 2016).

 

최근 Visser와 Van Hulst(2024)는 이 문헌의 통찰을 활용하여 사회복지사(social workers)의 루틴을 이해하려 하였다. 그들은 사회복지 실천의 루틴이 지속적으로 변화하고 있다는 점에 놀랐으며, 이는 기존의 일선 관료(street-level bureaucracy) 이론에서 루틴을 정적인(static) 것으로 간주한 관점과 상충하였다. 이에 대한 설명을 찾는 과정에서, 그들은 ‘루틴을 수행으로 본다’는 이론적 개념화가 이 현상을 잘 설명해줄 수 있음을 발견했다.

 

여기에서도 이론적으로나 실천적으로 모두 유의미한 통찰이 도출되었다. 공공기관은 이제 ‘사용 중인 루틴(routines-in-use)’이 급변할 수 있음을 이해하고, 이를 바탕으로 지속적인 개선이 가능한 루틴 개발 전략을 수립할 수 있게 되었다.

 

이 지점에서 우리는 다시 “casing”의 개념을 언급할 필요가 있다. 이는 “내가 연구하고 있는 현상은 무엇의 사례인가?”라는 질문을 끊임없이 제기하는 작업이다(Ragin, 1992). Casing은 코딩(coding)의 일종으로 볼 수 있지만, 더 높은 추상화 수준의 작업이다. 즉, 이는 기존의 관점을 뛰어넘어 새로운 관점을 향해 도약하는 시도이기도 하다.

 

예를 들어, Løberg(2023)는 일선 실무(frontline work)에 대한 연구에서, 상담사(counselors)들이 고객에 대한 디지털 접수 데이터(digital intake data)를 어떻게 활용하는지를 살펴보았다. 그녀가 놀란 것은, 상담사들이 매우 제한된 데이터를 바탕으로 고객의 삶의 이야기(life story)를 재구성하려 시도했다는 점이다. 이러한 방식은 고객을 단순화하여 다룬다는 이론적 기대와 정면으로 충돌하였다.

 

놀라운 관찰에 적극적으로 대응한 Løberg는 이러한 실천을 복잡화 전략(complication strategies)으로 개념화하였고, 이를 일선 실천자의 대응 방식(coping)의 한 유형으로 재구성(re-case)함으로써 일선 문헌(street-level literature)에 이론적으로 기여하였다. 이러한 재개념화(reconceptualization)는, 정보 시스템에 더 많은 맥락 정보(contextual information)를 포함시켜 공공 자원을 절약하고 더 민감한 서비스를 제공할 수 있도록 실무자들에게 조언하는 데까지 이어졌다.

 


방법론적 브리콜라주(Methodological Bricolage)를 통한 연구 구성

놀라움과 긴장을 찾아내고 다루는 일, 의심을 수용하는 일, 그리고 선이해(prior knowledge)를 바탕으로 창의적으로 이론화하는 일은 모두 연구를 ‘기예(craft)’로 이해하는 접근과 잘 들어맞는다(Baer & Shaw, 2017; Boswell et al., 2019; Mills, 1959; Wildavsky, 1993). 다른 장인들(craftspeople)처럼, 정성적 연구자(qualitative researchers) 역시 연구를 적절히 수행하는 데 필요한 지식과 기술을 개발하는 데 오랜 시간을 투자한다(Dreyfus & Dreyfus, 2005). 이들은 처음에는 초심자(novice)로 시작하여, 궁극적으로는 전문가(expert)가 될 수도 있다. 초심자일 때는 일반적으로 세세한 규칙과 지침을 엄격하게 따르는 법부터 배우지만, 점차 일반적인 지침이나 일종의 ‘감’(rules of thumb)을 바탕으로 연구하게 된다.

 

경험 많은 정성적 연구자는 다양한 예측 불가능한 상황—특히 놀라움과 긴장 같은 요소들—에 어떻게 대응할지에 대한 직관을 갖게 된다(Bartels & Wagenaar, 2018). 시간이 흐르면서, 이들은 연구 수행에 필요한 감각(intuition)을 발전시켜 온 것이다.

가설적 추론(abductive analysis)을 수행하는 정성적 연구자는 동시에 자신의 연구를 ‘방법론적으로 구성(craft)’하는 법도 배운다. 이는 ‘방법론적 브리콜라주(methodological bricolage)’라고 불린다(Denzin & Lincoln, 2000; Klag & Langley, 2013; Pratt et al., 2022). 브리콜라주(bricolage)주어진 상황과 손에 쥔 도구를 활용하여 '되는 대로' 해내는 것을 의미한다(Blijleven & van Hulst, 2021). 정성적 연구에서 이는 다양한 방법 중에서 의도적으로 선택하며 움직이는 능동적 과정(an active choice of moves from a broad set of methods)”을 가리킨다(Pratt et al., 2022: 217).

 

이 개념을 이해하기 위해 먼저 민족지학(ethnography)을 떠올려보면 도움이 된다. 민족지 연구자자료를 생성하기 위한 방법을 유연하고 실용적으로 적용하여 현장에서 사람들의 행동과 의미를 이해한다. 예컨대, 전 주에 있었던 회의에서 관찰한 내용을 더 잘 이해하기 위해, 오늘은 정보제공자와의 비공식적인 대화를 시도할 수 있다. 이와 유사하게, 정성적 분석에서 방법론적 브리콜라주를 활용한다는 것은 자신의 특정 데이터에 적합한 분석 방식을 찾아나가는 것을 의미한다. 이는 때로 상상력, 즉흥성, 시행착오(trial and error)를 수반한다.

 

Yanow(2000)의 지역사회 연구(community work)에 대한 연구는 좋은 사례이다. 현장 조사 중 그녀는 ‘슈퍼마켓(supermarket)’이라는 은유가 지역사회 센터를 설명하는 데 자주 사용된다는 점에 당혹스러웠다(puzzled). 이 은유가 정책 결정 맥락에서 어떤 의미를 갖는지 이해하기 위해, 그녀는 은유 이론(metaphor theory)을 깊이 탐구한 후, 자신의 데이터에 은유 분석(metaphor analysis)을 적용하였다. 그 결과, 그녀는 슈퍼마켓 은유가 어떻게 작동했으며, 실천에서 어떤 함의를 지녔는지를 명확히 보여줄 수 있었다.

 

또한 흥미로운 사례로는 Nielsen et al.(2023)의 최근 연구가 있다. 이들은 공공 관리자들이 디지털 전환에 대해 일선 직원들의 기대를 어떻게 형성하려 하는지에 대한 커뮤니케이션 실천을 연구했다. 연구자들은 서사(narrative)가 중요한 역할을 한다는 점을 관찰한 후, 서사 이론(narrative theory)을 공부하고, 자신들의 데이터를 서사 분석(narrative analysis)을 통해 해석했다.

 

이러한 사례들은 정성적 데이터를 분석하기 위해 연구자가 서사 분석, 프레이밍 분석(framing analysis), 담론 분석(discourse analysis) 등 다양한 분석 방법을 병행할 수 있으며, 각각은 고유한 이론적 기반과 학술적 기여 가능성을 갖고 있다는 점을 우리에게 상기시킨다(비교: van Hulst et al., 2024; 목록: Yanow & Schwartz-Shea, 2014: xxxii)⁶.

 

동시에, 방법론적 브리콜라주시각 자료(visuals), 표(tables), 비네트(vignettes) 등의 일반적인 분석 도구도 포함한다. 이들은 분석 과정에서 데이터를 정리하고, 전체적인 조망을 만들며, 새로운 아이디어를 개발하는 데 사용될 수 있다.

 

결과적으로, 여러 분석 선택지를 다양한 방식으로 조합할 수 있다는 점은, 하나의 연구 프로젝트 내에서도 무수히 많은 탐색 경로(plurality of possible paths)가 존재함을 의미한다(Pratt et al., 2022).

 

 

연구 과정을 다시 바라보기 (Re-viewing the Research Process)

이제까지 우리는 가설적 추론 분석(abductive analysis)의 구성 요소들을 살펴보았다. 이제는 시야를 넓혀, 이 분석 방식 자체가 구성하는 연구 과정 전체를 재검토해볼 시점이다. 정성적 연구를 수행하는 하나의 독특한 방식으로서의 가설적 추론 분석은, 연구자가 정해진 순서로 미리 결정된 단계를 따르는 선형적이고 예측 가능한 연구 과정(linear, predictable research process)의 개념과 충돌한다.

 

앞서 우리는 가설적 추론 분석을 ‘반복적(iterative)’이라고 표현했고, 이제 그 개념으로 다시 돌아가 보자. 말했듯이, 귀납(inductive)가설적 추론(abductive) 모두 반복을 특징으로 한다. 그러나 가설적 추론 분석은 단지 데이터 생성과 접근 → 분석 간의 반복을 의미하지 않는다. 정성적 연구의 모든 구성 요소가 서로 ‘얽혀 있음(intertwined)’을 고려할 때(Dubois & Gadde, 2002: 555), 가설적 추론데이터와 이론 간의 다중 반복도 포함한다(van Maanen et al., 2007).

 

Yanow(2000: 84, 86)는 해석적 연구(interpretive research)를 “반복 루프(iterative loops)”로 설명하면서, 연구자가 “임시적 해석(provisional sense)을 구성하고, 추가 탐색을 수행하며, 이해를 수정하고, 다시 탐색하며... 현장(field), 분석(analysis), 질문(question), 연구 설계(design), 다시 현장, 다시 분석, 글쓰기(writing), 분석 등을 계속 순환한다”고 말했다.

 

이러한 반복은 항상 동일한 방식으로 반복되지 않고, 매 순간 연구자의 이해가 변화하기 때문에 조금씩 다른 방식으로 반복된다. 이상적으로는 일관된 설명(coherent account)을 향해 나아가지만, 과정 중 여러 지점에서 이해의 붕괴(breakdown)가 일어날 수도 있다. 이러한 반복은 전체의 의미가 부분의 해석에서 비롯되고, 반대로 전체가 부분의 해석을 가능하게 한다는 ‘해석학적 순환(hermeneutic cycle)’을 상기시킨다. 동일한 지점으로 회귀하는 순환(cycle)보다는,연구자는 정확히 같은 지점으로 돌아오지 않고, 그 과정에서 학습하면서 나선형(spiraling)으로 이동한다고 보는 것이 더 적절하다(Schwartz-Shea & Yanow, 2012: 31).

 

그렇다면, 가설적 추론 분석이 결합된 정성적 연구 과정은 어떤 모습일까?

  • 선형적 연구 과정이란 보통 다음과 같은 형태로 제시된다: 1, 2, 3, 4, 5: 질문 설정 → 연구 설계 → 현장 조사 → 분석 → 글쓰기.
  • 보다 반복적인 과정은 다음과 같이 묘사될 수 있다(Yanow, 2000: 85): 1, 2, 3, 2, 3, 4, 3, 4, 5: 질문 설정 → 설계 → 현장조사 → 재설계 → 현장조사 → 분석 → 현장조사 → 추가 분석 → 글쓰기.
  • 그리고 가설적 추론 및 브리콜라주(bricolage)적 접근을 고려할 때, 연구 과정은 훨씬 더 미묘하고 복잡하게 기술될 수 있다: 1a, 1a, 2a, 1b, 3a, 1a+g, 4a, 1j, 3m, 4s, 5, 4f

예시적으로,

  • 1a: 프로젝트 시작 전 선이해(prior knowledge) 개발
  • 1a: 초기 질문 설정
  • 2a: 초기 설계
  • 1b: 새로운 질문 설정
  • 3a: 첫 번째 사례에 대한 현장조사
  • 1a + g: 기존 지식에 돌아가 ‘서사’에 대한 문헌 탐색
  • 4a: 새로운 현장조사를 ‘서사적 관점’에서 casing
  • 이후 계속...

이러한 설명은 상당히 복잡하게 느껴질 수 있지만, Tsoukas(2017)의 주장처럼, 연구 실천의 실제 모습을 충실히 반영하려면 이 복잡성을 드러내는 것이 필요하다.

 

이러한 연구 과정을 재조망(re-view)하는 또 다른 방법은, 시각화(visualization)이다. 이 논문과 우리가 제안한 아이디어를 적용해 볼 때, 그림 1(Figure 1)에서는 다음과 같은 연구 실천들(practices)—예: 문헌 읽기, 연구 질문 개발, 현장 설계, 현장 조사, 분석, 케이싱(casing), 글쓰기 초기 단계—과 사건(events)—예: 놀라움(surprise), 의심(doubt), 직관(intuition), 예감(hunch)—이 서로 시간 순으로 이어지고 중첩되며(왼쪽에서 오른쪽 방향), 서로 영향을 주고받으며(화살표) 궁극적으로 초기 글쓰기로 이어지는 나선형 패턴(spiral)을 형성하는 방식을 개략적으로 묘사하고자 한다.⁷

 


논의 (Discussion)

Ashworth et al.(2019), Haverland & Yanow(2012)의 이전 기여를 확장하며, 본 논문에서 제시한 가설적 추론(abduction)에 기반한 관점은 정성적 분석(qualitative analysis)을 시작하거나, 감독하거나, 검토하거나, 읽거나, 활용하는 공공행정(public administration) 연구자 및 실무자들에게 실질적인 도움이 될 수 있다.

 

우리는 본 논문을 통해 공공행정 분야의 방법론적(methodological) 논의에 기여하고자 했다. 즉, 한편으로는 인식론(epistemology)과 존재론(ontology)에 대한 추상적 담론, 다른 한편으로는 구체적 연구방법(instruction for methods) 사이에서, 이 둘을 연결하는 가설적 추론적 실천(abductive practices)을 해체(unpack)하여 설명하였다.

 

이러한 실천은 다음의 네 가지 일반 원칙(four general principles)으로 요약될 수 있다:

  1. 놀라움(surprises), 긴장(tensions), 의심(doubts)을 수용하라
  2. 이론화를 위해 지식을 창의적으로 활용하라 (Use knowledges creatively to theorize)
  3. 방법론적 브리콜라주(methodological bricolage)를 통해 연구를 구성하라
  4. 연구 전 과정을 반복적으로 수행하라 (Iterate through the research process)

이제 우리는 각 원칙이 갖는 연구 실천(research practice)에 대한 함의와, 연구 실천에 대한 성찰의 필요성에 대해 논의한다.


연구 실천에 대한 함의 (Implications for Research Practice)

놀라움, 긴장, 의심에 열려 있는 자세(Open to surprises, tensions, and doubts)

놀라움, 긴장, 의심을 받아들이는 태도는 특히 연구 설계(research design)의 방식에 중대한 영향을 미치며, 이는 연구를 감독하는 사람, 읽는 사람, 평가하는 사람(supervisors, readers, reviewers) 모두가 인지하고 기대해야 할 부분이다(Pratt et al., 2022: 233; Schwartz-Shea & Yanow, 2012).

 

이는 유연하고(emergent), 전개 과정에 따라 조정 가능한 연구 설계를 의미한다. 즉, 연구자가 연구 도중에 발생하는 통찰과 전개 상황에 따라 응답하고 조정할 수 있어야 한다는 것이다. 이런 특성은 원래 귀납적 연구(inductive research)의 본질로 간주되어 왔지만(Lincoln & Guba, 1985), 가설적 추론의 더 역동적인 과정에서는 더욱 중요해진다.

 

표면적으로 보면, 이러한 유연한 설계(emergent design)연구자의 부담을 줄이는 것처럼 보일 수 있다. 설계 요소 중 다수가 처음부터 정해져 있지 않기 때문에, “해보면 알겠지(we will see)” 식의 태도를 유도할 수도 있다. 그러나, 저자들은 이러한 방식이 실제로는 훨씬 더 높은 요구를 수반한다고 본다. 왜냐하면 연구자는 보다 체계적이고 엄격한 태도(systematic and disciplined manner)로 연구를 수행해야 하며, 진행 과정에서 예상치 못한 놀라움, 긴장, 의심을 적극적으로 다루어야 하기 때문이다.

 

정해진 규칙과 지침이 적고, 갈 수 있는 경로가 많은 상황에서, 연구자는 예측 불가능한 상황에 대응할 수 있는 능력, 그리고 자신이 지닌 지식과 기술을 최대한 활용하는 역량이 요구된다. 또한 연구자는 자신이 연구하고 있는 분야의 변화와 긴장에 민감하게 반응할 준비가 되어 있어야 한다.

 

이러한 방식의 잠재적 보상은 학문 간의 더 풍부한 대화(richer dialogue across disciplines)와, 실무자들과의 교류 속에서 새롭게 혹은 다시 구성된 이론들(re)new(ed) theories)을 도출해낼 수 있는 가능성에 있다. 이는 다른 학문 분야의 발견을 바탕으로 하고, 실제 행위자들의 경험 및 ‘무대 뒤 현실(backstage realities)’을 반영하며 공명할 수 있는 이론을 구축하는 데 기여할 수 있다(Dodge et al., 2005; Raadschelders, 2011).


선이해(Prior Knowledges)의 개발

가설적 추론 분석(abductive analysis)은 정성적 연구자에게 폭넓은 이론적 기반과 다양한 지식 자원을 개발할 것을 권장한다(Alvesson & Kärreman, 2007; Timmermans & Tavory, 2022). 이는 곧, "이론으로 가득 찬 머리(a head full of theories)" 또는 "게임에 대한 감각(a feel for the game)"이라는 지적 자원(intellectual resources)의 결합, 연구자로 하여금 현상 간의 유사성(family resemblances)을 더 잘 포착하고, 연구 대상이 무엇의 사례인지를 상상하며, 새로운 이론적 통찰을 창출할 수 있게 한다는 통찰과 맞닿아 있다(Tsoukas, 2009).

 

이러한 접근은 공공행정(public administration) 분야와 특히 잘 어울린다. 왜냐하면 이 분야는 이상적으로 학문 간 경계를 넘는 연구와 동시에, 실천과의 밀접한 접촉(이전 또는 현재 진행 중인)을 통해 높은 수준의 정교함에 도달하기 때문이다.

 

이론적 기반(theoretical basis)은 데이터에 내재된 미묘한 의미의 차이(subtleties of meaning)에 대한 민감성을 높이며, 더 이론적으로 강력한 해석을 가능하게 한다(Brower et al., 2000). 연구자들은 예감(hunches)을 창의적으로 추적하고, 다양한 아이디어를 생성하는 과정을 적극적으로 추구해야 한다(Sætre & van de Ven, 2021). 예컨대, 다른 학문 분야에서 발전한 새로운 은유(metaphors)나 이론적 틀현상을 새로운 방식으로 이해하는 데 유용하게 사용될 수 있다.

 

가설적 추론 분석은 연구 전반에 걸쳐 이론화(theorizing)의 실천을 중요하게 만든다. 동시에 공공행정의 실천 및 맥락(context) 또한 끊임없이 진화하고 있다는 점을 고려해야 한다. 과거 문헌에서 다루어진 실천상의 긴장(tensions)에 익숙해지는 것은, 새로운 사례를 탐구할 때 적절한 기대치를 형성하는 데 도움이 된다.

 

연구자들은 이 기대를 바탕으로 새로운 사례를 탐구하지만, 이는 연역적 분석처럼 형식적인 검증(formal testing)을 의미하지는 않는다. 오히려 이는 이론적 통찰, 현장 경험, 교육 및 훈련 간의 역동적 상호작용(dynamic interplay)을 통해, 공공행정 연구가 다루는 본질적으로 불안정하고 변동하는 현상들을 이해하는 데 필수적인 접근이다(Emerson, 2022; Raadschelders, 2011).


브리콜라주를 위한 방법론적 레퍼토리 개발 (Developing a Methodological Repertoire for Bricolage)

우리는 다음과 같은 주장에 동의한다:

"분석 실천의 무기가 풍부할수록, 다시 말해 다음 분석 단계를 수행할 수 있는 자원이 많을수록, 우리는 이론화를 더 잘 진전시킬 수 있다" (Locke et al., 2022: 279).

 

더 뛰어난 분석 능력은 더 나은 연구와 생산적인 혁신으로 이어질 수 있으며(Pratt et al., 2022), 이러한 이유로 방법론적 브리콜라주(methodological bricolage)는 연구자에게 자신의 분석 기술 레퍼토리(repertoire)를 적극적으로 개발할 것을 요구한다.

 

정교한 연구 수행(crafty research practice)이란 새롭거나 예기치 못한 사건과 상황(놀라움, 긴장, 붕괴, 의심)에 대응할 해결책을 창조해낼 수 있는 능력을 의미한다. 이는 또한 연구 과정의 특수성에 맞춰, 연구자가 축적해온 지식, 실천 경험, 기술을 활용하고, 브리콜라주 방식으로 방법을 구성할 수 있는 능력, 데이터와 이론 간을 반복적으로 연결(iterate)하는 능력도 요구된다.

 

이러한 브리콜라주 실천의 잠재적 보상은 단순히 더 나은 이론을 생성하는 것에 그치지 않고, 실천에서의 차이와 예기치 못한 사건, 지속되는 긴장 또는 새로운 긴장을 민감하게 포착하여, 새로운 통찰을 위해 실천과 실무자에게 (재)질문할 수 있는 기회를 열어준다.

따라서 분석 방법의 폭넓은 선택지에 대비해, 연구자는 광범위한 훈련을 받아야 하며, 자신의 데이터를 분석할 적절한 방법을 찾기 위해 타인의 도움을 적극적으로 요청하는 자세도 필요하다(Klag & Langley, 2013).


진전을 향한 반복(Iterating Toward Progression)

반복(iteration)이란 “이론적 진전을 향한 분석 활동을 반복적으로 적용하는 일”을 의미한다. 실제 연구에서 반복은 다음과 같은 방식으로 일어난다:

"분석적 실천 속에서 떠오르는 질문과 관찰(noticing)을 추적하며, 또 다른 분석 활동으로 이어나가는 적극적 작업" (Locke et al., 2022: 263).

 

그러나 때로 우리는 의심 속에 빠져, 실제로는 단지 제자리걸음을 하거나 길을 잃었다고 느끼기도 한다. 저자들은 가설적 추론 분석을 수행하는 연구자들이 계속해서 놀라움, 긴장, 의심을 추적하고, 그것들을 통해 새로운 일관성(new coherence)을 구성할 것을 권장한다. 그리고 이 과정은 반드시 유연한 설계(emergent design)와 결합되어야 하며, 그 응답은 이론적 통찰과 실천적 유의미성을 모두 고려해야 한다.

 

또한, 현장 경험(field experiences)뿐만 아니라, 동료와 심사자의 피드백 역시 분석을 형성하고 이론적 통찰을 발전시키는 기회로 간주되어야 한다. 이는 단지 출판을 향한 장애물(obstacle)로만 여겨져서는 안 된다.

 

궁극적으로, 연구자들은 현장으로 돌아가거나, 이론으로 돌아가거나, 데이터를 다시 살피는 데 드는 시간을 ‘잃어버린 시간’으로 걱정할 필요는 없다. 오히려 이 과정을 의식적으로 받아들이고, 이론적 통찰에 도달하는 데 필요한 분석 과정의 느림(slow, deliberate progression)을 수용해야 한다.


교육과 성찰에 대한 함의 (Implications for Training and Reflection)

기예를 배우는 것 (Learning the Craft)

놀라움과 긴장(surprises and tensions)의 가능성이 상당히 다양하고, 폭넓은 지식 기반(broad knowledge base)과 풍부한 분석 전략 레퍼토리(repertoire with many analytical moves)를 갖춘 상태에서, 연구 과정이 전개될 수 있는 궤적(trajectory)은 매우 넓다(Pentland et al., 2020). 이러한 이유로 유연한 설계(emergent design)가 필요하다.

 

그에 따른 함의는 다음과 같다:

  • 연구 프로젝트는 예상보다 오래 걸릴 수 있으며,
  • 얼마나 시간이 소요될지, 어떤 실천이 필요한지 명확히 예측하기 어렵다.

이러한 인식은 연구자가 '기예를 가진 장인(craftsperson)'으로서 직접 의사결정을 내려야 함을 강조하며, 고정된 설계나 템플릿 뒤에 숨는 것을 방지한다(Pratt et al., 2022: 232).

 

학술지(methods section)의 방법론 섹션만 보면, 정성적 연구자들이 마치 교과서대로 연구하는 것처럼 보일 수 있다. 교과서에 나오는 지침이 마치 신뢰할 수 있는 연구의 대리 기준(proxy)처럼 사용되기도 한다(Köhler et al., 2022: 196–7). 하지만 실제로는 이러한 교과서들이 숙련된 연구자들의 실제 작업 방식은 거의 보여주지 않는다(Harley & Cornelissen, 2022; Kapiszewski et al., 2022).

 

정성적 연구를 처음 시작하는 연구자는, 처음에는 템플릿 형태의 도구를 사용하여 ‘규칙서(rule-book)’처럼 따르는 것이 권장될 수 있다. 그러나 Köhler et al.(2022: 184)이 지적하듯이,

"초심자들은 정성적 방법을 빠르게 익히기 위해 지름길을 찾고, 모방할 수 있는 표준화된 접근을 탐색하려는 경향이 있다."

 

하지만 진정한 장인이 되기까지는 오랜 시간이 걸리며(Baer & Shaw, 2017), 이 과정은 공동체 내에서 이루어진다(Lave & Wenger, 1991).

 

정성적 연구자는, 이상적으로는, 한 프로젝트 내에서의 시간과 예산의 제약을 관리하는 법을 배우고, 시간이 지나며 자신의 지식 기반과 방법론적 도구함(methodological repertoire)을 심화시켜 나가야 한다. 그런 의미에서 정성적 연구자는 장인으로서 다음과 같은 다양한 도구를 갖춘 도구함(toolbox)에 접근할 수 있게 된다:

“시간을 두고 축적된 다양한 도구들(아이디어, 이론, 방법, 인생 경험, 기술, 사회적 연결망 등)로 구성된 도구함은, 때로는 유용할 것이라는 기대 속에, 때로는 별다른 목적 없이 자연스럽게 축적된다” (Klag & Langley, 2013: 161).

 

이처럼 연구자들은 다른 사람들과의 대화 속에서 기예를 실천(practicing the craft in conversation)하면서, 흔히 암묵적인 일반 원칙(implicit general principles)에서 출발하여, 특정 상황에 적합한 방식이 무엇인지에 대한 직관을 발전시켜 나간다. 이를 가능하게 하려면, 기초적인 기예를 배울 수 있는 좋은 훈련 프로그램과 감독 체계(good training programs and supervision)가 반드시 필요하다(Stout, 2013).

 

또한, 이를 넘어 초심자와 숙련자 모두가 새로운 분석 방식을 실험할 기회를 발견하고 창조하며(Ballestero & Winthereik, 2021), 함께 학습할 수 있는 공동 실천 공간을 조성해야 한다(Bartels & Wagenaar, 2018).

 


우리 자신의 실천을 성찰하기 (Reflecting on Our Own Action)

연구자들이 겪는 어려움이나 과정 중 발생하는 실패(production failures)가 보이지 않는 채로 남겨지지 않도록 하기 위해, van Maanen et al.(2007)에 앞서, Dodge et al.(2005: 297)은 정성적 연구자들에게 다음과 같은 요청을 이미 제기한 바 있다:

"연구 과정 전반에서 선택 사항을 명확히(explicit), 일관되게(consistent), 투명하게(transparent) 만들라."

 

이와 유사하게, 방법론적 보고(methodological reporting)에 대한 논의를 시작하려는 시도로 Mele et al.(2020)은 분석 도식(analytical schemes)과 기법(techniques)을 명확히 해야 한다고 명시하였다.

 

이러한 흐름을 더욱 확장하고자 하는 우리는, 연구자들에게 자신의 분석 과정을 상세히 서술할 것을 제안한다. 실제로, 점점 더 많은 공공행정 연구자들이 자신의 연구를 '가설적 추론(abductive)'으로 명명하고 있으며(Appendix A 참조), 우리는 그들이 어떻게 이론과 관계를 맺고, 어떤 놀라움, 긴장, 의심을 경험했는지를 서술하는 사례가 증가하고 있음을 본다(앞서 논의한 공공행정 저널의 최신 사례들 참조).

 

연구자들은 이러한 흐름에 더 적극적으로 기여할 수 있다. 즉, 자신의 활동, 선택, 놀라움, 의심을 문서화하여, 그것이 다른 연구자들의 실천에 기여할 수 있는 자산이 되도록 할 수 있다. 연구 분석(analysis)은 그것이 실제로 수행되고 경험되는 방식 그대로 기록되어야 하며, 학술지와 심사자들은 보다 확장된 방법론 섹션이나 온라인 보조자료(supporting materials)를 요구할 수 있고, 실제로 일부 학술지에서는 이러한 시도를 이미 시작하고 있다.

 

이와 같은 성찰적 서술(reflective reporting)은 다음과 같은 효과를 기대할 수 있다:

  • 방법론적 명료성(methodological intelligibility)을 제고하고,
  • 독자(실무자, 감독자, 심사자 포함)와의 의미 있는 상호작용을 가능하게 하며,
  • 연구공동체 내에서의 학문적 교류를 활성화할 수 있다(Mele et al., 2020).

결론 (Conclusion)

가설적 추론(abduction)에 대해 일정한 순서로 따라야 할 절차적 단계(procedure with steps)를 제시할 수는 있겠지만(Sætre & van de Ven, 2021), 가설적 추론 방식의 좋은 정성적 연구란 결코 엄격한 규칙의 준수(strict rule-following)도, 아무렇게나 해도 된다는 방식(anything goes)도 아니다. 이것은 창의적이며(dynamic), 비기계적인(non-mechanistic) 과정이다. 분석 과정에는 예측할 수 없는 혼란(mess)과 다양성(variety)이 너무 많기 때문에, 이를 사전에 고정하거나 통제할 수 없으며, 따라서 선형적 연구 설계(linear design)로는 포착할 수 없다.

 

Harley와 Cornelissen(2022: 257)은 다음과 같이 제안한다:

"처방적 규칙을 명시하는 것과 너무 일반적인 기준을 제시해 실질적 행동을 위한 근거를 제공하지 못하는 것 사이에는 미세한 경계가 존재한다"

 

하지만, 우리는 그 사이에 상당히 넓은 지대(broad band)가 존재한다고 본다. 정성적 분석에 관해 말할 수 있는 바는 많으며, 이는 연구자가 자신의 선택을 의식하고, 풍부한 분석을 산출할 수 있도록 돕는다. 이는 지나치게 추상적일 위험에 빠지지 않으면서도 충분히 실질적인 도움을 줄 수 있다.

 

이것이 바로 우리가 본 논문에서 기여하고자 했던 바다. 즉, 가설적 추론 분석의 과정을 명료화하고, 그에 따라 연구자를 이끄는 네 가지 일반 원칙(four general principles)을 제시했다. 우리는 이 원칙들을 비교적 안정적인 배경(stable background)으로 기능하도록 제안한다. 이 원칙들은 연구 프로젝트에서 필요한 즉흥성(improvisation)을 제한하지 않으면서도 형성(shape)해주는 역할을 한다. 또한, 가설적 추론 분석을 의도적 또는 암묵적으로 수행하는 연구자들이 자신의 활동과 경험을 보고하고 성찰할 수 있도록 도와주는 공통 어휘(vocabulary)를 제공하고자 했다.

 

학자로서 우리는 학문 공동체와 학생들만이 아니라, 공공행정 실천(public administration practice)에도 봉사하고 있다.
가설적 추론 능력을 향상시키는 일은,

  • 실무자들과 이론적 통찰의 발전에 대해 나누는 대화를 더욱 풍성하게 만들고,
  • 정책 형성(policymaking)에도 간접적으로 기여할 수 있다.

실무자들은 정성적 연구자들로부터 다음과 같은 태도를 기대할 수 있다:

  • 행정 실무의 일상적 복잡성과 역동성에 민감하게 반응하고,
  • 그와 함께 나타나는 놀라움과 긴장을 기꺼이 수용하며, 이에 적극적으로 참여하려는 의지.

앞으로의 연구 과제

앞으로는, 정성적 분석 실천(analytical practices)을 해체하여 탐구하는 연구가 더 필요하다. 이는 단일 프로젝트 내에서의 시작부터 초안 작성까지의 과정뿐 아니라, 프로젝트 간, 심사 과정(review process)에서도 마찬가지다. 연구를 ‘실천 이론(practice-theoretical)’의 관점에서 접근하는 것은

  • 정성적 연구를 경험적으로 분석하고,
  • 그 즉흥적 성격(improvisational character)을 이해하는 데 유용할 수 있다(e.g., Locke et al., 2022).

특히, “추상적인 코드에서 완전한 이론 모델로 어떻게 이행하는가”에 대한 연구가 더 필요하다(Pratt et al., 2022: 233). 또한, 학자들은 자신의 실패와 시행착오를 더 많이 공유해야 한다(van Maanen et al., 2007). 그래야 모두가 거기서 무언가를 배우고 학습할 수 있기 때문이다. 이와 함께, 의심(doubt) 같은 감정(emotions)이 정성적 연구 실천을 어떻게 형성하는지를 탐색하는 것도 유익할 것이다(Schmidt et al., 2023). 끝으로, 본 논문에서는 비교(comparison)나 정성적 분석을 위한 디지털 도구(digital tools)와 가설적 추론의 결합에 대해 논의하지 못했다(e.g., Boswell et al., 2019; Simmons & Smith, 2021). 이러한 주제에 대한 추가적인 대화는, 정성적 연구의 실천(practice)에 대한 지식을 심화시키고, 이론과 실천 양측의 발전에 기여할 수 있을 것이라 믿는다.

 


주석 (Endnotes)

1. 이 논문을 작성하는 과정에서, 우리는 2000년부터 2023년까지 우리 분야의 8개 주요 학술지를 검토했고, 그 결과 methods 섹션에서 ‘abduction’ 및 ‘abductive’라는 용어의 사용이 증가하고 있음을 확인했다(자세한 내용은 Appendix A 참조). 몇몇 예외를 제외하면, 대부분의 논문들은 가설적 추론 분석(abductive analysis)의 과정에 대해 매우 간단히만 언급하고 있었다. Ashworth et al.(2019)은 이미 정성적 분석에 대해 학술지에서 별로 언급되지 않는다는 점을 지적한 바 있다. 그들은 또한 이렇게 덧붙인다:

"가설적 추론 이론화(abductive theorizing)를 실제로 보여주는 경우도 있지만, 이것이 그렇게 명명되는 경우는 드물다" (2019: 323, 강조는 원문).

 

이러한 관찰은 가설적 추론 분석이 보고되는 것보다 훨씬 더 널리 수행되고 있을 가능성을 시사한다.


2. 해석적 연구(interpretive research)존재론적(ontological), 방법론적(methodological), 인식론적(epistemological) 전제를 공유하면서도 매우 다양한 접근과 분석을 포괄한다. 이에 대해서는 이 글에서 더 자세히 다루지 않는다. 이 주제는 이미 지난 20년간 충분히 논의되어 왔다(예: Bevir & Rhodes, 2022; Schwartz-Shea & Yanow, 2012; Wagenaar, 2011; Yanow, 2000; Yanow & Schwartz-Shea, 2014). 독자의 가독성을 고려하여, 우리는 ‘정성적 연구자(qualitative researchers)’라는 용어를 사용할 때, 해석적 접근을 지닌 정성적 연구자를 의미한다. 동시에 우리는, 가설적 추론 분석이 보다 넓은 의미의 정성적 공공행정 연구에 유용하다고 믿는다.


3. Tavory와 Timmermans(2014: 5)는 다음과 같이 설명한다:

“이것은 가설적 추론 연구에서의 근본적인 질문(the fundamental question)이다.”
즉, “이 현상은 무엇의 사례인가?”라는 질문을 지속적으로 던지는 것이 핵심이다.


4. 근거이론(grounded theory)은 가장 널리 사용되는 귀납적 접근 중 하나이며, 이론 사용과의 관계에 있어 복잡한 역사를 가지고 있다(Glaser & Strauss, 1967). 연구자는 ‘이론적 민감성(theoretical sensitivity)’,데이터로부터 이론을 도출해내는 능력을 지녀야 한다고 여겨진다(1967: 46). 하지만 동시에, 연구 초기부터 특정 이론을 사용하는 것은 연구자가 열린 시각으로 데이터를 바라보지 못하게 할 위험이 있다고 간주되기도 한다(Glaser & Strauss, 1967; Strauss & Corbin, 1990: 75).

 

그러나 Charmaz(2014: 200–204)는 가설적 추론(abduction)과 실용주의(pragmatism)를 근거이론과 연결 지으며, 이론 사용에 대해 보다 유연한 관계를 제안한 바 있다(Reichertz, 2007도 유사한 논지를 전개함). 조직연구 분야에서 활동하는 근거이론의 주요 학자들(Gioia et al., 2013: 21) 역시 자신들의 프로젝트 후반에서 더욱 가설적으로(abductively) 작업했다고 인정한다.


5. 마찬가지로, 선이해(prior knowledge)는 연구자가 자신의 경험을 이해하려고 시도하고 해당 지식이 활성화될 때 비로소 의미를 갖는다. 이 관점에서 볼 때, 이는 ‘앎의 활동(the activity of knowing)’에 관한 것이다(Cook & Brown, 1999).


6. 시각 자료(visuals)정성적 분석에서 유용한 도구로서 오래전부터 그 가치를 인정받아 왔다(Miles & Huberman, 1994).
그럼에도 불구하고, 공공행정 분야의 정성적 연구에서는 여전히 상대적으로 드물게 활용되고 있다. 하지만 해석적 레퍼토리에서 매우 유용한 요소가 될 수 있다(Langley & Ravasi, 2019). 한편, 표(tables)는 상대적으로 자주 사용되며, 이는 향후 좀 더 면밀히 연구되어야 할 주제이다.


7. 본 논문의 Figure 1은 Harrison & Rouse(2014: 1263)의 작업에서 영감을 받아 제작되었다.


 

 

 

 

 

🔁 전체 구조

그림은 세 개의 수평 영역으로 나뉘어 있어요:

  • Theory and Literature (이론과 문헌)
  • Design and Analysis (설계와 분석)
  • Field (현장)

세 층을 오가며 연구가 진행된다는 점이 이 다이어그램의 핵심이에요. 이건 연구가 단순히 위에서 아래로 혹은 왼쪽에서 오른쪽으로 흘러가는 게 아니라, 계속 위아래로 오가면서 이루어진다는 것을 의미합니다.


🛤️ 진행 흐름: 한눈에 보는 반복 루프

1. 🟩 Read and develop question (질문 만들기)

이론과 문헌을 읽으며 초기 연구 질문을 형성합니다.
⤴️ 그러나 바로 아래에서는 "Tension" (긴장)이 등장하죠. 이건 문헌을 읽으면서 필드에 대한 어떤 불일치나 긴장을 감지한다는 뜻이에요.

2. 🟨 Design fieldwork (현장조사 설계)

그다음엔 현장을 조사할 수 있도록 설계합니다. 하지만...

3. 💥 Surprise (놀라움)

현장조사 중 예상치 못한 일이 벌어지죠! 이게 가설적 추론의 핵심 출발점이에요.

4. 💭 Doubt (의심)

놀라운 일이 생기면 연구자는 스스로의 해석과 가설을 의심하게 됩니다.

5. 🟨 Analyze (분석)

수집된 데이터를 바탕으로 분석을 시작해요. 여기서 중요한 요소는...

6. 🌟 Intuition (직관)

기존 이론이나 가설이 아닌, 연구자의 직관이 분석의 실마리가 될 수도 있다는 점이에요.

7. 🟩 Revisit prior knowledge and read more

의심과 직관을 근거 삼아 이전에 읽었던 문헌을 다시 보고, 더 많이 읽습니다.
이 과정에서 또 다른 💥 Surprise가 등장할 수 있어요.

8. 🟨 Casing (사례화)

이제 연구자가 발견한 현상이 "무엇의 사례인가"를 고민하게 되죠.
Tavory & Timmermans가 강조한 핵심 질문이에요:

“What is this a case of?”

9. 💡 Hunch (예감)

연구자가 새로운 이론적 직감(hunch)을 얻고, 더 깊은 분석을 시도합니다.

10. 🟨 Analyze further (추가 분석)

새로운 관점으로 자료를 재해석하면서 더 깊이 있는 이론화를 시도합니다.

11. 💭 또 한 번의 Doubt

추가 현장조사에서 다시금 예상과 현실이 어긋나면서 의심이 생길 수 있어요.

12. 🟩 Read to establish contribution

이제 이론적 기여를 명확히 하기 위해 문헌을 다시 검토합니다.

13. 🟨 Initial write-up

초안 작성을 통해 연구 결과를 정리하죠. 하지만 이것도 ‘끝’이 아니라 또 다른 반복의 시작일 수 있어요.


💡 핵심 메시지 요약

  • 정성적 연구는 정해진 순서로 진행되지 않는다.
  • 현장에서의 놀라움, 긴장, 의심이 연구의 중심 동력이다.
  • 분석과 현장조사, 문헌 읽기는 서로 반복적으로 연결된다.
  • 가설적 추론은 즉흥성 + 직관 + 반복성을 통해 이론을 창조해내는 방식이다.

"There is too much mess and variety in the analytical process that cannot be fixed and controlled in advance."
→ 분석 과정에는 너무 많은 혼란과 다양성이 있어서 사전에 고정하거나 통제할 수 없다.


이 그림을 바탕으로 정성적 연구 방법론 수업이나 연구자 워크숍에서 ‘반복적 연구’의 개념을 설명하면 아주 효과적일 거예요.
원하시면 이 다이어그램을 한글 설명 버전으로 다시 구성해드릴 수도 있습니다. 요청해 주세요!

 

 

Adv Health Sci Educ Theory Pract2021 Aug;26(3):1157-1171.  doi: 10.1007/s10459-020-10021-y. Epub 2021 Mar 2.

Leveraging knowledge translation and implementation science in the pursuit of evidence informed health professions education

 

 

 

 

📘 지식전이(Knowledge Translation)와 실행과학(Implementation Science)을 통해

보건의료 교육(HPE)은 어떻게 '근거 중심(Evidence-Informed)'이 될 수 있을까?


최근 보건의료전문직 교육(Health Professions Education, HPE)에서는 “이게 효과가 있는지”보다,
👉 “이걸 언제, 누구에게, 어떻게 제공하면 가장 효과적일까?”라는 질문이 더 중요해지고 있어요.
그래서 오늘은 그 해답의 실마리를 제시해줄 수 있는 논문 하나를 소개해드릴게요.

논문 제목: How knowledge translation and implementation science can support evidence-informed health professions education
저자: Onyura, Thomas, Steinert 외
저널: Advances in Health Sciences Education (2023)


🧭 배경: 왜 '연구'는 '교육 실천'으로 잘 안 옮겨질까?

보건의료교육 분야에서도 연구는 정말 많이 나오지만, 그게 실제 수업이나 평가로 이어지지 않는 경우가 많죠.
연구진은 이 점을 지적하며 이렇게 말합니다:

“We are experiencing a phenomenon of inert knowledge.”
→ “우리는 ‘비활성 지식(inert knowledge)’의 현상을 경험하고 있다.

 

즉, 지식은 쌓이고 있지만 실제 행동으로 전환되지 않는다는 것이에요.
이런 간극은 단지 교수 개인의 문제가 아니라, 조직, 시스템 차원까지 복합적인 요인이 작용하고 있답니다.


🧩 핵심 개념 두 가지!

Knowledge Translation (KT)Implementation Science (IS)

이 논문은 KT와 IS라는 두 개념을 중심으로, “어떻게 하면 보건의료교육이 정말 ‘근거 중심(Evidence-Informed)’이 될 수 있을까?”를 파고들어요.

“The practice of KT and its scientific study (IS), can help move us closer towards achieving an evidence informed approach to HPE.”
→ “지식전이(KT)의 실천과 이를 과학적으로 탐구하는 실행과학(IS)은 HPE가 근거 중심 접근으로 나아가는 데 도움을 줄 수 있다.


⚙️ AIMD 프레임워크로 살펴본 KT 실천 사례

논문에서는 물리치료 프로그램의 입학절차를 바꾸려는 실제 사례를 통해,
지식전이가 어떤 단계로 이뤄지는지를 AIMD 프레임워크를 기반으로 설명하고 있어요.

✅ 1단계: 문제 파악 – 지금 실천과 ‘최선의 실천(best practice)’ 사이의 간극 확인

  • 기존 입학 방식(패널 면접) vs 문헌에서 제안하는 MMI 방식
  • Multiple short scenario-based interviews evaluating different attributes”
    → “복수의 짧은 시나리오 기반 면접이 각기 다른 속성을 평가하도록 구성되어야 한다.

✅ 2단계: 저해 요인과 촉진 요인 파악

  • 촉진 요인: 교수의 동기, 시간 확보, 타 프로그램의 지원
  • 저해 요인: 지식 부족, 자원 부족, 자신감 부족
  • Faculty’s lack of confidence in their ability to successfully integrate MMI into their work schedule
    → “교수진이 자신의 일정 안에 MMI를 통합할 수 있다는 자신감 부족

✅ 3단계: 개입 설계 및 평가

  • AIMD 네 가지 질문:
    • Aims: 목표는?
    • Ingredients: 무엇이 개입의 구성요소인가?
    • Mechanisms: 어떻게 작동할 것으로 기대되는가?
    • Delivery: 어떻게 전달할 것인가?
  • 예시 개입:
    • 간단한 프레젠테이션
    • 타 프로그램 교수의 증언(testimonials)
    • 웨비나/모의면접 체험

🤝 앞으로 우리가 고민해야 할 것들

연구진은 마지막에 이렇게 강조합니다:

“We must ask who needs to be involved, when and why.”
→ “누가, 언제, 왜 참여해야 하는지를 질문해야 한다.

 

교육과정, 평가, 교수 개발, 학생 선발… 어느 것 하나 혼자서 할 수 있는 게 없어요. 다양한 이해관계자(stakeholders)가 함께 교육을 설계하고 실천해야 한다는 겁니다. 또한 Faculty Development(교수 개발) 자체가 KT 개입의 중요한 수단이 될 수 있다는 점도 주목할 필요가 있어요.


✨ 마무리하며

이 논문은 말합니다:

“Our hope is that this article has provided the reader with food for thought.”
→ “이 글이 독자에게 사유의 재료를 제공하길 바란다.

 

📌 우리가 연구를 실천으로 옮기기 위해선, 이론과 방법론, 조직과 사람, 시간과 맥락이 모두 고려되어야 해요.
지금 당장 정답을 찾기보다는, 우리의 실천이 ‘근거 기반’에 조금씩 가까워지도록 이런 논의가 계속 이어지길 바랍니다 😊


서론 (Introduction)

연구를 실천과 정책에 활용하자는 생각은 새로운 개념이 아니다(Caplan, 1975). 그러나 지난 15년 동안 교육은 교육 연구의 결과에 근거해야 한다는 목소리가 다시금 강조되고 있다. 교육자와 행정가는 학습자와 사회에 대한 책무성을 다하기 위해, 의미 있고 효과적인 교육을 제공하고 자원이 제한된 체계에 효율적인 교육 방식을 통해 기여해야 한다는 압박을 받고 있으며, 이를 위해 evidence-based practices (근거 기반 실천)의 채택이 촉구되고 있다(Broekkamp & Van Hout-Wolters, 2007). 그럼에도 불구하고 근거의 비체계적인 활용 또는 활용 부재는 여전히 교육 프로젝트의 진전과 성공을 저해하고 있다(Broekkamp & Van Hout-Wolters, 2007; Lysenko et al., 2014). 많은 교육 분야에서 근거가 제대로 활용되지 않고 있는 현실은, 우리가 ‘inert knowledge(비활성 지식)’ 현상을 경험하고 있다는 학자들의 우려를 증폭시키고 있다(Greenhalgh & Russell, 2006).

 

교육 연구와 실제 사이의 명백한 단절에는 여러 이유가 있다. 예를 들어:

  • (a) 교육자는 과학적 문헌보다는 실천적 지혜(practical wisdom)를 선호하는 경향이 있다(Lortie, 1975).
  • (b) 통합되지 않은 비체계적인 증거에 접근하고 이를 통합하는 데 어려움을 겪는다(OECD, 2012).
  • (c) 현실의 교육 문제를 직접적으로 해결해주는 근거가 부족하다(Hayward & Phillips, 2009).
  • (d) 교육 문제는 너무 복잡해서 연구로 해결될 수 없다고 믿는다.
  • (e) 전문적 판단(professional judgment)과 암묵지(tacit knowledge)가 ‘행동 가능한 지식(actionable knowledge)’의 일부로 인정되지 않아, 교육자의 역할이 단순히 지식 소비자로 축소된다(Hammersley, 2004).
  • (f) 질적 연구와 양적 연구의 가치와 유용성에 대한 끊임없는 논쟁이 존재한다.

이러한 이유들은 evidence-based medicine (EBM, 근거중심의학) 운동과도 유사하다. 예를 들어, EBM이 주장하는 공식적인 근거의 개념과 실제 교육 실천 환경에서 의사결정을 위해 사용하는 지식 및 근거 간에는 간극이 존재한다(Levin, 2013).

 

보건의료전문직 교육(Health Professions Education, HPE)에서도 유사한 현상이 나타나고 있다. 전례 없는 수준의 근거의 양적·질적 성장이 이뤄지는 상황에서, HPE 학문 공동체와 여러 이해관계자(예: 교사, 교육과정 책임자, 인증 기관 등)들은 이 근거를 교육 실천 및 정책 수립에 어떻게 반영할 수 있을지에 대해 논의하고 있다(Reed et al., 2009; Van der Vleuten et al., 2000; Yardley et al., 2010).

 

이 논문에서는 evidence-informed health professions education (EIHPE)를 다음과 같이 정의한다.

“HPE에 참여하는 개인(예: 교수, 평가, 교육과정 설계 및 개발, 행정, 연구 등)이 교육 실천을 위한 의사결정에 있어 연구 결과를 활용하는 과정”(Thomas et al., 2019)

 

이 글의 목적은, 임상의학 분야에서 급속히 확장되고 있는 knowledge translation (KT, 지식전이) implementation science (IS, 실행과학)의 개념을 차용하여, 보건의료교육에서 EIHPE를 ‘진정으로’ 구현하는 방법에 대해 고찰하는 것이다. 우리는 HPE 또한 다른 분야와 마찬가지로 매우 빠르게 새로운 지식을 생산하고 있으며, 이러한 폭발적인 지식의 성장 속에서 이 지식이 실제 교육 실천과 정책에 어떻게, 얼마나 활용되고 있는지를 반드시 물어야 한다고 본다. 본 논문은, KT 이론과 원칙 및 절차를 통합하고, EIHPE에 이해관계를 가진 주요 행위자들의 참여를 바탕으로 한 이론 중심, 단계적, 체계적인 접근법이 교육 연구의 활용을 촉진할 수 있다는 주장을 제시한다.

 

논문은 다음의 네 가지 섹션으로 구성된다.

  1. EIHPE 운동의 동기에 대해 논의하며, 보건의료교육에서 과학적 근거 사용에 대한 역사적 논의 맥락에 위치시킨다.
  2. KT와 IS의 기원을 간단히 설명하고, 두 개념의 목표 차이를 구분한다.
  3. KT와 IS가 어떻게 EIHPE의 의제를 진전시킬 수 있는지를 제안한다.
  4. 향후 연구 과제에 대해 제안하며 결론을 맺는다.

또한, 하나의 HPE 실천 사례를 논문 전반에 걸쳐 삽입하여, KT와 IS 개념이 어떻게 실제 교육 현장에 적용될 수 있는지를 보여준다.


보건의료전문직 교육에서의 근거 기반(evidence-informed) 접근을 위한 요청

보건의료전문직 교육(Health Professions Education, HPE)이 하나의 연구 분야로 등장한 것은 1950년대까지 거슬러 올라가지만(Kuper et al., 2010), EIHPE 운동은 지난 20년 동안 점차 더 많은 주목을 받아왔다. 이처럼 연구 기반의 교육 실천을 촉구하는 목소리는 여러 핵심 협회 및 전문 단체들로부터 나왔으며, 예를 들어 Institute of Medicine, Association of Medical Education of Europe, American Association of Medical Colleges 등이 있다. 또한, Best Evidence in Medical Education (BEME) Collaboration, ask AMEE와 같은 이니셔티브들과 다수의 핵심 연구자들도 이러한 흐름에 동참하고 있다.

 

2001년 Institute of Medicine 보고서보건의료 전문가 교육이

"변화하는 환자 인구통계와 요구, 보건 시스템의 기대 변화, 진료 요건과 인력 구성의 변화, 새로운 정보와 기술, 그리고 질 향상에 대한 집중"에 적절히 반응하지 못하고 있으며, 이러한 변화의 속도를 따라가지 못하고 있다고 비판하였다(Institute of Medicine Committee on Quality of Health Care, 2001, p.1, chap. 2).

 

이어진 2003년 보고서에서는, 보건의료전문직 교육과정이

환자 중심 진료(patient-centered care), 학제간 팀(interdisciplinary teams), 근거 기반 실천(evidence-based practice), 질 향상(quality improvement), 정보학(informatics) 등의 핵심 역량(core competencies)에 초점을 맞춰야 한다고 제안하였다(Institute of Medicine Committee on Health Professions Education, 2003).

 

이러한 EIHPE로의 전환 노력은 여러 이니셔티브의 성장에서도 확인할 수 있다. 대표적으로:

  1. BEME Collaboration: 교육 연구의 최신 결과를 종합(synthesis)하고 이를 널리 배포하여, 보건의료교육에서 근거 기반 교육의 발전을 도모하는 국제적 협력체. 연구자, 대학, 전문기관들이 함께 참여하고 있으며, 근거를 기반으로 한 교육 실천을 지원하는 활동을 수행하고 있다(Harden et al., 2000).
  2. ask AMEE: 비교적 최근에 개발된 자원으로, 특정 교육 주제에 대해 자유롭게 접근 가능한 정보 제공 플랫폼으로 교육자들이 실천에 바로 활용할 수 있도록 돕고 있다.

동시에, 여러 영향력 있는 연구자들이 보건의료교육 연구의 본질과 목적에 대해 글을 써왔으며, 이들은 다음과 같은 필요성을 강조한다:

  • 교육자에게 실제로 중요한 문제들에 대한 데이터를 생성하여, 교육 프로그램을 모니터링하고 기준에 맞춰 평가할 수 있도록 돕는 것(OECD, 2012; Dauphinee & Wood-Dauphinee, 2004)
  • 이론과 실천 간의 간극을 좁히는 것(Durning et al., 2012; Tractenberg & Gordon, 2017)

특히, EIHPE 의제에 영향을 미칠 수 있는 분야 고유의 문제들에 대한 논의가 문헌에 풍부하게 나타난다:

  • (a) 교육 연구 결과의 맥락 특이성(context-specificity): 이는 연구 결과의 적용 가능성을 제한할 수 있으며, 다양한 교육 환경 및 학습자의 수준에 따라 제한될 수 있다(Onyura et al., 2015).
  • (b) 활용 가능한 근거의 질과 강도(Cook & Beckman, 2010; Norman, 2007)
  • (c) ‘현실 세계(real world)’에서 교육 연구의 관련성과 그에 따른 교육 환경에서의 실행 가능성(Cook & Beckman, 2010; Yardley, 2014; Maggio et al., 2018)
  • (d) ‘근거(evidence)’라는 용어의 정의에 대한 논쟁(Thistlethwaite et al., 2012; Yardley et al., 2010)

이러한 논의들을 종합해 보면, HPE 연구의 양적·질적 성장, EIHPE를 향한 요구, 그리고 HPE 연구의 통합 및 확산을 위한 다양한 시도는 모두 보건의료교육이 어떻게 하면 더욱 근거에 기반한 방식으로 운영될 수 있을지를 모색해야 할 필요성을 강조하고 있다.


사례 예시: KT 프로세스의 실제 적용

이 논문에서는 KT(knowledge translation) 과정을 어떻게 실천적으로 적용할 수 있을지 설명하기 위해 하나의 사례를 사용한다.

한 소규모 물리치료 프로그램(연간 신입생 약 50명)이 입학 절차(admissions procedures) 변경을 고려하고 있다. 이 프로그램은 20여 년 전 설립 이래로, 세 명의 면접관(교수 2인, 임상의 1인)이 지원자의 입학 서류(admission file)를 미리 열람한 상태에서 진행하는 비맹검 단일 면접(single non-blind interview)을 시행해 왔다.

 

현재 프로그램 책임자와 입학위원장은, 다수의 심리측정학적 연구 결과를 바탕으로 MMI(Multiple Mini Interviews) 방식으로 전환할 것을 고려하고 있다. 입학위원장은 신입생 전원을 대상으로 MMI를 도입하기 위한 실행 과정에 입학위원회 구성원들을 참여시키기로 결정한다.


지식전이(Knowledge Translation)와 실행과학(Implementation Science)의 기원

  • 지식전이(Knowledge Translation, KT)는 여러 단계를 포함하는 다중 단계 프로세스로, 그 목적은 연구 근거의 활용을 촉진하고, 기존의 ‘연구-실천 간 간극’을 해소하며, 결과적으로 교육 실천 및 궁극적으로 환자 돌봄을 개선하는 데 있다(Straus et al., 2011; Graham et al., 2006).
  • 한편, 실행과학(Implementation Science, IS)KT에서 사용되는 이론(theories), 모델(models), 방법론(methods)을 연구하고 정교화하는 분야로서, 보건의료전문직 교육(Health Professions Education, HPE)의 향상에 기여하는 것을 목표로 한다(Bauer et al., 2015).

아래에서는 이 두 개념 각각을 좀 더 구체적으로 설명한다.


지식전이(Knowledge Translation)와 그 단계

KT는 diffusion, research utilization, knowledge exchange 등 다양한 명칭으로 불리지만(Thomas & Bussieres, 2016a,b), 전반적으로 KT는 효과적인 실천과 정책이 특정 맥락(context) 안에서 잘 채택되고(adoption), 적절히 조정(adaptation)되고, 안정적으로 전달(delivery)되며, 지속 가능하게 유지(sustainability)되도록 최적화하는 것을 목표로 한다는 데 학문적 합의가 있다(Brown et al., 2017).

 

KT는 생의학(biomedical) 및 임상과학(clinical science) 분야에서 출발하였으며, 이는 진단 도구 및 치료법이 많은 보건의료 영역에서 과잉(overused), 과소(underused), 또는 오용(misused)되고 있다는 인식에서 비롯되었다(Schuster et al., 1998; McGlynn et al., 2003). 이러한 문제는 결국 비최적의 진료(suboptimal care)와 나쁜 건강 결과(poor health outcomes)로 이어졌다. 

 

임상 현장에서 과학적 근거가 과소, 과잉 또는 오용되는 근본 원인에 대해 20년 넘게 축적된 연구는 다음과 같은 개인적 요인과 조직적 요인들이 단독 또는 상호작용하여 임상의의 행동을 결정한다는 사실을 보여준다.

  • 개인적 요인(individual factors)의 예:
    • 근거(evidence)에 대한 지식 부족
    • 새로운 실천을 채택할 수 있다는 자기 효능감 부족
    • 변화에 대한 저항
    • 근거의 성격과 실제 사용 사이의 긴장(tension) (Gupta et al., 2017; Lizarondo et al., 2011; Duncombe, 2018)
  • 맥락적 요인(work context)의 예:
    • 최신 기술이나 사용자 친화적 도구에 대한 접근 제한
    • 진료 시간에 대한 경쟁적 요구
    • 리더십의 가치 체계
    • 조직의 분위기 및 근거 기반 실천에 대한 부정적 또는 상충되는 태도(Gale, 2009; Bonham et al., 2014)

더욱이, 새로운 지식의 방대한 양과 그 생성 및 확산 속도는 KT의 적용을 더욱 어렵게 만든다. 사실상, 임상의들이 최신 지식을 따라잡는 것은 현실적으로 불가능한 수준이 되었다(Corish, 2018).


이러한 다양한 원인들을 해결하기 위해 KT는 다음의 세 가지 주요 단계로 구성된다(Sect. “How knowledge translation and implementation science can support evidence informed health professions education”에서 자세히 설명됨):

  1. 연구-실천 간 간극의 성격과 규모를 문서화한다.
  2. 연구 결과의 활용을 촉진하거나 방해하는 개인, 조직, 시스템 수준의 결정 요인(determinants)을 파악하고 설명한다.
  3. 이론 중심(theory-driven)이며 상황에 맞춘 맞춤 전략을 설계하고, 그 효과를 평가한다(Graham, 2012).

특히, KT가 연구-실천 간 간극을 성공적으로 메우기 위해서는 교수자, 교육과정 책임자 등 다양한 맥락의 핵심 이해관계자(key stakeholders)들이 반드시 참여해야 한다(Bowen & Graham, 2013). 하지만 KT 프로세스는 본질적으로 복잡성(complexity)을 내포하고 있으며, 다음과 같은 다양한 요소를 고려해야 한다:

  • 실천에 전이하고자 하는 근거의 성격, 강도, 관련성
  • 새로운 실천(innovation or new practice) 자체의 특성
  • 최종 사용자(end users)가 변화를 수용할 준비가 되어 있는지 여부
  • 변화된 실천을 뒷받침하기 위한 조직 차원의 강화 및 지원(organizational reinforcement and support)
    → 이는 종종 효율성 및 비용 효율성에 대한 기존 조직의 강한 헌신과 충돌할 수 있다.

실행과학 (Implementation Science)

KT(Knowledge Translation)의 실무자와 연구자들은 건강전문직의 행동이나 새로운 실천에 대한 순응도(adherence), 그리고 실행 결과(implementation outcomes)를 설명하고 예측하기 위해 다양한 학문 분야(예: 사회학, 심리학), 이론(예: 학습 이론, 행동 변화 이론, 조직 이론), 그리고 프레임워크(예: KT 프로세스 모델, 결정 요인 프레임워크)를 활용해야 한다는 요청을 받고 있다(Brehaut & Eva, 2012; Colquhoun et al., 2010). 이러한 접근은 KT 과정에 수반되는 수많은 도전 과제를 고려할 때 특히 유용하다. 왜냐하면 인간 행동은 본질적으로 복잡하고, 보건의료 전문가들은 복잡하고 끊임없이 변화하는 맥락(context) 안에서 활동하기 때문이다.

 

실행과학(IS)의 주요 목적에 부합하도록, 과학적 지식의 교육 실천으로의 전이를 촉진하기 위한 개입(intervention)은 반드시 이론적 프레임워크에 기반을 두어야 하며, 탄탄한 연구 방법론을 바탕으로 개발되어야 하며, 해당 맥락 안에서 EIHPE를 지지할 수 있는 다양한 이해관계자들을 고려해야 한다(Lapaige, 2010).

 

적절히 사용될 경우, 다양한 이론들은 다음과 같은 방식으로 KT를 강화할 수 있다(Nielsen et al., 2015a):

  • 개념적 명확성 향상
  • 개념 간의 가설적 관계 명시
  • 변화 또는 연구 활용의 결정 요인 식별
  • 자료 수집 및 분석 방법 고안
  • 실행 과정 또는 결과 명확화
  • 실행 계획 수립에 대한 방향 제시 (Birken et al., 2017; Hull et al., 2019)

지식전이를 안내하는 모델과 프레임워크

KT를 안내하는 수많은 모델과 프레임워크가 존재하지만, 이들에 대한 상세한 설명은 본 논문의 범위를 벗어난다. 이러한 프레임워크는 이전 연구에서 잘 정리되어 있다(Nilsen & Bernhardsson, 2019; Weiner et al., 2017; Birken et al., 2017, 2018).

 

간략하게 예를 들면, Nielsen et al. (2015a, b)은 세 가지 주요 목적을 달성하기 위해 다섯 가지 범주의 이론적 접근법을 제안했다:

  1. 연구 결과를 실천으로 전이하기 위한 과정(process)을 설명하거나 안내하는 모델
    → 예:
    • Knowledge to Action(KTA) framework (Graham et al., 2006)
    • Stetler model (Stetler, 2010)
  2. 실행 결과에 영향을 미치는 요인들을 설명
    → 다양한 이론과 프레임워크 활용:
    • 결정 요인 프레임워크(determinant frameworks):
      • Theoretical Domains Framework (TDF) (Michie, 2014)
    • 고전 이론(classical theories):
      • 사회 인지 이론(Social Cognitive Theory) (Godin et al., 2008)
      • 계획된 행동 이론(Theory of Reasoned Action) (Ajzen & Fishbein, 2000)
    • 실행 이론(implementation theories):
      • 실행 분위기(Implementation Climate) (Jacobs et al., 2014)
      • 조직 준비도(Organizational Readiness) (Weiner, 2009)
  3. 실행 결과를 평가(evaluate)하는 모델
    → 예:
    • PRECEDE-PROCEED model (Green & Kreuter, 2005)
    • Proctor et al. framework (Proctor et al., 2011)

적절한 프레임워크 선택에 대한 고려사항

모든 상황에 적합한 ‘황금 기준(gold standard)’ 프레임워크는 존재하지 않는다. 하지만 일부 연구자들(Birken et al., 2018; Nilsen & Bernhardsson, 2019; Weiner et al., 2017)은 프레임워크 선택에 대한 가이드라인과 프레임워크 목록을 제시한 바 있다.

 

적절한 모델 또는 프레임워크의 선택은 수행하려는 KT 목표에 의해 결정되어야 한다. 예를 들어, 새로운 실천의 통합을 촉진하거나 방해하는 요소가 무엇인지 이해하고자 할 경우, 결정 요인 프레임워크(determinant frameworks)가 적절하다. 우리의 경험상, 프레임워크 선택은 다음의 세 가지에 의해 결정되는 경우가 많다:

  • 해당 프레임워크에 대한 익숙함
  • 사용의 용이성
  • 해당 프레임워크가 KT 목표에 얼마나 부합하는지

실행과학의 확장된 범위

중요한 점은, 실행과학(IS)의 범위는 전통적인 임상 연구보다 훨씬 넓다는 것이다. 전통적 임상 연구가 개별 환자 수준에 초점을 두는 반면, 실행과학은 의료 제공자, 조직, 정책 수준까지 모두 고려한다.

Bauer et al. (2015)는 실행과학 연구를 다음과 같이 정의하였다:

"이행 연구(Implementation research)에는 보건의료서비스 연구자, 경제학자, 사회학자, 인류학자, 조직 과학자뿐만 아니라, 관리자, 일선 임상의, 환자 등 운영 파트너를 포함한 다양한 분야의 구성원들이 참여하는 초학제적(transdisciplinary) 연구팀이 필요하다. 이들은 대부분의 임상시험에 일상적으로 참여하지 않는 구성원들이다."

"Implementation research requires transdisciplinary research teams that include members who are not routinely part of most clinical trials, such as health services researchers, economists, sociologists, anthropologists, organizational scientists, and operational partners including administrators, front-line clinicians, and patients."

 

즉, 실행과학은 다학제적(transdisciplinary)이고, 정책-조직-개인 수준을 아우르는 통합적 접근이 필요하다.


지식전이(KT)와 실행과학(IS)이 근거 기반 보건의료전문직 교육(EIHPE)을 어떻게 지원할 수 있는가

이 절에서는 근거를 실제 교육 실천에 전이하기 위한 지식전이(KT)의 세 단계 과정을 다룬다:

  1. 연구-실천 간 간극의 성격(nature)과 규모(magnitude)를 파악
  2. 연구 결과의 활용을 촉진하거나 방해하는 개인, 조직, 시스템 수준의 요인을 식별하고 설명
  3. 연구-실천 간 간극을 줄이기 위한 KT 개입 전략을 설계, 실행, 평가

각 단계마다, 실행과학(IS)이 KT를 어떻게 지원할 수 있는지를 강조하며(즉, 탄탄한 방법론과 프레임워크 사용), 앞서 제시한 물리치료 프로그램 입학 절차 개편 사례를 통해 설명한다(→ Table 1 참조).


1. 연구-실천 간 간극의 성격(nature)과 규모(magnitude) 파악하기

  • 여기서 말하는 ‘성격(nature)’이란, 현재의 교육 또는 정책 실천(e.g. 사용되는 교수법, 특정 교육 개입의 노출 빈도, 평가 방식 등)이, 경험적 문헌(original research)이나 근거 종합(evidence synthesis, 예: BEME reviews), 또는 즉시 활용 가능한 지침(guidelines)(예: Twelve Tips, ask AMEE, AMEE guides)에 제시된 ‘최선의 실천(best practice)’과 일치하는지 여부를 묘사하는 것을 의미한다.
  • 한편, ‘규모(magnitude)’현재 실천이 최선의 근거와 얼마나, 어느 정도 다르게 이루어지고 있는지를 측정하는 것이다. 즉, 문제가 얼마나 크고 널리 퍼져 있는지를 확인하는 것이다. 이를 위해 사용하는 방법으로는 설문조사, 인터뷰, 관찰, 차트 감사(chart audits), 체크리스트 등이 있으며, 이러한 방법은 재활의학(Anaby, 2017), 의학(Bryant et al., 2014), 간호학(Squires et al., 2011) 연구에서 임상 내 간극을 문서화하고 측정하는 데 활용된 사례가 있다.

▶ 사례 적용: 물리치료 입학 절차에서의 1단계

우리의 입학 사례에서는, 이 첫 번째 단계는 현재 물리치료 프로그램의 입학 절차를 문서화하는 것이다. 구체적으로는 다음과 같은 절차로 진행된다:

  1. 입학 위원회(admissions committee)는 프로그램 및/또는 인증(accreditation) 문서를 검토하여, 현재 학생 선발 절차(selection practices)에 대한 정보를 수집한다.
  2. 이어서, 보건의료전문직 교육(HPE) 프로그램의 선발 및 입학과 관련된 기존 체계적 문헌 고찰(systematic reviews)을 검토한다 (예: Patterson et al., 2016, 2017).
  3. 가능하다면, 특히 재활 프로그램에 초점을 맞춰, MMI(Multiple Mini Interviews)의 설계, 실행, 효과 평가에 대한 최선의 실천(best practices)을 목록화한다.
  4. 마지막으로, 현재 사용 중인 입학 방식(예: 한 개의 패널 면접)이 문헌에서 권장하는 방식과 어떻게 다른지를 분석한다.
    • 예: 문헌에서는 복수의 짧은 시나리오 기반 면접, 각 면접이 하나 이상의 역량을 평가, 면접관 구성에 다양한 이해관계자(예: 임상의, 일반 시민 등)가 포함될 것을 제안한다.

비록 연구-실천 간 간극을 문서화하는 과정은 KT에서 반드시 필요한 초기 단계이지만, 우리가 아는 한, HPE 문헌에서는 이러한 접근이 체계적으로 수행되었다는 증거는 매우 드물다.


2. 연구 결과를 실천에 활용하는 데 영향을 미치는 개인, 조직, 시스템 수준의 요인을 식별하고 설명하기

연구-실천 간 간극(research-practice gap)이 식별되면, 그 원인(causes) 또는 결정 요인(determinants)을 규명해야 한다.
여기서 결정 요인(determinants)이란, 연구 근거가 교육적 의사결정에 활용되거나, 새로운 실천이 성공적으로 구현될 가능성을 높이거나(= 촉진 요인), 낮추는(= 저해 요인) 요인을 의미한다. 이러한 결정 요인들은 일반적으로 다음의 세 가지 수준으로 구분된다:

  • 개인 수준(individual level): 지식(knowledge), 태도(attitudes), 기술(skills)
  • 조직 수준(organizational level): 자원의 가용성, 조직 문화, 변화 수용성(readiness to change)
  • 시스템 수준(system level): 교육 및 보건의료 시스템 개혁, 인증 기준 등
    (Thomas & Bussieres, 2016a, b)

이 두 번째 단계는 모든 실행(intervention) 노력에서 필수적인 단계이지만, 보건의료전문직 교육(HPE)의 맥락에서 근거 사용에 영향을 미치는 요인들을 다룬 연구는 아직 드물다. 예를 들어, Onyura et al. (2015)는 의학교육자들이 연구 결과를 실제로 활용하는 데 촉진 요인(예: 교수 개발, 지식 창출에의 참여)과 저해 요인(예: 낮은 질의 근거, 시간 부족, 교수진의 변화 저항)으로 작용하는 환경적 특성(environmental features)을 분석하였다. 또한, 약 400명의 AMEE 회원을 대상으로 한 대규모 연구에서, Thomas et al. (2019)는 EIHPE의 촉진 요인으로 다음을 확인하였다:

  • 근거(evidence)라는 개념에 대한 긍정적 태도
  • 근거 기반 교육자(evidence-informed educator)로서의 역량에 대한 자신감
  • HPE 문헌에 대한 비판적 검토 능력(appraisal ability)
  • 동료들이 근거 사용을 지지하고 있다는 인식

반면, EIHPE의 주요 저해 요인으로는 다음이 나타났다:

  • 경쟁적인 직업적 우선순위(conflicting professional priorities)
  • 방대한 HPE 문헌의 양
  • 직장에서의 연구 접근성 부족

흥미롭게도, 이러한 촉진 요인과 저해 요인은 직무(role)와 전문 자격(professional qualifications)에 따라 이해관계자 집단 간에 차이를 보였다Thomas et al.은 다음과 같이 설명한다:

“임상 연구에서는 KT 연구자들이 특정 실천에 대해 촉진 요인과 저해 요인을 조사한다. 예: 특정 환자군에 대해 특정 평가도구나 치료 개입을 사용할 때, 어떤 요인이 그 실천의 적용에 영향을 주는지를 연구하는 것. 응답자는 해당 실천을 기준점(anchor)으로 삼아 답변할 수 있다” (Thomas et al., 2019).

 

HPE 맥락도 이와 유사한 접근이 필요하다. 즉, 특정 집단의 실천가들, 특정한 맥락, 그리고 특정 교수 방법이나 평가 실천에 대해, 연구-실천 간 간극을 식별하고 이에 기반해 분석해야 한다.


▶ 사례 적용: 물리치료 입학 절차에서의 2단계

이 단계에서 입학 위원회(admissions committee)는 다음과 같은 방법론을 사용할 수 있다:

  • 교수진, 재학생(현 물리치료 전공자), 임상의, 실습 지도자(preceptors) 등을 대상으로 인터뷰, 포커스 그룹, 간단한 설문조사 등을 시행하여, 새로운 면접 방식(MMI) 도입에 대한 인식된 도전 과제(perceived challenges)를 탐색한다.

또한, 다음과 같은 촉진 요인(facilitators)을 확인하는 것이 중요하다:

  • 교수의 동기(motivation)
  • 협력적인 동료(colleagues)
  • 문헌 검토 및 면접 문항 개발을 위한 시간 확보(release time)
  • 이미 MMI를 시행한 타 HPE 프로그램의 지원

저해 요인(barriers)으로는 다음이 있을 수 있다:

  • HPE에서 해당 입학 절차의 가치와 근거에 대한 교수 및 관리자들의 지식 부족
  • 소규모 프로그램 특성상, MMI를 전면적으로 도입할 자원 부족
  • 교수진이 자신의 일정 안에서 MMI를 통합할 수 있다는 자신감 부족

▶ 실행과학(IS)의 원칙에 따른 접근

실행과학의 관점에서, 촉진 및 저해 요인을 식별하는 데 사용되는 방법이 충분히 탄탄(robust)해야 한다. 이를 통해 입학 위원회가 실질적으로 필요한 정보를 얻을 수 있어야 하며, 가능하다면 아래와 같은 결정 요인 프레임워크(determinant frameworks)를 사용할 수 있다:

  • Theoretical Domains Framework (TDF) (Cane et al., 2012)
  • Consolidated Framework for Implementation Research (CFIR) (Damschroder et al., 2009)

이러한 프레임워크는 이행 과정의 이 단계를 구조화하고 안내하는 데 유용하다.


3. 지식전이(KT) 개입 전략의 설계, 실행, 평가

KT 개입 전략의 대상 집단(target audience)과 목표(goal)가 명확해지고, 변화에 대한 저해 요인(barriers to change)이 파악되면,
이제는 개입(intervention)의 핵심 요소들(active elements)을 구체적으로 설계해야 한다. 이를 위해서는, 개입이 어떻게 효과를 낼 수 있을지를 설명하고 설계 과정을 안내할 수 있는 이론의 신중한 선택이 필요하다. 예를 들어, 개입은 다음과 같은 방식으로 작동할 수 있다:

  • 기존 실천에 대한 신념과 그 결과에 대한 인식 변화
  • 사회적 규범에 대한 인식 변화
  • 목표 설정(goal-setting) (Brehaut et al., 2016)

이러한 개입 설계는 대개 합의(consensus)를 통해 이루어지며, 특정 KT 개입을, 앞서 식별된 저해 요인(=결정 요인, determinant)과 연결하는 것이 핵심이다 (Atkins et al., 2017).

 

KT 개입은 다수의 상호작용하는 구성 요소로 이루어진 복합적 구조를 갖는다. 이들 요소는 종종 비선형적(non-linear)으로 작동한다. KT 개입의 전달 방식(mode of delivery)에는 다음과 같은 실용적이고 물류적인 요소들이 포함된다(Bragge et al., 2017):

  • 전달 수단(mode): 예: 영상(video), AMEE 가이드
  • 적용 수준(level): 예: 학생, 전문직 간 팀, 프로그램 단위
  • 강도와 빈도(intensity and frequency)
  • 전달자(deliverer)는 누구인가?
  • 대상 집단의 규모(size of the target group)

현재 HPE 교육자들에게 중요한 질문은 단순히 “이 개입이 효과가 있는가?”를 넘어서, “언제, 누구에게, 어떤 방식으로 개입을 제공해야 최대 효과를 얻을 수 있는가?” 라는 실천 중심의 질문으로 전환되고 있다(Wong et al., 2012). 이에 따라, KT 개입의 견고한 평가(robust evaluation)는 매우 중요하다 (Davies et al., 2010; Moore et al., 2015).


▶ 이론 기반 KT 개입 설계: AIMD 프레임워크

지난 20년간 보건의료 분야에서는 이론 기반(theory-based)이고, 맥락에 맞춘 맞춤형 KT 개입을 설계하는 방대한 문헌이 축적되어 왔다. 이러한 지식을 바탕으로, 근거를 교육 실천, 시스템, 정책에 통합하는 데 활용할 수 있다. 그중 하나로, AIMD 프레임워크는 여러 검증 단계를 거쳐 개발된 실행 프레임워크(implementation framework)로서, KT 개입을 설계할 때 유용하게 사용할 수 있다(Bragge et al., 2017). AIMD는 다음의 네 가지 구성 요소로 이루어진다:

 

구성 요소  설명
Aims (목표) 이 개입을 통해 무엇을, 누구를 위해 달성하고자 하는가?
Ingredients (구성 요소) 개입은 무엇으로 이루어져 있는가?
Mechanisms (작동 원리) 이 개입은 어떻게 작동할 것이라고 가정하는가?
Delivery (전달 방식) 이 개입을 어떻게 전달할 것인가?

 

이 프레임워크는 개입의 기획과 실행 전 과정을 체계적이고 논리적으로 정리할 수 있게 돕는다.

 

▶ AIMD 프레임워크를 활용한 입학 절차 개선 사례의 KT 개입

AIMD 프레임워크를 활용하여 입학 절차에 적용할 수 있는 KT 개입 전략은 다음과 같다.

1. Aims (목표)

이 개입은 다음의 세 가지 목표를 가진다:

  • 지식 결핍이라는 장벽을 해소하고,
  • 교수들의 일정 상 시간 소요에 대한 우려를 완화하며,
  • 자원이 제한된 상황에서 MMI를 어떻게 구현할 수 있을지 탐색하는 것이다.

2. Ingredients (구성 요소)

이 개입은 앞서 식별된 세 가지 주요 장벽을 각각 공략하는 여러 구성 요소로 구성될 수 있다:

  • (a) 교수들에게 MMI의 근거에 대한 간단한 프레젠테이션을 제공하고,
    면접 시나리오 구성에 대한 논의 기회를 제공한다.
  • (b) 다른 프로그램에서 성공적으로 MMI를 도입한 동료 교수들(= 챔피언)의 증언(testimonials)을 통해,
    현실적이고 성공적인 사례를 공유한다.
  • (c) MMI 영상 또는 웨비나(webinar)를 제공하고,
    질문과 답변 시간(Q&A)을 통해 실시간 소통을 가능케 한다.
  • (d) 모의 MMI(simulated MMI) 세션을 진행하여,
    면접 평가자들이 실제 면접 스테이션을 채점해보고, 물리적·운영상의 절차 및 평가 기준에 대해 숙고할 수 있도록 한다.

특히 자원의 제약은 단순한 문제가 아니며, 매우 실질적인 장벽이다. 이를 해결하기 위한 ‘만능 해법(silver bullet)’은 존재하지 않지만, 다음과 같은 전략을 고려할 수 있다: 도입 첫 해에는 스테이션 수를 줄여 MMI를 시작하고, 실행이 안정되면서 점차 확대하는 방식이다.

 

KT 개입의 과정(process) 및 결과(outcome)에 대한 평가를 통해, 향후에는 MMI 스테이션의 수와 유형이 다양화될 수 있다. 또한, 문헌에서 제시된 ‘최선의 실천(best practice)’이 그대로 구현되기 어려운 경우, 그 근거를 현지 맥락에 맞게 ‘조정(adaptation)’하는 과정도 반드시 필요하다.


3. Mechanisms (작동 원리)

해당 프로그램의 지역적 필요(local needs)를 고려할 때, 제안된 개입의 작동 방식은 다음과 같다: 이론이나 실증적 근거에 기반할 수 있다”(Bragge et al., 2017). 예를 들어, 프레젠테이션과 웨비나는 지식 격차 및 자신감 결핍을 해소하도록 설계되며, 새로운 지식은 교수의 자신감에 영향을 미치고, 이는 다시 실천 변화로 이어질 수 있다. Bragge et al. (2017)은 다음과 같이 설명한다:

“이 용어는 ‘어떻게 효과가 있음이 입증되었는가’(empirically established) 또는 ‘어떻게 작동한다고 이론적으로 추론되는가’(theoretical rationale)를 의미할 수 있다”(p.7).

 

또한, 챔피언(champion), 오피니언 리더(opinion leader), 또는 전문가(expert)의 활용은 교수들이 MMI 절차를 자신의 일정 안에 통합할 수 있다는 신념을 형성하는 데 영향을 미칠 수 있다.


4. Delivery (전달 방식)

이러한 개입을 전달하는 방식은 현지 맥락(local context)에 부합하면서, 실현 가능하고(feasible), 수용 가능하며(acceptable) 효과적이어야 한다. 예를 들어 다음과 같은 방법들이 사용될 수 있다:

  • 대면 회의(face-to-face meetings)
  • 온라인 포럼(online fora)
  • 다른 프로그램 또는 타 대학의 MMI 전문가들과의 자문(consultation)

이러한 전달 방식은 자원 및 일정의 제약을 고려하면서도, 실질적인 실행을 도울 수 있는 현실적 수단이 된다.


앞으로 고려해야 할 영역과 연구 과제 (Areas for future consideration and research)

우리는 이 논문을 마무리하며, 지식전이(KT)와 실행과학(IS)을 활용하여 근거 기반 보건의료전문직 교육(EIHPE)을 발전시킬 수 있는 방법에 대해 생각할 거리를 제공하고자 몇 가지 제안을 제시한다. 무엇보다도, 우리는 미래 보건의료 전문가 교육에 대한 책무성(accountability)이라는 원칙을 되새기며, HPE 공동체 전체가 이를 교육 실천 개발, 실행, 평가의 핵심 동력으로 삼아야 한다고 주장한다. 이를 염두에 두고, 우리는 동료 교육자들에게 다음과 같이 제안한다:

적절한 시점에 새로운 지식을 활용하여 HPE를 개선하는 데 반영하도록 노력해야 한다.


Albert et al. (2007)이 설명했듯이, 의학교육(HPE) 연구는 ‘지식 생성(knowledge production)’과 ‘지식 활용(knowledge use)’이라는 두 축 사이에 위치해 있다. 우리가 연구자로서 제기하는 질문과 그에 사용되는 방법론에 관계없이, 우리는 의학교육 학문 활동(HPE scholarship activities)을 이 연속선상(continuum) 어디쯤에 위치시키고 있는지를 인식해야 한다. 우리가 어느 축에 더 가까이 있든, 혹은 시간에 따라 위치가 유동적이든, 이 연속선에서의 위치는 EIHPE 의제에 큰 함의를 가질 수 있다. 지식을 누가 생산하는가, 누구를 위해, 어떤 목적을 위해 생산하는가에 대한 질문이 중요하다.


HPE 공동체로서 우리는 다음과 같은 고위험(high-stakes) 영역의 변화하는 연구 의제를 주의 깊게 살펴보아야 한다:

  • 역량 기반 의학교육(Competency-Based Medical Education, CBME)
  • 평가(assessment)
  • 학생 선발 및 입학(selection and admissions)
  • 전문직 간 교육(interprofessional education, IPE)
  • 플립 러닝(flipped classroom)
  • 다양성과 사회적 책무성(diversity and social accountability)에 대한 관심 증가

앞으로도 우리가 내리는 결정과 지지하는 교육적 “트렌드”에 대해, 이를 뒷받침할 근거를 요구하는 목소리는 더욱 강하게 지속될 것이다.


▶ 다중 이해관계자 참여의 필요성

EIHPE로의 진전을 위해서는 다양한 이해관계자들이 교육 결정의 논의 테이블에 함께 앉아야 한다. 이는 기존의 교육 실천 및 정책 수립 방식과는 상당히 다른 접근을 의미할 수 있다. 그러나, 책무성과 학문적 사명(academic mission)이 진화하는 이 시대에, 고립된 전문가 중심 접근(silos and ivory towers)은 더 이상 용납될 수 없다책임 있고 효율적인 다중 이해관계자 중심의 교육 의사결정 방식을 추구하기 위해, 다음과 같은 질문이 반드시 필요하다: “누가, 언제, 왜 참여해야 하는가?”


▶ 교수 개발(Faculty Development)과 KT 개입

교수 개발(faculty development)은 KT 개입의 일종으로 간주되어 왔다(Thomas & Steinert, 2014). 비록 현재까지는 교수 개발이 KT 개입의 한 형태로서 어떤 역할을 하는지에 대한 실증적 연구는 제한적이지만, 우리는 이 주제가 경험적 탐색(empirical examination)에 충분히 값어치 있는 연구 주제라고 제안한다. 임상 현장에서 KT 개입으로 정의된 활동들과 HPE 내 교수 개발 활동 간에는 상당한 유사성과 중첩 영역이 있을 가능성이 크다. 교수 개발은 교수자들이 다음과 같은 다양한 역할에서 역량을 향상할 수 있도록 지원한다:

  • 교육(teaching)
  • 연구(research)
  • 리더십 실천(leadership practices)
  • 지식, 기술, 태도의 변화 유도

이러한 특성으로 인해 교수 개발은 다음과 같은 관점에서 EIHPE를 촉진하는 데 중요한 역할을 할 수 있다:

“교수 개발은 단순한 기술 향상을 넘어, 교육 실천의 변화를 이끌어내는 촉진자(facilitator) 역할을 할 수 있다.”
(McLean et al., 2008; Steinert, 2000, 2011; Steinert et al., 2006, 2012)

 

이상으로, 본 논문은 HPE에서 연구와 실천을 연결하는 전략적 방법으로 KT와 IS를 제시하고,
이를 통해 근거 기반 의학교육(EIHPE)의 실현 가능성을 모색할 수 있는 방향성을 제공한다.


다른 과학 분야들과 마찬가지로, EIHPE 의제를 발전시키기 위해서는 활발한 학술 활동(scholarship)이 필수적이다.

최선의 실천(best practices)을 개발하고, 채택하며, 적절하게 조정(adapt)하기 위한 견고한 방법론(robust methodologies)이 요구되며, 임상 과학 분야에서의 KT 연구들은 이러한 EIHPE 방법론 개발에 중요한 통찰을 제공할 수 있다.


마지막으로, 이 논문의 범위를 벗어나긴 하지만, 우리는 다음의 두 가지 핵심 주제에 대한 논의와 토론이 반드시 필요하다고 제안한다. 이 두 주제는 향후 EIHPE 의제에 결정적인 영향을 미칠 것이다:

  • (a) 교육 및 실천의 맥락은 특정 기관의 사명(mission), 가용 자원(resources), 그리고 성과(outcomes)에 뿌리를 둔 정책과 절차(policy and procedures)에 의해 형성되고, 영향을 받는다는 점
  • (b) 이러한 조직적 사명과 자원의 현실을 고려할 때, 근거(evidence)가 실제로 교육 의사결정의 중심이 될 수 있는지, 또는 그렇게 될 것인지에 대한 문제

결론 (Conclusions)

이 논문에서 우리는 다음과 같이 주장했다: EIHPE를 실현하기 위해서는, 의학교육(HPE) 공동체가 의도적이고 신중하며 체계적인 과정에 참여해야 한다. 전문 전반을 통해 우리는 다음의 입장을 일관되게 유지했다:

  • KT의 실천과 KT를 과학적으로 탐구하는 실행과학(IS)
    → HPE의 근거 기반 접근(evidence-informed approach)으로 나아가는 데 중요한 역할을 할 수 있으며,
    → 이 목표 달성을 위해서는 이해관계자(stakeholders) 간의 협력적인 노력이 필수적이라는 것이다.

또한, 우리는 학습과 전문성 개발이 복잡한 HPE 환경 내에서 이루어진다는 사실을 인정하며, 다음과 같은 KT 전략의 방향을 제안했다: 빠르게 변화하는 학습 맥락 안에서 이질적인 학습자와 교육자 집단을 고려하여 KT 노력이 설계되고 실행되어야 한다. 우리는 획일적인(one-size-fits-all) KT 접근을 제시하려는 것이 아니며, 처방적 규범을 제안하고자 한 것도 아니다.

 

오히려, 우리의 바람은 이 논문이 다음과 같은 역할을 하기를 바란다:

  • 독자에게 새로운 관점을 제공하고
  • HPE 공동체 내부의 추가 논의를 자극하며,
  • 궁극적으로는 우리가 실천하는 교육 방법과 정책이 최고의 근거(best available evidence)에 부합하고,
  • 사회적 요구(societal needs)에 민감하게 반응할 수 있는 방식으로 정렬되고 있다는 점을 증명할 수 있도록 돕는 것이다.

 

 

 

1단계: 연구-실천 간 간극의 성격과 규모를 식별하기

목표: 물리치료 교육 프로그램에서 현재 시행되고 있는 입학 절차(admissions processes)를 문서화한다.

 

활용 방법 및 프레임워크:

  • 모델/프레임워크:
    • Process Models
    • Stetler Model
    • Knowledge to Action (KTA) Framework
  • 방법(methods):
    • 인증(accreditation) 보고서 검토
    • 입학과 선발에 관한 근거 검토
    • 실제 실천을 근거에 매핑(mapping)
  • 주요 참여자(stakeholders):
    • 실행 위원회
    • 입학 위원회
    • 교수진
    • 프로그램 디렉터 또는 책임자

기대 결과(outcome):

  • 선발 실천 및 절차의 체계적 정리(mapping)
  • HPE 프로그램의 선발 및 입학에 관한 기존 체계적 문헌 고찰 결과 요약
  • 특히 재활 프로그램에 초점을 맞춘 MMI의 설계, 실행, 평가에 관한 최선의 실천 목록
  • 문헌에서 기술된 패널 면접과 MMI 방식 간의 차이점 목록. 예:
    • 다수의 짧은 시나리오 기반 면접이 각기 하나 이상의 속성을 평가
    • 다양한 이해관계자(예: 임상의, 일반 시민 등)가 면접관으로 참여

2단계: 연구 활용에 영향을 미치는 개인, 조직, 시스템 수준 요인을 식별하고 설명하기

목표: 다양한 이해관계자들의 관점에서, 새로운 면접 방식(MMI)을 구현하는 데 있어 촉진 요인과 저해 요인을 탐색한다.

 

활용 방법 및 프레임워크:

  • 모델/프레임워크:
    • Theoretical Domains Framework (TDF)
    • Consolidated Framework for Implementation Research (CFIR)
    • Promoting Action on Research Implementation in Health Services (PARIHS)
  • 방법(methods):
    • 교수진 대상 인터뷰
    • 포커스 그룹
    • 간단한 설문조사
  • 주요 참여자(stakeholders):
    • 교수진
    • 현재 재학 중인 학생
    • 임상의 및 실습 지도자(preceptors)
    • 프로그램 디렉터 또는 책임자

기대 결과(outcome):

  • 촉진 요인(Facilitators):
    • 교수진의 동기 부여
    • 문헌 검토 및 MMI 문항 개발을 위한 시간 확보
    • 이미 MMI를 시행한 타 교육 프로그램의 지원
  • 저해 요인(Barriers):
    • 교수 및 행정가의 HPE 맥락에서 이 도구(MMI)의 가치 및 근거에 대한 지식 부족
    • 소규모 프로그램에서 전체 MMI를 운영할 자원 부족
    • 교수진이 자신의 일정 안에 MMI를 통합할 수 있다는 자신감 부족

 

 

 

3단계: KT 개입이 연구-실천 간 간극을 줄이는 데 미치는 영향을 설계, 실행, 평가하기
(Designing, implementing and evaluating the impact of KT interventions to reduce research-practice gaps)

목표(Goal)

식별된 저해 요인을 타겟(target)으로 하고, 기존의 촉진 요인을 활용하는 KT 개입 전략을 설계한다.


활용 방법 및 프레임워크(How KT method and frameworks)

  • 모델/프레임워크:
    • AIMD 프레임워크(AIMD framework)
      • Aims: 이 개입을 통해 무엇을, 누구를 위해 성취하고자 하는가?
      • Ingredients: 이 개입은 어떤 요소로 구성되어 있는가?
      • Mechanisms: 이 개입은 어떻게 작동할 것으로 예상되는가?
      • Delivery: 이 개입은 어떻게 전달될 것인가?
  • 주요 이해관계자(Stakeholders):
    • 실행 위원회 (Implementation committee)
    • 입학 위원회 (Admissions committee)
    • 교수진 (Faculty members)
    • 프로그램 책임자 또는 디렉터 (Program director/chair)

기대 결과(Outcome)

✅ Aims (목표 관련 결과):

  • 교수진의 지식 향상
  • 교수진의 자신감 증가
  • 자원 부족에 대한 현실적 고려

✅ Ingredients (구성 요소):

  • 간단한 프레젠테이션
  • 질의응답(Q&A) 시간
  • 타 프로그램 교수의 사례 발표(Testimonials)
  • 비디오 및 웨비나(video and webinar)

✅ Mechanisms (작동 방식):

  • 프로그램의 지역적 필요(local needs)를 고려
  • 여러 이해관계자들의 참여를 유도
  • 디렉터 및 위원장의 지지(buy-in) 확보

✅ Delivery (전달 방식):

  • 대면 회의(face to face)
  • 챔피언(champion)을 통한 설득과 지지
  • 온라인 환경에서의 제공(online)
  • 맥락에 맞춘 맞춤형 설계(tailored)

이로써 AIMD 프레임워크에 기반한 3단계 지식전이(KT) 프로세스 전체에 대한 번역과 해석이 모두 완료되었습니다.
필요하시면 이 내용을 발표자료용 슬라이드, 정책 제안 보고서, 블로그 포스트 등으로 재구성해드릴 수도 있습니다.

 

 

 

 

Adv Health Sci Educ Theory Pract2020 Mar;25(1):227-240.  doi: 10.1007/s10459-019-09886-5. Epub 2019 Mar 23.

The disconnect between knowing and doing in health professions education and practice

 

 

 

💡 왜 우리는 아는 대로 행동하지 못할까?

보건의료전문직 교육에서 ‘지식과 행동 사이의 간극’을 들여다보다


📌 시작하며: 이 논문은 어떤 질문에서 출발했을까?

우리는 종종 어떤 행동이 ‘옳다’는 걸 알고 있음에도 불구하고, 그대로 실행하지 못하는 상황을 자주 마주합니다.
이 논문은 보건의료전문직 교육(Health Professions Education)의 맥락에서
‘지식과 행동 사이의 간극(knowledge–action gap)’이 왜, 어떻게 발생하는지를 다양한 관점에서 풀어낸 연구입니다.

Health professions education may have under-estimated the complexities inherent in converting knowledge into action.
→ 보건의료전문직 교육은 지식을 행동으로 전환하는 데 내재된 복잡성을 과소평가해왔을 수 있다.


🎯 핵심 질문

이 논문이 던지는 핵심 질문은 이렇습니다.

👉 "왜 전문가들은 알고 있는 대로 행동하지 못할까?"
👉 "이 간극을 줄이기 위해 교육자는 무엇을 해야 할까?"

 

이 질문을 탐구하기 위해 저자들은 대표적인 사례로 항생제 과잉 처방(antibiotic overprescribing) 문제를 다루고 있어요.


🧠 인지적 관점 (Cognitive perspective)

1. 자기조절(self-regulation)의 중요성

사람이 어떤 행동을 하려면, 단지 지식만 있어서는 안 됩니다.
의도를 세우고, 그 의도를 유지하며, 방해 요소를 이겨내는 자기조절 전략이 필요합니다.

Self-regulation involves cycles of goal setting, pursuit, and attainment/disengagement.
→ 자기조절은 목표 설정, 추구, 성취 또는 이탈의 순환을 포함한다.

 

특히, 유혹이나 새로운 자극이 나타날 때 원래의 목표를 지키는 힘(volition)은 행동으로 이어지기 위한 핵심 요소예요.


❤️ 정서적 관점 (Affective perspective)

2. 감정은 행동을 도와주기도, 방해하기도 해요

기분과 감정은 우리가 어떤 결정을 내리는 데 직접적인 영향을 줍니다.
예를 들어, 불안을 느끼는 상태에서는 위험을 회피하려고 하고, 결국 환자의 기대를 충족시키기 위해 지침을 무시하고 항생제를 처방할 수도 있어요.

Professionals are likely to avoid making practice changes that are expected to generate feelings of frustration or anxiety.
→ 전문가들은 좌절이나 불안을 유발할 것으로 예상되는 실천 변화를 회피할 가능성이 높다.

 

하지만 반대로, 긍정적인 정서 상태에서는 새로운 시각과 창의적 해결책을 떠올릴 수 있다는 장점도 있습니다.


🧑‍🤝‍🧑 사회문화적 관점 (Sociocultural perspective)

3. "이건 옳지만, 여기서는 하면 안 돼…"

우리는 공동체의 규범(social norms) 속에서 살아갑니다. 아무리 옳다고 생각해도, 그 조직 문화에서 받아들여지지 않으면 행동하지 않게 되죠.

Individuals are socialized to, for the most part, avoid counter-normative behavior, even if it means acting incongruently with what they believe to be right.
→ 사람들은 자신이 옳다고 믿는 바와 어긋나는 행동이라도, 규범을 어기지 않기 위해 회피하도록 사회화되어 있다.

 

하지만, 어떤 상황에서는 서로 다른 가치가 충돌하면서 한 행동이 어떤 가치 기준에서는 "옳다"고 간주되기도 해요.
예: 환자 관계 유지를 위해 과잉 처방을 선택하는 경우.


🔍 교육에서 얻는 시사점

이 논문은 말합니다:

To support learners and professionals in acting on what they know, we need to… teach to the whole task—the broad and complex skills required for aligning knowledge with behavior.
→ 학습자와 전문가가 알고 있는 바를 실천에 옮길 수 있도록 지원하려면, 우리는 지식과 행동을 정렬시키는 데 필요한 넓고 복잡한 전체 과제를 가르쳐야 한다.

 

즉, 단순히 ‘지식’을 전달하는 것에서 멈추지 말고,
행동으로 옮기기 위해 필요한 동기, 자기조절력, 사회적 판단력까지 함께 다뤄야 한다는 거죠.


✨ 마무리하며

이 논문은 어떤 하나의 이론으로 모든 걸 설명하려 하지는 않습니다.
오히려 다양한 관점들을 풀어내며, 지식과 행동 사이의 복잡한 관계를 교육적으로 어떻게 풀어가야 할지를 제안하고 있어요.

The problem is likely too complex to ever be resolved into a single tidy theory, but… efforts made here offer a start towards helping educators, researchers, and professionals reassemble the factors affecting the gap between knowledge and action.
→ 이 문제는 단일한 이론으로 해결되기엔 너무 복잡할 수 있지만, 이 논문이 시작점이 될 수 있다.


📚 추천 대상

이 논문은 다음과 같은 분들께 강력 추천합니다:

  • 교수자로서 지식 전달과 실천 사이의 괴리에 고민이 있는 분
  • 교육 프로그램 설계 시 정서적·사회문화적 요소를 통합하고 싶은 분
  • 학습자의 행동 변화와 실천 능력 향상에 관심 있는 모든 보건의료 교육자

서론 (Introduction)

보건의료전문직 교육(Health professions education)은 일반적으로 일단 학습이 이루어지고 나면, 학습자와 실무자가 실천에서 행동할 때 자신이 습득한 지식을 바탕으로 의사결정을 내릴 것이라고 당연하게 전제합니다. 그러나 실제 의료 환경은 복잡성(complexity)으로 가득 차 있으며, 어떤 상황에서는 전문가들이 자신이 알고 있는 내용이나 환자에게 최선이라고 믿는 신념에 부합하는 방식으로 행동하는 것이 어렵기도 합니다.

 

전문가들이 학습한 내용을 바탕으로 실제 진료를 바꾸는 인상적인 사례도 많지만, 지식이 항상 행동으로 이어지지는 않는다는 상당한 증거들도 존재합니다 (Ginsburg et al. 2014; Grimshaw et al. 2002; Kennedy et al. 2004; Légaré et al. 2015; May et al. 2009; Mazmanian et al. 1998). 예를 들어, 항생제 과다 처방(antibiotic over-prescribing) 문제를 우려하는 정책입안자들과 관계자들은, 의사들이 바이러스성 감염 증상임을 알고 있고 항생제가 오히려 해가 될 수 있다는 사실을 인지하고 있음에도 불구하고 빈번히 항생제를 처방한다는 사실에 주목해 왔습니다 (Fleming-Dutra et al. 2016). 항생제 처방 시기와 과잉 처방의 해악에 대한 지식을 높이기 위한 캠페인은 많았지만, 이러한 지식 제공 캠페인의 효과는 제한적이었습니다 (Meeker et al. 2014).

 

이 글은 이러한 상황—대부분의 전문가가 근거(evidence)를 알고 있고 지침(guidelines)에 동의함에도 불구하고, 실제 순응도(compliance)가 기대보다 낮은 경우—에 대해 다룹니다. 이러한 순간에 전문가들의 결정과 행동이 왜 그들의 신념과 지식에 부합하지 않는가에 대한 이해가 절실함에도 불구하고, 우리는 이 현상에 대해 아는 것이 거의 없습니다.

 

이러한 ‘지식과 행동 사이의 간극(gap between knowing and acting)’은 보건의료전문직 교육의 핵심적인 문제입니다. 지식과 기술은 성공적으로 가르쳤더라도, 그 지식에 부합하는 방식으로 행동하도록 학습자를 지원하지 못하는 교육은 효과적이라 할 수 없습니다.

 

현재까지 ‘지식에서 행동으로의 전이(knowledge-to-action gap)’를 다룬 많은 증거들은 구조적 장벽(structural barriers)에 초점을 맞추고 있습니다 (Kennedy et al. 2004). 예를 들어 항생제 처방과 관련된 논의에서는, 환자에게 충분한 설명을 할 시간이 부족하다거나, 환자가 원하는 약을 받지 못하면 병원을 떠날 것이라는 우려(fear) 같은 구조적 요인이 중심이 되어 왔습니다 (Rodrigues et al. 2013).

 

하지만 이런 구조적 장벽만으로는 충분하지 않습니다. 같은 상황에서도 어떤 전문가는 행동하지 않고, 다른 전문가는 행동하는 이유를 설명하기 어려워지기 때문입니다. 따라서 인지적(cognitive) 및 사회적(social) 요인처럼 덜 눈에 띄지만, 전문가의 행동에 영향을 미치는 다른 요인들이 존재함을 인정해야 합니다 (Cabana et al. 1999; Légaré et al. 2006; Martin and Mazmanian 1991; Redelmeier and Shafir 2015).

 

이 지점에서 이행과학(implementation science)은 유용한 시사점을 제공합니다. 이 분야의 학자들은 행동 변화 이론(behavior change theory)을 바탕으로 최선의 실행(best-practice implementation) 문제에 접근해 왔습니다. 예를 들어,

  • 이론 영역 프레임워크(Theoretical Domains Framework, TDF) (Michie et al. 2008)나
  • 통합 이행 연구 프레임워크(Consolidated Framework for Implementation Research, CFIR) (Damschroder et al. 2009) 같은 감수성 도구(sensitizing tools)는, 특정 시점에 지식의 실행(혹은 부재)에 영향을 줄 수 있는 광범위한 이론적 영역들을 제공합니다.

하지만 이러한 프레임워크의 옹호자들조차도 지적하듯, 이러한 ‘이론의 메뉴판(theoretical menu)’는 한계가 있으며, 실제로 연구자들은 각각의 이론이 어떤 문제에 적합한지를 수십 년에 걸쳐 밝혀가는 과정을 거칩니다 (Francis et al. 2012). 따라서 모든 이행 관련 이론을 동시에 적용하지만 깊이는 부족한 방식보다는, 특정 주제와 관련된 핵심 개념들에 깊이 있는 탐구가 필요합니다 (Brehaut and Eva 2012).

 

이러한 배경에서, 본 논문은 지식이 행동으로 전환되는 메커니즘을 설명해줄 수 있는 특정 이론적 관점들을 탐색하고, 지식과 행동 사이에 단절(disconnect)이 왜 발생하는지를 이해하는 데 도움이 되는 통찰을 제공하고자 합니다.


방법 (Methods)

우리는 이 현상에 대해 통찰을 줄 수 있는 다양한 분야의 문헌들을 통합하고자 했습니다. 이러한 통합적 접근(integrative focus)에는 비판적 문헌 고찰(critical review methodology)이 특히 유용합니다. 비판적 고찰에서는, 저자들이 하나의 특정 관점에 대해 포괄적인 리뷰를 제공하려고 하기보다는, 여러 문헌을 샘플링(sample)하고, 각 분야에서 핵심적인 이슈들을 비판적으로 분석하며, 문제 현상에 영향을 줄 수 있는 메커니즘에 대한 통찰을 제시합니다 (Grant and Booth 2009; Eva 2008).

 

이에 따라, 우리는 기존의 프레임워크나 이론적 관점들을 탐색하기 위해 여러 분야의 문헌을 반복적으로(iteratively) 탐색했고, 특정 문제에 가장 관련성이 높은 이론과 연구결과를 선별적으로 적용하는 것을 목표로 했습니다 (Cook 2016).

 

비판적 고찰의 순환적(recursive) 성격 덕분에 연구자는 문제 공간(problem space)을 지속적으로 정제해 나가면서 새로운 이론적 지형을 탐색하기 위해 문헌으로 돌아갈 수 있습니다 (Cook 2016; Grant and Booth 2009). 이에 따라 제1저자는 다음과 같은 반복적 사이클을 수행했습니다:

  • 임상의들과의 상담
  • 다양한 이론 및 방법론적 관점을 가진 보건의료교육 연구자들과의 상담
  • 문제를 정제하고 다시 문헌으로 돌아가는 작업

좀 더 구체적으로 설명하자면, 우리는 보건의료교육에 종사하는 다양한 분야의 임상의들과 협의하여, 이 문제가 얼마나 널리 퍼져 있는지에 대한 인식을 비공식적으로 탐색하고, 임상현장에서의 구체적인 사례를 통해 문제의 경계를 정제하며, 우리가 ‘지식-행동 간 격차(knowledge-to-action gap)’를 개념화하는 방식이 그들의 실제 경험과 공명하는지(resonate)를 확인하고자 했습니다.

 

동시에, 우리는 다양한 학문적 배경을 가진 보건의료교육 연구자들과 반복적으로 협의하며, 그들이 제안한 문헌을 검토하여 우리의 사고에 영향을 줄 수 있는 폭넓은 이론적 관점을 정리했습니다. 각 협의 후 우리는 문제를 다듬고, 새로운 용어로 새로운 분야의 문헌을 탐색했습니다. 새로운 관점이나 문헌을 찾을 때마다, 그 정보가 우리가 형성하고 있는 주제(theme)들과 어떻게 맞물리는지를 평가했고, 그렇게 해서 수집된 문헌이 이 현상을 일관성 있게 설명할 수 있을 때까지 작업을 반복했습니다.

 

예를 들어, 의료교육에서는 학습자들이 기억(retention)한 정보를 어떤 조건에서 잘 유지하는지에 많은 관심이 있어 왔지만 (Kulier et al. 2008; Norcini et al. 2011), 우리는 해당 내용을 제외했습니다. 기억은 학습의 기본 요소임은 분명하지만, 지식이 행동으로 전환되지 않는다면 기억은 별다른 가치가 없기 때문입니다.

 

또한 학습 전이(learning transfer) 이론도 제외했는데, 우리의 관심사는 이미 새로운 상황으로 지식이 성공적으로 전이된 이후에도 여전히 행동의 간극이 존재하는 순간에 있기 때문입니다. 대신 우리는, 전문가가 어떤 행동이 옳다고 믿고 있음에도 다른 행동을 하게 되는 순간의 인지적·사회적 메커니즘을 이해하는 데 기여할 수 있는 이론적 관점들을 선택했습니다.

 

이 주제와 관련될 수 있는 모든 이론을 포괄적으로 다루는 것은 불가능하기 때문에, 우리는 이 현상을 보다 풍부하게 이해하는 데 기여할 수 있을 법한 이론들을 선별적으로 샘플링했습니다. 우리의 목적은 여러 관점을 제공하고, 보건의료교육 분야의 연구자들과 교육자들이 지식과 행동 사이에 간극이 왜 발생하는지 진단할 수 있는 프레임워크를 제안하며, 교육자가 그러한 간극을 어떻게 완화시킬 수 있을지에 대한 제안(suggestions)도 제공하는 것이었습니다.

 

이러한 반복적 고찰 과정(iterative appraisal process)을 통해, 우리는 새로운 자료들을 논의하고, 개인이 어떤 지식을 알고 있음에도 불구하고 이를 실제 행동으로 옮기지 못할 때 작동하는 핵심 프로세스들을 규명했습니다. 그 핵심 요소들은 다음과 같습니다:

  1. 행동에 대한 전문가의 동기(motivation) 및 의도 설정(intention-setting)과 관련된 과정
  2. 행동을 방해하는 다양한 인지적(cognitive), 정서적(affective), 사회적(social) 장벽을 극복하는 과정

결과 (Results)

개인이 자신이 옳다고 믿는 바에 따라 행동하기로 결정하거나 그렇지 못하게 되는 상황에서 작동하는 인지적(cognitive), 정서적(emotional), 사회적(social) 요소들을 탐색하는 과정에서, 우리는 다음 두 요소를 포함하는 모델을 도출하였습니다:

  • (a) 행동에 대한 의도를 설정하는 과정(setting an intention to act),
  • (b) 행동을 방해하는 인지적·정서적·사회적 장벽을 극복하는 과정(overcoming barriers)입니다.
    두 번째 요소에는 자기조절(self-regulatory) 과정사회·문화적 규범을 헤쳐 나가는 과정이 포함됩니다.

 

이제 각 구성요소를 하위 섹션으로 삼아, 관련 문헌에서 밝혀낸 핵심 내용들, 지식과 행동 사이의 단절(disconnect)이 발생하는 방식, 그리고 문헌상의 한계나 공백을 함께 다루고자 합니다.


행동에 대한 의도를 설정하기 (Setting an intention to act)

현대의 동기 이론가들(motivational theorists)은 다음과 같은 요소들이 행동에 대한 동기(motivation to act)에 영향을 준다고 주장합니다:

  • 지각된 유능감(perceived competence): “내가 이 일을 해낼 수 있을까?”
  • 자율성의식(sense of autonomy): “결과에 대해 내가 통제력을 가지고 있는가?”
  • 보상의 가치(anticipated value of the reward): “이 일을 할 만한 가치가 있는가?”
  • 사회적 맥락(social context): “이 환경이 내가 행동하도록 도와주는가?”
    (Cook and Artino 2016)

즉, 전문가와 학습자는 다음 조건이 충족될 때 가장 적극적으로 행동에 나섭니다:

  • 자신이 그 과업을 수행할 수 있다고 느끼고,
  • 결과에 대한 책임감을 느끼며,
  • 과업 자체에 가치 있는 보상이 연결되어 있고,
  • 사회적 맥락이 의도를 지지할 때
    (Deci et al. 1999)

이 네 가지 조건이 모두 충족되지 않더라도, 사람들은 여전히 행동하려는 동기를 가질 수 있습니다. 하지만 과업에 대한 질적 몰입(quality and commitment)은 부족해질 수 있습니다. 또한, 동기는 이분법적인 개념이 아닙니다—즉, 사람을 단순히 ‘동기부여됨’ 또는 ‘되지 않음’으로 구분할 수 없습니다. 대신, 동기적 힘은 과업을 수행함에 있어 자신이 얼마나 자율성을 느끼는지의 정도에 따라 달라집니다.

  • 외재적 동기(less autonomous motivation)는 처벌에 대한 두려움이나 보상에 대한 기대와 같은 외부 요인에 의해 주도됩니다.
  • 반면, 자율적 동기(autonomous motivation)는 개인의 가치 체계(value system)와 통합되어 있을 때 나타납니다.
    예: “나는 이것이 좋은 의사가 된다는 의미라고 믿기에 행동한다.”

이러한 자율적 동기(autonomous motivation)는 일반적으로 더 질 높고 지속적인 행동을 유도한다고 평가됩니다 (Gillet et al. 2010; Ryan and Deci 2000). 따라서 개인의 동기가 얼마나 자율적인지는 왜 어떤 상황에서는 전문가가 지식을 행동으로 옮기지만, 어떤 경우에는 그렇지 않은지를 설명하는 핵심 요인이 될 수 있습니다.

 

즉, 지식 기반 행동의 가치가 내면화되어(value-internalized), 개인의 가치 체계와 일치할수록(high autonomy), 행동을 지속적으로 실천할 가능성이 더 높습니다. 반대로, 외부에서 강제된 행동(low autonomy)일 경우, 지속성이 떨어질 수 있습니다 (Ryan and Deci 2017).


실제 사례: 금연 상담(tobacco cessation counselling)

Williams et al. (2003)은 보건의료 전문가들이 금연 상담의 효과에 대한 근거를 알고 있음에도 불구하고, 환자에게 상담을 거의 하지 않는 현상을 관찰했습니다. 연구에 따르면, 전문가들이 보험사의 지침과 교육 개입이 너무 세세하게 규정되지 않고, 자율성을 허용한다고 느낄 때, 금연 상담의 실행률이 높아졌습니다. 저자들은 다음과 같이 주장했습니다:

“의사결정에서의 자율성을 지원하는 것이 상담률을 높인 이유는, 상담을 보다 전문가 스스로의 통제 하에 있다고 느끼게 만들었고, 지침을 개인적 혹은 전문적 가치와 조율할 수 있는 기회를 제공했기 때문이다. 반면 외적 통제로 인해 자율적 동기가 약화되는 ‘crowding out’ 효과는 줄어들었다.”


항생제 처방 사례에의 적용 (Application to Antibiotic Prescribing)

이 원칙들을 항생제 처방 사례에 적용해 보면, 자율성과 유능감을 증진하는 방식의 개입이 자율적 동기 향상에 더 효과적일 가능성이 큽니다.

  • 강압적이고 획일적인 지침 준수를 강요하는 방식은,
    • 전문가들에게 통제받고 있다는 느낌을 주고,
    • 자신의 전문성이나 역량이 부정되고 있다는 인식을 유발할 수 있습니다.
      결과적으로 이는 오히려 처방 감소에 대한 동기를 낮출 수 있습니다.
  • 반대로, 전문가의 가치에 호소하고 자율성을 강조하는 방식
    • 과업을 내면화하도록 도와주고,
    • 불필요한 처방을 줄이는 데 기여할 수 있습니다.

따라서 지침은 전문가들이 유연하고 독립적인 임상 결정을 내릴 수 있도록 지원할 때, 자율적 동기를 강화할 수 있습니다.

즉, 엄격한 규칙을 정의하거나 감시(surveillance)를 통해 규칙을 집행하는 방식보다는, 전문가의 판단을 존중하는 방식이 더 효과적이라는 것입니다.


강력한 의도를 설정하는 것만으로도 전문가가 자신의 지식과 신념에 기반한 행동을 하도록 돕는 데 큰 도움이 될 수 있습니다. 그러나 그 의도를 시간이 지나도 유지해야 하며, 이를 위해서는 왜 의도가 지속되지 않는지, 또는 왜 의도가 무산되는지를 이해할 필요가 있습니다. 이런 질문에 답하기 위해, 우리는 인지적·정서적·사회적 장벽들이 어떻게 행동을 억제하는지를 문헌을 통해 검토하게 되었습니다.


행동을 방해하는 인지적, 정서적, 사회적 장벽을 극복하기
(Overcoming cognitive, affective, and social barriers to action)

이 절에서는 지식을 행동으로 전환하는 데 방해가 되는 요인들을 다루며, 특히 인지적·정서적 자기조절(cognitive and affective self-regulation)사회적 규범(social norms)사회적 압력(social pressures)을 극복하면서 의도를 유지하는 것의 중요성에 대해 다룹니다.


인지적 자기조절 과정 (Cognitive self-regulatory processes)

일단 행동 의도(intention to act)가 설정되면, 전문가들은 그 의도를 시간이 지나도 유지해야 실제로 행동으로 전환할 수 있습니다. 하지만 실제 상황은 끊임없이 변화하며, 처음 의도를 만들게 했던 동기적 요인들(motivational forces)은 시간이 지나면서 점점 의미를 상실하게 될 수 있습니다. 이는 새로운 기회(opportunities)주의를 분산시키는 요소(distractors)들이 등장하면서, 심지어 가장 강한 의도조차 흔들릴 수 있음을 의미합니다 (Eccles and Wigfield 2002).

 

예를 들어, 학업에 높은 동기를 가진 의과대학 학생이 특히 어렵다고 느끼는 주제를 복습하겠다는 목표(goal)를 세웠다고 가정해 봅시다. 그런데 그녀는 최근에 수강한 선택과목과 관련된 흥미로운 최신 연구 논문을 우연히 발견하게 됩니다. 이때 그녀는 원래 목표를 고수할까요? 아니면 즉각적인 흥미와 만족감을 주는 새로운 목표로 전환할까요?

 

이러한 의도의 유지(maintenance of intention)는 종종 의지력(volition) 또는 “will power”라고 불리며, 이는 방해물이나 유혹에도 불구하고 과제를 지속적으로 수행해 나가는 힘을 의미합니다 (Corno 1993). 이 개념은 단순한 동기 개념을 넘어, 초기에 형성된 동기와 그에 따른 의도가 시간이 지나도 유지되는가를 질문하는 자기조절 문헌(self-regulation literature)의 확장선상에 있습니다.

 

인지적 관점에서 자기조절(self-regulation)은 다음과 같은 순환적 과정(cycles)을 포함합니다:

  • 목표 설정(goal setting) – 암묵적이거나 명시적일 수 있음
  • 목표 추구(goal pursuit)
  • 목표 달성 또는 이탈(goal attainment/disengagement)
    (Maes and Karoly 2005)

자기통제력은 고갈되는 자원인가? (Is self-control a limited resource?)

많은 자기조절 이론(self-regulation theories)은 자기통제력(self-control)을 한정된 자원(limited resource)으로 간주합니다. 즉, 어떤 상황에서 자기통제를 발휘하면, 그 자원이 점차 소진된다고 봅니다 (Vohs et al. 2014). 예를 들어, 항생제 처방 사례에서, 한 명의 전문가가 여러 명의 환자들로부터 연달아 항생제를 요청받거나, 혹은 한 명의 환자가 지속적으로 항생제를 요청하는 상황에 놓인다면,

“처방을 자제하겠다”는 초기의 의도를 유지하는 것은 매우 어려울 수 있습니다.

 

반면 일부 이론가들은, 자기조절은 더 복잡하고 지속적이며 적응적인 과정(adaptive process)으로 이해되어야 한다고 주장합니다 (Kotabe and Hofmann 2015; Nigg 2017). 즉, 목표가 설정된 이후 그 달성 여부는 다양한 맥락적 변수(contextual variables)의 영향을 받습니다.

  • 예: 피드백의 유무(feedback availability)과업의 복잡성(complexity of the task) (Maes and Karoly 2005)

요약하자면, 인지적 자기조절은 단순한 ‘의지의 힘’ 그 이상이며,

  • 시간의 흐름, 환경의 변화, 새로운 유혹, 과업의 난이도, 피드백의 유무 등 다양한 요소들과 상호작용하면서
  • 초기의 의도가 유지될지, 포기될지를 결정하게 됩니다.

문헌에서는 맥락적 요인(contextual factors)뿐 아니라, 개인의 내적 요인(internal factors)목표(goal)나 의도(intention)의 달성 가능성에 미치는 영향도 강조하고 있습니다. 예를 들어, Kuhl의 행동통제 이론(Action Control Theory) (Kuhl and Beckmann 1985)는 의도를 유지하기 위해 필요한 정보처리 전략(information processing strategies)을 설명하고자 합니다. 여기서

  • 능동적 행동통제(active action control)란, 더 매력적인 대안이 등장하더라도 초기 목표를 향해 의식적으로 지속적으로 나아가는 것을 의미합니다. 반면,
  • 수동적 행동통제(passive action control)는 의식적으로 작동하지 않으며, 그 결과 개인은 더 매력적인 선택지가 나타날 경우 초기 의도를 쉽게 변경하게 됩니다 (Corno and Kanfer 1993; Kuhl 1987). 심지어 처음 세운 의도가 전체적으로 더 바람직하더라도 그러한 변화가 일어날 수 있습니다.

 

이러한 변화는 수동적 행동통제 상태에서는 개인이 자동적이고 선택적으로 정보를 처리하게 되기 때문에 발생합니다. 예를 들어, 새롭게 떠오른 더 매력적인 선택지(예: 설탕이 든 간식의 달콤한 맛)는 긍정적인 측면만 부각되고, 원래의 목표(예: 체중 감량 시도)는 부정적인 측면(예: 공복감)만 인식되기 때문입니다 (Kuhl 1987).

 

이 연구 분야의 이론가들은, 의지적 통제 전략(volitional control strategies)이 개인을 수동적 상태에서 능동적 상태로 전환시키는 데 효과적인 개입책이 될 수 있다고 제안합니다. 특히 경쟁하는 욕구나 우선순위가 충돌하는 순간에 그러합니다. 이러한 전략 중 일부는 주의 집중(attention control) 또는 동기 조절(motivational control)에 관련되며, 개인이 초기 목표에 집중하고 그 가치를 재인식하도록 유도합니다. 예를 들어,

  • 초기 의도를 포기했을 때의 결과(예: 항생제 내성 박테리아의 증가, 비만 관련 건강 문제 지속)
  • 혹은 목표를 달성했을 때의 긍정적 결과에 대해 생각해 보도록 유도할 수 있습니다 (Kuhl 1987).

또 다른 전략은, 목표 달성에 필수적인 행동을 명시적 계획(explicit plan)으로 수립하고, 예상되는 장애물을 어떻게 극복할 것인지에 대한 계획을 세우는 것입니다 (Gollwitzer 1993; Kuhl and Beckmann 1985; Maes and Karoly 2005). 예를 들어, 항생제 처방에 대한 외부 압박을 다루기 위해 전문가들은 다음과 같은 명확한 계획을 세움으로써 도움을 받을 수 있습니다:

  • 자신이 항생제를 처방할 때 요구하는 확신의 기준(threshold for certainty)을 어떻게 설정할지,
  • 동료와 상의하는 절차,
  • 항생제를 요구하는 환자와 어떻게 소통할 것인지 등에 대한 구체적인 접근 방식.

즉, 항생제 처방 가이드라인과 교육적 개입(educational interventions)은 단지 자율성을 촉진하는 것에 그치지 않고, 전문가가 현장에서 마주칠 수 있는 장애물에 대비한 계획을 수립하도록 돕는 방식일 때 더 효과적일 수 있습니다.

 

이러한 인지적 자기조절 전략(cognitive self-regulation strategies)은, 전문가가 자신의 의도를 실행하고 장애물을 극복하며 목표를 달성하는 능력에 상당한 영향을 미칠 수 있습니다. 그러나 여기에는 정서적 요인(affective factors)도 함께 고려되어야 합니다. 이 정서적 요소들은 개인이 자신의 지식을 바탕으로 실제로 행동할 것인가, 그리고 어떻게 행동할 것인가에 영향을 미칩니다.

 


정서적 자기조절 과정 (Affective self-regulatory processes)

우선순위가 상충하는 중요한(high-stakes) 상황이나 개인적으로 의미 있는 상황에서는, 기분(mood)과 감정(emotion)상충하는 우선순위들 사이의 긴장을 어떻게 해결할 것인지에 매우 중요한 역할을 합니다. 이러한 정서적 영향력을 이해하는 것은, 이러한 상황에서 의사결정이 어떻게 이루어지는지, 그리고 전문가들이 자신이 옳다고 믿는 방향으로 행동하도록 지원하는 개입(intervention)을 어떻게 설계해야 하는지를 파악하는 데 있어 핵심적입니다.

 

감정(emotion)에 관한 연구에 따르면,

  • 부정적 정서 상태(negative affective states)에서는 사람들이 정보를 더 신중하고 체계적(systematic)으로 처리하는 경향이 있고,
  • 반면 긍정적 정서 상태(positive affective states)에서는 관계 중심적(relational), 유연한(flexible) 정보 처리가 촉진됩니다 (Blanchette & Richards 2010; Bramesfeld & Gasper 2008; Martin & Clore 2013; McConnell & Shore 2011; Vanlessen et al. 2016).

20여 년 전, Elsbach와 Barr (1999)는 실험을 통해 기분(mood)이 구조화된 의사결정 프로토콜(adherence to structured decision protocols)에 어떤 영향을 미치는지를 살펴보았습니다. 연구 결과,

  • 긍정적 기분의 참여자들에 비해 부정적 기분의 참여자들이 프로토콜의 모든 단계를 더 정확하게, 순서대로 실행하는 경향을 보였습니다. 이후 다양한 연구들(de Vries et al. 2012; Pham 2007)은 이러한 경향을 지지해왔으며,
  • 부정적 정서 상태에 있는 사람들이 특정하고 순차적인 단계(adherence to specific, sequential steps)를 요구하는 지식 기반 행동을 더 잘 실행할 가능성이 높다는 것을 보여주었습니다.

 

예를 들어, 한 의사가 바이러스성 질환에 대해 항생제를 주로 처방하는 루틴(routine)을 가지고 있다면, 부정적인 감정 상태에서는 그러한 구조화된 루틴을 더 고수할 가능성이 커질 수 있습니다. 반대로, 항생제를 처방하지 않는 루틴을 평소 따르고 있다면, 부정적 기분 상태에서는 그 루틴을 따를 가능성이 높아질 수 있습니다. 하지만, 이러한 경향은 부정적 정서가 위험 감수 성향(risk tolerance)을 낮춘다는 연구 결과와 함께 고려되어야 합니다 (Blanchette & Richards 2010). 예를 들어,

  • 불안(anxiety)은 사람들로 하여금 애매한 신호(ambiguous cues)를 위협(threat)으로 해석하게 만들고,
  • 결과적으로 위험 감수 성향을 낮춰
  • 평소 항생제를 처방하지 않는 전문가라도, 부정적 감정 상태에서는 오히려 처방 가능성이 높아질 수 있습니다.

반대로, 긍정적 정서 상태(positive affect)는 다음과 같은 경향과 연관됩니다:

  • 관계적 정보처리(relational processing) (즉, 현재 문제의 여러 측면을 기존의 지식과 연결시키는 과정),
  • 창의적 문제해결능력(creative problem solving),
  • 새로운 정보에 대한 개방성(openness to information)
    (Bolte & Goschke 2010; Clore & Huntsinger 2007; Davis 2009)

연구에 따르면, 긍정적 상태에 있는 사람들은 새로운 아이디어를 탐색하거나, 대안적 사고 및 행동 기회를 모색하려는 경향이 더 강합니다 (Bolte et al. 2003; Dreisbach & Goschke 2004). 예를 들어, 의사가 환자의 기대(patient expectations)를 충족시키기 위해 항생제를 처방할 것인지, 아니면 진료 지침(guidelines)에 따라 처방을 거절할 것인지 사이에서 갈등을 느낀다고 가정해 봅시다. 이러한 상황을 단순히 하나의 가치가 다른 가치를 이기는 갈등구조(value conflict)로만 보지 않고, 긍정적 정서 상태에 있는 전문가는 환자가 왜 항생제를 요구하는지에 대한 이유를 이끌어내고, 그 문제를 환자와 함께 해결하려는 문제해결 접근(problem-solving approach)을 취할 수 있습니다.

 

예를 들어,

  • 지연 처방(delayed prescribing),
  • 추가 진단(further investigations),
  • 증상 관리 계획(symptom management plan) 등을 함께 협상할 수 있습니다.

즉, 긍정적 정서 상태에 있는 전문가들은 상충하는 여러 동기적 요인들(motivational drivers)을 동시에 만족시키는 보다 창의적인 해결책을 찾아낼 수 있는 가능성이 있습니다.


부정적인 감정 상태(negative emotional states)는 전문가의 당면한 행동(in-the-moment behavior)에 영향을 미칠 수 있으며, 이로 인해 프로토콜을 더 엄격히 따르는 경향이 나타날 수 있습니다. 그러나 미래의 부정적 감정에 대한 예상(anticipation of negative emotion) 역시 행동에 영향을 미칠 수 있습니다. 사람들은 즉각적인 만족감을 줄 것 같은 유혹을 추구할 뿐만 아니라, 과거의 경험에 비추어 볼 때 부정적인 감정을 유발할 가능성이 있는 상황을 회피하려는 경향도 보입니다.

 

이러한 자기보호(self-protection)는 예상되는 감정 상태(anticipatory emotional states)—즉, 실제로 어떻게 느끼는가가 아니라 앞으로 어떻게 느낄 것이라고 예상하는가—와 관련이 있습니다. 이처럼 예상되는 부정적 감정에 대한 회피 경향은 학습자나 전문가가 자신이 가진 지식을 실제로 행동으로 옮길지의 여부에 영향을 미칠 수 있습니다.

 

예를 들어, 좌절(frustration)이나 불안(anxiety)을 유발할 것이라고 예상되는 실천 변화는 전문가들이 의도적으로 회피할 가능성이 큽니다 (Baumeister et al. 2007). 항생제 처방 사례에서 보면, 전문가들은 항생제를 요구하는 환자와의 갈등 있는 대화(difficult conversations)를 피하고자 하여, 갈등을 회피하기 위해 결국 처방 쪽으로 기울게 되는 것입니다.

 

여러 연구에서는 두려움(fear)’이 의료 제공자들의 환자 관리 방식에 영향을 미친다고 제시하고 있습니다 (Coudeyre et al. 2006; Rodrigues et al. 2013). 예컨대, Rodrigues et al. (2013)은 항생제 처방에 영향을 미치는 요인, 태도, 지식에 대한 문헌을 종합 검토한 결과, 전문가들이 때로는 바이러스성 감염 진단이 틀렸을 경우 환자가 향후 합병증을 겪을지도 모른다는 두려움 때문에 부적절한 처방을 하기도 한다는 점을 밝혔습니다. 즉, 의사들은 어떤 상황에서 자신이 옳다고 믿는 결정과는 상반되는 처방을 하기도 하는데, 이는 예상되는 미래 사건(future event)과 그것이 동반할 부정적 감정에 대한 두려움 때문에 즉흥적으로(in situ) 결정을 내리는 경우입니다.

 

다행히도, 기분과 감정이 수행에 미치는 영향을 효과적으로 조절할 수 있다는 근거도 존재합니다. 연구에 따르면, 개인이 자신의 감정 상태가 어떤 영향을 줄 수 있는지를 인지하게 되면, 해당 감정을 스스로 조절하고, 감정이 수행에 미치는 영향을 제한할 수 있다고 합니다 (Gasper and Clore 2002). 이러한 결과는, 의사들이 자신의 감정 상태를 인식하고 조절하는 능력을 기르는 훈련(training in emotional mindfulness)지식과 행동 사이의 연결을 촉진하는 데 도움을 줄 수 있음을 시사합니다.

 

이처럼, 의도를 실현하는 데 있어 인지적 및 정서적 장벽이 어떤 영향을 미치는지, 그리고 이를 조절하기 위한 인지적·정서적 자기조절 전략은, 개인이 내적 과정(internal processes)을 스스로 조절함으로써 행동으로 이어질 가능성을 높이는 방식을 이해하는 데 유의미한 통찰을 제공합니다. 그러나 이러한 내적 요인만으로는 충분하지 않습니다. 개인이 참여하고 있는 사회적·문화적 환경(social and cultural environment) 역시 행동에 중대한 영향을 미치기 때문에, 우리는 다음으로 사회문화적 관점(sociocultural perspective)이 보건의료 전문가와 학습자가 자신이 옳다고 믿는 바와 실제 행동 사이의 정렬을 어려워하는 순간을 어떻게 이해하는 데 기여할 수 있을지를 탐색하게 되었습니다.


사회적·문화적 규범 (Social and cultural norms)

타인이 우리 행동에 대해 보일 수 있는 부정적 반응에 대한 우려는, 개인의 지식이 사회적 혹은 문화적 규범(social or cultural norms)에 반하는 행동을 정당화한다고 판단되는 상황에서 발생하는 광범위한 문제의 한 형태입니다. 사람들은 대부분 규범을 거스르는 행동(counter-normative behavior)을 피하도록 사회화(socialization)되어 있으며, 이는 종종 자신이 옳다고 믿는 방향과 일치하지 않는 행동을 하도록 만드는 결과를 초래합니다.

 

예를 들어, 학습자는 환자의 요구에 대해 적극적으로 옹호하는 행동이 필요하다고 느끼더라도, 환자 회전율(turn-around time)이 빠르게 이루어지는 환경에서는 그러한 행동을 회피할 수 있습니다. 반면, 환자 옹호(patient advocacy)가 중시되는 환경에서는 그러한 행동을 훨씬 더 적극적으로 수행할 가능성이 있습니다. 이처럼 지식과 일치하는 행동이 규범에 반하는 상황에서는, 사회적 규범이 행동을 억제하는 중대한 장벽이 될 수 있습니다. 여기서 사회문화적 이론(sociocultural theories)은 다음을 설명하는 데 유용한 관점을 제공합니다:

  • 개인이 사회적 규범을 어떻게 학습하게 되는지,
  • 그러한 규범이 행동을 어떻게 규율하게 되는지.

사회문화적 이론은 사람들이 언어적·물질적 루틴(linguistic and material routines)참여(participation)하면서, 특히 암묵적 학습(tacit learning)을 통해 사회화되는 방식을 강조합니다 (Kahlke et al. 2018). 학습자와 전문가들은 자신이 속한 사회적 맥락에서, 그리고 그 맥락에 대해, 끊임없이 암묵적 학습을 수행하고 있습니다.

 

예컨대, 실천 공동체 이론(Communities of Practice theory)에서는, 개인이 해당 공동체 내에서 통용되는 언어와 행위를 능숙하게 수행할 수 있을 때, 그들은 그 맥락에 사회화되었다(socialized)고 간주됩니다 (Lave and Wenger 1991; Wenger 1998). 이러한 반복적 실천(routine enactment)을 통해 행위들은 점차 ‘정상적’이고 ‘자연스러운’ 것으로 정착되며, 학습자들은 공동체가 지닌 실천과 가치를 습득하고 재생산(reinforce)하는 것을 통해 점차 정당한 구성원으로 인정받게 됩니다.

 

결과적으로, 어떤 개인이 특정 공동체 내에서 정당한 구성원으로 받아들여지면, 그들은 집단 규범(group norms)을 벗어나는 행동을 회피하는 경향을 보입니다. 왜냐하면 그런 행동은 집단으로부터의 배제(exclusion) 또는 지위 손실(loss of status)로 이어질 수 있기 때문입니다.


항생제 과잉 처방(antibiotic overprescribing)과 관련하여, 직장 문화(workplace culture)는 과잉 처방이 일어나는 핵심 원인 중 하나로 지적되어 왔습니다 (Deschepper et al. 2008). 최근의 몇몇 연구는, 의사들의 처방 문화를 바꾸기 위한 개입(intervention)을 실험했습니다. 예를 들어,

  • 의사들에게 처방률을 낮추겠다는 공개적인 서약문(public statement)을 진료실에 게시하게 하거나 (Meeker et al. 2014),
  • 특정 의사에게 낮은 처방률을 기록한 ‘우수 동료(top performers)’와 비교한 피드백 데이터를 제공하는 방식 (Meeker et al. 2016)입니다.

이러한 개입들은, 의사들이 자신의 신념과 일치하되 기존 문화에서는 비정상적인 행동을 하도록 유도하려는 목적이 아니라,

  • 오히려 그들이 속한 문화 자체에 대한 인식(perception of culture),
  • 그리고 자신의 사회적 규범(social norms)에 대한 이해를 바꾸도록 설계되었습니다.

즉, 규범을 따르지 않는 행동을 강제하기보다는,

  • 문화 자체를 변화시키고그 문화 안에서 의사들이 무엇이 ‘정상적인 행동’인지를 재정의하게 함으로써,
  • 행동을 변화시키는 효과적인 전략으로 작용했습니다.

이러한 개입들은 실제로 처방 행동(prescribing behaviour)을 변화시키는 데 효과적인 것으로 나타났습니다.

 


사람들이 자신의 지식을 실제로 행동으로 옮기는 비율을 높이고자 하는 사람들에게 중요한 사실은, 어떠한 맥락(context)도 보편적인 특성을 지니지 않는다는 점을 인식하는 것입니다. 즉, 사람들이 지식에 기반해 행동할지 말지를 결정할 때 작동하는 실천 규범(practice norms)이나 그 근간이 되는 가치(value)는 단일한 세트로 작동하지 않는 경우가 대부분입니다.

 

사회문화 이론(sociocultural theory)의 관점에서 보면, 규범의 이동성과 불안정성(mobility and instability in norms)은 오히려 규범을 거스르는 행동(counter-normative action)을 가능하게 만드는 생산적 기회(productive opportunity)로 이해될 수 있습니다 (Engeström 1987; Fenwick et al. 2011). 즉, 기존 규범을 대체하거나 보완하는 대안적 규범(alternative norms)에 기반하여 행동의 정당성을 부여함으로써, 규범에 반하는 방식으로 지식 기반 행동을 가능하게 만들 수 있다는 뜻입니다.

 

예를 들어, Ginsburg et al. (2014)은 의사들이 자신이 "잘못되었다(wrong)"고 생각하는 행동을 정당화(rationalize)할 때,

  • 실제로는 그 행동이 "다른 의미에서 옳다(right)"고 이해되었기 때문에 행동에 나섰다는 사실을 발견했습니다.
  • 즉, 어떤 행동은 특정 규범이나 가치에 대해서는 일치(aligned)하지만, 동시에 다른 규범이나 가치에 대해서는 불일치(incongruent)할 수 있습니다.

이처럼, 어떤 사람이 자신의 신념과 일치하지 않는 방식으로 행동했다면, 우리는 그 사람이 다른 신념(사회적 맥락 내·외부에서 형성된)에 따라 행동한 것은 아닌지, 그리고 그 신념이 우선순위(priority)를 차지했는지를 고려해야 합니다.

 

Ginsburg et al.의 연구에서, 어떤 의사들은 항생제 과잉 처방이 “잘못되었다”는 것을 알고 있음에도 불구하고, “환자와의 관계를 형성하거나 유지하는 것이 옳다고 생각했기 때문에” 그렇게 행동했다고 진술했습니다. 이러한 맥락에서, 사회문화 이론은 우리가 다음과 같은 현실을 인식할 수 있도록 도와줍니다:

의사결정은 서로 충돌하는 다양한 힘이 동시에 작용하는 복잡한 현실에서 이루어지며,
지식 기반 행동을 촉진하려는 개입(intervention)은 단순한 "실행 실패(failure to act)"의 표면 아래에 있는 복합적 원인들까지 고려해야만 한다.


이처럼 사회문화적 맥락(sociocultural contexts)과 그 함의(implications)가 교차하는 지점들은, 지금까지 의학교육에서 충분히 탐색되지 않았습니다. 왜냐하면 의사결정 과정에 대한 탐구는 주로 인지과학(cognitive science)의 영역에 머물러 있었기 때문입니다. 그러나 이제는 다음과 같은 주제들에 대해 실증적(empirical) 탐구가 요구됩니다:

  • 학습자와 전문가들이 이러한 사회적 모순(social contradictions)을 실제로 어떻게 다루는지,
  • 이러한 모순에 대한 인식(awareness)을 높이는 것이 전문가들이 지식에 부합하는 방식으로 행동하도록 도울 수 있는지,
  • 그리고 규범을 거스르는 행동(counter-normative actions)시간이 지나면서 해당 맥락의 의사결정 규범을 변화시킬 수 있는지에 대한 질문들입니다.

정체성과 가치가 “활성화되고(activated)”, 협상되며(negotiated), 특정한 종류의 행동에 대해 기회(affordance) 또는 제한(limitation)을 만들어내는 규범의 모순과 변화에 대한 이론들(theories of contradiction and change in norms)은 이러한 상황을 개념화하는 데 유용합니다. 그러나 교육학적 관점(pedagogical perspective)에서는 특히 다음을 면밀히 살펴볼 필요가 있습니다:

학습자와 전문가들이 실천 현장에서, 의도적으로든 무의식적으로든, 어떤 지식을 실행에 옮길지를 어떻게 선택하는가?

 


논의 (Discussion)

보건의료전문직 교육(health professions education) 분야는 지식이 어떻게 생성되고, 기억되며, 적용되는지를 이해하고자 하는 풍부한 역사를 가지고 있습니다. 하지만, 지식을 행동으로 전환하는 데 내재된 복잡성(complexities inherent in converting knowledge into action)을 다소 과소평가해 왔을 수도 있습니다. 학습자와 전문가 모두가 무엇을 해야 하는지 분명히 알고 있음에도 불구하고, 일정한 행동을 실행하는 데 어려움을 겪는 이유를 이해하려면, 기존과는 다른 방식으로 사고할 필요가 있습니다.

 

이 논문에서는 항생제 처방(antibiotic prescribing)이라는 사례를 일관되게 사용하여, 학습자와 전문가가 자신이 옳다고 믿는 바에 따라 행동하지 못하게 만드는 인지적(cognitive) 및 사회적(social) 메커니즘들을 설명했습니다. 각 메커니즘은 고유한 해결 방안을 필요로 합니다.

  • 학습자는 당연히 진단 가능성을 판단할 수 있는 지식(예: 바이러스성 감염 vs 세균성 감염)을 갖추고 있어야 합니다.
  • 하지만 그에 더해, 자신의 지식을 전달할 수 있는 능력과 의지,
  • 경쟁하는 우선순위(competing priorities)를 극복할 수 있는 역량, 그리고
  • 정서적 상호작용이나 사회적 반작용에 대한 회피 경향을 극복할 수 있어야 합니다.

다시 말해, 전문가들이 지식을 실제 행동으로 옮기기 어려워하는 순간들본질적으로 어려운 상황들이며, 이때는 자기조절(self-regulation) 능력과 사회적 기술(social skills)이 모두 요구됩니다. 따라서 학습자와 전문가들이 알고 있는 바를 실제로 실천에 옮길 수 있도록 지원하려면,

  • 단지 지식을 가르치는 것에 그치지 않고,
  • 관련 지식을 이미 습득했음에도 불구하고 실행이 어려운 행동들이 무엇인지 더 많이 식별하고,
  • 지식과 행동을 정렬(alignment)시키는 데 필요한 넓고 복잡한 기술—즉, 전체 과제(whole task)에 대한 교수가 필요합니다.
  • 단순히 지식이 행동으로 전이될 것이라는 가정만으로는 부족합니다.

어떤 특정한 순간에 행동의 동기(motivators)와 행동을 방해하는 장벽(barriers)이 정확히 무엇인지 완벽히 파악하기는 어렵습니다. 이 리뷰에서는 다양한 인지 이론(cognitive theories)과 사회문화 이론(sociocultural theories)을 활용하여 문제를 조망하였지만, 실제 상황에서 어떤 요인이 우선순위를 차지하는지를 정확히 예측하는 것은 불가능에 가깝습니다.

 

그 결과, 특정한 신념에 기반한 행동을 어떻게 지원할 수 있을지 결정하기 위해서는, 그 맥락(context)을 깊이 있게 탐색하는 탐구 과정이 필수적입니다. 이 논문에서 제시한 프레임워크는 그러한 탐색적 연구를 지원하기 위한 틀로 고안되었습니다. 각 상황은 고유한 특성을 지니며,

  • 동기(motivation),
  • 인지적 또는 정서적 자기조절(cognitive or affective self-regulation),
  • 사회적 규범에 대한 인식(perceptions of social norms),
  • 혹은 (부분적으로라도) 규범을 거스르는 행동(counter-normative action)을 인지하고 실행할 수 있는 능력 등에 영향을 미치기 위해서는 상황에 특화된 개입(unique interventions)이 필요합니다.

향후 연구는 이러한 결정적인 순간(these moments)들을 식별하고,

  • 어떤 경우에는 행동을 방해하는 인지적, 사회적, 정서적 장벽(barriers)이 무엇인지,
  • 또 다른 경우에는 행동을 촉진하는 요인(facilitators)이 무엇인지 더 세부적으로 탐색해야 합니다.
    이러한 정보는, 어떤 맥락에서 어떤 개입이 가장 효과적이고 의미 있는지를 이해하는 데 큰 도움이 될 것입니다.

끝으로, 우리는 사회적·문화적 규범(social and cultural norms)의 중요성을 강조했지만, 지식에 부합하면서도 규범을 거스르는 행동(knowledge-congruent, counter-normative action)을 촉진하거나 억제하는 데 있어 사회문화적 맥락이 어떤 역할을 하는지에 대한 문헌은 제한적이라는 사실도 확인했습니다. 따라서, 학습자와 전문가들이 자신의 지식 및 신념과는 일치하지만, 맥락 내에서 지각되는 규범과는 일치하지 않는 방식으로 행동하려 할 때, 그 순간의 가치 충돌(values-conflict)을 어떻게 협상해 나가는지더 깊이 이해할 필요가 있습니다. 또한, 즉각적인 맥락(immediate context)이 행동에 미치는 영향뿐 아니라,

  • 인접한 맥락(adjacent contexts)에서 파생된 가치들이 전문가의 행동 의지와 실행 능력에 어떤 영향을 미치는지,
  • 즉, 이를 억제하는지 혹은 촉진하는지에 대해서도 연구자와 교육자는 탐색할 필요가 있습니다.

결론 (Conclusions)

우리는 다양한 문헌들을 의도적으로 탐색(deliberate exploration)함으로써, 지식과 행동 사이의 간극(the gap between knowledge and action)에 대한 다양한 관점(varied perspectives)을 밝혀냈습니다. 이러한 관점들은 상호 배타적인 것이 결코 아니며, 각각의 틀만으로는 전문가의 행동을 완전히 설명하기 어렵습니다. 즉, 동기(motivation), 자기조절(self-regulation), 사회문화적 맥락(sociocultural context)이라는 개별 렌즈만으로 전문가의 행동을 충분히 이해하기는 어렵고, 이 요소들과 관점들은 서로 밀접하게 얽혀 있습니다.

 

예를 들어, 특정 공동체 내에서 정당화되지 않는 행동(practices that are not legitimated within a given community)을 하기로 결정하는 것은, 감정적 반작용(emotional repercussions)을 수반할 가능성이 높습니다. 마찬가지로, 동기는 예상되는 감정 상태(anticipated emotional states)에 의해 영향을 받습니다.

  • 어떤 행동을 통해 만족감(satisfaction)을 얻을 것이라 예상된다면, 그 행동을 향한 동기는 강해지고
  • 반대로, 부정적인 감정(negative emotion)을 예상하게 되면, 동기는 약해지며, 경쟁하는 우선순위(competing priorities) 속에서 쉽게 소멸될 수 있습니다.

이러한 다양한 렌즈를 개별적으로 혹은 결합적으로 활용하는 것은, 전문가들이 무엇을 알고 있는가(knowledge)와 무엇을 실제로 행하는가(behavior) 사이의 연결, 또는 행동하지 못하는 이유(failure to act)를 이해하는 데 있어 통찰을 제공합니다. 연구자와 교육자어떤 특정 상황이나 교육적 문제에서는 단일한 렌즈가 더 유용할 수 있지만, 실제로는 지식 실행(knowledge implementation)을 이해하는 다양한 방식들을 고려하여 연구적·교육적 시각을 계속해서 조정(adjust)할 필요가 있습니다.

 

이 문제는 아마도 하나의 깔끔한 이론(tidy theory)으로는 완전히 설명될 수 없을 만큼 복잡할 것입니다. 그러나 본 논문에서 시도한 바와 같이, 이 문제에 관련된 다양한 쟁점들을 세분화하여 탐구한 노력은, 교육자(educators), 연구자(researchers), 전문가(professionals)

지식과 행동 사이의 간극에 영향을 미치는 요소들을 하나의 의미 있는 전체로 다시 구성(reassemble)하고,
맥락(context) 속에서 이를 이해할 수 있도록 도와주는 출발점이 될 수 있습니다.


 

Perspect Med Educ2021 Dec;10(6):362-368. doi: 10.1007/s40037-021-00688-3. Epub 2021 Nov 10.

Rethinking implementation science for health professions education: A manifesto for change

 
 

 

 
 

 

🧠 의사결정과 이행 과학, 그리고 보건의료 교육을 연결하는 방법

– 건강전문직 교육(HPE)에서 연구 증거가 실천으로 이어지지 않는 이유는 뭘까?

보건의료전문직 교육(Health Professions Education, HPE) 연구는 좋은 의도를 갖고 설계되더라도 실제 교육 실천으로 이어지지 않는 경우가 많습니다.
연구자들은 정말 유익한 내용을 밝혀내지만, 교수들이나 관리자들이 그 내용을 바탕으로 수업을 바꾸거나 정책을 고치지는 않죠.
왜 이런 ‘연구-실천 간의 간극(research-to-practice gap)’이 생길까요?

이 논문에서는 그 해답을 찾기 위해 이행 과학(implementation science)의사결정(decision-making)에 주목합니다.

"Evidence seeking to influence educational practice should be targeted at the appropriate decision-making levels, stakeholders, and contexts."
"교육 실천에 영향을 주고자 하는 증거는, 적절한 의사결정 수준과 이해관계자, 그리고 맥락을 정확히 겨냥해야 한다."


🔍 1. 의사결정은 단일한 과정이 아니다

의사결정은 개인 교사 → 프로그램 책임자 → 조직 관리자 → 정부 및 사회에 이르기까지 다양한 수준에서 일어나요.
각 수준마다 의사결정의 내용, 참여자, 영향 요인들이 전혀 다릅니다. 예를 들어, 개별 교수는 "오늘 강의 어떻게 할까?"를 고민하지만, 병원이나 대학의 관리자들은 예산, 인프라, 인사 정책 등 더 큰 틀에서 결정합니다.

"The form and function of HPE practices reflect the many levels and forms of decision-making."
"HPE의 실천은 다양한 수준과 형태의 의사결정이 반영된 결과이다."

 

그러니까, 여러분이 제안한 어떤 좋은 아이디어가 교수님에겐 너무 크고 무겁게 느껴질 수도, 반대로 관리자에겐 너무 사소하게 느껴질 수도 있어요.


📍 2. 맥락(context)을 모르면 증거는 먹히지 않는다

같은 증거라도 적용되는 맥락에 따라 반응은 천차만별이에요.
예산이 빠듯한 학교, 변화에 저항하는 조직문화, 학생 수가 많은 상황 등은 모두 맥락입니다.

"Decision-making is inescapably context-bound, in that context shapes both the decision-making processes and the decisions that are made."
"의사결정은 필연적으로 맥락에 묶여 있으며, 맥락은 의사결정의 방식과 그 결과 모두에 영향을 준다."

 

연구자는 단지 "이게 좋아요!"라고만 말할 게 아니라,
"이건 이런 상황에서 이런 방식으로 적용하면 효과가 있어요"라고 맥락에 맞춰 설계된 설명을 해줘야 해요.


⚖️ 3. 경쟁 요인들과의 싸움도 중요하다

HPE에서는 증거가 의사결정을 이끄는 유일한 요소가 아니에요.
교수의 경험, 학생의 피드백, 인증 기준, 그리고 시간이나 돈 같은 현실적 제약들이 전부 경쟁 요소예요.

"Scientific evidence is often seen as 'would be nice to consider' rather than 'it must be prioritized'."
"과학적 증거는 종종 '참고하면 좋겠다'는 정도로 여겨지며, '반드시 우선 고려해야 할 것'으로 보이지 않는다."

 

연구자는 이런 현실을 무시하면 안 되고, "이해관계자들이 실제로 고려하는 것들과 어떻게 협상할 수 있을지"를 함께 고민해야 해요.
그렇지 않으면 아무리 좋은 아이디어라도 실천까지 가기 어렵습니다.


✨ 그래서, 연구자는 무엇을 해야 할까?

이 논문은 연구자들에게 6가지 실천적 제안을 해줍니다:

  1. 자신이 원하는 변화의 종류를 명확히 하라
  2. 어떤 수준의 의사결정에 영향을 주고 싶은지를 파악하라
  3. 증거가 생성된 맥락과 실행될 맥락 사이의 경로를 이해하라
  4. 증거를 양쪽(결정자와 실행자) 모두에게 적합하게 제시하라
  5. 맥락에 맞춰 구조·문화·자원을 고려하라
  6. 경쟁 요인들과의 조화 가능성을 고려하라

🧩 정리하며

이 논문은 우리에게 이렇게 말하고 있어요:

"By providing evidence of how to make decisions at different levels and with different actors, and by considering the consequences of different decisions and decision-making processes, we may find ourselves faced with a whole new science, a science of HPE decision-making."
"다양한 수준과 주체에 따른 의사결정 방식을 증거로 제시하고, 그 결정의 결과를 고려한다면 우리는 새로운 과학, 곧 HPE 의사결정 과학이라는 세계를 마주하게 될 것이다."

 

📌 지금 우리에게 필요한 건, 단순한 '좋은 아이디어'가 아니라
실제로 적용 가능한, 맥락 맞춤형 증거 기반 전략입니다.

이 선언문(manifesto)을 함께 현실로 만들어갈 사람들을 기다립니다.


서론 (Introduction)

보건의료전문직 교육(Health Professions Education, HPE) 연구는 교육 실천에 영향을 미치는 것을 포함하여 여러 목적을 가질 수 있다¹. 하지만 교육 실천에 영향을 주고자 하는 연구자들은 종종 그러한 시도에서 어려움에 직면한다². 이와 같은 어려움에는 연구 증거가 적절한 사람에게 도달하지 못하거나, 연구 증거가 실질적인 관련성이나 유용성이 부족하다고 여겨지는 경우가 포함된다³ ⁴. HPE 분야에서는 연구 증거를 실제 교육 실천으로 전환하는 과정, 즉 evidence-to-practice translation을 개선하자는 요구가 지속되어 왔으며⁵ ⁶, 이는 implementation science(이행 과학)의 개념들과 연결되어 있다⁷. 이행 과학은 다음과 같은 목표를 달성하기 위해 이론적 틀과 연구 방법론을 활용한다⁸:

  1. 연구-실천 간 격차(research-practice gap)의 특성과 규모를 파악하고,
  2. 그 원인(개인적 요인과 조직적 요인 모두)을 규명하며,
  3. 이론 기반의 맞춤형 중재 전략을 설계하고 효과를 검증한다.

그러나 HPE에서 이행 과학을 탐색한 대부분의 연구는 사용자에게 연구 증거를 어떻게 효과적으로 노출시킬 것인가에만 초점을 맞추는 경향이 있다⁸.

 

본 논문에서 우리는 이행 과학에 대한 다른 관점을 제안하며, HPE에서 의사결정이 어떻게 이루어지는지를 탐색하고자 한다. 우리는 이러한 접근이 연구자가 자신들의 지식 주장(knowledge claims)에 부합하는 방식으로 증거를 제시하고, 이를 통해 의사결정에 영향을 미칠 수 있는 방법을 설명한다 (WHAT of implementation). 또한 우리는 결정에 기반한 지식 전이(decision-informed knowledge translation)가 HPE 연구와 실천 간의 연결고리를 강화할 수 있는 유망한 이행 과학 접근 방식임을 강조하며⁷ ⁸, HPE 커뮤니티 전체에 이에 대한 탐색을 촉구한다 (HOW of implementation). 이와 같은 목적에 따라 우리는 HPE에서 증거와 의사결정이 교차하는 방식에 대한 사고를 확장시키고, 우리 분야에서 이행 과학의 보다 심층적인 고려를 요청하기 위해 본 선언문(manifesto)을 제시한다.


HPE에서의 의사결정 (Decision-making in HPE)

HPE에서 의사결정에 관한 기존 연구들은 주로 학습자의 의사결정 능력 개발에 집중해왔다⁹ ¹⁰. 그러나 본 논문에서는 학습자의 의사결정이 아닌, 교육 프로그램 및 시스템 내에서 교육 실천을 형성하는 의사결정에 초점을 둔다. HPE는 복잡하고 통합적인 작업(complex and integrated undertaking)이며, 여러 수준의 감독과 의사결정을 요구한다¹¹ ¹². 따라서 의사결정은 각 수준마다 다양한 방식으로 이루어진다.

 

예를 들어,

  • 일부 결정은 교육 실천 현장 가까이에서(proximal) 이루어지며, 일상적인 교수-학습 활동에 가까운 수준에서 다뤄진다. 반면,
  • 다른 결정은 더 상위 수준(distal)에서 이루어지며, 실제 교육 활동에서 상대적으로 멀리 떨어진 영역에서 작동한다.
  • 고등교육에서의 하위 수준 의사결정상대적으로 비공식적이며, 적용 범위가 좁고 실천에 가깝다.
  • 반대로 상위 수준으로 갈수록, 결정은 공식적이며 규제(regulation)에 더 밀접하게 연계되지만, 동시에 과정에 변화를 주거나 유연하게 적용할 수 있는 여지가 줄어들게 된다¹³.

 

우리는 다음과 같은 주장을 펼친다. HPE 연구 증거가 교육 실천에 영향을 미치기 위해서는, 교육자의 의사결정과 그 결정 과정에 영향을 주어야 한다¹⁴. 다시 말해, HPE 실천의 형태와 기능은 다양한 수준과 방식의 의사결정에 의해 구성된다. 그렇기에 HPE 실천을 개선하려는 연구 증거는 적절한 수준과 형태의 의사결정에 영향을 주도록 설계되어야 한다.

 

우리는 HPE에서 증거의 유용성과 효과는 해당 증거가 관련된 의사결정 과정에 얼마나 잘 정렬되어 있는지에 따라 크게 좌우된다고 주장한다. 이러한 논지를 바탕으로, 우리는 HPE에서의 의사결정을 구성하는 세 가지 측면을 중심으로 논의를 전개할 것이다:

  1. 의사결정의 수준과 형태 (Levels and forms of decision-making)
  2. 의사결정에서의 증거와 맥락 (Evidence and context in decision-making)
  3. 증거와 경쟁하는 요소들 (Factors that compete with evidence)

 


HPE에서의 의사결정 수준과 형태 (Levels and forms of decision-making in HPE)

보건의료전문직 교육(HPE) 프로그램은 내부 운영뿐만 아니라 규제 기관 및 외부 이해관계자들과의 관계 속에서도 매우 복잡한 관리 및 거버넌스 구조를 가지고 있다¹². 예를 들어,

  • 교육과정위원회(curriculum committees)무엇을, 언제, 누구에 의해 가르칠 것인지에 집중하는 반면,
  • 방문 인증팀(accreditation team)프로그램 전반의 보고 및 운영상의 간극이나 불일치에 주목할 수 있다.

이러한 구조는 다음과 같은 것을 의미한다: 서로 다른 수준에서 서로 다른 결정이 이루어진다는 것뿐만 아니라,

  • 누가 의사결정에 참여하는지,
  • 어떤 범위의 결정을 내릴 수 있는지 (예: 개인적, 사회적, 전술적, 전략적, 관리적, 규제적, 사회정치적),
  • 그 결정이 어떻게 내려지는지 (예: 위원회, 개별 리더의 자율, 워크숍 등)도
    수준마다 크게 달라질 수 있다.

이러한 다양성을 이해하기 위해, 우리는 HPE 내의 다양한 의사결정 수준을 하나의 연속선(continuum)으로 정리해 Tab. 1에 제시하였다.

  • 연속선의 한쪽 끝에는, 개별 교사(individual teachers)가 있으며 이들은 교육과정(syllabus, curriculum)이나 정책(policy)에 대해서는 발언권이 거의 없지만, 자신의 교수 방식(approaches to teaching)이나 어느 정도는 평가 방식(assessment)에 대해서는 조정할 재량이 있다.
  • 반면 연속선의 다른 쪽 끝에는, 규제 기관(regulators), 전문 단체(professional bodies), 재정 지원 기관(funders), 그리고 사회 전반(society at large)이 있다. 이들은 일상적인 교수 활동에는 직접적인 영향을 거의 미치지 않지만, 교육 실천과 교육 성과의 큰 틀을 정의하는 역할을 한다.
  • 이 두 극단 사이에는 여러 단계의 의사결정자들과 그들의 의사결정이 존재한다.

 

우리는 이 연속선을 확장하여, 각 수준에서 어떤 유형의 의사결정이 이루어지는지, 그리고 누가 그 결정을 맡는지를 도식화할 수 있다. 구체적인 내용은 프로그램과 시스템에 따라 다를 수 있지만,

  • 연구자가 가르치는 내용을 바꾸고자 한다면, 특히 통합된 HPE 프로그램(integrated HPE programs)의 경우, 그들의 증거는 과정(course) 및 프로그램 수준의 의사결정자에게 영향을 미쳐야 한다.
  • 반대로, 강의 방식(how the syllabus is taught)에 영향을 주고자 한다면, 개별 교사(individual teachers)를 겨냥하는 것이 더 적절할 수 있다.

따라서 다른 영향을 기대하는 연구자들은, 자신의 관심사와 관련된 의사결정 과정이 어디에 위치해 있는지를 반드시 고려해야 한다. 우리는 연구자들이 자신의 증거가 실제 교육 실천으로 전환되기 위해 필요한 의사결정 과정과 연결되도록 해야 한다고 주장하며, 이를 위한 6가지 권고사항 중 첫 두 가지를 다음과 같이 제안한다.

  1. 자신의 연구 증거를 통해 이루고자 하는 변화의 유형을 명확히 해야 한다.
    (예: 교수 전략이나 평가 전략의 변화, 정책 변경 등)
  2. 자신이 원하는 변화가 어떤 의사결정과 연관되는지를 이해하고,
    그 변화와 관련된 주요 수준의 의사결정자에게 영향을 미칠 수 있도록 증거를 제시해야 한다.

여기서 우리는 단순히 “증거 → 맥락”이라는 선형적 대응(linear mapping)을 말하는 것이 아니다. HPE 시스템은 panarchic’한 특성을 지니며, 이는 여러 수준에서 서로 다른 변화 속도와 상호작용이 존재한다는 것을 의미한다¹⁵.

  • 크고 느린 변화 수준(예: 인증 기준 충족, 대규모 교육과정 개편)은
    작고 빠른 변화 수준(예: 일상 교수 실천)을 형성하는 조건이 되고,
  • 반대로, 작은 변화(예: 교수 전략의 변화)는
    큰 변화(예: 보건의료 전문직 인력의 질)에도 영향을 줄 수 있다.

이러한 panarchic한 상호작용과 의존성은 반드시 고려되어야 한다. 예를 들어, 상위 수준의 HPE 결정(예: 규제 기관, 재정 지원자, 전문직 단체, 사회 전반 등에서 내려지는 결정)은 다양한 하위 수준을 거쳐 하향 전파될 것이라 기대할 수 있다. 그러나 현실에서는 각 수준의 의사결정 주체들이 이러한 지침을 ‘재해석, 재작성, 무시하거나 희석(dilute)’할 가능성이 높다¹⁶.

 

따라서 어떤 증거가 상위 수준의 의사결정에 영향을 주었다고 하더라도, 그것이 HPE의 일상적인 운영에까지 손실 없이 전달(translated)되리라는 보장은 없다. Implementation은 단순히 ‘bench to bedside(연구실에서 병상으로)’로 이동하는 문제만이 아니라, HPE 내 다양한 의사결정 수준 간의 번역 문제이기도 하다. 이에 따라 우리는 연구자들에게 다음과 같이 추가 권고한다.

  1. 자신의 증거가 영향을 미치고자 하는 의사결정 수준과,
    그 결정이 실제로 실행되는 수준 사이의 경로(pathway)를 이해하라.
  2. 의사결정자(decision-makers)실행자(implementers) 양측 모두에게 의미 있게 다가갈 수 있도록,
    자신의 증거를 양쪽 끝에 걸친 연속선의 맥락에 맞게 제시하라.

HPE에서 의사결정에 영향을 미치는 증거와 맥락
(Evidence and context in decision-making in HPE)

의사결정은 본질적으로 맥락(context)에 의존한다. 다시 말해, 의사결정의 과정과 그 결과물은 맥락에 의해 형성된다¹⁷. 따라서 의사결정에 영향을 미치는 맥락(예: 사용 가능한 자원, 조직 문화, 다양한 이해관계자의 가치관)을 고려하고, 각기 다른 맥락 속에서 변화(change)를 이끌어내기 위해 연구 증거를 어떻게 제시하는 것이 가장 효과적인지—or 적어도 더 나은지를 고민하는 것이 중요하다.

 

이러한 고민은 예를 들어 다음을 포함할 수 있다:

  • 해당 증거가 생성된 맥락에 대한 명확하고도 섬세한 설명을 제공하거나,
  • 추천 사항이 다양한 맥락에서 어떻게 구현될 수 있을지를 보여주는 사례(vignettes)를 제시하는 것이다.

모든 맥락은 어느 정도 고유하지만, 반복적으로 나타나는 맥락 패턴을 모델링함으로써, 연구 증거가 이러한 맥락에 더 잘 정렬될 수 있는 방법을 고안할 수 있다¹⁸.

 

이러한 접근의 예로, 우리는 HPE 의사결정 맥락을 형성하는 세 가지 주요 맥락 패턴을 제시한다.

  1. 첫 번째는 어떤 변화에 책임을 지는 개인이 누구인지, 그리고 그들이 어떤 의사결정 구조와 과정을 사용하는지에 관한 것이다. 예컨대, 앞서 설명한 바와 같이, 증거가 정책(policy)에 영향을 주려는 것이라면 그 결정은 위원회에서 내려질 가능성이 높고, 강의실 실천(classroom practice)에 영향을 주려는 것이라면 개별 교사의 결정이 중심이 될 것이다.
  2. 두 번째는 변화가 이루어질 문화적 맥락(cultural context)이며, 그 맥락의 구성원들이 해당 증거를 정당하고 중요하며, 자신들의 가치와 기대를 반영하는 것으로 인식하는가의 여부이다. 예를 들어, 어떤 교육 프로그램은 기존 가치를 보존하려는 의지 또는 이해관계자 간의 불신으로 인해 변화를 저항하는 성향을 보일 수 있다. 반면 다른 프로그램은 시대정신(zeitgeist)에 부합하거나, 평판 혹은 경쟁력 제고를 위해 적극적으로 변화를 추구할 수 있다.
  3. 세 번째는 의사결정에 영향을 미치는 자원(resources)이다. 예: 자금, 시간, 기술, 경험, 기회의 유무. 어떤 맥락에서는 자원 부족으로 인해 새로운 변화나 혁신이 실현 가능한가의 여부 자체가 의문일 수 있다. 이런 상황에서는 연구 증거가 제시될 때, 자원의 제약 속에서도 실행 가능성이 있는 방식으로 설계되어야 한다.

이러한 논의를 바탕으로 우리의 다섯 번째 권고사항은 다음과 같다:

  1. 자신의 연구가 영향을 미치고자 하는 다양한 맥락을 반영하고,
    그 맥락의 구조, 문화, 자원이 증거에 대한 수용 또는 거부의 장벽 혹은 기회를 형성할 수 있다는 점을 고려하라.

HPE에서 연구 증거와 경쟁하는 요인들
(Factors that compete with research evidence in HPE)

불행히도, 과학적 증거(scientific evidence)는 HPE에서 의사결정을 이끄는 주된 요소가 아닌 경우가 많다¹⁹ ²⁰. 그 이유는 다양하다. 예를 들어,

  • 가용한 증거가 질적으로 낮거나 관련성이 없다고 여겨지는 경우,
  • 학술 논문을 찾아 읽고 핵심을 추출하는 데 드는 시간과 노력,
  • 일반적인 변화에 대한 저항,
  • 경쟁하는 우선순위들 등이 있다¹⁹ ²⁰.

실제로, 학술지 논문이나 발표 형태로 제시되는 증거는 다른 형태의 증거들과 주목을 놓고 경쟁해야 한다. 예를 들어,

  • 연구 증거는 학생 평가(student evaluations)나 인증 결과(accreditation results)와 같은 로컬 증거(local evidence)와 충돌할 수 있으며,
  • 다른 의사결정자의 의견과도 상충할 수 있다.

이는 형식적 증거(formal evidence)가 무시된다는 뜻이 아니다. 다만, 과학적 증거는 종종 "참고할 수는 있으면 좋겠다(would be nice to consider)" 정도로 인식되며, 반드시 우선순위로 고려해야 할 것(must be prioritized)으로는 보지 않는 경향이 있다는 것이다.

 

어떤 증거가 무엇을 의미하고, 왜 중요한지에 대한 견해 차이와 논쟁이 존재하는 경우, 연구자들은 이러한 논쟁적이고 숙의적인(HPE decision-making as contested and deliberative) 성격을 반영한 방식으로 자신의 증거를 제시할 필요가 있다. 따라서 우리는 HPE에서 이루어지는 모든 의사결정이 어느 정도 논쟁적이며 정치적 성격을 가진다고 볼 수 있다. 특히 의사결정 수준이 높아질수록, 관련된 이해관계자, 시각, 동기가 다양해지고 의사결정의 대가가 커지므로 그러한 경향이 더욱 두드러진다.

 

HPE에서의 의사결정은 종종 다양한 동인(drivers)과 이해관계자들 사이에서의 협상과 절충(negotiation and compromise)을 수반한다²¹. 이에 따라 우리의 여섯 번째 권고사항은 다음과 같다:

  1. 자신의 증거가 다른 의사결정 동인이나 우선순위와 경쟁하거나 충돌할 수 있는 가능성을 고려하라.
    → 예를 들어, 어떤 절충은 수용 가능하고 어떤 것은 수용 불가능한지를 논의하거나,
    이러한 충돌 상황에서 어떻게 구현할 수 있을지를 보여주는 다양한 시나리오를 제시할 수 있다.
    실제로, 어떤 요소는 필수(essential)이고, 어떤 요소는 협상 가능(negotiable)한지를 명확히 하는 것은 교육 혁신의 실행에서 핵심적인 고려사항이다²².

논의 (Discussion)

우리는 이 논문을 준비함에 있어, 캐나다와 영국에서의 HPE 직접 경험, 전 세계 여러 교육 프로그램 및 의과대학들과의 지속적인 교류, 그리고 이 분야 전체에 대한 지식을 바탕으로 하였다. 물론 각 상황의 구체적인 세부 사항은 다르므로, 우리가 생성한 많은 증거는 일종의 ‘중간 수준 증거(middle-range evidence)’로 간주할 수 있다. 이는 Merton이 제시한 ‘중간 수준 이론(middle-range theory)’ 개념에 기반한 것으로, 특정한 맥락 집합에는 적절하지만 다른 맥락에는 반드시 적용되는 것은 아닌 증거를 의미한다.

 

우리는 교육 실천에 영향을 주고자 하는 증거는 그에 적합한 의사결정 수준, 이해관계자, 그리고 맥락을 정확히 겨냥해야 한다고 주장해왔다. 이 논문은 이행 과학(implementation science)의 맥락에서 증거와 의사결정 사이의 연계성을 다룬 의학 문헌을 체계적으로 검토하는 것이 주목적은 아니지만, 이런 연결은 실제로 다양한 방식과 수준에서 이루어져 왔다.

 

예를 들어, 개별 임상 결정(individual clinical decision-making)이 문헌의 중심을 차지하는 경향이 있지만, 의학 분야에서도 다음과 같은 사실들이 지적된 바 있다:

  • 서로 다른 종류의 결정이 서로 다른 수준에서 내려진다는 점²³,
  • 결정 유형에 따라 다양한 이해관계자가 관여한다는 점²⁴,
  • 그리고 그 증거는 각 이해관계자에게 의미 있게 다가가야 한다는 점이다²³ ²⁵.

이 점에서 임상과 HPE 맥락은 유사한 면이 있다고 할 수 있다. 하지만 우리는 두 가지 주요 차이점을 지적하고자 한다.

  • 첫째, HPE 실천에 대한 증거 기반은 의료 분야보다 덜 발달되어 있다는 주장이 존재한다². 따라서 연구 초기에 생성된 증거를 적절한 HPE 맥락 및 의사결정 수준과 매핑(mapping)하는 작업어떤 증거가 어떤 맥락에서 유효한지를 보다 명확히 하는 데 도움이 될 수 있다.
  • 둘째, 의료 실천에서의 의사결정은 환자 생명과 직결되기 때문에 stakes가 매우 높지만, HPE에서는 그러한 긴박함이나 압력이 덜하기 때문에, 교육자들은 증거 주장에 기반해 변화를 시도해야 할 당위성을 덜 느낄 수 있다².

이번 논문에서 제시한 권고사항들은 주로 연구자들이 자신의 증거를 보다 효과적으로 전달하여, 목표한 청중에게 실제 영향을 미칠 수 있도록 하기 위한 것이다. 그러나 우리는 이행(implementation)이라는 개념이 이보다 훨씬 더 넓은 스펙트럼을 포함하고 있으며, 연구자 외의 다양한 이해관계자들이 중요한 역할을 할 수 있다는 점을 인정한다.

 

예를 들어,

  • HPE의 리더들 및 각 수준에서의 거버넌스에 관여하는 이들의사결정에서 증거가 어떤 역할을 수행하는지에 대해 더 비판적으로 관여할 수 있으며, 연구자의 이행 노력을 지지하고 함께 목소리를 내는 역할을 할 수도 있다.
  • 또한, HPE 연구 환경을 형성하는 주요 주체들—즉, 대학원 교육과정, 학술지, 학회, 그리고 연구 재정 지원기관 등—도 생성된 연구 결과가 적절한 의사결정 수준과 연결되도록 적극적인 역할을 수행할 수 있다.

물론, 이를 위한 보편적 방법이나 알고리즘은 존재하지 않는다. 이 과정은 본질적으로 복잡하며, 성공을 보장하기보다는 확률적으로 접근할 수밖에 없다. 그럼에도 불구하고 우리는 통합적 이행 접근법(integrated implementation approach)과 일치하는 전략들을 고려할 수 있다²⁶ ²⁷. 이 접근은 다음 두 가지를 요구한다:

  1. 연구 과정에 올바른 이해관계자를 참여시킬 것,
  2. 초기 단계부터 연구 전반에 걸쳐 이해관계자의 지속적 관여를 유도할 것.

이러한 통합적 접근이 어떻게 작동할 수 있을지를 설명하는 가이드는 Electronic Supplementary Material의 표 1(Tab. 1)에서 확인할 수 있다. 우리는 이 가이드를 처방적(prescriptive)인 것으로 보지 않는다. 오히려, 이는 의사결정 과정에 이해관계자를 참여시키고자 할 때 참고할 수 있는 아이디어 목록이며, 참여적(participatory)이고 협력적(collaborative) 접근은 반드시 ‘적응(adaptation)’과 ‘맞춤화(tailoring)’에 기반해야 한다.

 

250517 KT Rethinking implementation science for health professions s40037-021-00688-3 40037_2021_688_MOESM1_ESM.docx
0.02MB

 

이러한 제안들은 실제로 의사결정을 향상시키는 데 효과적인지를 검증하기 위한 실증 연구의 주제가 될 수 있고, 되어야 한다. 특히 우리는 다음과 같은 과제를 제시한다:

  • 어떤 이해관계자가 어떤 수준에서, 어떤 유형의 의사결정에 관여하는지를 식별하라.
    이는 예를 들어, 새로운 교수 전략을 도입하는 경우와, 입학 절차의 변경이나 교육과정의 대대적 개편과는 완전히 다른 이해관계자와 수준을 요구할 것이다.

이러한 작업을 수행하는 데에는 여러 방법이 있을 수 있다.
예를 들어,

  • 활동 이론(activity theory)²⁸,
  • 인지 과제 분석(cognitive task analysis)²⁹,
  • 논리 모델링(logic modeling)³⁰과 같은 기법이 유용할 수 있으며,
  • “누구에게 어떤 맥락에서 무엇이 효과적인가(what works for whom in what contexts)”를 중점적으로 다루는 realist inquiry³¹도 유의미한 도구가 될 수 있다.

 

 

결론 및 제언

증거(evidence)를 의사결정(decision-making)과 연결시키는 작업은, 증거의 실천으로의 전환(translation)과 반복 가능성(replication)을 향상시킬 뿐 아니라, 서로 다른 수준과 맥락에서 증거와 의사결정 간의 정렬(alignment)이 어떻게 달라질 수 있는지를 이해하는 데 도움을 줄 수 있다.

 

결과 평가(outcome evaluation)는 변화를 이끌기 위해 사용된 접근법의 유용성투입 자원의 정당성을 입증하는 가장 명확한 방법임은 부인할 수 없다. 이를 위해서는 다음 두 가지가 필요하다:

  1. 수준별 주요 결과(level-specific outcomes)를 연구 초기 단계에서 명확히 정의하고,
  2. 이 결과들을 평가할 수 있는 적절한 평가 방법을 선택하는 것이다.

이행 과학 분야의 연구자들은 이미 수많은 평가 모델과 프레임워크를 개발해왔다²³ ³³. 이에 대한 실제 적용을 위한 실천적 권고사항은 표 2(Tab. 2)에 제시되어 있다.

 

우리는 이 논문에서 HPE 내 의사결정의 핵심 요소들을 설명하고, 증거와 그 효과 사이의 연결고리를 형성하는 방법들을 제안했다. 다만, 이 요소들이 인과적(causal) 조건은 아니라는 점을 분명히 한다. 오히려 이들은 증거가 실제 교육 실천으로 전환되고, 의사결정에 영향을 줄 가능성을 높이는 도구이다.

 

또한 우리는, 연구자들이 다양한 이해관계자를 얼마나, 어떤 방식으로 참여시킬 수 있는지에는 실질적이고 개념적인 한계가 존재함을 인식한다. 적정한 수준의 참여와 정렬이 무엇인지는 다음과 같은 요소들에 따라 달라질 것이다:

  • 생성된 증거의 성격,
  • 기대되는 영향의 유형,
  • 관여된 의사결정 맥락의 성질,
  • 그리고 시간과 같은 자원의 가용성.

우리는 또한, 증거를 해당 의사결정 맥락 및 역동성과 정렬(mapping)하는 작업이 추가적인 노력과 전문성을 요구한다는 점에서, 이 분야에 대한 추가 연구와 연구자 대상의 이행 과학 훈련(training)이 필요하다는 점을 강조하고자 한다.

 

조직 변화에 기여하는 것은 많은 연구자들에게는 아직 상대적으로 낯선 개념일 수 있지만, 이는 실제로 HPE 리더들이 자주 수행하는 역할이라고 볼 수 있다. 따라서 우리는 일정 부분 보다 실질적이고 의도적인 학문적 리더십(scholar-leadership)을 촉구한다. 이를 위해 조직 변화나 의사결정을 탐구한 리더십 문헌—예를 들어, John Kotter와 같은 변화관리(change leadership) 전문가들의 작업³⁴ 또는 의사결정 과정을 직접 분석한 연구들³⁵—이 도움이 될 수 있다.

 

물론 모든 연구자가 변화를 유도하길 원하는 것은 아니다. 또는 적어도 특정한 프로그램 수준의 변화를 지향하지는 않을 수도 있다. 실제로 HPE라는 응용 분야(applied field) 내에서도 동료 연구자들을 대상으로 한 소통실천을 변화시키기 위한 소통 사이에는 일정한 긴장감(tension)이 존재한다. 학술적 소통(scholarly communications)은 그 대상에 따라 얼마든지 다양할 수 있다³⁶.

 

그러나 그 대상이 누구든 간에, ‘의사결정’과 관련해서는 증거를 누구에게, 어떻게 전달할 것인가를 명확히 아는 것이 여전히 중요하다. 연구자가 의사결정에 영향을 주어야 한다는 주장은 새로운 것이 아니며¹⁴, 우리는 이행 과학의 관점을 활용하여, 이 간극을 어떻게 좁힐 수 있을지에 대해 구체적인 방안을 제시하였고, HPE에서 이루어지는 의사결정의 수준과 유형이 어떻게 다른지도 명시하였다.

 

마지막으로, 우리는 이 논문에서 제시한 주장이 우리의 직접적, 간접적 경험과 이 분야에 대한 지식을 바탕으로 한 것이며, 실제 실천에서 엄밀하게 검증된 것은 아님을 분명히 밝힌다. 따라서 이 선언문(manifesto)이 실제로 교육 실천에 어떻게 적용되는지를 탐색하기 위한 추가 연구가 필요하다.


우리가 서로 다른 수준과 다양한 행위자들과 함께 의사결정을 어떻게 내릴 수 있는지를 보여주는 증거, 그리고 각기 다른 의사결정과정이 어떤 결과를 초래하는지를 고려하는 것— 이러한 시도들은 결과적으로 전혀 새로운 학문 분야, 즉 HPE 의사결정 과학(science of HPE decision-making)의 토대를 만들 수 있을 것이다.

 

우리는 '행위자(actors)', 수준(levels), 문화(culture), 절충(compromise)'을 고려한 이행 과학 담론이 형성되기를 바란다. 그러한 담론과 연구 의제(research agenda) 없이, 우리가 이 분야를 진전시키려는 시도는 산발적이고 단편적인 조각들로 남게 될 것이다. 이미 몇몇 학자들⁵ ²⁰이 이행 과학 및 증거 기반 HPE에 대한 실증적 탐색의 씨앗을 뿌려놓았다. 이제 우리는 다른 연구자들이 이 선언문을 현실화하는 여정에 동참해주기를 정중히 요청한다.


 

 

 

보건의료전문직 교육(HPE)에서 의사결정 수준에 따른 유형, 범위, 동인(drivers)의 연속선 개요

이 표는 HPE에서 이루어지는 의사결정 과정을 여러 수준(level)으로 구분하고, 각 수준에서 어떤 유형의 의사결정이 이루어지며, 무엇을 다루고, 어떤 요인이 결정에 영향을 미치는지를 개괄적으로 보여준다.


  1. 개별 교사(Individual teachers)
    • 의사결정 유형: 개인(individual)
    • 의사결정 범위: 주로 교수(instruction)에 국한되며, 교육 내용이나 시점 등에 대한 영향력은 제한적임.
    • 의사결정 동인: 개인의 자율성(individual autonomy), 필요성과 호기심에 대한 반응.
  2. 동료 교직원(Teaching colleagues)
    • 의사결정 유형: 사회적, 담론적(social, discursive)
    • 의사결정 범위: 교수 업무의 분배, 교수 접근법에 대한 토론, 동료 피드백 제공 등.
    • 의사결정 동인: 사회적 상호작용과 영향, 공동 책임의 발전, 집단 규범과 합의 형성.
  3. 과정/주제/단원 수준(Course: theme, unit)
    • 의사결정 유형: 전술적이며 제한된 거버넌스(tactical, limited governance)
    • 의사결정 범위: 정해진 교육과정 내에서의 운영 세부사항 (예: 물리적/인적 자원 관련 사항).
    • 의사결정 동인: 일상적인 관리, 교수자와 학습자의 문제 및 도전에 대한 대응, 프로그램 및 기관 차원의 정책과 절차 실행.
  4. 프로그램 수준(Program)
    • 의사결정 유형: 전략적이며 실질적인 거버넌스(strategic, substantial governance)
    • 의사결정 범위: 교육과정, 강의계획서, 정책 및 절차의 유지 및 변경, 프로그램 외부 감사에 대한 대응.
    • 의사결정 동인: 교육과정 위원회, 실무 그룹, 고위 관리자들이 정책과 절차를 검토하고 설정하며, 인증(accreditation) 등 프로그램 수준의 책무성에 대응.
  5. 조직 수준(Organization: 학교, 대학, 병원 등)
    • 의사결정 유형: 관리적(managerial)
    • 의사결정 범위: 예산, 인력, 시설, 인프라, 계약, 노사 관계, 조직 전반의 정책 및 외부 협력 등 전반적 운영.
    • 의사결정 동인: 고위 리더십; 교육과 관련된 의사결정을 연구, 임상 등 다른 조직 기능과의 균형 하에 수행.
  6. 규제 기관 및 재정 지원자(Regulators and funders)
    • 의사결정 유형: 규제적(regulatory)
    • 의사결정 범위: 프로그램의 정당성 및 권한, 전략적 자원과 책무성에 대한 광범위한 감독.
    • 의사결정 동인: 고위 정책(high-level policy), 즉 정부, 보건의료, 전문직 차원의 정책.
  7. 사회(Society)
    • 의사결정 유형: 사회정치적(sociopolitical)
    • 의사결정 범위: 의료, 보건의료 전문직 교육을 형성하는 일반 원칙, 가치, 사회적 기대.
    • 의사결정 동인: 미디어, 지역사회 관계, 정당 및 로비 단체, 기부자, 사회적 참여, 재정 지원 우선순위 등의 사회적 과정.

이 표는 HPE 의사결정이 단일 행위자의 고립된 판단이 아닌, 다층적이고 다요소적인 과정임을 잘 보여줍니다. 따라서 연구자가 증거를 실천으로 옮기고자 한다면, 자신이 영향을 미치고자 하는 의사결정 수준과 그 구조, 동인을 충분히 이해하고 설계하는 것이 필수적입니다.

 

 

 

통합적 이행 접근법을 HPE에서의 의사결정 세 가지 측면에 적용하기
(Application of integrated implementation approaches to three aspects of decision-making in HPE)

핵심 원칙: "적절한 이해관계자(The right stakeholders)"

연구자는 지역 이해관계자 또는 현장 챔피언(local stakeholder/champion)과 협력하여 다음을 수행해야 한다:


🔷 1. 일반 원칙 (General principles)

  • 연구자가 해야 할 일
    • 해당 증거가 구현될 대상과 그 영향 지점을 고려하여 적절한 이해관계자들을 식별하고 참여시킬 것
    • 이해관계자의 참여가 단순한 형식적 절차(tokenism)에 머물지 않고 실질적인 의미와 책임성을 갖도록
    • 투명성과 책임성 확보: 누구를, 어떤 기준으로 선정했는지를 명확히 해야 함
  • 이해관계자 참여 시의 고려사항
    • 연구 초기부터 이해관계자를 참여시킬 것
    • 이해관계자와 연구자 간 쌍방향 피드백이 지속되도록 장려
    • 연구 결과를 누구에게, 어떤 방식으로, 누가 전달할 것인지 등의 지식 전이(knowledge translation) 전략 수립 시, 주요 대상과 메시지를 함께 구상

🔷 2. HPE 의사결정의 구성 요소 측면에서의 접근
(Aspects of decision-making in HPE)

a) 의사결정 수준(Levels of decision-making)

  • 연구자가 해야 할 일
    • 의사결정 수준(DM level)과 해당 수준에서 사용되는 증거 유형에 따라 적절한 이해관계자를 선정
    • 누가, 어떻게 참여해야 할지를 결정
    • 이해관계자의 참여가 의미 있고 가치 있게 유지되도록 노력
  • 이해관계자 참여 시의 고려사항
    • 어떤 연구 단계에 참여할지, 참여가 연구와 본인에게 어떤 이익을 줄 수 있을지를 논의
    • 모든 연구 단계에서 피드백을 수렴하고, 필요한 조정 사항을 반영
    • 지원, 인센티브, 인정 등을 통해 참여의 의미를 강화
    • 의사결정 과정과 정렬된 지식 전이 전략을 공동 설계하고 실행

b) 의사결정의 맥락(Context of decision-making)

  • 연구자가 해야 할 일
    • 증거가 생성된 맥락 및 그것이 구현될 맥락에서 이해관계자들을 참여시킬 것
    • 맥락적 차이가 누가 어떻게 의사결정에 참여하는지를 어떻게 형성하는지를 탐색
  • 이해관계자 참여 시의 고려사항
    • 유사한 의사결정 맥락을 가진 다양한 이해관계자들로부터 피드백을 수렴
    • 연구 결과가 다양한 맥락에서 어떻게 해석될 수 있는지를 함께 탐색
    • 연구의 한계점에 대해 논의
    • 각기 다른 의사결정 맥락과 진화하는 환경에 부합하는 의미 있는 지식 전이 활동을 공동 설계

c) 증거와 경쟁하는 요소들(Factors that compete with evidence)

  • 연구자가 해야 할 일
    • 우선순위가 어떻게 설정되고, 갈등이 어떻게 해결되는지에 대한 이해를 가진 이해관계자들을 선정
    • 증거에 대한 인식과 정당성에 대한 다양한 관점을 가진 사람들을 포괄적으로 참여시킬 것
    • 논쟁의 소지가 있는 증거의 성격정책 우선순위 간 충돌 가능성에 대해 공동 탐색
    • 연구자-이해관계자 간 이해 충돌(conflict of interest)을 사전에 인식하고 관리
  • 이해관계자 참여 시의 고려사항
    • 상충되는 우선순위가 지식 전이 활동에 어떤 제약을 주는지에 대해 함께 논의
    • 연구 설계와 실행이 어떻게 보다 설득력 있게 조정될 수 있는지 고민
    • 지식 전이 활동이 실용적이고, 의미 있으며, 정책결정자에게 접근 가능하도록 구성될 수 있도록 보장

🔸 정리된 메시지

연구 과정의 각 단계—결정의 개발 또는 수정, 의사결정 과정의 식별, 실행, 모니터링, 결과 평가, 메시지 전달—은 다양한 수준에서 이해관계자와 실질적으로 협력할 수 있는 기회이다. 이러한 참여적 접근은 HPE 연구자들이 의사결정 연속선의 다양한 수준에서 신뢰받는 참여자로서 자리매김하고, 위원회, 기관, 학술 커뮤니티 내 리더십을 발휘하는 데 핵심적인 전략이 될 수 있다.

 

CMAJ2010 Feb 9;182(2):E73-7.  doi: 10.1503/cmaj.081231. Epub 2009 Nov 30.

The knowledge-to-action cycle: identifying the gaps

 

 

🩺 근거는 있는데, 왜 실행은 안 될까?

― 근거 기반 진료와 현실 사이의 '갭(gap)'을 좁히는 이야기


“우린 왜, 잘 알면서도 실천하지 못할까?”
의료 현장에서 자주 듣게 되는 이 질문, 여러분도 한 번쯤은 해보셨을 겁니다.
가이드라인도 있고, 효과적인 치료법도 잘 알려져 있는데...
왜 환자들은 여전히 충분한 치료를 받지 못하는 걸까요?

 

👀 미국의 한 대규모 연구에 따르면,

  • 제2형 당뇨병 환자 중 20%는 혈당 조절이 되지 않고(HbA1c > 9%)
  • 1/3만이 목표 혈압(130/80 mmHg)을 달성
  • 절반 이상은 LDL 콜레스테롤이 기준치를 초과했다고 해요.
    게다가 골절 환자의 절반도 제대로 된 골다공증 진단을 받지 못하고,
    고관절, 척추, 손목 골절 후 1년 내 치료를 받은 사람은 10~20%뿐이었답니다.

"Evidence frequently isn’t used by local, national or international policy-makers."
근거는 존재하지만, 지역·국가·국제 수준의 정책 결정자들이 이를 제대로 사용하지 않는 경우가 많습니다.
(원문: Evidence frequently isn’t used by local, national or international policy-makers.)


📏 갭(gap)은 어떻게 측정할 수 있을까?

갭을 찾는 건 단순히 실천을 못 했다는 사실을 비난하기 위한 게 아니에요.
진짜 중요한 건, “왜 실행되지 않았는가”를 파악하는 것입니다.

연구진은 이렇게 말해요:

“Using gaps in practice to blame clinicians is easy, but gaps from evidence to action usually reflect systems-related issues.”
실행 격차를 근거로 임상의에게 책임을 전가하기는 쉽지만, 사실상 대부분의 갭은 시스템적 문제(system-related issues)에서 비롯됩니다.
(원문: Using gaps in practice to blame clinicians is easy, but gaps from evidence to action usually reflect systems-related issues.)

🎯 그래서, 갭을 측정하는 방법은 다양합니다:

📊 인구 수준(Population level)

  • 행정 데이터(administrative database)
    : 예) 보험 청구 데이터, 처방 패턴 등
    : 👍 대규모, 객관적
    : 👎 진단의 정확성, 전체 인구 반영 부족
  • 임상 데이터(clinical database)
    : 예) 수술, 진단 등록 레지스트리 등
    : 👍 행정자료와 병행 활용 가능
    : 👎 정보 불일치나 누락 가능성

🏥 조직 수준(Organizational level)

  • 차트 감사(chart audit)
    : 전자 의무기록을 활용해 문서화된 내용 확인
    : 👍 진단, 혈압/혈당 수치, 약물 사용 등 확인 가능
    : 👎 종이기록은 판독 어려움, 시간 소요 큼

🧑‍⚕️ 의료 제공자 수준(Provider level)

  • 직접 관찰(direct observation)
    : 표준화 환자와의 대화 녹화 등
    : 👍 객관적 평가
    : 👎 리소스 많이 필요
  • 역량 평가(competency assessment)
    : 시험 또는 구술평가
    : 👍 객관·주관 병행 가능
    : 👎 실제 진료 반영은 제한적
  • 성찰적 실천(reflective practice)
    : 학습 일지, 포트폴리오 활용
    : 👍 자기 주도적 니즈 인식
    : 👎 정확도는 낮을 수 있음

🤯 갭은 왜 생기는 걸까?

연구진은 인간의 행동 특성에서 그 원인을 찾습니다.

“What most individuals do most frequently is what they think about the least.”
사람들이 가장 자주 하는 일일수록 의식하지 않고 자동으로 수행한다는 겁니다.
(원문: What most individuals do most frequently is what they think about the least.)

 

또한, 복잡한 정보를 다루는 데는 인간의 한계가 있다고도 말하죠.
그렇기 때문에 시스템이 이런 자동화된 행동을 모니터링하고 보완해줄 수 있어야 합니다.


💬 갭 자체에도 ‘갭’이 있다?

흥미롭게도, 연구진은 이렇게 말합니다:

“An area for further research is the testing of how data can be used to stimulate the identification of gaps in care.”
데이터를 어떻게 활용해야 실제로 갭을 찾고, 실천 변화를 유도할 수 있을지에 대한 연구는 아직 더 필요하다고 말이죠.
(원문: An area for further research is the testing of how data can be used to stimulate the identification of gaps in care.)


🧭 마무리하며

근거가 있음에도 실행되지 않는 ‘갭’은 의료의 품질과 환자 안전에 직결됩니다.
단순한 실행 부족이 아니라, 시스템·인지·문화의 복합적 문제로 봐야 합니다.

이 시리즈의 다음 논문에서는
👉 "지역 맥락에 맞춰 지식을 어떻게 적용할 것인가?"
👉 "지식 실행의 방해요소와 촉진요인은 무엇인가?"
를 다룬다고 하니, 다음 편도 기대해 주세요!


미국에서 진행된 대규모 연구에 따르면, 제2형 당뇨병을 앓고 있는 사람들 중 20%는 혈당 조절이 미흡했으며(즉, 당화혈색소 [Hemoglobin A1c] 수치가 9%를 초과), 오직 1/3만이 목표 혈압 수치(130/80 mm Hg)에 도달했고, 절반은 저밀도지단백 콜레스테롤(LDL-C) 수치가 목표 수준을 초과하고 있었습니다¹. 골절 취약성(fracture fragility)을 보인 사람들 중에서도 50% 미만만이 골다공증에 대한 진단검사 또는 의사의 진단을 받은 것으로 나타났습니다². 고관절, 손목, 척추 골절을 경험한 고령 환자들 중에서는 10%~20%만이 골절 이후 1년 내에 골다공증 치료를 받는 것으로 확인되었습니다³. 연구자들은 지역 수준⁴, 국가 수준⁵, 국제 수준⁶의 정책 결정자들이 근거(evidence)를 잘 활용하지 않는다는 사실도 밝혀냈습니다.

“갭(gap)”이란 무엇인가?

위의 모든 사실들은 "갭(gap)"의 예시입니다. 근거와 실제 진료 또는 정책 실행 사이의 간극(gap)을 측정하는 것은 지식변환(Knowledge Translation)의 첫 번째 단계 중 하나입니다⁷. 여기서 말하는 근거(evidence)란 최고 수준의 연구 기반 근거를 의미합니다⁸. 이상적으로는 이러한 근거는 고품질 임상진료지침 또는 체계적 문헌고찰(systematic review)에서 도출되어야 합니다.

뉴질랜드의 최근 사례를 통해 이 갭을 어떻게 다룰 수 있는지 보여드리겠습니다. 뉴질랜드의 심혈관 가이드라인에서는 심혈관 질환 위험 관리를 절대위험도(absolute risk)를 기반으로 해야 한다고 오랫동안 권고해왔습니다⁹. 또한 5년 내 심혈관 질환 발생 위험이 15% 이상인 사람을 치료 대상으로 설정하고 있습니다. 그러나 연구자들은 일차진료(primary care) 현장에서 혈관질환을 가진 사람들 중 1/3 미만만이 가이드라인에서 권고하는 치료를 받고 있음을 확인했습니다¹⁰.

갭을 메우기 위한 첫걸음: 현재 진료의 평가

진료의 질을 향상시키기 위해 무언가를 개선하려면, 먼저 현재의 진료 상태를 간단하고 신뢰성 있게 평가할 수 있어야 합니다. 이때 사용할 수 있는 도구가 '질 지표(quality indicators)'입니다. 질 지표는 환자의 결과에 영향을 미치는 의료의 질과 조직의 기능을 모니터링, 평가, 개선하기 위한 측정 수단입니다. 예를 들어, 당뇨병 및 뇌졸중 병력이 있는 환자에 대한 혈압 조절의 적절성, 혹은 중환자실에 입원한 환자에 대한 심부정맥혈전증 예방 조치 등이 질 지표가 될 수 있습니다.

 

Donabedian¹¹은 의료의 질을 고려할 때 구조(structure: 예. 진료 환경), 과정(process: 예. 수행된 진료 행위), 결과(outcome: 예. 환자의 상태 변화)로 나누는 틀을 제시했습니다. 이러한 틀은 질 지표를 분류하는 데 활용될 수 있습니다. 예를 들어 혈관위험 관리의 경우,

  • 임상의 진료실에 의사결정 지원 시스템(computerized decision support system)이 마련되어 있는가 여부는 구조적 지표(structural indicator)이며,
  • 환자 또는 의사에 의한 혈관위험 평가 수행 여부는 과정 지표(process indicator)입니다.
  • 뇌졸중, 심근경색, 사망 등은 결과 지표(outcomes)입니다.

이러한 각 지표에 대해서는 다음 항목이 필요합니다:

  • 설명 문장(descriptive statement)
  • 측정을 위한 데이터 기반 항목(criteria)
  • 관련 인구 집단에 대한 정보
  • 자료 수집 시점과 방법
  • 분석 모델
  • 결과 제시 형식
  • 지표의 사용 근거(Box 1 참조)¹²

각국의 국가적 전략

여러 국가들은 질 지표 수집을 위한 국가적 전략을 마련했습니다¹². 예를 들어 호주의 National Institute of Clinical Studies인플루엔자 백신 접종을 포함하여 다양한 주제에서 근거와 실제 진료 사이의 간극을 파악했습니다¹⁴. 미국의 Agency for Healthcare Research and Quality예방, 입원 진료, 환자 안전, 소아과 분야의 질 측정 지표를 개발했습니다¹⁵. 하지만 국가 간 질 지표에 대한 합의는 부족한 실정입니다.

질 지표의 개발: 근거 기반 접근

질 지표는 최선의 근거(best available evidence)를 바탕으로 개발되어야 하며, 이를 위해 RAND Health에서는 델파이 방법(Delphi method)을 수정하여 사용하였습니다¹⁶. 이 방법은 익명 평가를 여러 차례 반복하며 위험-편익(risk-benefit) 척도에 따라 평가하고, 각 라운드 사이에 대면 토론을 포함합니다¹⁷. 이 과정의 목표는 일반 대중, 의료 전문가, 관리자 등 관련 이해당사자를 모두 포함하는 것입니다.

 

이후에는 실제 진료 현장에서 이 지표가 정확하고 신뢰성 있게 측정될 수 있는지를 검증해야 합니다¹⁷. 예를 들어 혈관위험 전략과 관련하여 사망 및 뇌졸중 같은 결과지표를 정확하게 측정할 수 있는가?를 확인해야 합니다. 이는 해당 정보가 임상 데이터베이스나 행정 데이터베이스에 수록되어 있는지, 그리고 정확히 추출이 가능한지 여부를 검토해야 한다는 의미입니다.

 

 

어떤 갭(gap)을 우선적으로 다루어야 할까?

실제 진료와 정책 결정 과정에서는 매우 다양한 갭을 식별할 수 있지만, 어떤 갭을 우선적으로 다룰 것인지에 대한 선택 과정을 반드시 마련해야 합니다¹⁷. 현실적으로는 자원의 제약으로 인해 모든 근거-실천 간의 간극을 다루는 것이 불가능합니다. 따라서 우선순위를 정할 전략이 필요합니다. 이때 고려할 요소는 질병 부담(burden of disease), 즉 이환율(morbidity), 사망률(mortality), 삶의 질(quality of life), 그리고 의료비용(cost) 등입니다.

 

이러한 논의는 투명하게 이루어져야 하며, 환자와 일반 대중, 의료 전문가, 관리자 등 다양한 이해관계자가 참여해야 합니다. 예컨대 뉴질랜드의 혈관위험 관리 전략은 보건부(Ministry of Health)와 뉴질랜드 가이드라인 그룹(New Zealand Guidelines Group)이 참여한 협력체(collaborative)를 통해 개발되었습니다. 이 전략은 질병 부담이 크고 효과적인 치료법이 존재하기 때문에 국가적 우선순위로 선정되었으며, 의료 전문가와 환자 기반 집단의 의견을 반영했습니다. 특히, 관련 증거를 검토한 이해관계자들은 뉴질랜드에서 가장 건강 상태가 열악한 집단인 마오리족(Maoris)의 심혈관 위험을 줄여야 한다는 필요성을 강조했습니다.


갭을 어떻게 측정할 수 있을까?

니즈 평가(Needs assessment)현재의 지식, 기술, 태도, 행동 및 결과와 바람직한 상태 간의 크기와 특성을 파악하는 과정입니다. 어떤 전략을 사용할지는 평가 목적, 데이터 유형, 가용 자원에 따라 달라집니다. 니즈는 다음과 같은 방식으로 분류될 수 있습니다¹⁸:

  • Felt needs: 사람들이 스스로 필요하다고 말하는 것
  • Expressed needs: 사람들이 실제로 행하는 것
  • Normative needs: 전문가들이 필요하다고 판단하는 것
  • Comparative needs: 집단 간 비교를 통한 필요

이러한 니즈는 인구 집단(population), 제공 기관(provider organization), 보건의료 제공자(health care provider)의 관점에서 검토할 수 있으며, 객관적(objective) 또는 주관적(subjective)으로 측정할 수 있습니다(Table 1 참조)¹⁹.


인구 수준에서의 접근 (At the population level)

인구 수준에서는 역학(epidemiological) 데이터를 활용하여 인구 기반의 니즈를 평가할 수 있습니다. 이는 객관적인 측정 도구입니다. 또한, 행정 데이터베이스(administrative databases) 또는 청구 데이터베이스(claims databases)의료 서비스를 제공하고 상환하는 과정에서 생성되는 정보로 구성됩니다²⁰.

 

일반적으로 이러한 데이터베이스는 진단 정보(예: ICD-10-CM), 시술 정보, 검사 결과, 청구 정보, 일부 인구통계 정보 등을 포함합니다. 대표적인 예로는 온타리오 보건부(Ontario Ministry of Health and Long-term Care)가 제공하는 지역 데이터베이스²¹부터, 미국의 Medicare Provision and Analyses Review Files와 같은 국가 데이터베이스²²가 있습니다. 이런 데이터는 예컨대 당뇨병 환자의 심혈관 위험요소 치료 부족²³, 노인 환자의 벤조디아제핀 과다 사용²⁴ 등을 파악하는 데 사용되어 왔습니다.

 

그러나 이러한 데이터베이스에는 몇 가지 한계점이 존재합니다.

  1. 원래 연구 목적이 아니라 행정 목적으로 만들어졌기 때문에, 질병의 중증도(severity) 같은 갭 분석에 유용한 정보가 누락되어 있을 수 있습니다²⁵.
  2. 코드화(coding)가 누락될 수 있으며, 코드가 있는 사건만 추적 가능합니다²⁰.
  3. 전체 인구를 포괄하지 않을 수 있습니다. 예를 들어 Medicare 파일은 65세 이상 고령자, 일부 장애인, 말기 신부전 환자만 포함됩니다.

임상 데이터베이스의 활용 (Clinical databases)

임상 데이터베이스(clinical databases)도 갭 분석에 활용될 수 있습니다. 이는 예를 들어 대장내시경(colonoscopy) 시술자나 대장암 환자 등 특정 시술이나 진단을 받은 환자들을 등록한 레지스트리(registries)입니다.

 

영국의 사례로는 다음이 있습니다:

  • National Cardiac Surgical Database: 심장 수술 환자 정보를 포함
  • National Vascular Database: 복부 대동맥류 수술, 경동맥 내막절제술, 하지 우회로 수술 등을 시행한 외과의 정보 포함²⁰

이러한 레지스트리는 행정 데이터베이스보다 더 많은 부진단(secondary diagnoses)이나 동반질환(comorbidities) 정보를 포함하고 있어 보완적으로 활용될 수 있습니다. 때때로 임상 데이터베이스와 행정 데이터베이스를 결합하여 보다 정밀한 갭 분석이 가능합니다²⁶. 그러나 일부 연구에서는 이 두 데이터베이스 간의 일치도가 낮다는 결과도 있습니다²⁷. 또한 정보의 정확성에 대한 한계도 존재합니다.


뉴질랜드의 사례에서는, 일차진료기관이 사용하는 전자 건강 기록(electronic health record)에서 데이터를 얻을 수 있었습니다. 이를 통해 연구자들은 다음 정보를 파악할 수 있었습니다:

  • 환자 기록 중 심혈관 위험 요인이 문서화된 비율²⁸
  • 환자들이 스타틴(statin), 항혈소판제(antiplatelet agents), 항고혈압제(antihypertensive medications)를 처방받은 비율¹⁰

하지만 이 데이터베이스는 모든 혈관질환 위험군 환자를 포함하지는 않았습니다.


조직 수준에서의 접근 (At the organizational level)

조직 수준의 니즈 평가는 병원이나 진료소 단위에서 수행될 수 있습니다. 많은 국가에서 병원은 감염 통제, 사망률, 신체 억제(restraint)의 사용 등에 대한 정보를 수집할 것을 인증기관(accreditation bodies)—예: 미국의 Joint Commission on the Accreditation of Health Care Organizations—으로부터 요구받습니다²⁹. 이러한 정보 출처는 갭(gap)에 대한 정보 수집에 활용될 수 있습니다.

 

병원 및 지역사회 진료 환경에서 전자 건강 기록(computerized health care records)의 사용이 증가하면서, 이러한 도구들은 갭 평가를 위한 데이터 추출에 활용될 수 있습니다³⁰. 예를 들어, 기록 검토(chart audit)표준화된 사전 기준에 따라 건강 기록을 검토하고 평가하는 방법으로 사용될 수 있습니다. 진단 검사 시행 여부나 적절한 치료의 사용 등과 같은 결과 지표(outcomes)를 기준으로 합니다.

 

이상적으로는, 검토 기준은 해당 질 지표(quality indicator)에 대해 타당한 근거(valid evidence)에 기반해야 하며, 혈압 또는 혈당이 목표 수준에 도달했는지와 같은 객관적인 지표(objective measures)를 포함해야 합니다. 기초 측정을 수행할 때 사용할 수 있는 접근법은 Box 2에 제시되어 있습니다.


의료 제공자 수준에서의 접근 (At the care-provider level)

의료 제공자 수준에서는 다양한 전략을 통해 니즈 평가를 수행할 수 있습니다. 대표적으로 다음과 같은 방법들이 있습니다:

  • 차트 감사(chart audits)
  • 관찰(observation)
  • 역량 평가(assessment of competency)
  • 성찰 기반 학습(reflective practice)

의료 제공자의 수행을 직접 관찰하려면, 표준화 환자(standardized patients)를 활용하거나, 또는 환자와 상호작용하는 장면을 비디오로 녹화하여 평가할 수 있습니다³¹,³². 마찬가지로, 지식 기반 설문조사를 포함한 역량 평가(competency assessment)도 수행할 수 있습니다. 예를 들어, 미국 내과학회(American Board of Internal Medicine)의 자격 요건으로 수행되는 설문지, 혹은 임상 시나리오(clinical vignettes) 기반 평가 등이 있습니다³³.

 

또한, 임상의들이 자신의 임상 경험을 기반으로 학습 기회를 반성(reflective practice)하거나, 임상 경험으로부터 학습 필요를 식별하고 기록하는 포트폴리오(portfolio)를 작성하는 방식도 있습니다³⁴. 하지만 이러한 주관적 평가 방법은 실제 수행(actual practice)과 같은 보다 객관적인 측정 수단에 비해 정확도가 떨어질 수 있습니다.

 

예를 들어, 어떤 약물을 처방했는지와 같은 실제 수행보다 정확한 니즈 파악 방법일 수 있습니다. 왜냐하면, 임상의들은 자신이 이미 알고 있는 주제에 집중해서 교육을 받으려는 경향이 있고, 자신이 부족한 영역은 피하는 경향이 있기 때문입니다³⁵. 이러한 이유로 인해, 설문조사, 면담, 포커스 그룹(focus groups) 등이 니즈 평가에 도움을 줄 수는 있지만, 이들은 주관적 방법이며 실제 임상 수행에서의 갭을 정확히 반영하지 못할 수 있습니다.

 

왜 갭(gap)은 존재하는가?

갭을 식별하기 위한 한 가지 방법은 진료 감사(audit)를 수행하는 것입니다. 그러나 주의할 점은, 실행상의 간극(practice gap)을 근거로 임상의에게 책임을 전가하기는 쉽지만, 실제로 근거와 실행 사이의 간극(evidence-to-action gap)은 대개 시스템 수준의 문제(system-related issues)를 반영하며, 단순히 의료 제공자의 수행(performance)만을 반영하는 것이 아니라는 점입니다. 이러한 이유로, 단순히 실행 격차의 증거만으로 판단할 것이 아니라, "왜 이러한 간극이 발생하는가?"라는 질문에 집중할 필요가 있습니다.

 

Van de Ven은 인간 행동에 대해 이미 우리가 알고 있는 사실을 과소평가한다고 지적합니다³⁶. 그는 특히 사람들은 비일상적 업무(nonroutine tasks)에 주의를 기울이기 어려워한다는 점을 강조합니다. 또한 대부분의 사람들은 복잡한 문제를 처리하거나 복잡한 정보를 기억하는 데 어려움을 느끼지만, 반복적인 작업(routine tasks)에는 매우 효율적인 처리자가 됩니다³⁷. 반복적인 작업을 한 번 숙달하고 나면, 우리는 그 작업에 집중하지 않게 됩니다. 예를 들어 입원 시 의무기록(admission order)을 작성하는 행위와 같은 반복 업무는 무의식적인 기억(subconscious memory)에 저장되어, 의식적인 주의는 다른 업무에 분산되게 됩니다. 이로 인해 사람들이 가장 자주 수행하는 일일수록, 오히려 그 일을 가장 적게 의식하게 되는 결과가 나타납니다. 만약 우리가 이러한 작업의 영향을 평가할 수 있는 수단을 갖고 있지 않다면, 실행과 근거 간의 간극은 쉽게 발생할 수 있습니다.

 

March와 Simon은 다음과 같이 설명합니다. 현재 상황에 대한 불만족(dissatisfaction)은 개선된 조건을 찾도록 자극하지만, 만족스러운 결과에 도달하면 탐색을 멈추게 된다는 것입니다³⁸. 따라서 갭에 대한 논의를 할 때는 단순한 수치나 자료뿐만 아니라, 관련 개인들의 경험 및 변화에 대한 선호(preference)를 함께 고려해야 합니다. 우리가 어떤 변화를 이뤘을 때 그 변화가 우리 자신의 업무에 대한 신념(belief)에 부합하며, 그 변화를 성공적으로 완수했다고 느끼면 만족감을 얻게 됩니다³⁹.

 

근거(evidence)와 의사결정(decision-making) 간의 간극은 다양한 이유로 발생합니다. 예를 들어, 의사가 진료지침을 실제로 실행하는 데 방해가 되는 요인들을 검토한 한 연구에서는 무려 250개 이상의 장벽(barriers)이 식별되었습니다⁴⁰. 이러한 장벽은 다음과 같이 매우 다양할 수 있습니다:

  • 혈관 위험 평가를 위한 설비 부족과 같은 시스템적 요인(system-related issues)
  • 관련 근거에 대한 인식 부족(lack of awareness)과 같은 개인적 요인(individual factors)

이러한 지식 채택(knowledge uptake)을 방해하는 장벽들에 대한 평가는 본 시리즈의 다음 기사에서 다루어질 예정입니다.


갭 식별 자체의 갭(gaps in gap identification)

앞으로의 연구에서 탐색되어야 할 영역 중 하나는, 데이터가 실제 진료의 간극을 식별하고, 진료 변화의 모니터링 및 새로운 진료 방식의 도입을 어떻게 신뢰성 있고 타당성 있게 유도할 수 있는지를 검증하는 것입니다. 우리는 또한 현장의 팀들이 보다 높은 자율성과 자기주도성(self-direction)을 가지고 일상적인 문제를 감시(vigilance)할 수 있도록 지원하는 방법에 대해 더 많이 이해할 필요가 있습니다.

 

그리고 무엇보다도, 보건의료 시스템 내에서 지식에서 실행으로 이행되는 간극(gaps from knowledge to action)을 식별하는 방법에 대한 명확한 이해가 요구됩니다⁴¹.


진료 상의 간극을 식별하는 것은 지식 실행(implementation of knowledge)을 위한 출발점입니다. 본 시리즈의 다음 글에서는 지식을 지역 맥락에 적응시키는 방법, 그리고 지식 실행의 장벽과 촉진 요인을 이해하는 방법에 대해 다룰 예정입니다.

 

 

 

 

1. 인구 수준에서의 갭 측정 (Measuring the gap at the population level)

● 행정 데이터베이스 (Administrative database)

  • 예시: 65세 이상 환자에게 건강보험 제공자가 제공한 약물 처방 정보를 담은 청구 데이터베이스. 스타틴(statins), 항혈소판제(antiplatelet agents), 항고혈압제(antihypertensive medications) 처방을 평가하는 데 사용할 수 있음.
  • 장점:
    • 객관적 측정(objective measures)이 가능함
    • 대규모 인구 기반 데이터베이스라는 장점
  • 단점:
    • 모든 임상 정보를 포함하지 않을 수 있음
    • 코딩이 불완전할 수 있음
    • 코드가 존재하는 사건만 파악 가능
    • 전체 인구를 포함하지 않을 수 있음

● 임상 데이터베이스 (Clinical database)

  • 예시: 관상동맥 우회 수술(coronary artery bypass graft)을 받은 모든 환자의 정보를 담은 데이터베이스. 시술 정보(시기, 장소), 추적 방문(follow-up), 혈관 위험 평가, 스타틴과 항혈소판제 및 항고혈압제 사용 여부 등이 포함될 수 있음.
  • 장점:
    • 객관적 측정이 가능
    • 행정 데이터베이스와 함께 사용할 수 있음
  • 단점:
    • 다양한 출처(병원, 클리닉 등)로부터의 보고에 의존하기 때문에 정보 정확도가 낮을 수 있음
    • 필요한 정보(예: 처방약물 등)가 누락될 수 있음

2. 조직 수준에서의 갭 측정 (Measuring the gap at the organizational level)

● 차트 감사 (Chart audit)

  • 예시: 종이 기반 진료 기록지 또는 전자 건강 기록을 사용하여 심혈관 위험 문서화, 생활습관 관련 조언, 고위험 환자에 대한 권장 치료 관리 등을 식별함.
  • 장점:
    • 진단, 동반질환(comorbidities), 혈압·혈당 등의 과정 지표(process measures), 약물 관련 정보 등을 제공할 수 있음
    • 전자 건강 기록은 특히 약물 및 진단검사 정보에 대한 데이터 수집을 용이하게 함
  • 단점:
    • 정보가 불완전할 수 있음
    • 종이 기반 차트에서는 내용이 잘 읽히지 않거나 누락될 수 있음
    • (종이 차트의 경우) 차트 감사를 수행하는 데 시간이 많이 소요됨

3. 의료 제공자 수준에서의 갭 측정 (Measuring the gap at the care-provider level)

● 차트 감사 (Chart audit)

  • 예시: 위 조직 수준과 동일 – 진료 기록을 사용하여 심혈관 위험 관련 문서화 및 생활습관 조언 여부 등 확인
  • 장점/단점: 위 내용과 동일

● 직접 관찰 (Direct observation)

  • 예시: 표준화 환자와의 대화 장면을 클리닉에서 영상으로 녹화하여, 심혈관 위험 평가 및 관리를 다룬 상호작용을 관찰
  • 장점:
    • 객관적인 평가 가능
  • 단점:
    • 자원 소모가 큼 (인력·시간 필요)
    • 다양한 행동 및 실제 진료 상황을 모두 포착하지 못할 수 있음

● 역량 평가 (Competency assessment)

  • 예시: 재인증 과정의 일부로 실시되는 객관식 시험. 심혈관 위험 평가 및 감소에 대한 지식 기반 문항 포함. 경우에 따라 구술시험(oral examination)처럼 주관적일 수도 있음.
  • 장점:
    • 객관식 시험 등은 객관적 평가 가능
    • 구술시험 등 주관적 평가도 가능
  • 단점:
    • 실제 진료 행위를 반드시 반영하지는 않을 수 있음
    • 자원 집약적임

● 성찰 기반 학습 (Reflective practice)

  • 예시: 임상의가 심혈관 질환 위험 환자를 돌보는 동안 나타나는 임상적 질문을 기록하는 학습 기반 일지 사용
  • 장점:
    • 학습자가 자신의 필요를 직접 식별할 수 있음
  • 단점:
    • 학습자의 필요를 정확하게 반영하지 못할 수 있음

필요하시면 이 표 내용을 슬라이드나 블로그 게시물 형태로 재구성해드릴 수도 있습니다. 원하는 형식을 말씀해 주세요.

 

 

Acad Med2015 Apr;90(4):518-24.  doi: 10.1097/ACM.0000000000000590.

Affordances of knowledge translation in medical education: a qualitative exploration of empirical knowledge use among medical educators

 

 

 

📚 실증적 지식, 왜 의학교육에서 잘 안 쓰일까?

— 어포던스 관점에서 본 캐나다 의학교육자 15인의 이야기


🔍 이 연구, 뭐에 대한 걸까?

우리는 “연구는 넘치는데, 왜 교육 현장에서는 잘 안 써먹을까?”라는 질문을 종종 하게 됩니다.
이 논문은 캐나다 의과대학의 의학교육자 15명을 인터뷰하면서, 실증적 지식(empirical knowledge)이 교육 현장에서 실제로 어떻게 받아들여지고 활용되는지를 파헤친 연구예요.

 

연구진은 어포던스(affordance)라는 개념을 활용했는데요, 쉽게 말하면 "환경이 사람의 행동을 얼마나 도와주거나 방해하느냐"를 나타내는 심리학 개념이에요. 이 논문에서는 이를 실행 가능성의 연속선(enablement gradient)으로 설명합니다.

“Our research is a novel examination of the processes of knowledge translation within medical education.”
“본 연구는 의학교육 내 지식전달 과정에 대한 새로운 탐색이다.”


⚖️ 어포던스란 도대체 뭘까?

논문에서는 어포던스를 세 가지 수준으로 나눠요:

  • Facilitating affordance (촉진적 어포던스): → 실천을 적극적으로 돕는 환경 요인
  • ⚠️ Constraining affordance (제약적 어포던스): → 실천을 부분적으로 방해하는 환경 요인
  • Inhibiting affordance (억제적 어포던스): → 실천을 완전히 막아버리는 환경 요인

이 개념을 바탕으로, 연구진은 의학교육자들이 실증 지식을 쓰지 못하는 이유쓰게 만드는 요인을 추적했어요.


❌ 실증 지식을 막는 요인들 (Constraining & Inhibiting)

1. 📉 낮은 연구 질과 가용성 부족

참여자들은 의학교육 연구의 질이 낮거나 현실 적용이 어렵다고 느꼈어요.
“이건 너무 상식적인 얘기야”라고 느껴지는 연구도 많았다고요.

“A lot of … research evidence in medical education, for the most part, has been descriptive…”
“의학교육 연구의 대부분은 기술적인 수준에 머물러 있고, 실제 교수법이 무엇이 더 효과적인지를 말해주는 경우는 드물다.”

2. 🕰️ 시간도, 여유도 없다

업무 과부하(work overload)는 여전히 큰 문제입니다.
강의, 학생지도, 커리큘럼 관리, 임상 업무까지 병행하다 보면 교육 연구는 뒷전이 될 수밖에 없어요.

“I do think that I don’t have enough time to really think critically about evidence…”
“근거에 대해 비판적으로 생각할 시간이 없어요…”

3. 🧍 동료 교수의 변화 저항

“20년간 이렇게 해왔는데, 왜 바꿔야 해?”라는 반응이 여전히 많다고 합니다.

“They just sat back and said, no. We’ve been doing this, this way, for 20 years…”
“그들은 단지 앉아서 ‘우린 20년간 이렇게 해왔고, 바꿀 이유가 없다’고 했어요.”


✅ 실증 지식을 촉진하는 요인들 (Facilitating Affordances)

1. 🧑‍🏫 교수역량개발(Faculty Development)의 힘

참여자들은 교수역량개발 프로그램을 통해 연구와 교육의 간극을 줄이고 있었습니다.

“Faculty development programs are well situated as knowledge brokers…”
“교수역량개발 프로그램은 지식 브로커로서, 연구자와 실천가를 연결할 수 있는 위치에 있다.”

 

특히 리더십 개발 프로그램이 동료와 학생을 실증 지식으로 설득하는 데 유용했다고 해요.

2. 🤝 동료의 추천(Peer Recommendation)

의외로 많은 교육자들이 “동료가 보내준 논문”을 통해 새로운 연구를 접하곤 했습니다.

“I got an article sent to me by a colleague … it was a phenomenal article.”
“동료가 보내준 논문이 있었는데, 정말 훌륭한 글이었어요.”

3. 🧪 실증 지식의 공동 창출

가장 강력한 어포던스는 바로, 직접 연구에 참여하는 것이었어요. 이럴 경우엔 실증 지식을 교육에 즉시 반영할 수 있었죠.

“We do medical education research and we use some of those findings to develop our curriculum.”
“우리는 교육 연구를 수행하고 있고, 그 결과를 교육과정 개발에 직접 활용하고 있어요.”


🔁 그래서 우리는 어떻게 해야 할까?

연구자들은 이렇게 말합니다:

“Developing effective knowledge translation strategies necessitates careful assessment of environmental factors…”
“효과적인 지식전달 전략을 위해서는, 지식 활용을 가능하게 하거나 억제하는 환경 요인을 세심하게 분석해야 한다.”

  • 실증 지식이 현장에서 잘 쓰이게 하려면?
    • 🧭 교수역량개발을 활성화하고
    • 🧑‍🤝‍🧑 동료 네트워크를 활용하며
    • 🧪 현장 교수자들을 연구에 적극 참여시켜야 합니다

결국, 연구와 실천 커뮤니티가 협력하고, 그걸 제도적으로 뒷받침해주는 환경이 있어야
실증 지식은 '논문 속 정보'가 아니라, '교육 속 변화'로 이어질 수 있어요.


✍️ 마무리하며

이 논문은 단순히 "왜 연구가 교육에 안 쓰일까?"라는 질문을 넘어서,
어떻게 하면 교육자들이 실증 지식을 자발적으로, 효과적으로 사용할 수 있을지를 구조적으로 설명해줍니다.

“결국, 어포던스란 환경이 사람에게 무엇을 허용하고, 무엇을 막는가에 대한 이야기”라는 점,
이 문장을 여러분의 교육 현장에도 한 번 적용해보시면 어떨까요?

 


의학교육 연구는 다양한 학문 분야의 성과를 수용하여 방대한 실증적 지식 체계를 구축해왔다. 교육자와 연구자 모두 이러한 연구가 실제 교육 현장과 어떻게 상호작용하는지를 되짚어보고, 의학교육 내에서의 지식전달(knowledge translation) 과정의 현황을 점검할 필요가 있다. 임상 영역에서는 연구가 의사결정과 실행을 위해 종합되고, 교환되며, 전파되는 역동적인 과정으로서의 지식전달에 대한 이해가 꾸준히 발전해왔다¹⁻³. 그러나 의학교육에서는 여전히 지식전달에 대해 알려진 바가 매우 적다.

 

실제로, 연구와 실제 사이의 간극이 존재하며, 널리 사용되는 교육 방법이 반드시 실증적 데이터에 의해 뒷받침되고 있지는 않다는 우려가 존재한다⁴⁻⁸. 교육 연구자, 교육자, 정책 입안자들은 이 간극의 원인에 대해 다양한 추측을 해왔다. 일부 연구자들은 교육자들이 과학적 정보를 효과적으로 수용하지 못하거나, 연구 결과의 함의를 이해할 역량이 부족하다고 주장하는 반면⁸, 교육자들은 실증 연구가 실제 환경에서 접근하기 어렵거나 적용 가능성이 낮다고 반박한다⁶,⁸,⁹.

 

지식전달에 관한 담론에서는 연구와 실제 간의 불일치를 초래하는 요소들지식-실천 주기(Knowledge-to-Action, KTA) 사이클에서의 장애 요인(barriers)으로 본다¹⁰. 순환 구조를 갖는 KTA 모델은 지식이 창출되어 실제에 적용되기까지의 일련의 과정을 설명한다. 이 모델은 지식 창출(knowledge creation)을 사이클의 중심에 두며, 생성된 지식은 임상 지침(clinical guidelines)과 같은 지식 산물로 변환된 후, 실천에 적용되기 위한 행동 사이클(action cycle)로 투입된다¹¹. 이 모델은 지식전달을 방해하거나 촉진하는 요소들이 지식 창출과는 다소 외재적(external)인 것으로 간주하며, 이러한 요소들은 실천가나 지식 사용자(knowledge user)의 영역에 존재하는 것으로 본다. 그러나 KTA 사이클의 여러 단계에서 맥락적 요소가 실증 지식의 사용과 어떻게 상호작용하는지에 대한 이해는 거의 이루어지지 않았다.

 

본 연구의 목적은 의학교육자의 환경적 특성 중 실증적 지식의 활용을 촉진하거나 제약하거나 억제할 수 있는 요인을 확인하고 분석하는 것이었다. 이를 위해 우리는 “어포던스(affordances)”라는 개념적 틀을 채택하였다. 이 개념은 지각 심리학에서 유래하였으며, 직장 기반 학습(workplace learning) 문헌에서 널리 사용되어 왔다¹²⁻¹⁴. 어포던스는 개인과 그가 속한 환경 간의 상호작용에 주목하며, 개인이 인지하는 학습 또는 실천 환경의 특성이 특정 행동(예: 실증 지식의 사용)에 어떤 영향을 미치는지를 설명한다¹³. 어포던스는 물리적, 정보적, 사회적 특성이 될 수 있으며, 특정 행동과 목표의 실행 가능성을 기준으로 촉진(facilitating) – 제약(constraining) – 억제(inhibiting)에 이르는 “실행 가능성의 연속체(enablement gradient)”상에 위치할 수 있다¹⁵. 이 틀은 환경이 개인의 행동에 미치는 영향을 심리학적으로 분석하는 강력한 방법이며, 우리는 어포던스가 KTA 사이클의 모든 단계—지식 창출에서부터 지식 실행에 이르기까지—에 걸쳐 존재할 수 있다고 주장한다. 본 연구에서는 의학교육자들이 실증적 지식을 사용하는 데 있어 작용하는 어포던스를 확인하고 기술하는 것을 목표로 하였다.

 


방법 (Method)

이 연구는 2012년에 수행되었으며, 토론토대학교 연구윤리위원회로부터 윤리적 승인을 받았다.

참여자 (Participants)

의도적 표집 전략(purposive sampling strategy)을 활용하여, 캐나다의 한 의과대학의 학부 의학교육(undergraduate medical education) 과정에서 활동 중인 교수진을 모집하였다. 먼저, 해당 대학의 행정 문서를 검토하여, 기초(preclinical) 및 임상(clinical) 과정 전반에서 교육 리더십 역할을 수행하고 있으며, 학부 교육과정 개발 및 강의에 활발히 참여 중인 교수들을 확인하였다. 이러한 기준에 부합하는 43명의 교수에게 이메일을 통해 연구 참여를 요청하였고, 그 중 21명(49%)이 응답하였다. 우리는 의학교육 경험 연수와 정규 교육 훈련 여부의 다양성을 고려하여 응답자들을 선별하였고, 자료의 포화(saturation)가 도달할 때까지 참여자를 모집하였다.

 

최종적으로 연구에 참여한 15명의 교수(여성 10명, 남성 5명)는 기초의학 교육과정(8명)과 임상실습 교육과정(7명)을 담당하고 있었으며, 14명은 임상 교수(clinical faculty)였고 1명은 비임상 교수(nonclinical faculty)였다. 이들은 의학교육 분야에서 1년에서 36년까지(평균 15.93년) 근무한 경력이 있었으며, 5명은 교육학 석사 과정 또는 정규 교육 연구 프로그램을 이수한 반면, 나머지 10명은 정규 교육 훈련을 받은 경험이 없었다.

자료 수집 (Data Collection)

한 명의 연구자(B.O.)가 반구조화 면담(semistructured interviews)을 통해 개별적으로 자료를 수집하였다. 이를 위해, 참여자들이 교육 실천(예: 교육과정 개발, 강의, 평가 등)에 있어 의존하는 지식의 출처에 대해 유도적이지 않은 질문으로 구성된 면담 가이드(인터뷰 질문지)를 설계하였다(부록 1 참고). 후속 질문은 참여자들이 실증적 지식(empirical knowledge)을 실제로 참조했는지를 명확히 하고, 그 과정에서 증거 탐색 및 활용을 촉진하거나 제약하는 환경 요인들(affordances)에 대한 논의를 유도하였다. B.O.는 해당 가이드를 활용하여 참여자들과 반구조화된 인터뷰를 수행하였으며, 면담은 최소 20분에서 최대 65분(평균 45분) 동안 진행되었다.

분석 접근 및 자료 분석 (Analytic Approach and Data Analysis)

우리는 비판적 실재론(critical realism)에 입각하여 연구를 수행하였으며¹⁶,¹⁷, 주제 분석(thematic analysis)¹⁸,¹⁹을 통해 자료의 패턴을 확인, 분석, 보고하였다. 비판적 실재론은 지식 생산에 내재된 주관성을 인정하면서도, 사회적 행위자의 인지와 감정을 실제 존재하는 현상으로 간주한다¹⁶,¹⁷. 이러한 분석 접근은 준연역적(quasi-deductive) 방식으로 자료에 접근할 수 있도록 하여 이론적 깊이(theoretical depth)를 더할 수 있게 한다¹⁹. 본 연구는 일반화 가능한 주장을 목표로 하지 않으며, 의학교육에서 지식전달 프로세스와 관련된 핵심 쟁점을 도출하고 가설을 형성하여 향후 더 큰 표본이나 다양한 방법론을 적용한 연구에서 검증될 수 있는 기반을 제공하는 것에 목적을 두었다.

 

모든 면담은 음성 녹음 후 문자 그대로 전사(transcription)되었으며, 자료 관리 도구로는 NVivo Version 9(QSR International, 호주 멜버른)를 사용하였다. 분석 방법은 Braun과 Clarke가 제시한 주제 분석 절차를 따랐으며¹⁸, 코딩은 어포던스 이론(affordances framework)에 기반하여 진행되었다. 구체적으로는, 참여자들이 실증적 지식을 탐색하고 활용하는 데 있어, 이를 촉진하거나 제약하거나 억제한다고 인식한 환경의 물리적, 사회적, 정보적 특성을 중심으로 전사 자료를 코딩하였다. 이후 코딩된 자료 추출물(data extracts)을 다양한 방식으로 모아 예비 주제(preliminary themes)를 도출하였다. 분석 결과의 신뢰도(confirmability)는 여러 면담에서 동일한 주제가 반복적으로 등장한 것에 의해 뒷받침되었으며, 15개의 면담을 분석한 후 주제의 포화(saturation)에 도달하였다.


결과 (Results)

본 연구의 참여자들은 의학교육과 관련된 실증적 지식(empirical knowledge)과 간헐적으로만 접촉하고 있다고 보고하였다. 다수의 교수들은 교육 실천을 설계하거나 실행할 때 연구 근거를 적극적으로 탐색하지 않으며, 대신 자신의 경험, 과거의 관행, 조직 내 축적된 지식에 의존하고 있었다. 표 1(List 1)은 참여자들이 실증적 지식과의 접촉을 제약하거나 촉진한다고 인식한 환경적 요인들을 요약한 것이다. 이후의 섹션에서는, 이러한 주제(theme)를 가장 생생하고 대표적으로 보여주는 인터뷰 발췌문을 소개한다.

 

제약적 혹은 억제적인 어포던스 (Constraining and Inhibiting Affordances)

참여 교수들은 실증적 지식을 사용할 능력이나 의지를 제한하는 여러 요인들을 보고하였다. 이들 제약적(또는 억제적) 어포던스는 지식 생성(예: 근거의 부재)부터 지식 실행(예: 변화에 대한 교수진의 저항)까지, KTA 사이클의 다양한 단계에서 작용하고 있었다.

 

근거의 질과 가용성 부족 (Poor quality and availability of evidence)

 

참여자들은 의학교육 관련 실증적 지식이 제대로 존재하지 않거나, 품질이 낮거나, 실제 교육 실천에 영향을 줄 만큼 강력하지 않다고 인식하였다. 일부는 이용 가능한 문헌의 질이 떨어지기 때문에, 어떤 교수법이 효과적인지를 명확히 제시해주지 못한다고 비판하였다.

“의학교육 분야에서의 많은 연구들은 대부분 기술적(descriptive)이고, 평가 중심(evaluation-oriented)이에요. 실제 교수법 중에서 ‘어떤 방식이 더 효과적인가’에 대한 명확한 근거는 별로 없어요.”

 

또한 일부 참여자들은, 임상 지식과 달리, 의학교육의 일부 연구(예: 피드백 제공과 같은 ‘소프트 스킬’ 관련 주제)는 상식적인 수준(common sense)에 그친다고 판단하며, 실질적인 변화로 이어지기 어렵다고 여겼다.

“시간을 어디에 투자할지를 신중히 생각해야 하거든요.… 임상 중심 저널은 실제로 제 임상 진료에 변화를 줘요. 그런데 교육 관련 저널은 읽고 나면 ‘내가 이미 대부분 하고 있는 내용이네’ 싶은 게 많아요. 새롭거나 혁신적인 게 별로 없어요.

 

이러한 근거의 질에 대한 인식은, 특히 임상연구와는 다른 인식론적 전통(epistemological tradition)에 따라 수행된 교육 연구를 해석하는 데 어려움을 겪은 경험에서 기인하기도 했다. 실제로 일부 교수들은 정량적 근거(quantitative evidence)에 익숙한 자신들이 정성적 근거(qualitative evidence)를 이해하고 수용하는 데 도전이 있었다고 인정하였다.

“저는 대부분의 근거에 대한 훈련이 정량적이고, 임상연구를 기반으로 이루어졌어요. 그래서 제 사고의 근간이 거기에 맞춰져 있고, 그게 제가 믿는 틀이죠.… 우리가 고전적으로 배운 건, 정성적 근거는 단지 탐색적이고(hypothesis-generating), 결론이 아니며(final answer), 그래서 저는 여전히 그 패러다임에 갇혀 있고, 더 많이 배우고, 더 많은 사례를 봐야 할 것 같아요. 정성적 연구가 그 이상이 될 수 있을지 지켜봐야 한다고 생각해요.

 

또한 다수의 참여자들은 자신이 담당하는 특정 교육 분야에 적합한 실증적 지식이 부족하다고 아쉬움을 토로하였다.

부적절한 지식 전달 방식 (Inadequate Knowledge Delivery Approaches)

대부분의 면담에서 실증적 지식을 전달하는 현재 방식이 매우 부적절하다는 점이 반복적으로 언급되었다. 참여자들은, 교육자들이 쉽게 접근할 수 있도록 요약되고 간결하게 제공되는 방식으로 실증적 지식이 전달되기를 기대하였다.

“저는 보통 이미 잘 소화되고(synthesized), 정리된 형태의 자료를 찾으려고 해요.… ‘교사 핸드북’이라는 책이 있잖아요. 그건 정말 좋은 아이디어고 훌륭한 자료이긴 해요. 하지만 그런 두꺼운 책은 부담스럽고, 실제로는 별로 안 쓰게 돼요.

 

일부 교수는 의학교육 분야의 지식 전달 방식이, 임상 연구 분야에서 보이는 효율적인 방식에 비해 많이 뒤처져 있다고 지적하였다.

“임상 문헌에는 정기적인 근거 업데이트 전통이 있어요. 예를 들어, 어떤 질병의 치료법에 대해서는 매년 근거를 종합한 리뷰 논문이 나오죠. 그런데 의학교육 분야에는 그런 게 없어요. ‘강의법의 효과’ 같은 주제에 대해 매년 리뷰 논문이 나오는 일이 없죠.


업무 및 역할 과부하 (Work and Role Overload)

참여자들의 인터뷰 내용 중 상당 부분은 그들이 교육적 역할을 수행하는 조직적 맥락과 근무 환경에 대한 반영이었다. 이들은 의학교육 교수의 역할이 지나치게 높은 업무 요구(job demands)를 동반한다고 설명하였다. 많은 교육 책임자들은 강의, 학생 지도, 교육과정 관리, 행정 업무다양한 역할을 동시에 수행하고 있었으며, 임상 교수(clinical faculty)의 경우에는 여기에 더해 임상 진료 업무도 병행해야 했다. 대부분의 참여자들은 할당된 근무 시간 내에 기본적인 업무조차도 수행하기 어렵다고 느꼈으며, 이는 보장된 시간(protected time)이 주어진 경우에도 마찬가지였다. 그 결과, 실증적 지식을 탐색하는 데 시간을 할애하는 것이 현실적으로 불가능하다고 보고하였다.

“근거에 대해 비판적으로 사고할 충분한 시간이 없다고 생각해요. 회의 주재, 교육과정 작성, 학생 문제 대응 등으로 바빠서… 그러다 보니 그런 활동이 제게 원하는 만큼 높은 우선순위를 갖지 못하죠.

 

이러한 과부하의 영향은 업무가 개인의 사적 영역으로 침범하게 된다는 점에서 더욱 심각해졌다. 일과 삶의 균형(work–life balance)이 최적화되지 못한 상태에 대한 보고는 매우 일반적이었고, 많은 참여자들이 개인 시간을 업무가 잠식하고 있다는 점을 토로하였다.

“사람들은 우리가 임상의라는 걸 자꾸 잊어요. 의학교육에 쏟을 수 있는 시간이 제한적하다는 걸 말이죠.… 결국 이 일은 우리의 개인 시간을 삼켜버릴 수밖에 없어요. 기대되는 일의 양이 너무 많아서, 교육 연구를 따로 읽을 시간이라도 만들자면? 하루 중엔 시간이 없어요.”

 

업무 및 역할 과부하로 인해 자율적으로 사용할 수 있는 시간(discretionary time)이 사라지면서, 많은 교육자들에게 있어 실증적 지식과의 접촉은 사실상 완전히 억제되는 수준이었다. 교육 근거를 탐색하는 일은 '역할 외 행동(extra-role behavior)', 즉 공식적인 역할로 규정되지는 않지만 조직의 목표 달성에 기여하는 자발적 활동으로 밀려났고, 그런 활동을 수행할 실제적인 시간은 존재하지 않았다.²⁰

변화에 대한 교수들의 저항 (Faculty Resistance to Change)

참여자들은 또한, 동료 교수들이 기존의 교육 방식을 바꾸려 하지 않기 때문에, 실증적 지식을 활용할 수 없었다고 진술하였다. 이러한 태도는 새로운 아이디어나 교육 방식이 교육과정에 도입되거나 통합될 가능성 자체를 제한하고 있었다.

“뭔가 새로운 걸 시도하려 할 때 저항이 정말 많아요. 제가 최근에 한 수업에서는 특정 교수법의 유용성에 대해 조사했어요. 관련 문헌을 전부 찾아보고 정말 많은 걸 알아냈죠. 그래서 ‘이 방식 바꿔보자’고 생각하고 위원회에 제안했는데… 정말 혹독하게 반대에 부딪혔어요. 그들은 20년 동안 이 방식대로 해왔고, 바꾸고 싶지 않다고만 했죠. 새로운 아이디어를 가져온 사람을 보면 ‘아, 일이 또 늘겠군’이라고 느끼는 것 같아요. 그래서 그냥 거부해버리는 거예요.

 

참여자들은 이러한 저항의 원인을 이미 과중한 업무에 또 다른 부담이 추가될 것이라는 인식 때문이라고 설명하였다. 또한, 학생들로부터 높은 평가를 받고 있는 기존 수업에 대해 교수들이 변화를 시도할 동기를 느끼지 못하는 점도 주요 요인으로 지적되었다.

“진짜 어려운 건, 교육과정에 관련된 모든 사람들이 당신이 제안하는 변화에 동의하도록 만드는 거예요. 많은 사람들은 이렇게 생각하죠. ‘망가지지 않은 걸 왜 고치려고 하지? 우리는 지금 학생들한테 좋은 평가를 받고 있는데, 굳이 바꿀 이유가 없잖아.’”

 

재정 및 인력 자원의 제약 (Financial and Staff Resource Limitations)

참여자들은 원하는 교육 프로그램을 실행하기 위해 필요한 자원을 확보하는 데 어려움을 겪고 있었다. 이러한 자원 제약은 적절한 인력을 확보하기 어려운 상황과도 관련되어 있었다.

무언가를 하려는 사람을 찾기가 어려워요. 도움을 요청하다 보면 점점 좌절감이 커지죠. 저는 [특정 교육 프로그램]을 수년간 시도했는데, 아무도 도와줄 사람이 없었어요.… 누군가에게 학술적인 기회를 제공하려고 했지만, 그조차도 찾을 수 없었어요.

 

또한, 혁신적인 교육 방식을 구현하려는 아이디어자금 부족으로 인해 실행되지 못하는 경우도 많았다.

돈이나 공간이 더 있었다면 고칠 수 있는 게 정말 많아요.… 더 창의적이고 혁신적인 접근을 시도할 수 있었을 텐데요.… 학생들이 학습에 유용하게 활용할 수 있는 장비나 도구도 더 많이 구비할 수 있었겠죠.”

 

학생들의 변화 저항 (Students’ Resistance to Change)

 

일부 참여자들은 실증적 근거에 기반한 교육 방법을 성공적으로 도입하려면 학생들의 수용성이 필수적이라고 강조하였다. 그러나 학생들이 새로운 교수법, 특히 자기주도성이 요구되는 방식에 대해 저항할 경우, 교수자들은 실제 수업에 이를 도입하는 데 큰 어려움을 겪게 된다.

“자기주도학습(self-direction)을 시도할 때마다 학생들이 반발해요. 그들은 명확한 강의계획서, 시험 범위, 예상 문제 같은 걸 원하죠. 한때 PBL이 유행할 때, 정말 유용하다는 논거도 많았고 저희도 도입했어요.… 그런데 막상 해보니까, 학생들은 그냥 케이스만 빨리 훑고, 답만 찾고, 빨리 끝내버리려고 하더라고요.


촉진적 어포던스 (Facilitating Affordances)

참여자들은 의학교육에서 실증적 근거를 탐색하고 적용할 수 있도록 도와주는 요인들도 보고하였다. 이러한 촉진적 어포던스(facilitating affordances)는 KTA 사이클의 전 과정—즉, 지식 생성(local knowledge creation)부터 접근성 확보 및 실행(peer use and uptake)에 이르기까지—다양한 단계에서 작동하고 있었다.

교수역량개발(Faculty Development)

일부 참여자들은 새로운 연구 결과를 교육과정에 통합하기 위한 방향성을 얻기 위해, 교수역량개발 프로그램에 의존하고 있었다.

“교수역량개발(faculty development)이 있으면 [실증적 교육연구 자료]를 사용하게 돼요. 그런 가이드 없이 혼자서는 잘 안 쓰게 되죠.

 

또한 여러 참여자들은 이러한 프로그램을 통해 교육 관련 연구를 이해하고 논의에 참여하는 능력을 향상시킬 수 있었다고 밝혔다.

“처음에 교수로 들어갔을 때는 몰랐어요. 근데 나중에 보니까, 다들 교육 관련 실질적인 훈련을 받고 있더라고요. 저는 그런 걸 받은 적이 없어서 ‘이러다 뒤처지겠구나’ 싶었죠. 교육에 대해 대화하거나 연구를 이해하는 데 자신이 없었어요. 그래서 [교수개발 프로그램]에 참여한 거예요.”

동료의 추천 (Peer Recommendations)

동료로부터 받은 연구 논문이나 자료의 추천은 또 하나의 주요한 지식 탐색 촉진 요인으로 작용하였다. 여러 참여자들은 동료가 추천하거나 직접 집필한 실증 연구를 참고하게 되었다고 응답하였다.

“가끔 정말 좋은 연구가 제가 모르는 저널에 실려 있어요. 어느 날 동료가 어떤 저널에서 새로운 평가 방법을 검증한 탁월한 논문을 하나 보내줬는데, 정말 인상 깊었어요.”

“저는 [의학교육 연구 논문]을 가끔 읽어요. 솔직히 말하면, 동료가 ‘이거 한 번 읽어봐’ 하고 보내주면 그때 읽죠.”

지식 창출에의 지역적 참여 (Local Involvement in Knowledge Creation)

자신의 소속 조직 내에서 직접 의학교육 연구에 참여하고 있는 교수자들, 자신들이 얻은 연구 결과를 실제 교육과정에 활용하고 있다고 보고하였다.

“저희는 의학교육 연구를 직접 수행하고 있어요. 그리고 그 결과 중 일부는 교육과정 개발에 활용하고 있죠. 지금도 그걸 진행 중이고요. 우리가 수행한 연구 결과를 기반으로 교육을 설계하고 있는 셈이에요.”

 


논의 (Discussion)

본 연구는 의학교육 내 지식전달(knowledge translation) 과정에 대한 새로운 탐색으로, 어포던스 모델(affordances model)을 활용하여 의학교육자들이 실증적 지식을 교육 실천에 적용하는 데 있어, 환경이 제약 요인으로 작용하거나 촉진 요인으로 작용하는 방식을 규명하였다. 이러한 결과는 환경적 및 맥락적 요소들이 근거 기반 실천(evidence-based practice)에 영향을 미친다는 기존의 주장을 실증적으로 뒷받침한다²¹,²². 따라서 의학교육에서 실증적 지식의 활용을 효과적으로 촉진하기 위해서는, 이러한 어포던스에 대한 주의가 반드시 필요하다.

 

본 연구의 결과는 지식전달의 전 과정, 즉 지식 생성(creation)부터 지식 실행(implementation)에 이르기까지 여러 단계에 걸쳐 시사점을 제공한다. 지식 생성과 관련하여, 일부 의학교육자들은 의학교육 연구의 엄밀성(rigor)과 가치(value)에 대한 우려를 표했다. 이 중 일부는 연구 설계와 실행의 미흡함과 관련되어 있으며, 또 일부는 교육 실천과 직접적으로 연관된 영역에서 신뢰할 수 있는 실증적 지식이 부족하다는 인식과 연결되어 있다. 실제로 교육 활동을 평가하는 데 있어 견고한 실증적 연구설계를 적용한 연구는 드물다고 보고된 바 있으며²³, 이러한 인식은 기존 연구가 실천적인 문제에 명확한 해답을 제공하지 못한다고 느끼는 이유 중 하나일 수 있다.

 

여기서 중요한 점은, 임상 연구와 교육 연구 사이의 인식론적 전통(epistemological traditions)의 차이가 근거의 질에 대한 긴장(tension)의 근원이 될 수 있다는 것이다. 임상 연구에서는 실험적 통제(experimental control)가 핵심이지만, 교육 연구에서는 맥락(context), 문화(culture), 학습자의 특성 등 다양한 요인이 중첩되기 때문에 그러한 통제는 실현 불가능하거나 바람직하지 않을 수 있다. 교육 중재(educational intervention)는 이러한 요인들에 크게 영향을 받기 때문이다. 이러한 차이점은 의학교육자들에게 익숙하지 않은 방식으로 연구와 실천을 해석하고 통합할 필요가 있음을 의미한다.

 

하지만 이러한 인식론적 긴장이 지식의 공유와 교환을 방해하는 요인이 되어서는 안 된다. 임상 연구에서와 마찬가지로, 가장 신뢰할 수 있는 실증적 지식을 맥락에 맞는 형태로 정리하고 전달 가능한 도구(예: 지침서, 가이드라인 등)로 재구성하려는 노력이 필요하다²⁴. 이를 통해 광범위한 청중에게 효과적으로 전달할 수 있는 지식 기반이 마련될 수 있다.

 

또한, 지식이 성공적으로 생성되었다 하더라도, 제도적 및 조직적 제약이 지식의 활용과 실행을 방해할 수 있다. 교수자들이 겪는 높은 업무 강도(high job demands)는 실증적 지식을 탐색하고 통합할 수 있는 시간을 거의 허락하지 않는다. 기관 차원의 지원 부족은 실증적 지식 활용을 우선순위가 낮은 ‘역할 외 활동(extra-role behavior)’으로 전락시키며, 가용 자원은 일상 운영에 필수적인 활동에 집중되는 경향이 있다.

 

이러한 제약을 완화하기 위해, 의과대학 및 학술 의료체계(academic health systems)는 재정적 자원과 함께, 임상 교수들을 위한 보호 시간(protected time)행정적 지원(administrative support)관련된 구조적 지원을 제공해야 한다. 이러한 기관의 지원은 새로운 교육 프로그램에 대한 교수진의 저항을 완화시키는 데 기여할 수 있다.

 

또한 주목할 점은, 변화에 대한 저항(resistance to change)의학교육에서 실증 근거를 통합하려 할 때 요구되는 집단적 의사결정 과정에 의해 더욱 심화될 수 있다는 점이다. 임상 현장에서는 실증적 지식이 개인의 의사결정에 직접적으로 영향을 미치는 경우가 많지만, 의학교육에서는 교육위원회(educational committees)와 같은 집단 환경에서 교육과정 변경에 대한 의사결정이 이루어지며, 이 과정에서는 복잡한 집단 역학, 다양한 의견 차, 이해 충돌을 조율해야 한다. 이러한 의사결정권자들과의 효과적인 협업 실패는 실증적 지식의 활용을 제약하거나 억제할 수 있는 요인으로 작용할 수 있다.


촉진적 어포던스의 시사점

본 연구에서 확인된 촉진적 어포던스(facilitating affordances)는 지식전달 전략(knowledge translation strategies)의 성공 가능성을 높이기 위해 활용 가능한 요인들을 조명한다. 예를 들어, 교수역량개발(faculty development)은 실증적 지식 사용을 장려할 수 있을 뿐만 아니라, 해당 지식에 접근할 수 있는 주요 경로(key point of access)로 기능할 수 있다. 실제로, 교수역량개발 프로그램은 지식 브로커(knowledge broker)의 역할을 수행함으로써, 의학교육 연구자와 실천가 간의 간극을 연결하는 데 적합한 위치에 있다.

 

효과적인 지식 브로커는 연구자와 최종 사용자 집단의 복잡한 문화를 모두 이해하고, 두 집단 사이에서 지식 이전을 촉진할 수 있는 영향력을 행사할 수 있는 인물이어야 한다²⁵⁻²⁷. 이들은 실천 현장에서 연구를 활용하는 역량 구축(capacity building)과 기술 훈련(skills training)을 통해 연구 기반 실천(research-in-practice)을 실현하는 데에도 기여할 수 있다²⁸. 특히 교수역량개발자는 자신들의 서비스를 이용하는 의학교육자들의 실증 지식에 대한 수요를 파악하고, 그 요구에 맞는 전략을 수립할 수 있는 독특한 위치에 있다²⁹. 이 중에서도 리더십 개발을 포함한 교수역량개발 프로그램은, 교수자들이 학생 및 동료들과의 협업을 통해 실증 지식 활용을 촉진하는 데 있어 더욱 중요한 역할을 할 수 있다.

 

동료(peer)가 실증적 지식의 전파 통로(conduit)로 작용한다는 본 연구의 결과는, 지원적 직장 관계(supportive workplace relationships)가 지식전달에 얼마나 중요한지를 잘 보여준다. 실제로, 관계를 기반으로 한 지식 공유는 지식이전 전략 중 매우 강력한 수단으로 간주된다²⁶,²⁷. 보건 전문가들은 출판된 문헌을 찾기보다는, 전문가로 인식되는 동료에게 자문을 구하는 경향이 있다³⁰. 따라서 커뮤니티 오브 프랙티스(community of practice)³¹와 같은 직장 내 관계를 활용한 전략은 실증 지식의 사용을 증진하는 데 있어 큰 잠재력을 지닌다.

 

또한, 지역적 차원에서 실증 연구에 참여하는 것(local involvement in empirical research)은 지식탐구(knowledge inquiry)의 과정과 관련해 매우 흥미로운 시사점을 갖는다. 기존 문헌에서는 지식전달이 잘 이루어지지 않는 원인 중 하나로, 연구자와 실천가 사이의 분리(separation)가 지목되어 왔다²⁸,³². 반대로, 연구자와 실천가 간의 상호적 관계(reciprocal relationship)는 실천으로 효과적으로 전이될 수 있는 실증 지식을 생성할 수 있다³³.

 

의학교육자들이 자신들의 전문 영역과 관련된 실증 지식의 창출 과정에 직접 참여하는 것은, 지식전달을 성공적으로 달성하기 위한 핵심 전략이 될 수 있다. 이에 대해 캐나다 보건연구원(Canadian Institutes of Health Research)은 연구자와 실천가가 연구질문, 방법론, 활용 방식에 공동으로 참여하는 ‘통합 지식전달(integrated knowledge translation)’이라는 접근법을 제시한 바 있다¹¹,³⁴. 이 접근은 연구자와 실천가/교육자 간의 협력 학습 그룹(collaborative learning group)을 개발하는 활동을 포함하며, 이는 양방향 지식 교류(bidirectional knowledge exchange)를 촉진하고, 실증 지식의 탐색 및 활용 모두에 기여할 수 있는 매우 유용한 방법이다.


향후 연구 방향 (Future Directions)

향후 연구에서는, 제약적 어포던스의 부정적 영향을 완화하고, 촉진적 어포던스를 활용하여 실증 지식전달을 강화하는 다양한 전략들의 효과를 조사할 수 있을 것이다. 또한, 본 연구의 결과를 토대로, 의학교육자들이 실증 지식을 통합할 때 영향을 미치는 맥락 요인(contextual factors)을 다양한 방법론으로 탐색할 수 있으며, 이 내용을 바탕으로 보다 광범위한 지역적·국제적 이해를 위한 대규모 설문조사를 개발하는 것도 가능하다.


강점과 한계 (Strengths and Limitations)

현재까지 알려진 바로는, 본 연구는 의학교육자들이 실증적 근거와 어떻게 상호작용하는지를 탐색한 최초의 연구이다. 비록 본 연구가 결과의 일반화를 목표로 하지는 않았지만, 향후 다른 지역 및 기관을 포함한 후속 연구를 통해 전이 가능성(transferability)을 확장할 수 있을 것이다. 다만, 개별 교수자들이 보고한 실천 환경의 특성은 반드시 그들의 물리적·사회적 현실을 정확히 반영한다고 보기 어렵다는 점은 주의해야 한다. 그럼에도 불구하고, 어포던스 개념적 틀은 ‘개인의 인식(perception)’이 실제 행동에 미치는 영향력을 강조함으로써, 이러한 한계를 이론적으로 보완한다.


결론 (Conclusion)

본 연구는 업무 강도가 높은 의학교육 환경 내에서 실증적 지식 사용을 장려하는 데 수반되는 도전과제들을 조명하였다. 효과적인 지식전달 전략을 수립하기 위해서는, 실증 지식의 활용을 가능하게 하거나, 제약하거나, 억제하는 환경 요인을 세심하게 분석해야 한다. 실제로, 풍부하고 촉진적인 기회를 제공받는 의학교육자일수록 실증적 지식을 더 자주 탐색하고, 실행하며, 그 가치를 인정하는 경향이 있다. 궁극적으로, 의학교육에서 연구와 실천의 간극을 해소하는 유일한 방법은, 연구자와 실천가 커뮤니티가 협력하고, 이를 지지하는 제도적 환경을 구축하는 것이다.

 

 

 

 

다음은 표의 내용을 충실하게 번역한 것입니다. 표 형식을 벗어나 자연스럽게 설명된 형태로 제공해 드립니다.


어포던스의 개념적 정의: 실행 가능성의 연속선(Enablement Gradient)을 중심으로

(2012년 캐나다 한 의과대학 소속 의학교육자 15명을 대상으로 한 질적 연구에서 사용된 분류)

어포던스는 개인이 어떤 활동을 수행할 때, 그 활동이 이루어지는 맥락(context) 속에서 기술과 의지를 얼마나 발휘할 수 있도록 해주는지에 따라 다음 세 가지 범주로 나눌 수 있습니다.

  1. 촉진적 어포던스 (Facilitating affordances)
    → 개인이 특정 맥락 내에서 최적의 수행을 위해 자신의 기술과/또는 의지(volition)를 적극적으로 발휘할 수 있도록 자원을 제공하는 상태를 말합니다.
  2. 제약적 어포던스 (Constraining affordances)
    → 특정 맥락 내에서 개인이 자신의 기술이나 의지를 충분히 발휘하지 못하게 제한함으로써, 활동 수행이 부분적으로만 이루어지거나 비최적화된 결과를 초래하는 상태입니다.
  3. 억제적 어포던스 (Inhibiting affordances)
    → 개인이 해당 맥락 내에서 아예 활동을 멈추거나 교착 상태에 빠지게 하여, 기술이나 의지의 최소한의 발휘조차 차단하는 상태를 의미합니다.

주석:

‘실행 가능성의 연속선(enablement gradient)’은 실행을 적극적으로 촉진하고 자원이 풍부한 상태(facilitating)부터, 완전히 억제되거나 자원이 결핍된 상태(inhibiting)까지 이르는 스펙트럼을 의미합니다.
출처: Cronshaw SF, Ong PY, Chappell DB. Workers’ adaptation enables work functioning. Psychol Rep. 2007;100:1043–1064.


이 내용을 발표 자료, 수업 자료 또는 블로그 콘텐츠로 재구성하는 것도 도와드릴 수 있습니다. 필요하신가요?

 

Acad Med2024 Apr 1;99(4S Suppl 1):S14-S20.  doi: 10.1097/ACM.0000000000005601. Epub 2024 Jan 29.

Precision Education: The Future of Lifelong Learning in Medicine

 

 

🎯 정밀 교육(Precision Education): 의학교육의 미래를 설계하다

평생학습을 위한 데이터 기반 교육 혁신

 

🩺 최근 Academic Medicine에 실린 한 논문에서는, 의학교육 전반을 혁신할 수 있는 ‘정밀 교육(Precision Education, PE)’ 개념이 소개되었어요. 이 글에서는 복잡해지는 의료 환경 속에서, 의사를 어떻게 더 잘 준비시킬 수 있을까?, 평생학습은 어떤 방식으로 설계되어야 할까?에 대한 흥미로운 해답을 제시합니다.


💡 정밀 교육(PE)이란?

정밀 교육이란 간단히 말하면, 개인 맞춤형 학습을 실현하기 위해 데이터와 기술을 활용하는 시스템이에요. 연구진은 다음과 같이 정의하고 있어요.

“We define PE as a system that uses data and technology to transform lifelong learning by improving personalization, efficiency, and agency at the individual, program, organization, or health system levels.”
우리는 정밀 교육(PE)을, 데이터와 기술을 통해 평생학습을 혁신하는 시스템으로 정의한다. 이 시스템은 개인, 프로그램, 조직, 또는 보건의료 체계 수준에서 개인화, 효율성, 학습자의 주체성을 향상시킨다.

 

즉, 학습자 개개인의 경험, 목표, 실력을 기반으로 더 잘 맞는 개입과 피드백을 제공하고, 이를 통해 더 나은 환자 진료 성과(patient outcomes)로 이어지게 하는 거예요.


🔄 정밀 교육 시스템은 이렇게 작동해요!

정밀 교육 시스템은 다음과 같은 4단계 순환 구조로 설명됩니다:

  1. 입력(Input) – 학습자에 대한 다양한 데이터 (예: 시험 점수, 임상 경험, 진로 목표 등)
  2. 통찰(Insight) – 데이터를 분석해 도출한 의미 있는 정보
  3. 개입(Intervention) – 학습자 맞춤형 학습 기회 제공 (예: 필요 역량에 따라 콘텐츠 자동 제공)
  4. 성과(Outcome) – 학습 효과와 진료 역량 향상

이 순환은 계속 반복되며, 그 과정에서 교육 프로그램 전체가 점점 더 똑똑하게 학습하고 조정해 나가요.

“These insights inform interventions that incorporate learning and assessment. These interventions, in turn, create outputs from which adjustments are made and new inputs are generated, renewing the cycle.”
이러한 통찰은 학습과 평가가 포함된 개입으로 이어진다. 이러한 개입은 성과를 창출하고, 이는 다시 조정을 거쳐 새로운 입력으로 전환되며, 이 사이클은 계속해서 순환된다.


⚖️ 정밀 교육이 지켜야 할 3가지 원칙

연구진은 PE 시스템이 갖춰야 할 핵심 원칙 3가지도 제시해요:

① 형평성(Equity)

데이터가 특정 집단에 불리하게 작용하지 않도록, 프라이버시, 대표성, 접근성 등을 고려해 설계해야 해요. 특히 구조적 인종차별(structural racism)이나 편향(bias)을 걸러내는 기능도 강조됩니다.

“PE systems will enable aggregation of multisource data, which would help educational programs identify and mitigate trends resulting from structural racism and other ingrained harmful biases.”
PE 시스템은 다양한 출처의 데이터를 통합하여, 구조적 인종차별 및 내재된 해로운 편향에서 비롯된 경향성을 식별하고 완화할 수 있도록 돕는다.

② 학습자의 주체성(Learner Agency)

학습자가 단순한 수동적 존재가 아니라, 자기 주도적으로 학습을 설계하고 관리할 수 있도록 지원해야 해요.

“Equitable assessments and learning opportunities that are relevant, meaningful, and personalized could empower learners and organizations and promote a productive culture of learning.”
관련성 있고, 의미 있으며, 개인화된 공정한 평가와 학습 기회는 학습자와 조직의 권한을 강화하고, 생산적인 학습 문화를 조성할 수 있다.

③ 업무 흐름과의 조화(Workflow Harmonization)

학습은 임상과 따로 떨어진 활동이 아니라, 임상 속에서 자연스럽게 이뤄져야 한다는 거예요. 이를 위해 자동화된 평가, 경량화된 데이터 수집 방식이 필요해요.

“Assessments and learning opportunities must be harmonized in clinical workflow.”
평가와 학습 기회는 임상 업무 흐름 안에서 조화롭게 작동해야 한다.


📊 데이터 흐름이 핵심이에요

PE 시스템은 기관 간, 플랫폼 간 데이터가 잘 흐를 수 있는 구조(interoperability)를 필요로 해요. 지금은 EHR, LMS, NBME, AAMC 등 기관마다 데이터를 따로따로 가지고 있어요. 이를 공통 표준으로 연결하는 작업이 절실하죠.

“Without principles and standards, we foresee serious negative consequences... Innovations will accelerate, but they will be in a limited number of silos.”
원칙과 표준이 없다면, 우리는 심각한 부작용을 맞게 될 것이다. 혁신은 빨라지겠지만, 소수의 고립된 영역에서만 이뤄질 것이다.


🔭 앞으로 우리가 해야 할 일

연구진은 정밀 교육의 확산을 위해 다음과 같은 4단계 전략을 제안해요:

  1. 국가 차원의 표준화 작업
  2. 정밀 교육에 대한 연구와 이론 통합
  3. 공공·민간 차원의 실증 프로젝트 추진
  4. 정밀 교육 실천 공동체(People of Practice) 육성

그리고 이렇게 말합니다:

“We believe the future of medical education should and will operate on PE systems.”
우리는 의학교육의 미래가 PE 시스템을 기반으로 작동해야 하며, 실제로 그렇게 될 것이라 믿는다.


🧭 마무리하며

이 논문은 단순히 하나의 혁신적 개념을 제안한 것이 아니라, 의학교육 시스템 전반을 바꿀 수 있는 구조적 접근을 보여줍니다. 특히 한국처럼 입시·평가·의료가 분절되어 있는 구조에서는, 이런 데이터 기반의 유기적 교육 시스템 논의가 더욱 중요할지도 모르겠습니다.


의학교육의 목표는 다양한 환자 집단과 지역사회에 고품질의 진료를 제공할 수 있는 다양한 배경의 의사 인력을 양성하는 것이다. 이러한 목표를 달성하기 위해서는, 지속적이고 체계적인 학습, 평가, 피드백 시스템이 필요하다. 이는 의사들이 폭발적으로 증가하는 의학 지식과 복잡해지는 진료 환경을 효과적으로 관리할 수 있도록 하기 위함이다. 그러나 평생학습의 결함과 비효율성, 그리고 의사들이 역량을 안정적으로 달성하지 못하는 현실은 현재의 의학교육 시스템이 이러한 목표를 달성하지 못하고 있음을 보여준다¹⁻². 실제로 본 특별호(supplement)에 실린 Schumacher 등의 논문은, 의학교육 평가의 다음 시대를 맞이하며 우리가 왜 평가하는가(why we assess)”라는 근본적 질문, 즉 “고품질이면서 형평성 있는 진료를 보장하기 위해” 라는 본래 목적에 주목할 것을 제안한다³.

 

우리는 이러한 전환을 위해 정밀 교육(Precision Education, PE) 시스템이 필수적이라고 본다. 정밀 교육은 현재의 의학교육을 보다 효과적으로, 그리고 공정하게 진료할 수 있는 의사를 양성하는 방향으로 혁신하고 전환하기 위한 모델로서 기능할 수 있다.

 

우리는 정밀 교육(PE)을 다음과 같이 정의한다: 데이터와 기술을 활용하여 개인, 프로그램, 조직, 혹은 보건 시스템 수준에서 평생학습을 개인화하고, 효율성을 높이며, 학습자의 주체성을 강화하는 시스템. 궁극적으로, PE 시스템은 학습의 효과를 높임으로써 환자 진료 결과 향상(patient outcomes)으로 이어질 수 있을 것으로 본다.

 

우리는 이 PE 개념 모델을, 계획(planning), 학습(learning), 평가(assessing), 조정(adjusting)이라는 지속적 성장(cycle of continuous development)의 과정을 거치는 Master Adaptive Learner 모델에서 발전시켜 도입하였다⁴⁻⁵. 이는 개인 학습자 수준에서의 PE 모델을 기반으로 한 것이다 (Figure 1 참고).

 

PE 시스템의 핵심 특징은, 데이터와 학습 분석(learning analytics)을 통해 개인, 프로그램, 조직의 지속적인 발전 순환(cycle of development)을 가능하게 하고 촉진한다는 점이다⁶⁻⁷. 풍부한 데이터와 정교한 분석이 결합된 PE 시스템은 평생학습을 개인화하며, 학습에 참여하는 개인이나 조직에게 주체적 학습 권한(agency)을 이전할 수 있도록 한다. 우리는 이러한 학습자 중심의 권한 이양이 궁극적으로는 개인, 프로그램, 조직 수준에서의 적응적 전문성(adaptive expertise)을 뒷받침할 수 있는 문화적 전환을 촉진할 것이라 본다.

 

이 글에서는,

  • 의학에서 정밀 교육 시스템의 개념적 틀을 제시하고,
  • 이를 뒷받침하는 핵심 속성들을 설명하며,
  • 향후 개발을 위한 다음 단계를 제안하고자 한다.

정밀 교육(Precision Education, PE) 개념적 프레임워크

전문가 합의 기반의 절차를 통해, 우리는 PE 시스템을 위한 개념적 모델을 개발하였다. 이 모델은 의학교육의 영향을 받는 학습자, 수련 후 진료 중인 의사, 보건 시스템, 환자, 지역사회 전체를 포괄하며, 이들이 직면한 모든 가능한 데이터 자원을 적극 활용하는 데 중점을 둔다. PE 시스템은 4가지 핵심 구성 요소투입(input), 통찰(insight), 개입(intervention), 결과(outcome)—로 구성되며, 이들을 분석(analytics), 계획(planning), 학습과 평가(learning and assessing), 조정(adjusting)의 과정이 상호 연결한다 (Figure 1 참고).

 

이 모델은 개인 학습자 수준(micro level), 의과대학 또는 수련 프로그램과 같은 교육 프로그램 수준(meso level), 기관, 보건 시스템, 국가 수준(macro level) 등 다양한 층위에서 적용 가능하다⁸. 의학교육과 관련된 모든 당사자는 이러한 각 층위에서 다양한 데이터셋과 분석 접근법을 통해 PE 시스템으로부터 가치를 도출할 수 있다.


분석을 통한 투입(input)에서 통찰(insight)로의 전환

PE 순환 과정에서 투입(inputs)은 학습자나 참여자가 해당 교육 과정에 몰입하는 동안 수집 가능한 다양한 데이터 요소들을 의미한다. 예를 들어,

  • 의과대학생의 경우 다음과 같은 요소들이 해당된다: 개인 정보, 시험 점수, 임상실습 평가, 임상 및 비임상 경험, 관심 분야, 진로 목표 등.
  • 전공의나 수련을 마친 의사의 경우, 추가적으로 전문적 경험, 태도, 기술, 목표, 환자 진료 지표, ACGME 역량 이정표(ACGME milestones), 전문의 시험 점수 등이 포함된다.

 

교육 프로그램 단위에서는, 지원자, 등록생, 졸업생에 관한 서술적 데이터 및 교육성과 자료들이 포함되며, 환자안전 및 질 향상과 관련된 보건 시스템의 핵심 데이터도 포함될 수 있다. 보건 시스템 조직 차원에서는 인구 및 인력 데이터 등이 해당된다. 또한 현재는 교육적 피드백이나 평가 목적으로 활용되지 않는 기존 데이터(“found data”), 예컨대 처방 행태, 질 향상 지표, 전자의무기록(EHR) 메타데이터 등이 PE 시스템에 투입 데이터로 활용될 수 있다. 이는 개인부터 시스템 수준에 이르기까지 광범위하게 적용된다.

 

개인, 프로그램, 조직은 이러한 투입 데이터를 분석함으로써, 의도한 수행(performance)과 관련된 다양한 영역에서 의미 있고, 유익하며, 구체적이고 시의적절한 통찰(insights)을 도출할 수 있다. 개인 수준에서는, 지식, 기술, 경험, 태도, 역량 기대 수준, 장기적 목표에서의 격차나 성취 등이 해당될 수 있다.

 

  • 예를 들어, 뉴욕대학교(NYU) Grossman School of Medicine에서는 자교 수련 프로그램에 매칭된 의과대학생들을 위해 PE 시스템을 활용하고 있다⁹⁻¹¹. 이 시스템은 임상실습에서 수집된 상세 데이터—진료한 환자의 유형, 관리한 질환, 수행한 역량 평가—를 자기평가, 기대되는 역량, 인턴십 기간 중의 경험 다양성 기대치연계하여 분석한다¹². 교수진은 이 분석을 통해 학생 개개인의 발달 요구를 파악할 수 있다. 프로그램 또는 조직 차원에서는, 전공분야, 환자 집단, 의료 인력, 지역사회가 요구하는 필요와 프로그램의 집단 수준 성과 간의 정렬 상태 혹은 격차가 PE 시스템을 통해 의미 있는 통찰로 도출되며, 이는 프로그램 개선 및 시스템 수준의 변화로 이어질 수 있다.
  • 또 다른 예로, 존스홉킨스대학(Johns Hopkins University)의 내과 전공의 프로그램에서는 Graduate Medical Education Laboratory(GEL)라는 PE 기반 프로그램을 운영 중이다. 이 시스템은 실시간 위치 추적 기술과 EHR 사용 데이터를 활용하여, 전공의들이 병원에서 어느 부서에서 시간을 보냈는지, 그리고 환자 곁에 머문 시간이 얼마였는지 등의 임상 워크플로우와 행동 패턴을 파악한다⁹. 이 프로그램은 전공의의 행동과 임상 활동에 대해 점점 더 풍부한 데이터를 제공하고 있다. 교수진은 이 시스템에서 도출된 통찰을 활용하여 학습과 성과가 적절히 정렬되어 있는지를 확인하고, 역량과 지식, 수행 능력의 확보 여부를 평가할 수 있다.

이러한 투입-to-분석-to-통찰의 과정은 프로그램 수준(meso) 또는 조직 수준(macro)에서도 마찬가지로 적용 가능하다. 본 특별호에서 Richardson과 동료들은, 대규모 데이터셋을 분석하여 프로그램 및 전공과 수준의 통찰을 도출한 여러 사례들을 설명하고 있다¹³.


계획(Planning)을 통해 통찰(Insights)에서 개입(Interventions)으로 나아가기

분석을 통해 얻은 통찰(insights)이 정의되면, 교육자는 이를 활용하여 개인 발달, 프로그램 개선, 조직 및 조직 문화 조정을 위한 관련성 높고 개인화된 개입(interventions) 계획을 수립할 수 있다. 학습자 역시 이러한 통찰을 바탕으로, 자신의 발달을 촉진할 수 있는 맞춤형 학습 기회(learning opportunities)를 스스로 계획할 수 있다.

 

이러한 개입은 예를 들어, 나쁜 소식 전달법(giving bad news), 외상 기반 언어 사용법(trauma-informed language)특정 기술, 행동, 태도의 개발을 포함할 수 있다. 앞서 언급한 NYU의 PE 시스템 사례를 적용해 보면, 만약 한 학생이 급성 보상실패 심부전(acute decompensated heart failure) 환자를 처음으로 입원시키는 상황이고, 해당 학생이 이 질환에 대한 충분한 임상 노출 경험이 없는 것으로 시스템이 인식한다면, 시스템은 진단과 진찰의 기본 내용을 담은 just-in-time 온라인 학습 콘텐츠를 즉시 제공할 수 있다.

 

이처럼 단기적 개입뿐만 아니라 장기적 개입도 가능하다. 예컨대, Anesthesia Research Group on Education Technology라는 8개 대학의 다기관 협업 프로젝트에서는, 전공의의 마취과 관련 지식, 기술, 경험에 대한 통찰을 도출하기 위해 EHR 내 여러 필드(진료기록, 청구코드 등)를 분석하고 있다⁹. 이 통찰은 모바일 애플리케이션을 통해 전공의에게 전달되며, 전문의 자격 인증기관의 기준을 느슨하게 반영한 학습자 데이터 모델에 따라 해당 전공의의 예상 임상 경험의 폭(clinical breadth)과 연결된다. 이처럼 제공된 통찰을 통해 학습자는 향후 임상 경험을 능동적으로 조절 및 계획할 수 있으며, 경험의 격차(gaps in experience)를 메우기 위한 개인화된 발달 전략을 세울 수 있다.

 

프로그램 수준에서는, 교육자가 집단의 경험에서 도출된 유사한 통찰을 종합하여, 특정 질병이나 시술에 대한 코호트 차원의 노출 격차(cohort gaps)를 식별할 수 있고, 이로 인해 로테이션이나 학습 경험을 조정할 수 있다. 또한, 프로그램 차원에서의 통찰은 수련생 간 학습 기회에 대한 불평등 접근(inequitable access)을 식별할 수 있으며, 이에 대한 개입 조치를 도입할 수도 있다.

 

조직 수준에서도, 조직은 핵심 기능이나 조직 문화를 변화시키기 위해 적절한 개입 전략을 결정할 수 있다. 예컨대, 지역사회 건강성과(community health outcomes)에 대한 통찰을, 졸업생의 개인 특성, 진로, 진료 지역 선택 등의 데이터와 결합함으로써, 다음과 같은 개입을 계획할 수 있다:

  • 학생 또는 수련생 선발 전략의 수정
  • 원격 학습 장소(remote learning sites)에 대한 정책 결정
  • 자원(resource), 훈련(training), 지역사회 참여 활동(community engagement)의 확보 혹은 변화

무엇보다 중요한 것은, 학습 개입의 개인화(personalization of learning interventions)가 형평성(equity)과 역량 개발(competency development)을 동시에 증진시킬 수 있어야 한다는 점이다. 기존의 일률적 접근 방식(one-size-fits-all)과 상대적으로 융통성 없는 의대 및 수련 프로그램의 구조는, 학습자의 다양한 요구와 선호 방식을 고려한 효과적인 교육 설계를 어렵게 만들어 왔다. 예를 들어, PE 시스템은 시각 중심 학습에 덜 의존하는 교육 개입을 제공함으로써, 시각장애 학생(blind student)을 위한 능력주의(ableism) 문화를 개선하는 데 기여할 수 있다.


학습(Learning)과 평가(Assessing)를 통해 개입(Interventions)에서 성과(Outcomes)로 나아가기

목표 지향적 개입에의 몰입과 효과적인 코칭이 병행될 때, 학습은 촉진되며, 그 결과는 평가(assessment)를 통해 포착될 수 있다. PE 시스템에서는 교육자가 평가를 효과적으로 설계, 시행, 수집하고 활용할 수 있어야 한다¹². 이 과정은 지속적 개선의 순환이며, 이는 목적에 적합한(fit for purpose) 평가에 의존한다. 다시 말해, 평가 방법론은 타당도 증거(validity evidence)에 기반하여 구축되어야 하며, 신뢰할 수 있고(trustworthy), 공정하며(equitable), 실행 가능하고(feasible), 확장 가능해야(scalable) 한다.

 

교육자는 가능한 한 지속적으로 평가를 수행해야 하며, 이를 위해 임상 및 학습 환경에서 수집되는 풍부한 데이터를 활용한 즉각적인 피드백(just-in-time feedback)을 제공해야 한다. 중요한 점은, 이러한 평가가 단순히 학습 결과를 넘어, 실제 임상의 성과와도 연결되어야 한다는 것이다¹⁴.

 

Schumacher 외 연구진이 '평가의 다음 시대(The next era of assessment)'에서 설명했듯이, 평가란 기존 및 새로운 데이터를 활용하여 형성적(formative)·총괄적(summative) 피드백을 제공함으로써, 수련생의 학습 성과가 고품질이며 형평성 있는 진료 성과로 이어질 수 있도록 보장하는 역할을 해야 한다¹⁴. 이러한 목적 없이 운영되는 PE 시스템은 단순히 데이터 저장소(data warehouse)에 그치고, 의미 있는 교육 성과 엔진(outcomes engine)으로 작동하지 못할 위험이 있다.

 

예를 들어, 신시내티대학교(University of Cincinnati)에서는 다기관 팀이 협력하여 전공의 민감 품질지표(resident-sensitive quality measures, RSQM)를 측정하는 PE 시스템을 개발 중이다⁹. 팀이 직면한 주요 과제 중 하나는, 팀 기반 진료(team-based care)가 일반화된 전공의 교육(GME) 환경에서, 특정 수련생의 진료 기여도를 어떻게 추적하고 귀속시킬 것인가 하는 점이다. PE 시스템은 전자 의무기록(EHR) 데이터를 활용하여 환자와 인턴을 연계함으로써 이러한 귀속 측정을 가능하게 한다¹⁴⁻¹⁵. 이 시스템은 대시보드(dashboard)코칭과 결합하여 수행 능력 향상을 도모할 수 있다. 이 순환 과정은 입원(admission)이 이루어질 때마다 반복 가능하며, 매끄럽게 수집되는 풍부한 데이터를 바탕으로 성과를 지속적으로 측정할 수 있다.

 

하지만 PE 시스템을 구축할 때는 주의가 필요하다. 평가에는 평가자가 자신의 프레임(frame of reference)과 편향(bias)에 의존하는 과정에서 불필요한 변이(unwanted variability)가 포함될 수 있다. 교육자들은 흔히 평가를 기준참조형(criterion-referenced)이나 역량 기반(competency-based)이 아니라, 상대참조형(normative models)으로 접근하는 경향이 있으며, 이는 학습자·프로그램·기관 간 표준화되지 않은 방식이다¹⁶.

 

현재의 많은 평가들은 편향되고, 공정하지 않으며(inequitable), 학습자에게 불이익을 초래할 수 있다¹⁷⁻²⁰. 이는 교육 시스템 자체가 구조적 인종차별(structural racism)과 기타 유해한 편견(harmful biases)에 의해 오염되어 왔기 때문이다²¹⁻²². 이러한 평가의 결함은, 대부분의 교육 프로그램이 획일적인 커리큘럼(의대의 예과 과목 등)이나 로테이션 일정(수련 과정)에 기반해 결정된다는 구조적 현실에서 비롯된다. 결과적으로, 학습자는 융통성 없는 환경에 놓이게 되며, 자신의 발달을 스스로 통제할 수 있는 여지가 제한된다. PE 시스템이 발전하려면, 이러한 한계를 반드시 해결해야 한다.

 

교육자들은 오랫동안 의미 있는 역량 기반 의학교육(competency-based medical education, CBME)을 지향해 왔으나, 그 실현은 쉽지 않았다. 이는 부분적으로 평가 데이터의 불충분 때문이었다. 그러나 현재 및 차세대 기술데이터 활용 역량의 증가, 그리고 학습 성과에 대한 명확한 의도 설정지속적인 학습을 안내하는 평가 시스템을 강화하는 데 기여할 수 있다¹². 이러한 발전을 바탕으로, PE는 CBME의 실질적 구현을 대폭 개선할 수 있으며, 보다 효과적인 CBME의 달성은 결국 형평성 증진교육 여정 전반의 전이(transition) 개선으로 이어질 수 있다.

 

예컨대, 의과대학에서 수련 과정으로 전이되는 시점에 PE 시스템을 적용하면, 학습자의 역량을 더욱 풍부하고 정확하게 표현할 수 있어, 전이 시점에 필요한 지원(supports)을 이미 확인된 역량의 격차(gaps)에 기반해 제공할 수 있다²⁴. 또한, PE 시스템은 전이 과정에서 지원자와 프로그램 모두를 위한 데이터 기반 의사결정(data-informed decision-making)을 가능하게 하며, 개별 학습자의 발달 수준에 따라 수련 단계의 종료 시점과 다음 단계 혹은 졸업 시점정확히 조정할 수 있도록 안내할 수 있다.

 


조정(Adjusting)을 통해 성과(Outcomes)에서 투입(Inputs)으로 이어지기

정밀 교육(Precision Education, PE) 순환 과정은 투입(inputs), 통찰(insights), 개입(interventions)을 거쳐 성과(outcomes)를 창출하며, 이 모든 흐름은 Figure 1에 나타나 있는 사이클을 따른다. 이 모델에서, 성과는 개인, 프로그램, 조직이 처한 발달 단계의 필요와 목표에 따라 재조정되고, 이에 따라 교육 프로그램을 조정함으로써 다음 순환을 위한 새로운 투입 요소(input)가 형성된다. 즉, 학습자, 프로그램, 조직은 특정 시점에서 여러 개의 학습 사이클을 동시에 경험하고 있다는 것이다.

 

이 사이클에서 특히 중요한 요소는 코칭(coaching)이다. 개인을 중심으로 한 PE 사이클에서 효과적인 코칭은 학습자 스스로의 주도성(agency)을 강화하고, 성장 마인드셋(growth mindset)을 기르며, 코칭 역량을 개발할 수 있는 전략을 지원하는 동반자적 관계(partnership)로 작동한다. 전통적인 코칭 프로그램들이 개발되어 왔지만, 실질적으로는 막대한 자원이 소모되는 점(resource intensive)이 현실적인 제약이었다²⁵.

 

PE는 이러한 문제를 신기술을 활용하여 해결할 수 있는 가능성을 보여준다. 예컨대, 가상 플랫폼(virtual platforms)이나 증강 지능(augmented intelligence) 등의 기술은 코칭 프로그램의 확장 가능성(scalability)을 높여줄 수 있으며, 자원이 제한된 환경에서도 효과적으로 적용될 수 있다²⁶⁻²⁷.

 

요약하자면, 정밀 교육(PE)은 개인, 프로그램, 조직이 다양한 투입 요소에 대한 분석(analytics)을 수행함으로써 통찰(insights)을 생성하고, 이를 바탕으로 학습과 평가를 통합한 개입(interventions)을 설계하며, 이로부터 생성된 성과(outcomes)를 다시 조정하여 새로운 투입(input)으로 연결하는 순환 구조를 갖는다. 이러한 PE 사이클은, 역량 기반 의학교육(competency-based medical education, CBME)을 지원하는 평가의 다음 시대(next era of assessment)에서, 학습자와 환자 성과를 포함한 다양한 평가 데이터를 활용하여, 형평성 있는 보건의료(health equity) 실현을 위한 질 높은 진료(high-quality care)로 이어지도록 피드백을 제공하는 체계로 발전할 것이다³.

 

 

데이터가 PE 사이클을 움직인다
(Data Drives the PE Cycle)

앞서 설명한 바와 같이, 지속적으로 생성되고 활용되는 데이터정밀 교육(Precision Education, PE) 사이클의 핵심 동력이며, 이는 PE 프레임워크의 중심에 통합되어 있다(Figure 1 참조). 이러한 데이터는 개인, 프로그램, 시스템을 설명하며, 의학교육과 보건의료 생태계 전반에 걸쳐 현재는 조각나 있고(fragile), 구조가 제각각인 형태로 저장되고 있다. PE는 이러한 데이터의 분절 상태를 통합(unify)하고, 일련의 기관 및 시스템 간에 원활하게 흐르도록(data flow) 만드는 것을 목표로 한다²⁸⁻²⁹.

 

의과대학생의 데이터를 보유하고 있는 주요 기관으로는,

  • AAMC (Association of American Medical Colleges): 각 의과대학과 프로그램에서 수집된 인구통계학적 및 교육 데이터를 수합
  • NBME (National Board of Medical Examiners): 시험 관련 데이터를 관리

전공의의 경우,

  • ACGME,
  • 전공의 교육 수련기관(GME sponsoring institutions),
  • 보건의료 시스템(health systems),
  • 전문의 학회(specialty organizations) 등이 PE에 유용한 데이터를 보유하고 있다.

수련을 마친 진료 중인 의사(practicing physicians)에 대해서는,

  • 주 보건위원회(state boards),
  • 정부기관(government agencies),
  • Medicare 및 Medicaid 서비스 센터(CMS),
  • 보험사(payers),
  • 산업계,
  • 지속의학교육(CME) 제공기관,
  • 전문직 학회(professional societies) 등에서 더욱 방대한 데이터를 보유하고 있다.

이러한 데이터의 상당수는 다음과 같은 별도의 제품(product) 내에 저장되거나, 이를 통해 흐름(flow)을 형성한다:

  • 학습관리시스템(Learning Management Systems, LMS)
  • 전자 의무기록(Electronic Health Records, EHRs)
  • 임상 진료 도구(clinical delivery tools)
  • 교육 및 행정용 애플리케이션 및 툴킷(apps and toolkits)

그러나 현재 이들 데이터는, 상호운용성(interoperability) 부족공통 데이터 구조의 미비로 인해 PE 시스템으로 효과적으로 연계되지 못하고 있다. PE가 효과적으로 작동하기 위해서는,

  • 국가 차원의 기관들이 교육 데이터 표준을 개발하고,
  • 현재의 분절된(siloed) 데이터 시스템이 학습 전주기에 걸쳐 각 기관과 제품이 접근할 수 있도록 개방되어야 한다.

지금의 데이터 생태계는, PE 시스템이 가치를 창출하고 그것을 포착(capture)할 수 있도록 지원하는 다방향적 데이터 흐름(multi-directional data flow)을 위해 설계되어 있지 않다. 다음 절에서는 이러한 조건을 가능하게 하기 위한 원칙과 표준(principles and standards)에 대해 설명할 것이다.

 


PE 시스템을 위한 기본 원칙과 표준
(Foundational Principles and Standards for PE Systems)

정밀 교육(Precision Education, PE)이 효과적이고, 재현 가능하며, 확장 가능하고, 안전하며, 형평성을 갖춘 시스템으로 기능하기 위해서는 강력한 기반(strong foundation)이 필요하다. 이 기반은, PE 시스템이 준수해야 할 근본적인 원칙과 표준(principles and standards)을 확립하는 데서 출발한다. 이러한 원칙과 표준은 PE 시스템의 기초이자 골조(scaffolding) 역할을 하게 된다. 우리는 다음과 같은 세 가지 핵심 원칙(3 core principles)과, 표준 개발을 위한 지침(guidance)을 제안한다.


원칙 1: PE 시스템은 구조와 과정에서 형평성을 증진해야 한다
(Principle 1: PE systems must promote equity in structures and processes)

구조(structures)와 과정(processes)에서 형평성을 증진하려면, 개인, 프로그램, 조직의 데이터에 대한 프라이버시 보호 장치를 마련하여 안전(safety), 신뢰(trust), 자율성(agency), 공정성(fairness)을 보장해야 한다. 데이터 수집과 거버넌스는 정확하고 대표성 있는 방식으로 수행되어야 하며, 시스템은 학습자와 교육 프로그램 모두에게 혜택이 돌아가도록 공동 설계(codesign)되어야 하며, 데이터 사용 목적에 대한 투명성(transparency)이 보장되어야 한다.

 

PE 시스템은 다양한 출처에서 수집된 데이터를 통합적으로 집계(aggregation)할 수 있게 하며, 이를 통해 교육 프로그램은 구조적 인종차별(structural racism)이나 내재화된 유해 편향(harmful biases)으로 인한 경향성을 식별하고 완화하는 데 도움을 받을 수 있다¹⁷. 이러한 시스템은 자원이 부족한 환경(low-resource settings)에서도 적용 가능하도록 구축되어야 한다.

 

PE 시스템은 학습자의 역량(competency)과 경험(experience)을 보다 포괄적으로 드러낼 수 있게 하여, 학습 여정 전반에 걸친 모집, 발달, 승진, 전이(transition) 과정을 보다 정보에 기반하고 형평성 있게 만들 수 있다. 마지막으로, PE 시스템은 반드시 윤리적 프레임워크(ethical frameworks) 내에서 설계되어야 하며, 이는 특히 증강 지능(augmented intelligence)의 혁신 가속화와 에듀테크 산업 내 민간 기업의 성장 속에서 더욱 중요해진다.

 

이 원칙의 채택을 위해서는, 의학교육 생태계 내 다양한 이해관계자들이 폭넓게 참여하고, 합의(consensus)를 구축하는 과정이 필수적이다.


원칙 2: PE 시스템은 학습자의 주체성(agency)을 촉진해야 한다
(Principle 2: PE systems must promote learner agency)

지속적인 역량 개발(continuous competency development)을 촉진하려면, 학습자가 학습 과정의 주도권(driver)을 가져야 하며, 유사하게 조직도 구성원들을 참여시켜 의도적인 성장과 개선을 주도해야 한다²⁴. 그러나 현재의 교육 모델과 문화에서는, 평가와 학습 기회는 학습자와 ‘함께’ 이루어진다기보다, 학습자에게 ‘시행’되는 것으로 여겨진다. 이러한 구조 속에서 학습자는 권한이 적으며, 이로 인해 평가는 안전하지 않고, 환영받지 못하며, 성장과 잘 연결되지 않는다.

 

또한, 교육자들은 교육 개입의 효과를 높이기 위한 코칭 없는 피드백을 제공하는 경우가 많으며, 이로 인해 피드백의 효용성과 영향력이 약화된다. 관련성 있고, 의미 있으며, 개인화된 공정한 평가 및 학습 기회는, 학습자와 조직 모두의 역량을 강화하고, 생산적인 학습 문화를 조성할 수 있다.

 

전국 단위의 의학교육 기관(national medical organizations)은, 학습자의 개인적·전문적 발달에 대한 소유권(ownership)을 학습자에게 이양하고, 자율성 문화를 양성하는 원칙을 수립해야 한다. 이를 위해, 기관들은 새로운 PE 시스템의 설계 과정에 학습자를 직접 참여시켜야 한다²⁰.

 

예를 들어, 대시보드(dashboards)의 활용은 학습자가 자신의 학습 기회와 행동을 주도할 수 있도록 주체성을 강화해준다. 앞서 언급된 GEL 프로그램에서는, 개별 리포트가 전공의에게 제공되어, 병원에서 자신의 시간을 어디에 어떻게 사용할 것인지에 대한 의사결정을 스스로 내릴 수 있도록 돕고 있다.


원칙 3: PE 시스템은 업무 흐름 조화(workflow harmonization)를 촉진해야 한다
(Principle 3: PE systems must advance workflow harmonization)

정밀 교육(PE) 시스템은 임상 업무 흐름(clinical workflows) 내에 통합되어야 하며, 이를 통해 평생학습을 최적화해야 한다. 일반적으로, 의사가 되기를 선택한 개인그들을 훈련시키는 프로그램 및 조직은 학습에 대한 높은 헌신을 가지고 있다. 그러나 현재의 행정적·운영상의 부담은 교육 시스템과 진료 환경 모두에 존재하며, 이로 인해 학습은 종종 임상 업무 외부에서 이루어져야 하는 현실에 놓여 있다.

 

학습자의 자율성 부재와 학습과 임상 실무의 분리는 결국 임상의 탈진(clinician burnout) 문제를 더욱 악화시킬 수 있다³⁰. 평생학습이 지속가능하게 작동하기 위해서, 국가 및 지역 수준의 조직들은 다음과 같은 원칙을 수립해야 한다:

  • 일상 업무와 학습의 정렬(alignment)
  • 환자와 시스템이 공동 생산자(coproducers)로 참여하는 구조

즉, 평가와 학습 기회는 임상 업무 흐름 내에서 조화롭게 통합되어야 한다. PE 시스템에 이상적으로 포함되어야 할 데이터는 광범위하고 이질적이며 방대한 특성을 지닌다. 따라서 PE 시스템을 구축하는 사람들은 새롭고, 자동화되거나, 매우 단순한 평가 및 데이터 수집 메커니즘(light-touch mechanisms)을 개발해야 한다. 이러한 메커니즘은 학습자에게 맞춤형 교육 콘텐츠노력 없이 자동 제공하는 데 기여할 수 있다³².

 

예를 들어, 앞서 설명한 전공의 민감 품질지표(RSQM)는, 임상 업무 흐름을 방해하지 않고 전자의무기록(EHR)에서 수동적(passive)으로 평가 데이터를 수집하는 방식의 대표 사례이다. 이 시스템은 수집된 데이터를 활용하여,

  • 관련 문헌이나 서적에 대한 링크 콘텐츠 제공,
  • 비동기적 디지털 학습 자료 제공,
  • 학습자의 코치에게 개발 필요사항을 강조하는 방식 등으로 확장될 수 있다.

이러한 PE 개입은 평가자와 학습자에게 과도하게 집중된 부담완화할 수 있는 기회를 제공한다.


표준(Standards): 상호운용성(interoperability)은 핵심 원칙이다
(Standards: interoperability a core tenet)

표준(standards)은 PE 시스템 안에서 사람, 제품, 조직 간의 상호작용 방식(rules of engagement)을 정의하는 규칙이다. PE 시스템 개발에 참여하는 주요 이해관계자들은, PE 시스템에 포함되는 데이터와 관련된 표준집중적인 주의를 기울여야 한다.

 

현재 의료 및 의학교육 환경에서 작동하는 각 기관과 제품은 대부분 상호 독립적으로 운영되고 있으며,

  • 데이터는 서로 연결되어 있지 않고,
  • 다른 시스템이나 제품에서 접근하기 어렵다.

이러한 제약 중 일부는 개인 및 조직을 보호하기 위해 설계된 것이지만, PE 시스템을 운영하고 확장하기 위해서는 데이터의 접근 가능성이 대폭 개선되어야 한다. 현재로서는, 한 기관에서 효과적으로 구축된 PE 시스템을 다른 기관에 확장하는 것 자체가 어렵다.

 

이러한 어려움은 다음과 같은 차이점에서 비롯된다:

  • PE 시스템을 EHR이나 LMS 데이터와 통합하는 규칙의 차이
  • 교육 경험과 기대치를 디지털로 분류하는 방식의 차이
  • 지식 재산권(IP), 기술 이전(technology transfer), 위험 부담에 대한 태도 차이

표준은 PE 분야를 조직화하고, 학습자·기관·제품 전반의 보호를 위해 작동할 수 있다. 의료계 외의 다양한 산업은 이미 형평성, 안전, 가치 포착(value capture)을 보장하기 위해 데이터 표준 개발을 추진해 왔으며, 예컨대 HL7(Health Level 7), FHIR(Fast Healthcare Interoperability Resources) 등이 대표적이다.

 

현재 의학교육자들이 이미 PE 시스템을 개발하고 있는 상황에서, 데이터 획득, 프라이버시, 품질, 소유권, 관리, 거버넌스에 관한 합의사항데이터의 상호운용성과 투명성을 뒷받침해야 한다. 데이터 흐름을 촉진하는 프로세스 표준에는 다음이 포함된다:

  • 범주화(categorization)
  • 편향 제거(debiasing)
  • 데이터 활용(use)
  • 공유(sharing)

또한, 법적·윤리적 표준도 필요하다. 예를 들어:

  • 지식재산권에 대한 규칙
  • 윤리적 혁신 및 운영에 대한 기준
  • 의료법적 맥락에서의 탐색과 발견 등에 대한 규정이 포함되어야 한다.

마지막으로, 교육자 및 기타 이해관계자가 제품을 개발할 때, 조직들은 기술 및 애플리케이션 표준을 수립하여 도구의 유용성(utility)을 극대화해야 한다. 이러한 표준을 확립하는 과정에는 의학교육 인증기관, 규제기관, 학회, 대학, 의료시스템, 학습자 등 다수의 이해관계자 간 협력이 필수적이다.

 

MedBiquitous는 이 목표를 추구하기 위해 설립된 조직이며, 현재는 AAMC 내에 해당 목적의 그룹이 존재한다.


원칙과 표준이 없다면, 어떤 일이 벌어질까?

만약 PE 시스템에 명확한 원칙과 표준이 부재하다면, 우리는 다음과 같은 심각한 부작용에 직면할 것이다:

  • 무엇보다, 모든 이해관계자에게 의미 있는 통찰(현재는 “보이지 않는” 통찰)을 제공함으로써 진료를 개선하고자 하는 목표는 달성되지 못할 것이다.
  • 개인, 프로그램, 조직에 대한 유용한 정보가 포착되지 못하고 누락될 것이다.
  • 기술 혁신은 빨라질 수 있지만, 이는 소수의 고립된 시스템(silos) 내에서만 이루어져, 의학교육 생태계 전반의 불균형을 심화시킬 것이다.
  • 혁신의 속도가 합의 기반(consensus-driven) 조직화보다 앞서게 되면, 어떤 단일 기관이 시스템 내에서 과도한 권력을 갖게 될 위험도 발생한다.

 


평생학습 여정(Lifelong Learning Journey)에 적용되는 정밀 교육(PE)
(PE Applied to the Lifelong Learning Journey)

PE 사이클을 반복하여 적용하는 것은 실용적인 접근이지만, 동시에 PE의 종단적(longitudinal) 영향을 고려하는 것도 중요하다. 이는 평생학습을 가능하게 하기 위한 전제조건이기도 하다. 그러나 의학교육의 구획화(compartmentalization)는 이러한 목표를 저해하는 구조적 장벽으로 작용하고 있다. 학습자들이 의과대학 입학, 수련 과정 진입, 임상 실무 진입 등의 전환 시기에서 경험하는 혼란(disruption)은 매우 심각하다²⁹⁻³⁰⁻³³. 특히, 의과대학에서 수련 과정으로의 전환은 그 충격이 커서, 미국 내 주요 기관들이 모인 Coalition for Physician Accountability에서 이를 중심 주제로 삼고, 개선이 필요한 34개 핵심 영역을 도출하였다³⁴.

 

구획화의 부정적 영향은 학습자 개인뿐 아니라, 연속체의 상하류에서 데이터를 필요로 하는 교육 프로그램 및 조직들에도 미친다. 정밀 교육 시스템은 의학교육 연속체 전반에서 보다 원활한 전환(smoother transitions)이 가능하도록, 학습자, 프로그램, 조직에 대한 데이터의 다방향 흐름(multidirectional flow of data)을 지원해야 한다(Figure 2 참고).

 

실제로, Coalition의 보고서에서도 데이터 구조와 전송 방식 개선의 필요성이 여러 차례 강조되었다³⁴. 예컨대, 한 의과대학생이 수련 과정으로의 전환에서 어려움을 겪는 경우, 수련 프로그램은 특정 정보를 의과대학과 공유함으로써,

  • 후속 학생들을 보다 효과적으로 준비시키고,
  • 개별 학습자에 대한 보다 관련성 있는 정보를 이전할 수 있다.

이렇게 되면, 향후 학생들에게는 보다 개인화된 오리엔테이션과 로테이션 일정이 제공될 수 있다. 메조(meso) 및 매크로(macro) 수준에서는, 이러한 전환 시기에 데이터 기반 학습 시스템이 작동함으로써, 의과대학-수련과정 연속체가 개선될 수 있으며, 이는 지원자, 의대, 수련 프로그램이 선택, 준비, 온보딩 과정에서 더 나은 정보에 기반한 결정을 내릴 수 있도록 도와준다.

 

데이터 흐름이 잘 작동할 경우, 개인, 프로그램, 기관은 분석 도구(analytics)를 활용하여 미래 환자 진료에 영향을 줄 수 있는 ‘상류(upstream)’ 학습 요구를 예측하고 대응할 수 있다. 반대로, ‘하류(downstream)’에서 도출된 통찰은, 보건의료 시스템이 인구 기반 요구(population-based needs)에 부합하는 유능한 인력을 양성하고 있는지를 평가하는 데 기여할 수 있다.


PE 시스템 구축과 확장을 위한 다음 단계
(Next Steps to Build and Scale PE Systems)

의학교육에 의미 있는 영향을 미칠 수 있는 PE 시스템을 구축하기 위해서는 많은 노력이 필요하다.

  1. 첫째, 국가 단위의 참여 기반 프로세스(national, participatory process)가 마련되어야 한다. 이를 통해 향후 혁신을 지탱할 수 있는 골조(scaffolding)를 구축해야 하며, 이 골조는 다음을 포함해야 한다:
    • 원칙과 표준 설정
    • 국가 인프라 수요 파악
    • 구축되는 시스템이 형평성 있고, 안전하며, 확장 가능한 구조가 되도록 보장
  2. 둘째, 이 분야가 아직 초기 단계(nascence)인 만큼, PE 관련 연구 및 학술적 작업에 더 많은 주목이 필요하다. 이는 다음을 가능하게 한다:
    • 학습 이론(learning theories)의 통합
    • PE 시스템의 개발 및 실행을 위한 근거 기반(evidence base) 마련
  3. 셋째, 공공 및 민간 부문 모두에서 PE 실증 연구(demonstration projects) 및 파일럿 사업(pilot projects)에 대한 적극적 투자가 필요하다. 현재 PE 분야에서 활동 중인 연구자들은,
    • 개인 학습자,
    • 교육 프로그램,
    • 보건의료 시스템 수준의 데모 프로젝트를 개발하고 있으며,
    • 이들 프로젝트는 PE 접근을 통해 의학교육 연속체의 특정 문제를 해결하고 있다⁹.
    • 이상적으로는, 이러한 프로젝트가 다기관 형식(multi-institutional format)으로 수행되어야 하며, 재현 가능성(reproducibility)과 확장 가능성(scalability)을 높일 수 있다.
  4. 마지막으로, PE 실천 공동체(community of practice)를 육성하여, 이 분야에서의 협력적이고 혁신적인 사고와 실행을 촉진해야 한다. 이를 위해서는,
    • 공공과 민간 양측의 투자가 필요하며,
    • 집단적 학습(collective learning)과 공동 생산(coproduction)을 지원하는 기반 마련이 요구된다.

우리는 의학교육의 미래는 정밀 교육 시스템(PE systems)을 중심으로 작동해야 하며, 실제로 그렇게 될 것이라 믿는다.
이러한 시스템이 구축될 기반(foundation)은, 시기적절하고, 의도적이며, 신중하게 설계되어야 한다. 그래야만, 평생학습을 뒷받침하는 의학교육 모델이 구축되고, 모든 환자의 요구를 충족시킬 수 있는 역량 있는 의료 인력을 배출할 수 있을 것이다.

 

 

이 그림은 정밀 교육(Precision Education, PE) 시스템의 개념적 프레임워크(conceptual framework)를 보여줍니다. 그림의 구조는 순환형(Circular Cycle)으로 되어 있으며, 학습자, 프로그램, 조직이 데이터 기반으로 지속적으로 학습하고 조정해 나가는 과정을 설명합니다. 아래에 각 요소를 순서대로 설명드릴게요.


🎯 개념 요약:

“데이터 중심의 순환 시스템”

PE 시스템은 학습자(또는 프로그램, 조직)의 데이터를 중심으로, 다음의 다섯 단계가 순환적으로 반복됩니다:
Input → Analytics → Insights → Planning  Interventions → Learning & Assessing → Outcomes → Adjusting → 다시 Input


🔄 단계별 구성 요소 설명

1. Inputs (투입)

  • 학습자와 조직의 입력 데이터 수집
  • 예: 시험 성적, 임상 경험, 진로 목표, 기관 성과 등

2. Analytics (분석)

  • 입력된 데이터에 분석을 수행하여 의미 있는 정보를 도출
  • 이 분석을 통해 통찰(insights)이 생김

3. Insights (통찰)

  • 분석 결과를 기반으로 학습자 및 조직에 대해 도출된 주요 정보
  • 예: 역량 격차, 경험 부족 영역 등

4. Planning (계획 수립)

  • 통찰에 근거해 목표, 측정지표, 실행계획을 설정
  • 이후 실행 가능한 개입 설계

5. Interventions (개입)

  • 학습자 또는 조직에게 맞춤형 개입 제공
  • 예: 특정 콘텐츠 제공, 개별 코칭 등

6. Learning & Assessing (학습 및 평가)

  • 학습이 수행되고, 개입의 효과를 평가하기 위한 다양한 수단이 동원됨

7. Outcomes (성과)

  • 학습 및 개입의 결과가 정량/정성적으로 기술됨

8. Adjusting (조정)

  • 성과 분석을 통해 도출된 격차나 개발 목표를 바탕으로 다음 투입을 조정

🧠 중심 개념: 데이터(DATA)

  • 학습자, 프로그램, 조직의 데이터를 중심으로 전 단계가 순환
  • 다양한 Entities(기관)Products(제품)를 통해 데이터가 수집되고 공유됨
    예시:
    • Entities: AAMC, HCOs, CMS, 전문 학회 등
    • Products: LMS(학습관리시스템), EHR(전자 의무기록), 앱, 툴킷 등

🧱 왼쪽 박스: 데이터의 구조

  • 현재 의학교육 및 보건의료 생태계에는 데이터가 여러 구조로 흩어져 있음
  • 이 데이터를 수집하고 활용하는 기관(Entities)과 제품(Products)이 다양함

📏 오른쪽 박스: 시스템의 원칙과 표준

  • 효과적이고 형평성 있으며, 확장 가능한 PE 시스템을 위해 원칙(Principles)과 표준(Standards)이 필요함
  • Principles:
    • Equity (형평성)
    • Learner agency (학습자 주체성)
    • Harmonized in workflow (임상업무 흐름과의 조화)
  • Standards:
    • 데이터 획득, 프라이버시, 거버넌스, 공유 정책, 지식재산권, 윤리, 기술 등 포함

📌 요약

이 그림은 PE 시스템이 단순한 기술이 아니라,

  • 데이터 중심의 순환 모델,
  • 전략적 개입을 가능하게 하는 체계,
  • 형평성과 윤리를 고려한 설계 원칙
    을 갖춘 미래 의학교육의 핵심 인프라임을 강조합니다.

 

 

좋습니다! 이 그림은 정밀 교육(Precision Education, PE)의 핵심 개념 중 하나인 종단적 데이터 흐름(Longitudinal Data Flow)을 설명하고 있습니다. 이 그림은 특히 의과대학(UME) → 전공의 수련(GME) → 지속 전문직 개발(CPD)로 이어지는 의학교육 연속체(continuum) 전반에 걸쳐 데이터가 어떻게 유기적으로 순환하며 연결될 수 있는지를 시각화합니다.

아래에 주요 구성요소를 단계별로 정리해드릴게요.


📊 전체 개요:

“의학교육 전 주기에서의 다방향적 데이터 흐름(multidirectional data flow)

그림은 두 가지 흐름을 동시에 보여줍니다:

  1. 가로 흐름 (학습 여정):
    • UME (Undergraduate Medical Education): 의과대학 교육
    • GME (Graduate Medical Education): 전공의 수련 과정
    • CPD (Continuing Professional Development): 지속 전문직 개발
  2. 세로 흐름 (정밀 교육 사이클):
    • Inputs → Analytics → Insights → Planning → Interventions → Learning & Assessing → Outcomes → Adjusting → 다시 Inputs
    • 이 사이클은 끊임없이 반복되며, 다음 단계의 학습이나 훈련을 위한 데이터를 제공합니다.

🔄 중간 리본형 구조:

이 구조는 다음과 같은 순환 과정을 시각화합니다:

단계  설명
Inputs 학습자·프로그램·조직의 입력 데이터 수집 (시험점수, 진로, 환자 결과 등)
Analytics 데이터 분석을 통해 의미 있는 통찰(Insights) 도출
Insights 어떤 개입이 필요한지에 대한 구체적인 정보
Planning 목표 설정, 메트릭 수립, 학습 계획 수립
Interventions 교육 개입 실행 (예: 콘텐츠, 코칭, 로테이션 등)
Learning & Assessing 학습 수행 및 평가 실시
Outcomes 성과 도출 및 검토
Adjusting 결과 기반으로 프로그램 조정 → 다음 사이클로

 

이러한 흐름은 단순히 일방향이 아닌 피드백-피드포워드(feedback & feedforward) 형식으로 구성되어 있어, 데이터가 앞과 뒤로 모두 흐르며 시스템 전체의 학습을 가능하게 합니다.


🏥 핵심 개념: 교육 연속체 전체를 연결하는 데이터

이 그림에서 중요한 점은, 학습자의 여정이 다음과 같이 단절(discontinuity) 없이 연결되도록 한다는 점입니다:

  • UME 단계에서 수집된 데이터GME에서 학습자 맞춤형 오리엔테이션과 일정 구성에 활용
  • GME에서 발생한 학습 결과와 성과가 다시 UME 프로그램 개선에 피드백으로 활용됨
  • CPD에서의 실무 경험과 성과는 다시 전체 시스템 개선에 기여 가능

즉, 단계 간 경계(boundary)를 넘어서는 데이터 흐름이 핵심입니다.

📝 “Learner, program, and organizational information flows in a multidirectional fashion (i.e., feedback and feedforward) across current discontinuities in provision of training, such as the medical school to residency transition.”
(학습자, 프로그램, 조직의 정보는 현재 존재하는 교육 과정의 단절을 넘어, 피드백과 피드포워드 방식으로 다방향적으로 흐른다. 대표적인 예는 의대에서 수련과정으로의 전환이다.)


📌 핵심 메시지 요약

  • 🎯 데이터는 ‘단계별’이 아니라 ‘연속적’으로 활용되어야 한다.
  • 🔁 정밀 교육 사이클은 반복 가능하며 각 단계에서 학습과 조정을 계속한다.
  • 🔗 전 주기 의학교육(UME-GME-CPD)에서 데이터는 유기적으로 연결되어야 한다.

이 그림을 기반으로 블로그용 인포그래픽 요약, 한글 번역 이미지 제작, 교육용 슬라이드 삽입도 도와드릴 수 있습니다. 어떻게 활용하실 계획이신가요?

Med Teach2022 Jul;44(7):702-706. doi: 10.1080/0142159X.2022.2055456. Epub 2022 Mar 28.

I don't think that means what you think it means: Why precision in lifelong learning terminology matters to medical education

 

 

 

🎓 자기주도학습(Self-Directed Learning)과 자기조절학습(Self-Regulated Learning), 같은 말이 아니에요!

의학교육에서 자주 듣게 되는 용어 중에 자기주도학습과 자기조절학습이 있어요.
둘 다 왠지 비슷해 보이고, 실제로 많은 교육자들이 이 둘을 구분 없이 쓰기도 하죠.
하지만 정말로 같은 개념일까요?

오늘은 《Clarifying the Language of Self-Directed and Self-Regulated Learning to Support the Design of Learner-Centered Curricula》라는 논문을 바탕으로, 이 두 개념의 차이를 정리해보려고 해요.


1️⃣ 왜 용어 구분이 중요한가요?

이 논문의 저자들은 용어의 정밀한 사용이 얼마나 중요한지를 이렇게 강조하고 있어요:

“We suggest that a precise use of the terms is necessary for three important reasons.”
→ “이 용어들을 정확히 사용하는 것이 꼭 필요한 세 가지 이유가 있습니다.”

 

그 세 가지 이유는 다음과 같아요:

  • 🧠 이론적 기반을 무시하지 않기 위해: SDL과 SRL은 각각 *성인교육(adult education)*과 *교육심리학(educational psychology)*이라는 다른 학문적 전통에서 나왔어요. 함부로 섞어 쓰면 이 학문들의 깊이를 무시하는 셈이죠.
  • 🧩 교육과정 설계를 최적화하기 위해: SDL과 SRL의 개념을 명확히 알아야 학생들의 평생학습 기술을 어떻게 순차적으로 길러줄지 구조화할 수 있어요.
  • 🤝 교육 전문가들과 협업하기 위해: 교육학자들은 ‘self-directed learning’을 성인교육의 관점에서 이해해요. 그런데 의학교육에서 다른 의미로 쓰이면, 커뮤니케이션의 혼선이 생길 수 있어요.

2️⃣ SDL과 SRL은 어떻게 다를까요?

둘 다 공통적으로 학습자의 능동성(active engagement)과 내재적 동기(intrinsic motivation)에 기반하지만, 몇 가지 중요한 차이점이 있어요. 🔍

 

항목  SDL  SRL
기원 성인교육 (Adult Education) 교육심리학 (Educational Psychology)
학습 환경 교실 밖, 비공식적 교실 내, 공식적
과업 설정자 학습자 자신 교사 또는 학습자
목표 수준 거시적 목표 (macro-level) 미시적 목표 (micro-level)
성찰 초점 전체 목표에 대한 진행 성찰 과제 수행에 대한 성찰

3️⃣ 의과대학생에게 중요한 건 무엇?

의대생이 되는 순간, 사실 대부분의 교육은 정해진 커리큘럼 속에서 진행돼요.
교수가 평가 과제를 주고, 학생은 거기에 맞춰 공부 계획을 짜고, 실행하고, 반성하죠.
이건 전형적인 자기조절학습(Self-Regulated Learning, SRL)의 과정이에요.

“Success in medical school hinges more directly on effective SRL skills.”
→ “의과대학에서의 성공은 효과적인 SRL 기술에 더 직접적으로 달려 있다.”

 

그래서 의과대학 수준에서는 SRL 역량을 체계적으로 길러주는 것이 핵심이에요.


4️⃣ 그렇다면 SDL은 의과대학에서 무용지물일까요?

절대 아니에요! 🙅‍♂️ 
학생이 수업 중 특정 주제에 흥미를 느끼고, 스스로 추가 자료를 찾고 공부를 시작했다면,
그 순간 그는 바로 자기주도학습자(Self-Directed Learner)가 된 거예요.

“At this point, the student is a self-directed learner: no one besides the individual is setting the goal...”
→ “이 시점에서 학생은 자기주도학습자입니다. 학습 목표를 설정하는 사람은 오직 그 자신뿐이죠…”

 

이런 경험은 아직 소수일 수 있지만, 임상 실습 단계로 갈수록 점점 더 많아지고, 이 과정을 교수자가 모델링해주는 것도 중요해요.


5️⃣ 그럼 교육자는 어떻게 해야 할까요?

논문의 제안은 이렇게 정리할 수 있어요:

🎯 “Incorporating SRL skills development provides a compelling framework upon which to design UME curricula that promote and develop lifelong learners.”
→ “SRL 기술 개발을 교육과정에 통합하는 것은 평생학습자를 양성하기 위한 강력한 교육 설계 프레임워크가 됩니다.”

 

즉,

  • SRL 기술을 기초부터 차근차근 길러줄 수 있는 구조를 만들고
  • 임상 교육 단계에서는 SDL을 자연스럽게 보여주고 모델링하며
  • 교육자는 이 모든 걸 설계할 때 정확한 용어와 개념을 바탕으로 해야 한다는 것이죠.

📝 마무리하며

자기주도학습(Self-Directed Learning)과 자기조절학습(Self-Regulated Learning)은 이름은 비슷하지만 그 뿌리도, 작동 방식도 다릅니다. 우리가 이 개념들을 명확히 이해하고 구분할 때, 학생들에게 더 정교하고 효과적인 교육을 설계할 수 있어요.

👉 여러분의 교육 현장에서는 이 두 개념을 어떻게 구분하고 계신가요?

 


서론 (Introduction)

의학교육자들은 평생학습(lifelong learning) 역량이 의과대학부터 레지던시, 그리고 독립적인 진료에 이르기까지 전 생애에 걸쳐 우수한 진료를 가능하게 하는 핵심 토대라는 데 공감하고 있다. 평생학습 수행에 대한 숙련의 중요성은 의사 역량 모델(competency frameworks)에 명시되어 있으며(Englander et al. 2013), 의학교육의 모든 단계에서 이를 효과적으로 달성하기 위한 최선의 교육 방법(best practices)에 대한 관심도 매우 크다(Swanson and Anderson 1993; Harvey et al. 2003; Murdoch-Eaton and Whittle 2012).

 

그러나 이 중요한 의사 역량을 개발하고 실행하며 공유하는 데에는 큰 장애물이 있다. 그것은 바로 평생학습을 설명하는 데 사용되는 용어들해석과 적용이 일관되지 않다는 점이다.

 

이 글에서는 특히 ‘자기주도학습(Self-Directed Learning, SDL)’과 ‘자기조절학습(Self-Regulated Learning, SRL)’이라는 용어에 주목하여, 이 용어들이 어디서 기원하였는지를 학문적으로 고찰하고, 이 용어들을 명확하고 정밀하게 적용하는 것이 고품질 의학교육과정 개발에 왜 필수적인지 논증한다.

 

또한, 왜 이러한 용어의 정밀한 사용이 중요한지를 설명하기 위해, 우리는 SDL의 본래 정의에 따르면, 이것은 의과대학 교육 단계(Undergraduate Medical Education, UME)에서 지향할 적절한 목표가 아니라는 주장을 제시한다. 대신, 우리는 SRL의 요소들이 SDL과 평생학습으로 향하는 학습 경로를 장기적으로 구조화(scaffold)하는 데 더 적절한 접근이라고 제안한다.


평생학습 용어의 오용 (Misuse of lifelong learning terminology)

어떤 단어나 구가 사용자 집단에 따라 다르게 해석되고 적용되며, 그 차이가 인식되지 않을 때, 실제 교육 현장에서 심각한 오해와 잘못된 실행으로 이어질 수 있다.

 

현대 의학교육에서는 ‘자기주도학습(SDL)’과 ‘자기조절학습(SRL)’이라는 용어가 흔히 혼용되고 있으며, 이로 인해 교육 이해당사자들 사이에서 소통 오류와 부정확한 적용이 발생할 위험이 있다(Ainoda et al. 2005; Loyens et al. 2008; Jossberger et al. 2010; Saks and Leijen 2014; Gandomkar and Sandars 2018; Husmann et al. 2018).

 

의학교육만의 문제가 아니다. 교육심리학, 간호학, 보건의료 직종 등 다양한 분야에서도 SDL, SRL, 독립학습(independent learning), 능동학습(active learning), 평생학습(lifelong learning) 등의 용어가 서로 혼용되는 문제가 광범위하게 보고되고 있다. 예를 들어, SDL과 SRL의 혼동은 교육심리학(Saks and Leijen 2014), 간호학(O’Shea 2003), 보건의료 교육(Carter and Gogia 2014), 의학교육(Gandomkar and Sandars 2018; Husmann et al. 2018)에서 공통적으로 나타난다.

 

Gandomkar와 Sandars(2018, p. 863)는 “의학교육에서 교수-학습 논의 중 해당 용어들의 부적절한 사용은 물론, 연구나 성취도가 낮은 학습자를 위한 중재에 사용하는 측정 도구의 선택과 해석 또한 부정확하게 이루어지고 있다”고 지적하였다.

 

Husmann 등(2018, p. 782) 또한 유사한 결론에 도달하며 다음과 같이 제안한다: “이 두 개념 간의 구분에 대한 명확성 부족이 의학교육 문헌에서 이들이 부정확하거나 혼용되어 사용되는 원인이 되고 있다.”

 

SDL과 SRL은 많은 유사성을 지니고 있지만, 결코 동의어가 아니다.


용어의 배경 (Terminology background)

자기주도학습(Self-Directed Learning, SDL)

자기주도학습(Self-directed learning) 개념은 성인교육(adult learning) 분야에서 처음 등장했다. 이 주제에 대한 영향력 있는 출판물들, 예컨대 Houle의 The Design of Education (1996), Kidd의 How Adults Learn (1973), Knowles의 The Modern Practice of Adult Education (1970), 그리고 The Adult Learner: A Neglected Species (1973)는 공통적으로 안드라고지(andragogy)와 페다고지(pedagogy)의 차이를 강조하면서, 성인 학습자의 고유한 특성을 반영하는 교수 전략을 제시하려고 했다.

 

스스로 학습을 조율하고 이끌 수 있는 능력은 성인 학습자(adult learner)의 핵심 정의 특성 중 하나이며, 이는 아동이나 청소년 학습자와의 중요한 차이점으로 간주된다. 성인교육 학자들은 교육을 지식 전달의 전통적인 교수 모델로 한정짓기보다는, 빠르게 변화하는 세상에서 성공적으로 살아가기 위해 필수적인 평생 과정으로 재개념화할 것을 요구하였다(Artino et al. 2011).

 

Knowles는 다음과 같이 강조하였다:

“학교교육을 마친 사람은, 단지 탐구를 통해 습득한 지식의 기초만이 아니라, 그 이후의 인생 동안 새로운 지식을 쉽게 그리고 능숙하게 획득할 수 있는 능력 또한 반드시 갖추고 있어야 한다”(1975, p. 48).

 

이처럼 Knowles는 학교교육 이후 학습을 지속해나가는 방식에 초점을 두었다. 그는 성인 학습이론에서 여섯 가지 기본 전제를 제시하였는데, 이 중 첫 번째 전제가 바로 성인의 자기주도성(self-directedness)을 다룬다:

“사람이 성숙함에 따라, 자신의 자아개념(self-concept)은 의존적인 성격에서 자기지향적인 인간으로 이동한다”(Knowles 1973, p. 45).

 

Knowles(1975, p. 18)는 자기주도학습(SDL)을 다음과 같이 정의하였다:

“자기주도학습이란, 개인이 학습 필요를 진단하고, 학습 목표를 설정하며, 학습 자원(사람, 자료)을 확인하고, 적절한 학습 전략을 선택·실행하며, 학습 결과를 평가하는 전 과정을 스스로 주도하는 것을 말한다. 이는 다른 사람의 도움 유무와 관계없이 이뤄질 수 있다.”

 

비록 SDL이라는 용어 자체는 Knowles 이전에도 문헌에 등장한 바 있지만, Knowles의 정의와 적용은 성인교육 분야 학자들의 상상력을 자극하였고, 궁극적으로 의학교육의 용어체계 안으로 자리 잡게 되었다.

 

이러한 SDL의 원래 정의에 따르면, SDL은 본질적으로 학습자의 내적 동기에 의해 구동되는(intrinsically driven) 과정이다. 왜냐하면 SDL은 학습자의 주도 하에 모든 학습 단계—학습 필요의 인식, 자원의 선택, 전략의 적용, 결과에 대한 반성, 학습이 충분한지에 대한 판단—를 수행할 수 있어야 하기 때문이다. 이 학습 과정을 습관적으로 반복적으로 채택함으로써 학습자는 진정한 자기주도학습자가 된다.

 

그러므로 SDL은 교수 방법(instructional method)이 될 수 없으며, 외부에서 평가 가능한 산출(outcome)도 아니다.


자기조절학습(Self-Regulated Learning, SRL)

자기조절학습(Self-regulated learning, SRL)은 인지심리학(cognitive psychology)과 교육심리학(educational psychology) 분야에서 비롯되었다(Saks and Leijen 2014). SRL은 보다 포괄적인 자기조절 이론(self-regulation theory)의 응용으로, 목표를 달성하기 위해 개인이 자신의 생각, 행동, 감정을 어떻게 조절하고 관리하는지를 설명한다.

 

Bandura는 자기조절이 인간으로 하여금 자신의 사고와 감정을 평가하게 하고, 그 결과로 목표를 설정하고 행동을 변화시키는 방향으로 동기를 부여할 수 있게 한다고 설명하였다(Bandura 1991). 이후 Zimmerman은 Bandura의 작업을 발전시켜, 자기 성찰(introspection)의 실행이 학습자의 메타인지적 인식(metacognitive awareness)을 강화한다고 주장하였다.

 

Zimmerman(2002, p. 66)은 SRL을 다음과 같이 정의하였다:

“학습자는 자신의 학습 강점과 한계를 인식하고, 자신이 설정한 목표와 과업 관련 전략에 따라 적극적으로 학습에 임한다. 이 과정은 자기 동기(self-motivation)와 행동 기술 개발(behavioral skill development)을 수반하며, 학습 과업에 맞게 개인적으로 선택하여 사용하는 특정 학습 과정들을 포함한다.”

 

SRL에 대한 다양한 설명이 존재하지만, Schraw, Crippen, Hartley(2006)는 SRL을 세 가지 핵심 기술로 구성된 것으로 본다:

  • 인지(cognition): 인지 전략, 문제해결 전략, 비판적 사고 능력 포함
  • 메타인지(metacognition): 인지에 대한 지식과 인지의 조절 포함
  • 동기(motivation): 인식론(epistemology)과 자기 효능감(self-efficacy) 포함

이들은 성공적인 자기조절학습자를 다음과 같이 묘사한다:

자신의 강점과 약점을 충분히 이해하고, 학습 과정 중 이를 효과적으로 관리할 수 있는 사람”(2006).

 


자기주도학습(SDL)과 자기조절학습(SRL)의 비교와 대조

(SDL과 SRL 비교: Drawing comparisons and contrasts between SDL and SRL)

 

SDL과 SRL은 각각 성인교육(adult education)과 교육심리학(educational psychology)이라는 서로 다른 분야에서 기원했지만, 이 두 이론 사이에는 서로 긴밀한 관계가 존재하며, 이는 두 용어가 흔히 혼동되어 사용되는 이유이기도 하다(Table 1 참조).

 

사실, 효과적인 자기주도학습자가 되기 위해서는 효과적인 자기조절학습자이기도 해야 한다. 즉, 스스로 설정한 목표를 달성하고, 그 결과가 만족스러운지 성찰하기 위해 SRL의 핵심 과정을 다양하게 활용할 수 있어야 한다(Gandomkar and Sandars 2018). SRL 기술이 충분히 발달하지 않은 개인이 효과적인 SDL 학습자가 되는 것은 비현실적이다.

 

더 나아가, SDL과 SRL 모두 유사한 인지 기능(cognitive functions)을 기반으로 하기 때문에, 학습자가 이 두 접근에 참여하기 위해서는 유사한 사고방식(mindset)을 갖춰야 한다. 즉, 내적 동기(intrinsic motivation)를 가지고 있어야 하며(‘자기(self)’에 초점을 둔 이 두 이론의 핵심 공통점), 목표 지향적(goal-directed)이며, 학습에 능동적으로 참여해야 한다. 이러한 유사성은 두 이론의 속성을 논할 때 공통된 언어를 사용하는 기반이 된다.

 

그러나 두 접근 사이의 중요한 차이점 중 하나는, 학습자가 학습 전체에 대해 어느 정도의 자율성(autonomy)을 가지는가 하는 것이다. SRL은 정형화된 교육과정(curriculum-based education)을 기반으로 하며(Dinsmore et al. 2008), 교수가 정해주는 학습 목표와 과제를 학습자가 얼마나 효과적으로 수행하느냐에 초점이 맞춰져 있다. SRL은 학습자가 해당 과제를 성공적으로 완수하기 위해 전략을 선택하고 적용할 때 발생한다.

 

반면, SDL은 정규 교육과정이나 교수 주도의 경험에 의존하지 않는다. 오히려 이러한 구조 없이도 발생할 수 있다. 또한 SDL에서의 목표는 개별 과제가 아닌 ‘최종 결과’를 향한 거시적 수준(macro level)에서 설정되며, SRL의 목표는 단일 과제나 활동에 초점을 맞춘 미시적 수준(micro level)이다.

 

두 이론 모두에서 성찰(reflection)은 핵심 요소지만, 그 성찰의 초점도 다르다.

  • SDL 학습자는 자신이 설정한 거시적 목표를 향한 진전과 결과에 대해 성찰한다.
  • 반면 SRL 학습자주어진 과제나 교수자가 설정한 계획에 따라 학습 중 발생한 세부 요소에 대해 성찰한다.

따라서 의과대학생을 어떻게 교육할 것인지 결정할 때, SDL과 SRL의 이러한 차이를 명확히 이해하고 반영하는 것이 필수적이다.


이러한 공통점과 차이점은 전형적인 의과대학생의 예시를 통해 명확히 설명할 수 있다.

 

한 학생이 ‘의사가 되겠다’는 결심을 하고, 이 목표를 이루기 위한 방법을 찾기 시작한다면, 그는 거시적 목표를 향해 나아가는 자기주도학습자(SDL learner)라고 할 수 있다. 이때, 의과대학 졸업은 필수적인 단계로 인식된다.

 

하지만 이 시점에서 이미 진정한 의미의 자기주도학습 경로는 상당 부분 제한된다.

  • 학습자는 의과대학이 이 경로의 일부인지, 얼마나 필요한지 여부를 스스로 결정할 수 없다.
  • 의과대학 입학 이후 대부분의 교과목은 학생의 배경이나 개별 목표와 무관하게 모든 학생에게 요구된다.
  • 학생은 학교가 설정한 일련의 학습 목표를 달성함으로써만 진급할 수 있으며, 필수 과목을 생략하거나 축소할 수 있는 자율성은 거의 없다.
  • 또한, 각 과목이나 교육 단계에서 어느 정도 수준의 성공이 최소 기준인지 결정할 권한도 없다.

결과적으로, 의과대학 교육과정(UME)에서는 SDL의 핵심 요소 대부분이 학습자에게 열려 있지 않다. 물론 이 학생은 여전히 의사가 되겠다는 거시적 목표를 유지하고 있으며, 그 목표로 가는 유일한 경로에 참여하고 있다는 점에서 자기주도성을 지닌다고 볼 수 있다. 그러나 실제로 의과대학 내 성공은 SRL 기술에 더 직접적으로 의존한다.

 

예를 들어, 교수가 총괄평가(summative exam)에서 만족스러운 성과를 학습 과제로 제시하면, 학생은 그에 맞춰 목표와 학습 계획을 세우고, 이를 지원할 일련의 세부 과제를 스스로 구성하게 된다.

 

예시:

  • “토요일엔 매일 수업 노트를 복습하고,
  • 일요일엔 스터디 그룹에서 질문을 공유하고,
  • 리뷰 전에는 교수님께 여전히 혼란스러운 부분을 이메일로 보낸다.”

이러한 계획은 교수가 과제를 부여하지 않았다면 구성되지 않았을 것이며, 전형적인 SRL 기술에 해당한다. 시험이 끝난 후, 학생은 시험 준비 과정과 결과 사이의 관계를 성찰할 수 있다.

 

이러한 기술들은 SRL 기술로 분류되며, 저자들은 이것이야말로 의과대학 수준의 의학교육(UME)에서 평생학습 역량을 위한 핵심 초점이 되어야 한다고 주장한다.


그렇다고 해서 의과대학 단계에서 SDL이 전혀 나타나지 않는다는 것은 아니다. 예를 들어, 학생이 지정된 교육과정 중 특정 주제에 흥미를 느끼게 된다면, 그 주제에 대해 스스로 추가 자료를 찾아보고 학습하려는 동기를 가질 수 있다. 이러한 경우, 학생은 자기주도학습자로 기능한다.

  • 목표를 설정하는 사람은 오직 본인뿐이며,
  • 어떤 자료를 활용할지,
  • 어떤 자료를 신뢰할지,
  • 어느 시점에서 학습이 충분하다고 판단할지를 스스로 결정한다.

예를 들어,

  • 유튜브 영상을 하나 본 뒤 만족할 수도 있고,
  • 해당 분야에서 연구 인턴십을 구할 수도 있으며,
  • 혹은 그 주제가 자신의 평생 연구 주제가 될 수도 있다.

 

 

용어의 명확화는 평생학습자 양성이라는 UME의 역할을 정의하는 데 기여한다
(Clarifying the language helps define the role of UME in developing lifelong learners)

 

의학교육의 고전이라 할 수 있는 『Educating Physicians』는 UME(Undergraduate Medical Education, 학부의학 교육) 단계의 목적을 다음과 같이 제시한다. 즉, 수련과정 중 감독 하에 진료를 수행할 수 있도록 훈련시키고, 전문직업적 가치관을 내면화시키며, 각자의 전공 진로로 나아갈 수 있는 지식과 기술을 가르치는 ‘전문직 일반교육(general professional education)’을 완수하는 것이다(Cooke et al. 2010).

 

의과대학 졸업생은 평생학습(lifelong learning)을 수행할 수 있는 지식, 기술, 동기를 갖춘 상태로 졸업해야 하며, 그래야만 진료 능력을 지속적으로 향상시키고, 자신이 선택한 길에서 성장하며 탁월함을 추구할 수 있다.

 

저자들은 ‘평생학습 역량을 갖춘 의사’의 양성이라는 관점에서 볼 때, UME가 이러한 책임을 분명히 져야 한다는 입장을 지지하며, UME가 학생들의 자기조절학습(SRL) 기술을 개발하도록 돕는 역할을 강조하고자 한다.

 

이미 의학교육 문헌에는 SRL의 여러 요소가 UME 교육과정에서 어떻게 도입되고 발전하고 있는지를 보여주는 사례들이 존재한다.
예를 들어:

  • 인지(cognition): Ghali et al. 2000; Palmer and Devitt 2007; Sandars and Cleary 2011
  • 메타인지(metacognition)와 동기(motivation): Artino et al. 2011

또한 Cutrer 등(2017)은 자기조절학습을 핵심 원리로 포함하는 ‘Master Adaptive Learner 모델’을 제시하였다(Cutrer et al. 2017, 2019). 향후 연구는 SRL의 정의와 영역에 근거하여, 의학교육자들이 UME 교육과정을 설계하는 데 도움이 되는 구조화된 지도(map)를 개발하는 데 집중할 수 있을 것이다.


의과대학생에게 있어 ‘평생학습을 수용하고 실천해야 할 필요성’은 실제 환자 진료에 참여하고, 의료팀의 일원으로서 기능하기 시작할 때 더욱 실감나게 다가온다. 이러한 진입점을 기준으로, 학생이 UME 과정을 진전해 나가면서, 교수진도 학생의 점점 커져가는 자기주도성(self-direction)을 지지할 수 있도록 교수 전략을 변화시켜야 한다(Grow 1991).

 

이 시점에서 학생들은 환자 진료 역량(core competency of practice-based learning)을 발휘하기 위해 여러 가지 SRL 요소를 적용하게 된다. 물론, 평가가 수반되는 임상실습 중에는 완전히 독립적인 SDL을 실행할 수 있는 기회는 제한적일 수 있다. 그러나 이러한 환경에 있는 교수진은, 숙련된 독립 의료인의 자질로 요구되는 SDL 행동을 모델링하여 보여줄 수 있는 위치에 있다.

 

교육과정과 학습활동을 SRL 기술 개발을 염두에 두고 계획적으로 설계함으로써, 우리는 모든 학생들이 독립적인 진료를 수행할 수 있는 능력을 갖추도록 돕는 발판(scaffold)을 제공할 수 있으며, 이는 임상적 역량과 자기주도적 학습 접근방식 양쪽 모두를 개발하는 데 기여한다.

 


결론: 정확성이 기회를 만든다
(Conclusion: with precision comes opportunity)

과연 이게 그렇게 중요한 문제일까? 자기주도학습(SDL)과 자기조절학습(SRL)을 혼용한다고 해서, 의학교육에 진짜로 부정적인 영향이 있는 걸까?

 

실제로, 이러한 개념 혼용과 오용, 혼란의 사례는 의학교육 문헌 곳곳에서, 일상적인 교육 운영 속에서, 그리고 공통 교육 기준(MedBiquitous 2016; LCME 2020) 안에서도 빈번하게 발견된다. 그럼에도 불구하고, 학습자들은 각자의 방식으로 학습하고, 어느 정도는 보건의료와 평생학습을 실행하는 전문인으로 성장한다.

 

그러나 우리는 이 용어들을 정확하게 사용하는 것이 세 가지 중요한 이유에서 반드시 필요하다고 주장한다.


첫째, 이 두 용어는 교육학과 교육심리학이라는 두 학문 영역의 방대한 연구 전통을 담고 있으며, 이를 잘못 사용하는 것은 그러한 학문적 자산을 무시하는 행위가 된다. 의학교육은 오늘날 점점 더 학문적이며 이론적으로 정초된 접근을 강조하고 있다(Samuel et al. 2020; Varpio et al. 2020). 우리가 스스로를 진지한 교육자라 부르고자 한다면, 그 기반이 되는 이론적 지식들을 무시하거나 용어를 자의적으로 해석해서는 안 된다.


둘째, 이 두 개념의 차이를 이해하는 것은 의학교육 과정 설계 및 교수 전략을 최적화하는 데 본질적으로 중요하다. 특히 평생학습 기술을 언제, 어떻게 순차적으로 구조화(scaffold)하고 발달시킬 것인지 결정하는 데 핵심적인 역할을 한다.


셋째, 우리는 교육 프로그램을 설계하고 개선하기 위해 다양한 교육학 전문가들과 협업하고 있다. 이 전문가들은 성인교육(adult education), 교육심리학(educational psychology), 또는 그 둘을 모두 포함하는 배경을 가지고 있으며, SDL과 SRL과 같은 개념에 대한 깊이 있는 이해를 갖고 있다. 예를 들어, 교육 전문가에게 ‘self-directed learning’을 설계해 달라고 요청하면, 그는 성인교육자로서 훈련받은 SDL의 정의에 따라 활동을 설계할 것이다. 하지만 그가 활동을 수행하게 되는 의과대학의 문맥에서 SDL이 다른 의미로 사용된다면, 이 전문가가 제공하는 가이드와 설계는 해당 의과대학의 목표, 행정 리더십, 인증 요건을 충족시키지 못할 수 있다.


의과대학 교육(UME)은 졸업생들이 수련 과정을 넘어, 진정한 의미의 자기주도학습자로 성장할 수 있는 기초를 갖추도록 보장할 책임이 있다. SRL 기술 개발을 교육과정에 포함시키는 것은, 평생학습자를 양성하기 위한 설득력 있는 교육 설계 프레임워크를 제공한다.

 

이 역할을 충실히 수행하기 위해, 우리는 UME가 다음 두 가지 상호연관된 영역에 집중할 것을 제안한다:

  1. SRL 구성 요소를 UME 교육과정 내에 구축하고 평가하기
  2. 특히 임상 교육과정에서 SDL을 모델링하기

UME 교육과정의 설계와 결과에 관여하는 의학교육자들은, 확립된 교육 이론들을 실천에 반영하고, 연구와 평가의 수준을 끌어올리는 노력을 지속해야 한다.
의학교육 공동체 전체가 평생학습에 관한 용어를 명확하게 정의하고, 그 언어를 사용할 명확한 목적과 함께, 학문적 엄밀성을 지향하는 자세를 가져야 할 때이다.

 

 

🔍 자기주도학습(SDL)과 자기조절학습(SRL)의 비교 설명

  1. 기원 (Origins)
    • SDL성인교육(Adult Education) 분야에서 기원한 개념입니다. 성인이 스스로 학습의 방향을 설정하고, 학습 필요와 목표를 인식하며, 학습 전략을 선택해 실행하는 교육 방식입니다.
    • SRL은 인지심리학(Cognitive Psychology)과 교육심리학(Educational Psychology) 분야에서 유래했습니다. 학습자가 자신의 사고, 행동, 감정을 조절하여 목표를 달성하는 과정을 설명합니다.
  2. 학습 환경 (Setting)
    • SDL교실 밖이나 비공식적인 환경(informal setting)에서 이루어지는 학습을 지향합니다. 예: 개인 연구, 자발적인 탐구, 독학 등
    • SRL공식적인 학습 환경(formal academic setting), 즉 교실이나 정규 교육과정 속에서 주로 발생합니다.
  3. 과업의 설정자 (Task)
    • SDL에서는 학습자가 스스로 학습 과업(task)을 설정합니다.
    • SRL에서는 과업을 교사나 학습자 중 어느 쪽이든 설정할 수 있습니다. 즉, 과업은 외부에서 주어질 수도 있고, 학습자가 자율적으로 선택할 수도 있습니다.
  4. 목표 수준 (Goals)
    • SDL은 거시적 목표(macro-level goals)를 지향합니다. 즉, 학습자는 자신이 도달하고자 하는 궁극적 결과(예: 전문직 진입)를 기준으로 목표를 설정합니다.
    • SRL은 미시적 목표(micro-level goals)에 집중합니다. 주어진 과제나 활동에 대한 구체적이고 세부적인 목표를 통해 더 큰 목표로 나아갑니다.
  5. 동기 (Motivation)
    • 양측 모두 공통적으로 내재적 동기(intrinsic motivation)에 기반합니다. 즉, 학습은 외적 보상보다는 자기 내면의 동기나 가치에 의해 촉진됩니다.
  6. 과정 참여도 (Engagement with process)
    • SDL과 SRL 모두 학습자가 능동적으로(active) 학습 과정에 참여하는 것을 전제로 합니다.
  7. 성찰 (Reflection)
    • SDL에서는 학습자가 전체 목표(거시적 목표)를 향해 나아가는 과정을 돌아보고 성찰합니다. 즉, “나는 궁극적으로 의사가 되기 위해 지금 잘 가고 있는가?”를 성찰합니다.
    • SRL에서는 세부 과업을 수행하는 과정에서의 진행 상황을 성찰합니다. 예: “이번 시험 준비를 위한 계획은 효과적이었는가?”, “노트 리뷰와 스터디 그룹이 시험 결과에 어떤 영향을 주었는가?”

🧩 요약

 

항목  SDL  SRL
기원 성인교육 인지/교육심리학
학습 환경 비공식적, 교실 외 공식적, 교실 중심
과업 설정자 학습자 교사 또는 학습자
목표 수준 거시적 미시적
동기 내재적 내재적
참여 방식 능동적 능동적
성찰 초점 전체 목표 달성에 대한 성찰 과제 수행에 대한 성찰

 

J Eval Clin Pract2022 Feb;28(1):3-9.  doi: 10.1111/jep.13598. Epub 2021 Jul 22.

Two sides of the same coin: Quality improvement and program evaluation in health professions education

 

 

🩺 질 향상(Quality Improvement)은 어떻게 의과대학 교육 평가를 바꿀 수 있을까?

👨‍⚕️ 요즘 의과대학들은 *사회적 책무성(social accountability)*을 강조하며, 지역사회에 기여할 수 있는 교육 프로그램을 만들기 위해 노력하고 있죠. 그런데 과연 이런 프로그램들이 실제로 효과가 있을까요? 안타깝게도, 연구에 따르면 아직 그 성과는 확실치 않습니다. 😕


🎯 문제는 ‘프로그램 평가’ 방식에 있었다!

의과대학들은 다양한 혁신적인 교육 프로그램을 개발하고 있지만, 그것들이 잘 작동하는지를 평가하는 방식이 여전히 총괄적 평가(summative evaluation)에만 머무는 경우가 많습니다.

“While schools are clearly moving forward with well-intended programs, that the evaluations occur outside the context of mechanisms for improvement stands as a major constraint to the success of these initiatives.”
→ "학교들이 의도를 갖고 프로그램을 잘 운영하고는 있지만, 평가가 개선을 위한 메커니즘과 분리되어 이루어진다는 점이 이런 프로그램의 성공을 가로막는 주요 원인이다."

 

이 말은 곧, 프로그램을 바꾸기 위한 실시간 피드백이 거의 없다는 거예요. 그렇다면 어떻게 해야 할까요?


🔁 해답은 ‘질 향상(Quality Improvement)’!

질 향상(QI)은 원래 제조업에서 출발했지만, 지금은 보건의료와 교육에서도 매우 효과적인 도구로 인정받고 있어요. 이 방법의 핵심은 다음과 같습니다:

  • 지역 맥락에 맞춰 변화 설계
  • 반복적인 실험과 조정 (PDSA cycle 활용)
  • 실시간 피드백으로 프로그램 개선

“The deliberate use of quality improvement methods within evaluations can emphasize improvement-driven evaluation activities and, in the end, generate sustainable improvements in outcomes.”
→ "평가에 QI 방법을 의도적으로 통합하면, 개선 중심의 평가 활동을 강조할 수 있고, 결과적으로 지속 가능한 성과 향상으로 이어질 수 있다."


🔄 평가 전에? 평가 후에도! 언제든 QI

QI는 평가 이전에 적용하면 새로운 개입을 맥락에 맞게 조정할 수 있고, 평가 이후에도 실패 요인을 고치거나 필요한 부분을 보완하는 데 쓸 수 있어요. 예를 들어, 한 연구에서는 간호사와의 섀도잉 실습 프로그램을 다양한 병동, 시간대, 학습 목표 등으로 반복 실험하면서 점점 개선했어요. 이후 이 프로그램은 전체 교육과정에 통합될 수 있었습니다. 🔬


🧭 사회적 책무성을 향한 실질적인 접근

결국, 이 논문이 주장하는 바는 분명합니다.

“Quality improvement appears to be a natural fit with the current conceptualizations of social accountability as the proactive response to anticipated societal concerns and inequities through contextualized programming that graduates health system change agents and positively impacts health outcomes.”
→ "QI는 현재 사회적 책무성의 개념, 즉 사회적 불평등과 건강 문제에 대한 능동적 대응을 위해 보건의료 체계의 변화를 이끄는 인재를 양성하고 긍정적 건강 성과를 창출하는 맥락화된 교육과 자연스럽게 잘 맞는다."

 

이 말은 즉, QI는 단지 품질 보증(quality assurance)을 위한 도구가 아니라, 의학교육이 사회적 요구에 제대로 응답할 수 있게 해주는 실질적인 방법이라는 겁니다.


✍️ 마무리하며

프로그램 평가는 단순히 *“잘했어요!”*라고 말해주는 활동이 아닙니다.
"어떻게 더 잘할 수 있을까?"를 실시간으로 고민하고 실험해보는 과정, 그것이 질 향상(QI)입니다.
의과대학이 더 나은 교육 성과와 사회적 책무성을 이루고 싶다면, 이제 QI를 평가의 파트너로 삼아야 할 때입니다. 💡


1 | 서론 (INTRODUCTION)

의과대학은 광범위한 사회정치적 맥락과 불가분하게 연결되어 있으며, 사회 전반에 작용하는 경제적‧문화적 힘의 영향을 깊이 받는 동시에, 이러한 힘에 영향을 미칠 수 있는 권한 또한 지니고 있다¹ ². 실제로, 의학교육의 정책과 관행은 의료 전문가들이 환자 진료를 어떻게 수행하는지³, 누가 의사가 될 수 있는지⁴, 그리고 인구가 어떻게 보건의료에 접근하는지⁵에 직간접적으로 영향을 미친다.

 

대부분의 의과대학은 이러한 힘을 인식하고 있으며, 사회적 책무성(social accountability)에 대한 미션을 기관의 책무로 명시하고 있다⁶⁻⁸. 이러한 사회적 책무는 매우 다양한 활동으로 구체화될 수 있으며, 예를 들어 의과대학 교육에 대한 공정한 접근을 촉진하는 프로그램(입학 및 선발 관련 이니셔티브), 그리고 사회적 요구에 부합하는 교육성과를 창출하기 위해 고안된 교육과정 전략들(예: 서비스 러닝, 지역사회 배치, 취약계층과의 임상 경험) 등이 포함된다⁶⁻⁹. 예를 들어, 이러한 프로그램은 저소득 지역에서 진료할 수 있는 의사 배출이라는 결과로 이어질 수 있다.

 

하지만 많은 노력이 있었음에도 불구하고, 의과대학의 사회적 책무 프로그램에 대한 연구들은 이 프로그램들이 기대한 결과를 항상 달성하지는 못한다는 사실을 보여준다⁸ ¹⁰.

 

이에 대해 우리는, 이러한 성과 부족의 주요 원인은 현재 의학교육에서 지배적인 '인증 문화(accreditation culture)'의 한계에 기인한다고 본다. 현재의 인증 체계에서는, 의과대학이 사회적으로 의미 있는 프로그램을 운영하고 있다는 것(예: 체계화된 서비스 러닝 제공)만을 입증하면 되며, 이러한 프로그램이 실제로 어떤 성과를 내고 있는지는 증명할 필요가 없다¹¹⁻¹³. 이는 프로그램이 학습자와 지역사회에 어떤 영향을 미치는지에 대한 하류적 성과(downstream impacts)를 평가할 수 있는 다양한 접근 방식이 있음에도 불구하고 생기는 문제다.

 

그 결과, 많은 의과대학들은 프로그램이 존재한다는 사실을 보여주는 데 초점을 두며, 그것이 실제로 무엇을 달성했는지는 중요하게 다루지 않는다. 물론 일부 의과대학들은 프로그램 성과에 대한 증거를 수집하기도 하지만, 이 경우에도 공통적으로 발견되는 문제가 있다. 즉, 수집되는 성과가 대부분 단기적인 지표에 한정되며, 학습자·환자·지역사회에 지속가능한 영향을 보여주지 못한다는 점이다.

 

이러한 지속적인 영향을 실현하기 위해서는, 의학교육에서의 평가가 프로그램의 실시간 개선(real-time improvements)을 유도할 수 있는 메커니즘을 갖추어야 한다. 그러나 현실에서는, 많은 평가가 단지 프로그램의 우수성을 판정하는 데 그치고, 그로부터 얻은 지식을 바탕으로 프로그램을 향상시키기 위한 실제적인 후속 조치로 이어지지 못한 채, 추측 수준에 머무는 경우가 대부분이다.

 

이러한 맥락에서, 우리는 신속하고 반응적인 변화를 위해 이미 널리 활용되고 있는 하나의 검증된 방법론을 의학교육 평가에 통합함으로써, 그 효과를 극대화할 수 있는 방안을 모색하고자 한다. 이 방법론은 바로 '질 향상(quality improvement, 흔히 QI로 불림)'이다.

 

우리는 이 글을 통해, 보건의료 시스템 내에서 이미 그 가치를 인정받고 있는 질 향상 개념이 의학교육에서도 효과적으로 적용될 수 있으며, 평가된 프로그램의 향상에 기여할 수 있음을 보여주고자 한다. 이를 위해 먼저 질 향상을 성과 개선 접근법(performance improvement approach)으로서 개괄적으로 설명하고, 그 다음에는 일반적으로 사용되는 질 향상 모델을 프로그램 평가와 실질적으로 통합하는 방식을 소개하며, 이 통합이 평가에 어떻게 기여할 수 있는지를 논의한다. 마지막으로, 프로그램 평가 도구 상자(toolbox) 내에 질 향상을 내재화시키는 장점과, 그것이 사회적 책무성(social accountability)의 증진에 미치는 잠재적 이점에 대해 고찰한다.


1.1 | 질 향상(Quality Improvement)이란 무엇인가?

질 향상(quality improvement, 이하 QI)은 시스템의 성과(performance)를 향상시키기 위해 구조(structure), 과정(process), 결과(outcome)를 지역 수준(local level)에서 개선하고자 하는 일련의 체계적인 접근을 포괄하는 상위 개념이다¹⁴ ¹⁵. 흔히 ‘지속적 질 향상(continuous quality improvement)’이라는 철학적 개념과 혼용되기도 하지만, 후자가 시스템 내 성과 최적화에 지속적으로 집중하려는 포괄적 철학을 의미하는 반면, 전자인 QI구체적으로 정립된 틀(framework)과 의도적으로 적용되는 방법론 및 도구들을 지칭한다.

 

현대의 QI 프레임워크들은 1900년대 초반 제조업 분야에서 개발된 원리를 토대로 형성되었다¹⁶ ¹⁷. QI는 종종 품질 보증(quality assurance), 품질 관리(quality control) 등과 혼용되어 사용되지만, 그 주요 초점은 내부 주도적이고 의도적이며 반복적인 개선 활동을 통해 기존에 도달하지 못했던 수준의 성과를 달성하고 지속시키는 것이다.

 

보건의료 분야에서는 QI 방법이 널리 활용되며, 오류 감소, 위해 요인 완화, 환자 안전 향상, 의료 결과 개선 등에 기여하고 있다¹⁸. 보건의료전문직 교육(health professions education) 역시 이러한 QI의 임상적 유용성을 인식하여, 역량 기반 교육 틀 내에 QI를 통합하고, 이를 핵심 교육과정의 일환으로 정규 훈련을 요구하며, 모든 졸업생이 보건의료시스템 개선에 기여할 수 있는 역량을 갖추어야 한다고 명시하고 있다¹⁹ ²⁰.

 

QI에는 다양한 프레임워크가 존재하며, 적용 절차나 개선의 초점은 다르지만, 모두가 공통적으로 공유하는 특징들이 있다. 이들 모두는 지역적 수준에서의 시스템 성과 향상에 집중하며, 지속적인 데이터 수집을 통해 체계적으로 변화를 추진한다. 일반적으로 각 프레임워크는 두 가지 핵심 구성요소를 포함한다:

  1. 개선 목표(goal)와 관련 성과 지표(performance indicators)를 정의하는 기획 기능(executive function)
  2. 목표 달성을 위해 적용되는 구체적인 도구의 집합(toolset)
    변화는 대개 점진적으로 시행되고, 반복적으로 실험되며, 지속적으로 모니터링됨으로써, 지역 맥락(local context)에 맞게 조정되도록 한다¹⁴ ²¹.

이 논문 전반에서 예시로 사용할 대표적인 프레임워크는 The Model for Improvement(개선 모델)이다²². 이 모델은 순환적이고 반복적인 방식으로 변화를 구현하는 데 유용하며, 보건의료 분야에서 자주 사용되며, QI 교육과정에서 의료 학습자에게 흔히 가르쳐진다²³.

 

이 모델은 초기 단계에서 명확한 목표(aim)를 설정하고, 개선 활동을 평가하기 위한 세 가지 범주의 지표들—결과 지표(outcome measures), 과정 지표(process measures), 균형 지표(balancing measures)—로 구성된 '지표의 집합(family of measures)'을 정의한다²⁴⁻²⁶. 이후에는 PDSA 사이클(Plan-Do-Study-Act cycle)을 반복 적용하여, 개입(intervention)이나 변화 개념(change concept)을 시험하고, 최적화하며, 지속 가능성을 확보한다²⁷.

 

PDSA 사이클새롭고 익숙하지 않은 맥락에 맞게 개입을 조정하고 적응시킬 수 있게 하여, 변화가 실제 개선으로 이어질 가능성을 높인다²⁸.

 

모든 QI 프레임워크에서 공통적으로 강조되는 핵심 요소는 ‘맥락(context)’의 중요성이다²⁹. 의학교육에서의 맥락은 다음과 같이 정의된다:

“환자, 장소, 진료, 교육, 사회 등에서 나타나는 기저 패턴과, 이들 간의 예측 불가능한 상호작용에 의해 생성되는 역동적이고 끊임없이 변화하는 시스템”²⁹

 

의학교육은 맥락을 형성하는 동시에, 그로부터 영향을 받는다. 예를 들어, 교육성과를 유도하기 위해 맥락적 변수를 의도적으로 조작할 수 있으며, 이는 지방 또는 외딴 지역에서의 수련 배치, 또는 여러 진료과를 순환시키는 과정 등을 통해 다양하고 취약한 환자군에 대응할 수 있는 독립적 진료 역량을 길러주는 데 사용된다²⁹ ³⁰.

 

연구 증거를 일반화하려면 다양한 맥락을 고려하는 것이 필수적이지만, 특정 환경에서의 구체적인 맥락 요소들은 항상 가시적이지 않으며, 타 기관에서 개발된 개입을 그대로 적용할 경우 그 맥락이 예기치 않게 효과를 방해할 수도 있다²⁹. 따라서 QI는 맥락을 시스템의 내재된 일부로 간주하며, 개입의 실행, 수용, 지속 가능성, 그리고 결과를 형성하는 데 있어 맥락의 역할을 중시한다³¹.

 

이러한 관점에서 볼 때, QI는 다른 학교에서 개발된 개입을 자교의 교육 프로그램에 도입하려는 경우 특히 유용하다. 예를 들어, 문제 기반 학습(problem-based learning)이나 온라인 교육 모듈과 같은 성공적인 개입들이 다른 유사한 환경에서 동일한 결과를 재현하는 데 실패한 사례가 존재한다³² ³³. 하지만 개입을 지역 맥락에 맞게 정교화(refine)한다면, 그 성공 가능성은 더 높아질 수 있다³⁴ ³⁵.

 

1.2 | 질 향상(QI)은 프로그램 평가(program evaluation)와 어떻게 다른가?

질 향상(quality improvement)이 과학적 방법론으로서 공학 및 제조 산업에서 발전한 반면, 프로그램 평가(program evaluation)는 그 기원을 1940년대 교육 분야에서 찾을 수 있다. 프로그램 평가 모델은 초기의 환원주의적 접근(reductionist approach)에서 출발하여, 사전 정의된 목표를 달성했는지에 대한 증거 수집에 집중하던 방식에서, 이제는 이론 기반 모델(theory-based models)로 발전하였다. 이 새로운 모델들은 프로그램이 어떻게, 왜 작동하는지, 그 인과적 메커니즘(causal mechanisms)은 무엇인지, 그리고 예기치 않은 부작용(unintended consequences)이 무엇일 수 있는지를 이해하는 데 초점을 둔다³⁶⁻⁴³.

 

유사한 점이 많음에도 불구하고, 질 향상은 프로그램 평가와는 본질적으로 다른 접근 방식이다(표 1 참고). 이러한 차이는 데이터 수집 방법 및 지식의 유형에 대한 관점에 영향을 준다. 예를 들어,

  • 프로그램 평가는 이해관계자에게 '프로그램이 어떻게, 왜 작동하는가'에 대한 지식 생성을 중시하는 반면,
  • 질 향상은 해당 프로그램이 운영되는 지역 맥락에서의 성과 개선에 더 큰 관심을 둔다.

 

따라서 프로그램 평가자는 일반적으로 맥락적 변수(contextual variables)와 프로그램 효과성 지표를 분리해서 다루지만, QI 수행자는 맥락 자체를 시스템의 내재된 일부로 간주하며, 개입의 수용, 실행, 결과에 영향을 미치는 요소로 여긴다⁴⁴ ⁴⁵. 이로 인해 많은 평가 활동은 단순히 프로그램 효과성에 대한 총괄적 판단(summative judgement)으로 그치고, 그 이후의 활용으로는 이어지지 않는 경우가 발생한다⁴⁶⁻⁴⁸.

 

최근에는 프로그램 평가의 결과가 실제 실행(practice) 개선으로 이어져야 함을 강조하는 새로운 평가 접근 방식들도 등장하고 있다. 예를 들어, Patton(2010)의 발달적 평가(Developmental Evaluation)는 신속하고 지속적인 프로그램 개발에 중점을 둔다. 그러나 이 접근은 정형화된 도구나 방법에 의존하지 않으며, 이해관계자들이 실험과 혁신을 시도할 준비가 되어 있어야 하고, 불확실성에 대한 수용력실패에 대한 개방성을 요구한다⁴⁹ ⁵⁰.

 

발달적 평가의 특징 중 일부는 시스템 수준의 원인을 겨냥하는 개입을 생성한다는 점에서 QI와 겹치는 부분도 있지만, 의학교육에서는 널리 활용되지 않는다. 이는 방법론적 구조의 부재, 총괄적 결과에 대한 비중 축소, 그리고 기관 차원의 위험 회피 성향 등이 그 확산을 저해하는 요소로 작용한다고 추정된다.

 

평가 결과의 실제 활용(evaluation utilization)은 여전히 해결되지 않은 핵심 과제다. 특히, 평가 결과가 이론과 실행에 얼마나 영향을 미치는지에 대한 우려가 지속적으로 제기되어 왔으며, 많은 연구들은 프로그램 효과성에 대한 총괄적 판단을 넘어서 평가 결과가 실제로 사용되지 않는 현실을 지적해 왔다⁵¹⁻⁵³. 다시 말해, 평가는 프로그램 성과를 최적화할 수 있는 개선 영역을 밝혀주지만, 그 결과는 대부분 무시되거나 실천으로 이어지지 않는다.

 

이에 대해 일부 학자들은, '도구적 활용(instrumental utilization)', 즉 평가 결과를 명확한 프로그램 개선 행동으로 직접 연결시키는 것이야말로 평가의 진정한 가치 판단 기준이 되어야 한다고 주장한다. 이는 평가가 실제 개선을 유도했다는 명확한 증거를 제공하기 때문이다. 결국, 프로그램 평가의 결과가 이론적 담론과 실제 실행(practice)에 얼마나 실질적인 영향을 주는가는 여전히 중요한 논의 지점으로 남아 있다. 특히, 총괄적 판단에 그친 채 실행으로 이어지지 못하는 평가 결과가 반복되고 있다는 점에서 그렇다⁴⁸⁻⁵⁰.


2 | 프로그램 평가를 보완하기 위한 질 향상(Quality Improvement)의 활용

우리는 질 향상(QI) 방법이 의학교육 평가 이니셔티브의 활용도를 확장하는 데 효과적이고 수용 가능한 방식이 될 수 있다고 믿는다²⁰ ⁵⁴. 특히, 프로그램 평가와 질 향상은 상호 보완적인 특성을 가지며, 이 두 접근이 실시간으로 프로그램을 조정하여 더 나은 성과를 달성할 수 있도록 상호 강화될 수 있다고 본다(그림 1 참조).


2.1 | 프로그램 평가에 앞선 질 향상의 활용

질 향상은 프로그램 평가에 앞서 사전 단계(pre-cursor)로 유용하게 사용될 수 있으며, 이를 통해 향후 더 정교하게 평가될 지역 개입(local intervention)의 초기 설계 및 실행을 도울 수 있다. 이 맥락에서, 질 향상 접근은 이후 개입을 위한 '개념 증명(proof of concept)'을 구축하는 데 기여할 수 있다⁵⁵.

 

새로운 혁신은 당연히 바람직하지만, 복잡한 시스템 내 낯선 맥락에 신개념 개입을 도입하는 일은 매우 어렵고, 신중하게 계획되지 않으면 실패한 실행으로 이어질 수 있다. 실제로, 새로운 교육과정을 도입하는 의과대학은 종종 '성과 하락(performance dip)', 즉 교육과정 변화 이후 일정 기간 동안 성과가 저하되는 현상을 경험하곤 한다⁵⁶.

 

이러한 상황에서 QI 방법을 초기 단계에 적용하는 가장 큰 장점은 개입을 지역 맥락에 맞게 조정(tailor)할 수 있다는 점이다. 예를 들어, 일대일 파일럿(one-to-one pilot)을 활용하면, 더 넓은 사용자에게 확장하기 전에 개입을 한 명(또는 한 그룹)을 대상으로 시험하고 개선할 수 있다. 이처럼 여러 번의 반복적 실험(iterative tests)을 수행함으로써, 개입의 충실도(fidelity)와 관련된 문제를 조기에 발견하고 해결할 수 있으며, 해당 맥락에 최적화된 개입으로 발전시켜 확장 시 기능성을 높일 수 있다.

 

지역 맥락 내에서 여러 번의 조정 사이클을 거친 이후에는, 프로그램 평가를 통해 그 개입이 어떻게, 왜 효과가 있었는지를 종합적으로 이해할 수 있게 된다.

 

보건의료전문직 교육 문헌에서도 이러한 사례가 보고되어 있다. 한 연구에서는 The Model for Improvement를 사용하여, 의학 예과(pre-clerkship) 학생들에게 제공할 다학제적(interprofessional) 체험 학습 개입을 설계, 실행, 개선하는 데 이 모델을 적용하였고, 이후 개입이 확장된 시점에서 보다 광범위한 프로그램 평가를 수행하였다⁵⁷ ⁵⁸.

 

PDSA 사이클은 이 개입을 식별하고 정교화하는 데 매우 유용했으며, 다음과 같은 요소들을 반복적으로 실험하고 조정하는 데 활용되었다⁵⁹:

  • 다양한 임상 환경에서의 시험 적용 (예: 병동별 실습 적용 비교)
  • 체험 학습의 적정 시간대와 기간 설정 (예: 요일, 교대 시간)
  • 학생 일정 관리 도구 (예: 스케줄링 시스템)
  • 학생의 다학제 경험 준비를 위한 학습 전략 (예: 학습 목표, 자주 묻는 질문, 간호사 프리셉터에게 물어볼 질문 예시 등)

이후 반복된 PDSA 사이클은 이 개입을 더 많은 다학제 팀 구성원(예: 언어치료사)에게 확산시키고, 의과대학의 또 다른 분산 캠퍼스(distributed campus)로 확장하는 데 기여하였다.

 


2.2 | 프로그램 평가 이후의 질 향상(Quality Improvement)

질 향상(QI) 접근은 프로그램 평가 이후의 개선 활동에도 효과적인 메커니즘으로 작용할 수 있다. 프로그램 평가는 계획된 목표가 달성되었는지 판단하고, 관련 이해관계자에게 그 가치를 입증하는 역할을 한다. 그러나 동시에, 프로그램 내에서 충분히 작동하지 않았던 영역도 함께 드러낸다.

 

평가 결과를 바탕으로 교육자들은 의도된 결과든, 의도치 않은 결과든 간에, 성과를 향상시키기 위해 프로그램을 정교화하려는 욕구를 갖게 될 수 있다³⁸ ⁶⁰. 이때, 질 향상 접근은 평가를 통해 확인된 결과에 영향을 미치는 맥락적 요인과 인과 메커니즘을 다루는 개입을 개발하고 실험하는 데 유용하다.

 

이러한 순차적 적용 방식(sequential application)은 특히 평가 이전에 QI를 선제적으로 사용하지 않았던 신규 프로그램에 적합하다. 특히 광범위하게 시행되었지만 실제 실행 과정에서 완전하게 작동하지 않았던 프로그램의 경우에 더욱 유용하다.

 

실제로 많은 경우에서, 의도한 성과를 내지 못한 프로그램 또는 과정의 일부 요소들을 수정하거나, 부정적 결과에 기여했던 요소들을 제거하거나, 목표한 성과 달성을 위해 새로운 구성요소를 추가 통합할 필요가 생긴다. 이러한 각각의 개선 영역은 QI 도구와 방법론을 통해 구체적으로 타겟팅할 수 있다.

 

프로그램 평가 이후의 도구로서 QI 방법을 활용하면, 의과대학의 사회적 책무성(institutional social mission)을 실제 실행으로 전환하는 과정을 강화할 수 있다.

 

예를 들어, Dharamsi와 동료들(2010)은 8개 선택형 학생 그룹과 함께 2년 동안 진행된 새로운 지역사회 서비스 러닝 이니셔티브를 파일럿 테스트한 바 있다⁵¹. 이 사례에서, QI 방법은 기존 서비스 러닝 프로그램을 확장하여, 급성 또는 응급 건강 요구를 가진 새로운 인구 집단에 대해 학습할 수 있는 기회를 학생들에게 제공하는 방식으로 적용될 수 있다.

 

반복적 사이클(iterative cycles)을 통해, 개입이 확장될 때마다 시험 및 개선을 거쳐, 최종적으로는 핵심 교육과정(core curriculum)에 통합될 수 있다.


3 | 논의 (DISCUSSION)

프로그램 평가는 사회적 책무성(social accountability)을 촉진하는 교육 개혁을 유도할 수 있는 잠재력을 가진다는 인식이 강하게 존재한다. 하지만 의과대학들이 사회적 책임을 다하기 위해 상당한 노력을 기울이고 있음에도⁶ ⁸, 이러한 프로그램이 실제로 효과적인지에 대한 근거는 매우 부족하다⁵² ⁵³.

 

우리의 견해로는, 많은 학교들이 의도를 갖고 진심으로 프로그램을 개발하고는 있지만, 그 평가가 프로그램 개선을 위한 메커니즘과 분리되어 수행되고 있다는 점이 이러한 이니셔티브의 성공을 제한하는 주요 요인이라고 본다. 이에 대해 우리는, 질 향상(QI) 방법을 동시에 적용함으로써 프로그램을 실질적으로 개선할 수 있다는 관점을 제안한다.

 

QI 방법의 병행적 사용(parallel use)이란, 프로그램 평가 전반에 걸쳐 반복적인 PDSA 사이클을 지속적으로 활용하여, 개선이 필요한 영역을 식별하고 개입을 정교화하여 그 효과를 향상시키는 방식을 말한다. 주목할 점은, 이러한 관점이 미국과 캐나다 의과대학을 인증하는 LCME(Liaison Committee on Medical Education)의 요구사항과 일치한다는 것이다. LCME는 의과대학이 다음과 같은 활동을 수행할 것을 요구한다:

“단기 및 장기적인 교육 목표를 수립하고,
프로그램의 질 향상에 활용 가능한 측정 가능한 성과를 달성하며,
의학교육 프로그램이 인증 기준을 준수하는지를 효과적으로 모니터링할 수 있는
지속적 기획과 지속적 질 향상 과정(Strategic Planning and Continuous Quality Improvement)을 수행해야 한다”(Standard 1.1)¹²

 

하지만 의학교육 문헌에서는 QI와 프로그램 평가의 관계에 대한 논의는 매우 부족하며, 일부 논의에서는 QI를 단순히 ‘품질 보증(quality assurance)’ 또는 ‘최소한의 인증 기준 준수’와 혼동하는 경향이 있다⁶¹.

 

이에 대해 Boelen과 Woollard(2011)는, 질 향상이 사회적 책무성을 촉진하는 방안이 될 수 있음을 제시하며, 사회적 요구의 변화에 따라 기관의 미션과 교육 프로그램을 지속적으로 정교화할 수 있도록 하는 능동적 피드백 루프를 포함한 모델을 제안하였다⁶². 더 최근에는 Clithero 외(2017)가 사회적 책무성 모델을 제시하며, 이 모델이 실행 → 평가 → 사후 조정(post-evaluation adjustments)으로 이어지는 순환적 구조를 가지며, 이를 통해 의과대학의 거버넌스, 교육, 연구, 서비스가 개선되어야 한다고 주장하였다⁶³.

 

이러한 모델들은 QI의 핵심 원칙을 반영한다:

  • 반복적(iterative)이고
  • 지역 맥락과 요구에 민감하며(attentive to local contexts and needs)
  • 단순한 과정 개선을 넘어, 결과의 향상과 지속 가능성(sustainable outcomes)을 지향한다.

평가 안에 QI 방법을 의도적으로 통합하는 것은, 개선 중심의 평가 활동(improvement-driven evaluation)을 강조하고, 결과적으로 지속 가능한 성과 향상(sustainable improvements)으로 이어질 수 있다. 물론, 발달적 평가(developmental evaluation) 또한 이러한 개선을 강조한다⁶⁴. 그러나 QI 방법은 의학교육에서 사용되고 있는 다양한 평가 프레임워크와 유연하게 결합될 수 있는 특징을 갖고 있다.

 

요컨대, QI는 ‘사회적 책무성’의 현재 개념, 즉 사회적 불평등과 미래의 건강 문제에 대한 능동적 대응을 위해 보건의료 체계 변화를 이끄는 인재를 배출하고 긍정적인 건강 성과를 창출하는 ‘맥락화된 교육(contextualized programming)’의 역할과 잘 부합한다.

QI와 프로그램 평가의 결합은 의과대학이 새롭게 등장하는 사회적 요구(emergent needs)에 신속히 대응하고, 기관의 사회적 미션과 교육 실천을 변화시켜, 이해관계자에게 양질의 교육 성과가 건강 성과에 긍정적 영향을 미친다는 증거를 제공할 수 있게 한다.


4 | 결론 (CONCLUSION)

교육 평가는 “교육과정의 개발과 변화를 유도”하며, “의학교육자가 교육을 개선할 수 있도록 돕는 활동”이라고 정의된다⁶⁵. 보건의료 전문직 교육에서 교육과정의 개혁과 혁신은 확실히 필요하지만, 실제로 학교들이 어떻게 개선을 실행하는지는 불분명하고, 상당히 다양할 수밖에 없다.

 

프로그램 평가는 의학교육의 핵심 활동 중 하나이지만, 이해관계자에게 가치를 입증해야 한다는 요구와, 인증과 같은 평가 활동의 관료적 성격평가 이후의 실질적 개선 활동을 방해하는 요소가 될 수 있다.

 

질 향상과 관련된 검증된 개선 방법론은, 단독으로든 평가 활동과 결합하여든, 아직까지 의학교육 분야에서 표준적 실천으로 자리 잡지 못했다. 이 논문에서는 질 향상을 단순한 철학이 아니라, 평가와 순차적 혹은 동시적으로 통합되어 사회적 미션의 성과를 향상시키는 실질적 메커니즘으로서 구체화하였다.


 

 

 

 

이 표는 프로그램 평가(program evaluation)와 질 향상(quality improvement)이라는 두 접근법이 목적, 방법, 산출물, 지식 활용의 측면에서 어떻게 서로 다른지를 요약한 내용입니다. 두 접근은 독립적으로도 기능할 수 있지만, 의도적으로 결합된다면 서로를 보완하며 효과를 극대화할 수 있는 가능성을 지니고 있습니다.

🎯 목적(Objective)

  • 프로그램 평가는 주어진 맥락에서 프로그램이 얼마나 잘 작동하는지를 이해하는 데 목적이 있습니다. 즉, 프로그램의 성과를 해석하고 설명하는 데 초점이 맞춰져 있습니다.
  • 질 향상은 지역 수준에서 새로운 수준의 성과에 도달하는 것 자체가 목표입니다. 즉, 이해보다는 성과의 개선이 핵심입니다.

🛠️ 방법과 모델(Methods and Models)

  • 프로그램 평가는 CIPP, 로직 모델(Logic Model), 커크패트릭(Kirkpatrick) 모델 등 다양한 평가 모형을 사용합니다. 이들은 프로그램의 계획, 실행, 결과를 분석하는 데 유용합니다.
  • 질 향상은 The Model for Improvement, Lean, Six Sigma 등 다양한 QI 모델에 기반하여 실행됩니다. 반복적 실험과 실시간 개선을 지원하는 구조적 접근법들입니다.

📊 일반적 산출물(Common Output)

  • 프로그램 평가는 ‘무엇이 잘 작동했고, 무엇이 작동하지 않았으며, 또 어떤 일이 일어났는지’를 포괄적으로 설명하는 이해 기반의 결과를 산출합니다.
  • 반면, 질 향상은 시스템에 대한 지속 가능한 변화(sustained improvement)를 만들어내는 데 초점을 둡니다. 즉, 변화 자체를 이끌어내는 실천적 결과가 목적입니다.

🧠 지식 활용의 목적(Purpose of Knowledge)

  • 프로그램 평가는 평가 결과를 통해 이해관계자에게 프로그램의 가치 또는 효과에 대한 증거를 제공하는 것이 주된 목적입니다.
  • 질 향상은 변화가 지속 가능한 지역 성과 개선으로 이어졌는지를 보장하는 데 지식이 활용됩니다. 즉, 지식은 변화의 지속성을 증명하는 도구입니다.

 

 

 

 

 

🔄 프로그램 평가와 질 향상(QI)의 순환적 연계 프레임워크

이 그림은 프로그램 평가(program evaluation)와 질 향상(quality improvement)을 어떻게 순차적이면서도 반복적으로 연결하여 사용할 수 있는지를 보여주는 프레임워크입니다. 핵심 메시지는 다음과 같습니다:

“QI 방법을 지속적으로 사용해 개입(intervention)을 반복적으로 개선하고, 프로그램의 성과가 실질적으로 달성되고 유지될 때까지 발전시켜야 한다.”

 


🔍 프로그램 평가에서 시작하기 (Program Evaluation → QI)

먼저, 기존 혹은 신규 프로그램을 기존 평가 모델(예: Kirkpatrick 모델, CIPP 모델, Realist Evaluation 등)을 사용해 평가할 수 있습니다. 이 과정에서는 다음과 같은 목표를 달성합니다:

  • 무엇이 효과가 있었고, 무엇이 작동하지 않았으며, 어떤 일이 일어났는지에 대한 포괄적 이해를 생성
  • 개선이 필요한 영역을 식별, 이후 QI 방법으로 타겟팅 가능

🧪 질 향상을 통한 새로운 개입 실험 (QI → 신규 개입 테스트)

Model for ImprovementPlan-Do-Study-Act(PDSA) 사이클을 활용하여 소규모 단위로 새로운 프로그램이나 개입을 실험합니다.

  • Abandon: 작동하지 않는 경우, 다른 개입을 새롭게 실험
  • Adapt: 기존 개입을 수정하고 반복적 실험을 이어감
  • Adopt: 작동이 확인되면, 확산 및 규모 확장 후 본격적인 평가로 전환

🔁 이 방식은 개입이 처음부터 제대로 작동하지 않을 수 있음을 전제로 하며, 반복을 통해 맥락에 맞는 최적화를 유도합니다.


🔧 프로그램 평가 이후 개입을 개선하기 (Evaluation → QI)

이미 평가된 프로그램이라도, 개선이 필요한 부분이 식별되었다면 QI 방법으로 정밀 개선이 가능합니다:

  • 프로그램 평가에서 드러난 개선 필요 영역을 Model for Improvement로 정조준
  • 반복적인 PDSA 사이클을 통해 Abandon, Adapt, Adopt 전략을 계속 적용

🔁 다시 프로그램 평가로 (QI → Evaluation)

QI를 통해 프로그램을 개선한 뒤에는, 다시 평가를 통해 다음을 확인합니다:

  • 문제가 되었던 영역이 QI로 효과적으로 개선되었는가?
  • 프로그램의 질적 가치가 실제로 향상되었는가?
  • 프로그램이 최적화되고 지속 가능한 상태에 도달했는가?

이 프레임워크는 QI와 프로그램 평가를 대립되는 것이 아니라, 상호 순환적이고 강화적인 관계로 재구성합니다. 즉, 하나의 방향으로만 흘러가는 선형 모델이 아니라, 개선과 평가가 유기적으로 이어지는 루프(loop)를 통해 지속 가능하고 효과적인 교육 성과를 달성하는 것입니다.

 

Can Med Educ J. 2021 Nov 1;12(5):54-58. doi: 10.36834/cmej.71640. eCollection 2021 Nov.

Developmental Evaluation: six ways to get a grip on the potential of education scholarship to serve innovation

 

 

 

🌐 COVID-19 시대, 교육 평가를 다시 생각하다: 발전적 평가(Developmental Evaluation)의 6가지 통찰

팬데믹이 교육을 강타했을 때, 의료계 교육자들과 학습자들은 정말 전례 없는 도전에 맞닥뜨렸습니다. 특히 가상 진료(virtual care)학생 주도 환자 진료(student-led patient care) 같은 새로운 방식이 빠르게 등장했죠. 이런 상황에서 기존의 평가 방식이 과연 통했을까요?

 

오늘 소개할 논문은 그런 질문에서 시작합니다. 바로, "발전적 평가(Developmental Evaluation, DE)"라는 새로운 평가 관점을 제안하는 글이에요. 기존의 딱딱한 '성과 중심 평가' 대신, 변화와 복잡성을 받아들이는 학습 중심 평가가 필요하다는 메시지를 담고 있습니다.


🎯 기존 평가, 혁신을 따라가지 못한다?

COVID-19 상황 속에서 의료 교육은 그야말로 급변했습니다. 그런데 우리가 쓰던 기존 평가 틀은 이 복잡한 현실을 담아내기엔 너무 정적이고 고정적이었죠. 논문에서는 이렇게 말합니다:

Innovations are rarely stable and fixed given their complex nature.
“혁신은 그 복잡한 성격상 거의 고정적이거나 안정적이지 않다.”

 

그리고 한 발 더 나아가 이런 지적도 합니다:

The peer review process can actually stifle innovation in experimentation.
“동료 평가(peer review) 과정은 오히려 실험적 혁신을 억누를 수 있다.”

 

이런 한계들 속에서 DE는 기존 평가의 보완 수단으로 등장합니다.


💡 발전적 평가란 무엇인가요?

발전적 평가(DE)는 간단히 말해 “복잡한 상황에서 혁신을 지원하는 평가 방식”입니다. 핵심 목적은 빠르게 변화하는 상황 속에서 '지금 무엇을 해야 할지'를 결정할 수 있게 돕는 것이죠.

The primary purpose of DE is to gather relevant, credible, and useful information to make decisions about programs and innovations during times of complexity.
“발전적 평가의 주요 목적은 복잡한 시기에도 프로그램과 혁신에 대한 결정을 내릴 수 있도록 관련성 있고 신뢰할 수 있으며 유용한 정보를 수집하는 것이다.”


🛠 DE를 적용하기 위한 6가지 팁

이 논문은 단지 DE를 소개하는 데 그치지 않고, 실제로 어떻게 적용할 수 있을지에 대해 6가지 팁을 제안합니다. 아래에서 간단히 소개해드릴게요.


1️⃣ 전체 시스템을 바라보세요 (Look at the whole system)

한 명의 학생, 교수, 환자만 보는 게 아니라, 학과, 병원, 지역 보건 체계까지 거시적 관점에서 바라보는 게 중요해요.

The development of the VSPC is a highly complex endeavour with many interconnected elements.


2️⃣ 맥락을 이해하세요 (Get to know your context)

좋은 교육은 그 자체로 훌륭한 게 아니라, 그 맥락에서 어떻게 작동하느냐가 중요합니다.

Evaluation is a person and context-driven practice.


3️⃣ 실시간으로 유용한 정보를 모으세요 (Use real-time useful data)

꼭 방대한 데이터가 아니어도 됩니다. 중요한 건 지금 당장 의사결정에 도움이 되는 작지만 정확한 정보예요.

Real-time data that informs decision-making needs to be accurate not comprehensive.


4️⃣ 변화를 받아들이고 거기서 배우세요 (Embrace change and learn from it)

변화는 혼란이 아니라, 성장 기회의 신호일 수 있습니다.

If we frame change as an opportunity for growth... then we are obliged to model adaptability.


5️⃣ 성찰의 시간을 확보하세요 (Create space for purposeful reflection)

회의 후 10분이라도 좋은 질문과 함께 돌아보는 시간을 가지는 것이 중요해요.

Building time... to engage in purposeful reflection that is guided by a good question is critical to learning.


6️⃣ 판단이 아닌 학습의 자세를 가지세요 (Hold a learner stance)

'목표 달성했나?'보다 더 중요한 질문은 '무슨 일이 실제로 벌어졌고, 무엇을 배울 수 있었는가?'입니다.

Evaluation as an opportunity for learning.


✨ 마무리하며: DE는 평가가 아니라 학습의 실천

이 논문이 던지는 메시지는 아주 분명합니다. 지금 같은 불확실성과 복잡성의 시대에는, 판단 중심 평가보다 ‘학습 중심 평가’가 훨씬 더 효과적이라는 것이죠.

Developmental evaluation... is a practice that values iteration and adaptability, a practice that emphasizes collecting credible and valuable information to help inform decision making, and a practice that favours learning over judgement.


📝 정리하며

  • 발전적 평가(DE)는 복잡한 상황에서 혁신을 지원하는 평가 방식이에요.
  • 정적인 목표-성과 평가에서 벗어나, 지금 여기에서 작동하는 실질적인 정보를 모으고 빠르게 피드백하는 것이 핵심이에요.
  • 혁신은 살아있는 생물처럼 흘러가고, 변화하며, 배우는 과정입니다.

 


우리는 지금 전례 없는 시대를 살고 있습니다. COVID-19 팬데믹은 의학교육 환경에 심대한 도전을 던졌습니다. 세계보건기구(World Health Organization)가 2020년 3월 11일에 팬데믹을 선언한 직후, 모든 보건의료 교육생들의 교육이 중단되었습니다. 그로부터 몇 달 동안, 보건의료 교육생들은 이 혼란을 극복하고 새롭게 발생한 환자 진료의 공백을 메우기 위해 가장 먼저 선두에 나서 혁신적인 사고를 발휘한 집단이 되었습니다. (예: 일부 교육생들은 환자에게 집에서 직접 연락을 취하거나, 가상 진료 설계팀에 참여함).

 

하지만 이런 교육생들의 혁신적인 활동에도 불구하고, 많은 교육 관행들은 표면적으로는 혁신을 지지한다고 하면서도, 실제로는 혁신이 어떻게 작동하는지에 대한 기존의 이해를 제대로 반영하지 못합니다¹. 예를 들어, 캐나다 의학교육협회(CAME)는 교육학적 학문(education scholarship)을 다음과 같이 정의합니다:

“보건의료 전문직 교육에서의 연구(research)와 혁신(innovation)을 포괄하는 상위 개념. 교육학적 학문으로서의 질은 동료 평가(peer-reviewed), 공개적 공유(publicly disseminated), 그리고 다른 이들이 이를 기반으로 삼을 수 있도록 하는 작업을 통해 달성된다.”²

 

이 정의에 따르면, ‘질 높은 교육학적 학문’을 구성하는 두 가지 전제가 존재합니다.

  • 첫 번째 전제는, 연구의 대상(자료, 산출물, 자원 등)이 연구 기간 동안 안정적이고 고정되어 있어야 동료 평가가 가능하다는 점입니다³.
  • 두 번째 전제는, 좋은 학문 연구는 엄밀하고(rigorous), 재현 가능하며(reproducible), 연구 결과가 다양한 맥락에 일반화될 수 있어야 한다는 것입니다⁴.

하지만 교육학적 학문(scholarship)과 혁신(innovation)은 반드시 서로 잘 맞아떨어지는 것은 아닙니다. 혁신은 그 복잡한 속성상 본질적으로 안정적이지 않으며, 고정되어 있지 않은 경우가 많습니다⁵. 게다가, 동료 평가 과정은 오히려 실험적 혁신을 억제할 수 있다는 주장도 있습니다. 연구가 일반화 가능성에 중점을 둔다면, 혁신은 고유한 맥락(context)의 중요성에 더 큰 가치를 두며, 보편적 일반화에는 덜 비중을 둡니다.

 

따라서, 기존의 교육 연구를 구성하는 전제들이 복잡한 상황에서 혁신적 사고와 실행을 충분히 지지하지 못한다면, 교육학자로서 우리는 무엇을 대안으로 삼아야 할까요?

 

그 대안 중 하나가 바로 Developmental Evaluation (DE; 발전적 평가)입니다. 이는 복잡하고 불확실한 환경 속에서 변화 주도 혁신을 개발하는 사람들을 지원할 수 있는 평가 접근법입니다⁵. ‘Evaluation(평가)’의 문자적 정의는 “프로그램의 가치나 성과를 판단하는 것”입니다⁵. 실제로, 많은 보건의료 교육 평가 프레임워크와 실천들은 이 정의에 기초하고 있습니다. 하지만 발전적 평가(DE)에서는 평가의 보다 적절한 정의로 '통찰(discernment)', 즉 ‘불분명한 것을 파악하고 이해하는 능력’을 제안합니다⁶.

 

DE의 주요 목적은 복잡한 상황에서 프로그램이나 혁신에 대해 의미 있고 신뢰할 수 있는 정보를 수집하여 의사결정을 지원하는 것입니다. 이는 고정된 대상(evaluand)을 평가하는 것이 아니라, 아직 확립되지 않은 유동적 대상에 대한 학습 중심 평가 접근법입니다. Michael Patton은 DE가 기존의 전통적 평가 방법들을 대체하는 것이 아니라, 그것들을 보완하는 도구라고 강조합니다⁵. 예를 들어, 책임성(accountability)을 위한 프로그램 결과(output)나 성과(outcome)를 수집하는 동시에, 의사결정을 위한 정보를 수집하는 것이 DE의 방식입니다.

 

이 논문은 교육학자들에게 ‘발전적 평가(DE)’를 실제 교육 혁신에 적용하는 여섯 가지 실용적인 방법을 제시함으로써 실질적인 도움을 줄 수 있습니다. 우리는 이를 COVID-19 팬데믹으로 인해 발생한 교육 혁신 상황에 DE를 적용한 사례를 통해 설명할 것입니다.


COVID-19 시대의 발전적 평가(Developmental Evaluation) 적용

이하에서 설명하는 각 항목을 구체적으로 이해할 수 있도록, 한 대학원 교육 프로그램이 '가상 학생 주도 환자 진료(VSPC; Virtual Student-led Patient Care)' 서비스라는 개념을 탐색하면서 학습자의 재통합을 시도하는 상황을 상상해 보시길 바랍니다. 이 서비스의 목적은 가정의학(Family Medicine) 전공의들이 효과적이고 환자 중심적인 가상 진료를 수행하며, CanMEDS⁷ 리더(leader) 역량을 개발하고, COVID-19로 인해 방치되었을 수 있는 환자의 건강 요구를 충족시키는 것입니다. 이 전공의들은 비-COVID 관련 질환에 대한 가상 진료를 제공합니다 (예: 암 검진 상담, 당뇨병 교육, 정신건강 모니터링 등). 아래의 Table 1은 각 평가 포인트에 대한 핵심 질문을 요약한 것입니다.


Grip #1 – 전체 시스템을 조망하라 (Look at the whole system)

VSPC의 개발은 서로 밀접하게 연결된 수많은 요소들이 얽힌 고도의 복잡한 작업입니다. 미시적 수준(micro)(학생, 지도교수, 환자), 중간 수준(meso)(학과, 임상실습 기관), 거시적 수준(macro)(교육기관, 보건기관, 공공보건 조직)이라는 여러 층위의 변수들을 모두 고려해야 합니다. 또한 이 세 층위에 걸쳐 어떤 이해관계자들이 이 서비스의 지속적 발전 과정에 참여해야 하는지도 고민해야 합니다. (예: 전공의, 환자, 행정직원, 교육자 등)


Grip #2 – 맥락을 이해하라 (Get to know your context)

Patton은 다음과 같이 강조합니다. “평가는 사람과 맥락에 기반한 실천이다.”⁸ 따라서 우리는 프로그램이 구현되는 특정 맥락을 고려하는 평가의 여지를 확보해야 합니다. 물론 일반화 가능한(scholarly and generalizable) 연구는 중요하지만, 동시에 다양한 맥락에서 교육이 어떻게 작동하는지에 대한 깊은 이해를 추구하는 노력, 그리고 지역적 최적 관행(local best practices)을 어떤 방식으로 확산할 수 있을지에 대한 의사결정 역시 매우 중요합니다⁹.

 

예를 들어, 지역사회 건강센터에서 학생이 주도하는 서비스를 구축하는 것과, 급성기 병원에서 학생이 주도하는 서비스를 구축하는 것은 전혀 다른 접근을 요구합니다. 진료 모델, 팀의 운영 방식, 조직적 관행은 각 맥락에 따라 다르며, 어떤 유형의 서비스가 구현될 수 있을지를 결정하는 데 중요한 영향을 미칩니다.

 


Grip #3 – 이해관계자가 신뢰하고 가치를 두는 유용한 정보와 실시간 데이터 수집을 중시하라

정보와 데이터의 가장 중요한 목적 중 하나는 의사결정을 지원하는 것입니다¹⁰. 만약 수집된 평가 정보가 다음 행동을 결정하는 데 도움이 되지 않는다면, 그것은 굳이 수집할 필요가 없습니다. 최소한 왜 그 정보를 수집하는지를 질문해보아야 합니다. 의사결정을 위한 실시간 데이터는 포괄성(comprehensiveness)이 아니라 정확성(accuracy)이 핵심입니다. 예를 들어, 삼각검증(triangulation)은 현상에 대한 포괄적 이해를 위해 여러 방법 또는 다양한 자료원을 사용하는 질적 연구의 핵심 기법입니다¹¹. 그러나 발전적 평가(DE)에서는 빠른 의사결정이 필요하며, 다양한 방법과 출처에서 정보를 수집할 시간이 없을 수 있습니다. DE에서는 얼마나 많은 정보를 수집했느냐보다, 그 정보가 얼마나 정확한지를 더 중요하게 여깁니다.

 

비록 발전적 평가가 정보 수집을 위해 질적 연구 방법론(qualitative research methodologies)을 주로 활용하지만, DE는 전통적인 연구와 동일하지 않다는 점을 명확히 해야 합니다¹¹. DE의 유일한 목적은 이노베이션의 다음 단계를 결정하는 데 유용하다고 이해관계자들이 판단하는 정보를 수집하는 것입니다. 다른 프로그램에 일반화할 수 있는 결론을 도출하는 것이 목적이 아니며, 또한 프로그램의 목표 달성 여부를 판단하는 최종 총괄평가(summative evaluation)를 준비하기 위해 정보를 수집하는 것도 아닙니다.

 

전공의, 직원, 기타 이해관계자들은 VSPC의 반복(iteration)에 관한 결정을 빠르게 내릴 수 있도록 신뢰할 수 있는 정보가 무엇인지 알아야 합니다. 예를 들어, VSPC 과정 내에 짧은 설문을 삽입하고, 이후에는 소수의 환자 샘플을 대상으로 심층 조사를 진행하는 방식이 유용할 수 있습니다.

 

Patton은 다음과 같이 썼습니다.

“우리는 엄밀성(rigor)을 절대적인 방법론적 기준으로 삼는 사고방식에서 벗어나야 한다. 빠르게 결정을 내려야 한다. 결정 시점에 활용할 수 있는 적은 양의 데이터가, 너무 늦게 도착한 방대한 데이터보다 낫다.”¹²

 

따라서 VSPC 전공의와 환자를 소수만 선별한 목적표집(purposeful sample)을 통한 인터뷰는 빠르게 수행될 수 있으며, 설문 등 다른 수단으로 수집된 정보와 상호보완적인 역할을 할 수 있습니다. 정보가 수집되면, 프로그램 이해관계자들이 함께 학습하는 '허들(huddle)' 시간을 갖고, 수집된 정보를 해석하며 다음 단계를 논의하는 것이 바람직합니다.


Grip #4 – 변화를 수용하고 그로부터 배워라

위기와 급격한 변화의 시기에는, 변화를 저항하는 것보다 수용하는 것이 훨씬 유리합니다. VSPC 안에서 이루어지는 활동은 변화할 수 있으며, 성공의 지표나 결과물(deliverables), 일정도 변동될 가능성이 높습니다. 변화는 곧 움직임이며, 이를 새로운 시스템이 태동하는 기회로 바라본다면, 우리는 교육자이자 학자로서 적응성을 몸소 보여줄 책임이 있습니다.


Grip #5 – 의도적인 성찰(reflection)을 위한 '공간'을 만들어라

팬데믹 상황에서 빠르게 결정을 내려야 하는 현실 속에서 일부러 멈추고 성찰한다는 개념은 비현실적으로 느껴질 수 있습니다. 그러나, 회의나 진료 종료 후 10분이라도 시간을 내어, 좋은 질문으로 이끄는 성찰을 유도하는 활동은 학습에 필수적입니다. 진료 운영 중에 이런 집단 성찰(huddle)이나 ‘학습 허들’을 통합하면 실시간으로 서비스 개선 아이디어를 도출할 수 있습니다¹³. 일정 시점이 되면, 초기 운영 과정 전체를 되돌아보는 더 공식적인 성찰도 필요합니다. 이를 위해 포커스 그룹(focus groups)이나 설문조사(surveys)를 사용할 수도 있지만, 복잡성과 빠른 변화의 시대에 맞는 방법이 더 유용할 수 있습니다. 그 중 하나가 바로 ‘사후 검토(After Action Review, AAR)’입니다¹⁴. AAR는 미국 군대에서 시작된 방식으로, 개입(intervention) 후 3개월 이내에 수행되며, 관련 데이터와 함께 직접 참여한 사람들의 경험을 바탕으로 평가합니다. VSPC의 경우, 출범 6개월 이후에 AAR을 활용해 초기 운영을 되짚어보는 것도 좋은 방법이 될 수 있습니다.


Grip #6 – 학습자적 태도를 유지하라 (Hold a learner stance)

앞서 언급했듯이, ‘평가란 평가 대상(evaluand)의 가치나 성과를 판단하는 것이다’라는 기존의 정의¹⁵는 혁신이 실제로 어떻게 작동하는지를 깊이 이해하는 데는 한계가 있습니다. 이제 우리는 평가를 학습의 기회로 개념화해야 합니다.

 

프로그램 평가자(program evaluators)로서 우리는 ‘이 프로그램이 어떻게 작동하며, 왜 그런지를 이해하기 위한 질문’을 던지고, 신뢰할 수 있고 유의미한 정보를 수집하여, 다음에 무엇을 할지를 자신 있게 결정할 수 있도록 해야 합니다.

 

기존의 평가는 다음과 같은 이분법적 질문에 치중해 있었습니다:

  • “우리가 하겠다고 한 걸 실제로 했는가?”
  • “우리가 원했던 결과를 달성했는가?”

이러한 질문은 프로그램의 잠재력을 끌어내는 데에는 한계가 있는 판단 중심 접근입니다. 반면, 다음과 같은 학습 중심의 질문은 프로그램이 가장 의미 있는 방식으로 개선될 수 있도록 돕는 생산적인 틀(generative frame)을 제공합니다:

  • “이 프로그램에서 실제로 일어난 일은 무엇인가?”
  • “이 프로그램은 다른 이들에게 어떤 가치를 주고 있는가?”
  • “가장 큰 차이를 만들 수 있는 가장 작은 변화는 무엇인가?”

결론 (Conclusion)

실시간 상황을 이해하는 데 집중함으로써, 우리는 혁신을 빠르게 진전시켜 복잡한 문제를 해결하는 데 기여할 수 있습니다. 발전적 평가(Developmental Evaluation)는 교육학적 학문을 넓히고 재구성할 수 있는 프레임워크입니다. 그것은 반복(iteration)과 적응성(adaptability)을 중시하며, 신뢰할 수 있고 가치 있는 정보를 수집하여 의사결정을 지원하고, 판단보다 학습을 우선시하는 실천을 지향합니다.

 

위에서 제시한 지침을 따름으로써, 교육학자들은 자신의 혁신에 대해 실시간(real-time)으로 의사결정을 내릴 수 있는 통찰을 얻게 될 것입니다¹⁶.


🎯 발전적 평가를 실천하기 위한 6가지 Grip과 핵심 질문들

(Key questions to ask for getting a grip on the use of developmental evaluation in education scholarship)


1️⃣ 전체 시스템을 바라보기 (Look at the whole system)

이 Grip에서는 우리가 다루는 일(work)이 어떤 시스템 속에 위치해 있는지 거시적 시각에서 살펴봐야 합니다.

  • 우리 작업과 관련된 미시(micro), 중간(meso), 거시(macro) 수준의 요인은 무엇인가?
    (What micro, meso, and macro factors are relevant to our work?)
  • 이 일을 시작하면서 이러한 요인들을 어떻게 고려하고 참여시킬 수 있을까?
    (How might we engage/consider these factors as we start to build this work?)
  • 이와 유사한 일이 이미 일어나고 있는 곳은 어디이며, 거기서 *우리가 배울 수 있는 것은 무엇일까?
    (Where is this work already happening that we can learn from?)

2️⃣ 맥락을 이해하기 (Know your context)

DE에서는 ‘어디에서, 어떤 맥락에서’ 일이 일어나는가를 아는 것이 핵심입니다.

  • 이 일을 추진할 수 있는 에너지가 존재하는 장소는 어디인가?
    (Where is there energy to build this work?)
  • 이 작업이 가장 *큰 혜택을 줄 수 있는 맥락은 어디인가?
    (What context would benefit most from this work?)
  • 이 작업을 다른 맥락에 빠르게 적용하려면 어떤 점을 고려해야 할까?
    (How could our work be adapted to other contexts quickly?)
  • 적응을 도울 수 있는 요소는 무엇인가?
    (What would we need to consider that would aid in adaptation?)

3️⃣ 이해관계자가 신뢰하고 가치 있게 여기는 정보 수집 (Collect useful and real-time information that your stakeholders value and trust)

이 Grip은 정보의 양이 아니라 질과 실용성에 초점을 맞춥니다.

  • 이해관계자들이 의사결정을 내리는 데 필요한 신뢰할 수 있고 유용한 정보는 무엇인가?
    (What credible and relevant information do our stakeholders need to make the decisions they need to make?)
  • 그들이 생각하는 ‘신뢰할 수 있고 유의미한 정보’란 무엇인가?
    (How do our stakeholders define credible and relevant information?)
  • 이 정보는 어디에 존재하며, 우리는 어떻게 빠르게 ‘충분히 괜찮은(good enough)’ 정보를 얻을 수 있을까?
    (Where does this information exist? How do we obtain “good enough” information quickly?)

4️⃣ 변화를 수용하기 (Embrace change)

변화는 혼란이 아니라 점검과 성장의 기회가 될 수 있습니다.

  • 지금 우리가 하는 이 작업의 목표는 여전히 의미가 있는가?
    (Are the goals of this work still meaningful?)
  • 우리가 설정한 성과 지표(outcome metrics)는 여전히 유효한가?, 그것은 *누구에게 중요한가?
    (Are our outcome metrics still important to measure? To whom are they important?)
  • *일정(timeline)을 조정할 필요가 있는가?
    (Do our timelines need to shift?)

5️⃣ 성찰을 위한 공간 만들기 (Create space for reflection)

빠르게 돌아가는 상황 속에서도 잠시 멈추고 돌아볼 시간은 꼭 필요합니다.

  • 원래는 무엇이 일어나야 했는가?
    (What was supposed to happen?)
  • 실제로는 무슨 일이 일어났는가?
    (What actually happened?)
  • 왜 그렇게 되었는가?
    (Why did it happen?)
  • 다음에는 무엇을 다르게 해야 할까?
    (What do we need to do differently next time?)
  • 우리의 작업은 지금 관찰되고 있는 임팩트를 어떻게 만들어내고 있는가?
    (How is our work bringing about the impact we are seeing?)

6️⃣ 학습자의 태도 유지하기 (Hold a learner stance)

판단의 관점을 넘어서, 끊임없이 관찰하고 배우는 태도가 DE의 본질입니다.

  • 우리는 이 작업에 *참여하면서 무엇을 관찰하고 있는가?
    (What are we observing as we engage in this work?)
  • *사실(facts)은 무엇인가?
    (What are the facts?)
  • 우리가 관찰하고 있는 것을 통해 *무슨 의미를 도출하고 있는가?
    (What meaning are we making from what we are seeing/observing?)
  • 지금 우리는 *이 작업을 진전시키기 위해 어떤 행동에 영감을 받고 있는가?
    (What are we inspired to do now to move this work forward?)

 

J Contin Educ Health Prof. 2023 Fall;43(4S):S64-S67.  doi: 10.1097/CEH.0000000000000535.

Principles-Focused Evaluation: A Promising Practice in the Evaluation of Continuing Professional Development

 

 

 

🎯 원칙 중심 평가(Principles-Focused Evaluation): 결과만 보지 말고, 가치를 보라!

요즘 의학교육 프로그램을 평가할 때, ‘이 프로그램이 효과가 있었냐’는 질문만으로는 부족하다는 얘기, 들어보셨나요? 특히 복잡한 보건의료 시스템에서 운영되는 Continuing Professional Development (CPD) 프로그램처럼, 단순한 ‘성과(outcome)’만 가지고는 진짜 의미를 파악하기 어려운 경우가 많습니다.

 

오늘 소개할 논문은 바로 이 지점에서 Principles-Focused Evaluation (PFE, 원칙 중심 평가)라는 새로운 평가 프레임워크를 제시합니다. 👀


🧭 “원칙”에 주목한 평가

PFE는 기존처럼 "이 프로그램이 효과가 있었는가?"를 묻는 데 그치지 않고, "이 프로그램이 우리가 중요하게 여기는 가치와 원칙에 따라 운영되고 있는가?"라는 질문을 던집니다.

Principles, as ‘actionable and actioned values,’ become the focus of the evaluation.
“원칙은 ‘실천 가능한, 그리고 실제로 실천되는 가치’로서 평가의 중심이 된다.”

 

이 말은, 프로그램이 운영되는 맥락(context)이나, 구성원들의 경험과 가치(lived experiences and values) 같은 요소들도 함께 고려해야 진짜 의미 있는 평가가 된다는 뜻입니다.


💡 이 논문, 뭐가 새롭냐고요?

이 논문은 Safer Opioid Prescribing / Effective Prescribing of Opioids for Chronic Pain (SOP/EPOCH)이라는 CPD 프로그램을 대상으로 Principles-Focused Evaluation을 실제로 적용한 사례를 소개하고 있습니다.

연구진은 먼저 핵심 팀원들과 함께 다음과 같은 질문으로 출발했어요:

“지금으로부터 3~5년 후, 이 프로그램이 엄청난 성공을 거두었다고 상상해보세요. 어떤 모습인가요? 그 프로그램은 어디에서 작동하고 있고, 어떤 점이 자랑스러우며, 어떤 가치를 실현했을까요?”

 

이런 질문들을 바탕으로, 팀원들이 중요하게 여기는 핵심 가치와 원칙들을 도출했습니다. 그리고 이 원칙들이 실제로 프로그램에 어떻게 반영되고 있는지를 지속적으로 평가한 거죠.

Principles should provide guidance and be useful to program decision-makers, and they should be inspirational, developmental, and evaluable.
“원칙은 프로그램 의사결정자에게 지침이 되어야 하며, 영감을 주고, 발전을 이끌며, 평가 가능해야 한다.”

 


📐 평가 지표는 ‘원칙의 실천 여부’

기존의 평가 방식은 대개 학습자 만족도, 지식 습득, 행동 변화 같은 결과 중심(outcome-based)의 지표를 사용하죠. 하지만 연구진은 이렇게 말합니다:

Programs are derived, implemented, and iterated in ever-changing contexts… making evaluation of outcomes a constantly moving target.
“프로그램은 끊임없이 변화하는 맥락에서 생성되고, 실행되며, 반복되기 때문에 결과 중심 평가는 끊임없이 움직이는 과녁과 같다.”

 

그래서 연구진은 각 원칙에 대해 아래 세 가지를 중심으로 평가 지표를 만들었습니다:

  1. 이 원칙은 명확하고 실천 가능한가?
  2. 실제로 지켜지고 있는가?
  3. 지켜졌을 때 혹은 지켜지지 않았을 때 무슨 차이가 있었는가?

이를 위해 ‘Minimum Specification Checklist’를 만들어서, 각 운영 사이트에서 꼭 지켜야 할 최소 기준을 마련했습니다. 참여자들에게도 설문조사를 진행하여, 이 원칙들이 얼마나 잘 실현되고 있다고 느끼는지를 물어봤어요.


🚀 PFE가 가진 힘은?

이 논문이 특히 강조하는 건, 원칙은 프로그램의 ‘핵심 가이드’가 된다는 점이에요.

Articulation and examination of principles by program developers can provide direction and guidance when complex decisions need to be made.
“프로그램 개발자가 원칙을 명확히 정의하고 탐색하는 행위는 복잡한 의사결정이 필요한 순간에 방향성과 지침을 제공할 수 있다.”

 

즉, 단지 "좋은 프로그램"이 아니라, "가치를 일관되게 지켜내는 프로그램"이 되게 해주는 나침반 역할을 한다는 거죠. 🔍


🤔 PFE가 적합하지 않은 경우도 있어요!

물론 모든 상황에서 PFE가 이상적인 건 아닙니다. 만약 프로그램이 표준화나 일관성을 엄격히 요구하는 환경에 있다면, 또는 사전에 정해진 결과에 대한 책임(accountability)이 주요 평가 목적이라면, 전통적인 성과 기반 평가가 더 적절할 수 있습니다.


✨ 마무리하며

이 논문이 말하고자 하는 핵심은 명확합니다.

The true value of PFE… lies in the growing acceptance that program decisions, and thus impacts, are informed by dynamic context and the complexity of human behavior.
“PFE의 진정한 가치는, 프로그램의 결정과 그 영향이 역동적인 맥락과 인간 행동의 복잡성에 의해 형성된다는 점을 점점 더 많은 사람들이 받아들이고 있다는 사실에 있다.”

 

결과만을 보는 평가에서 벗어나, 프로그램이 어떤 원칙을 중심에 두고 운영되고 있는지, 그리고 그 원칙이 실제로 지켜지고 있는지를 묻는 것. 그것이 바로 PFE의 핵심입니다.

 


1954년 Donald Kirkpatrick이 프로그램 평가 프레임워크를 발표한 이래로¹, 성과 기반(outcome-based) 모델은 평생전문직교육(Continuing Professional Development, CPD)과 전반적인 보건의료 교육 분야에서 지배적인 평가 방식으로 자리잡아 왔습니다²⁻³. 그러나 지난 수십 년 동안, 성과 기반 모델이 CPD가 존재하는 시스템의 복잡성을 충분히 반영하거나 통합하지 못한다는 인식이 점점 확산되고 있습니다⁴⁻⁶. 이러한 한계는 수집된 평가 정보의 실용성을 제약합니다. CPD 프로그램, 보건의료 시스템, 그리고 보건의료 시스템 내 의사결정의 복잡성이 증가함에 따라, 우리는 다음과 같은 특징을 지닌 보완적 프로그램 평가 모델을 전면에 내세울 필요가 있습니다.

  1. 프로그램 과정(program process)을 포함한 주요 의사결정을 지원할 수 있도록 의미 있고 관련성 높은 정보를 수집하는 것의 중요성을 강조하는 모델⁷
  2. 우리 프로그램이 놓여 있는 복잡한 환경과 고유한 맥락을 인정하는 모델⁸

이러한 모델은 다양한 관점을 수용하고, 실시간(real-time) 의사결정을 지원하며, 프로그램의 지속적인 반복과 개선(iteration)을 위한 공간을 창출합니다. 본 논문에서는 한 CPD 프로그램이 복잡한 의사결정(complex decision-making)을 지원하기 위해 새로운 평가 접근 방식인 ‘원칙 중심 평가(principles-focused evaluation)’를 어떻게 활용하였는지를 구체적으로 설명합니다.


방법(Method)

Safer Opioid Prescribing / Effective Prescribing of Opioids for Chronic Pain

‘Safer Opioid Prescribing / Effective Prescribing of Opioids for Chronic Pain (SOP/EPOCH)’ 프로그램은 온타리오주 의사 및 외과의사 협회(College of Physicians and Surgeons of Ontario)의 재교육(remediation) 프로그램에서 발전된 것으로, 2012년부터 현업의 보건의료 전문가들을 대상으로 인증된 CPD 프로그램으로 운영되어 왔습니다. 이 프로그램의 목표는 만성 통증 치료 및 오피오이드(opioid) 처방에 관한 보건의료 전문가의 지식과 기술을 향상시키는 것입니다.

 

프로그램은 세 차례의 실시간 웨비나(synchronous webinars)와 하루 동안 진행되는 워크숍(워크숍 전후의 사전·사후 학습 포함)으로 구성되며, 지금까지 Moore의 성과 프레임워크(Moore’s outcome framework)⁹를 중심으로 종합적인 평가가 이루어져 왔습니다. 평가 질문은 다음과 같은 내용을 포함했습니다:

  • 프로그램의 실행 과정(implementation)
  • 참여자의 경험, 학습, 수행 성과(performance outcomes)
  • 팬데믹 기간 중 온라인 전달 방식에 대한 고려사항¹⁰

캐나다 오피오이드 위기(Canadian opioid crisis)라는 끊임없이 변화하는 맥락 속에서 프로그램 개발과 초기 평가 노력을 지원하기 위해 논리 모형(logic model)이 개발되었습니다. 2021년, 프로그램은 다음과 같은 발전 단계에 도달하였습니다:

  • 지리적 범위 확대
  • 전략적 파트너십 구축
  • 참여자들의 처방 행태(prescribing patterns)에 더 깊은 영향을 미칠 수 있는 가능성 탐색

이러한 변화의 일환으로, 프로그램 명칭도 EPOCH으로 변경되었습니다. 프로그램의 다음 단계 발전을 위한 전략적 의사결정을 지원하기 위해, 기존의 성과 중심 평가를 대체하지 않으면서도 그와 병행하여 신뢰할 수 있고 관련성 있는 정보를 제공하는 보완적 평가 접근법이 유용하게 작용했습니다. 이 접근은, 프로그램과 그 맥락의 복잡성과 성숙도를 고려하면서도, 프로그램이 지닌 가장 높은 가능성을 실현하도록 돕는 평가 전략으로 기능했습니다.


Principles-Focused Evaluation (PFE, 원칙 중심 평가)

원칙 중심 평가(PFE, Principles-Focused Evaluation)는 활용 중심 평가(utilization-focused evaluation)의 확장 개념으로, 의사결정을 위한 유용하고 관련성 있는 정보를 생성하는 것을 핵심 원칙으로 합니다¹¹. 이 접근법은 프로그램의 책임(accountability)을 묻기보다는, 프로그램 자체에 대한 학습을 중심에 둡니다.

 

PFE는 교육 프로그램이 사람에 의해 운영되며, 이들의 행위(계획, 개발, 실행)는 각자의 경험, 전문성, 가치, 학문적 배경에 기초한다는 전제 위에 세워져 있습니다. 여기서 “원칙(principles)”이란 Patton의 정의에 따르면, 프로그램의 의사결정을 이끄는 ‘실천 가능한 가치(actionable values)’를 의미합니다. PFE는 프로그램이 이 원칙들과 얼마나 잘 정렬되고, 충실히 따르고 있는지를 살펴보는 데 중점을 둡니다.

 

PFE에서는 프로그램 자체가 아니라 ‘프로그램의 원칙’이 평가의 중심이 됩니다. 따라서 평가에서 다루는 주요 질문은 다음과 같습니다:

  1. 이 원칙들이 명확하고, 의미 있으며, 실천 가능한가?
  2. 그렇다면, 이 원칙들이 실제로 따르고 있는가?
  3. 그리고, 이 원칙들이 기대하는 결과로 이어지고 있는가?

원칙은 프로그램 의사결정자에게 지침이 되어야 하며, 동시에 영감을 주고, 성장을 촉진하며, 평가 가능(evaluable)해야 합니다¹¹.

PFE는 협업적이고 참여적인 접근을 통해 프로그램 이해관계자들과 함께 원칙을 공동 제작(co-create)합니다. 이러한 원칙은 다음의 세 가지 주요 요소로 구성됩니다:

  1. 포괄적 정의(Overarching Definition): 다양하고 복잡한 상황에서 선택과 결정을 내리는 데 있어 방향을 제공하는 문장
  2. 운영화 문장(Operationalizing Statements): 해당 원칙을 실제로 어떻게 적용할지를 안내하는 문장
  3. 최소 사양(Minimum Specifications): 원하는 결과를 이끌어낼 수 있으리라 기대할 수 있는 규칙이나 조건

PFE는 아직 보건의료 전문가 교육(health professions education)에서 비교적 새로운 평가 접근법이지만, 최근에는 의학교육 프로그램 개발¹²지역사회 기반 사회 혁신 프로그램¹³에 활용된 사례가 등장하고 있습니다. SOP/EPOCH 프로그램의 운영진과의 초기 논의 과정에서, 명확히 문서화되지는 않았지만 핵심 가치들이 프로그램 운영의 본질적인 동력이 되고 있음이 확인되었고, 이에 따라 PFE 접근을 적용하게 되었습니다.

 

PFE는 Moore의 성과 중심 프레임워크와 같은 전통적인 결과 중심 평가와는 명확히 구분되는 보완적 접근법입니다. 그 이유는, PFE는 프로그램 자체가 아닌, 그 프로그램을 이끄는 ‘원칙’에 평가의 초점을 맞추며, 이러한 원칙이 프로그램을 개발하고 실행하는 사람들에게 가장 중요한 가치를 반영한 의사결정의 방향성을 제공하기를 기대하기 때문입니다.

 

SOP/EPOCH 프로그램이 충분히 성숙한 단계에 도달한 상황에서, 이 프로그램이 다른 맥락으로 이전되거나 적응(adaptation)되는 과정에서도 원칙이 의사결정의 중심에 유지되도록 돕는 데 PFE는 특히 유용한 접근이었습니다.


SOP/EPOCH 프로그램 원칙의 도출

SOP/EPOCH의 리더들과 교수진으로 구성된 핵심 팀(core team)이 구성되었고, 원칙 중심 평가(PFE) 접근법에 대한 개요가 공유되었습니다. 프로그램에 대한 공통된 비전을 바탕으로, 핵심 팀은 함께 원칙을 공동 생성(co-create)하였습니다.

각 팀원은 다음과 같은 가상의 미래 상황을 바탕으로 개인적으로 성찰(reflect)하는 시간을 가졌습니다:

"지금으로부터 3~5년 후, SOP 프로그램은 여러분의 기대를 훨씬 뛰어넘는 성공을 거두었습니다. 이 프로그램은 시스템 속에서 살아 숨 쉬며, 그 잠재력을 최대한 실현하고 있습니다. 여러분은 이 일의 일원이 된 것이 매우 자랑스럽고 보람을 느낍니다."

그리고 다음의 질문에 답하도록 요청받았습니다:

  1. 그 프로그램은 어디에서 존재하고 있나요?
  2. 왜 자랑스러운가요? 당신은 이 프로그램에 대해 뭐라고 말하고 있나요? 다른 사람들은 뭐라고 하나요?
  3. 당신이 이 프로그램에서 가장 가치 있게 여기는 것은 무엇인가요?
  4. 이 프로그램이 어떤 변화를 만들어내고 있나요? 어떤 영향력을 가지고 있나요?

각자의 답변은 그룹 내에서 공유되었으며, 그 대화는 녹음 및 전사(transcription)되었습니다. 평가 담당자 K. Parker는 이후 전사된 내용을 검토하면서, 질문 3번(미래 상태에서 이 프로그램의 어떤 점을 가장 가치 있다고 보는가?)에 대한 응답을 중심으로 분석하였습니다. PFE 프레임워크에서 ‘원칙’은 실천 가능한 가치(actionable values)로 정의되므로, 전사 내용과 기존의 프로그램 문서를 토대로 초안 원칙과 그 정의가 도출되었고, 핵심 팀과의 논의를 거쳐 여러 차례 반복 수정(iteration)이 이루어졌습니다.


프로그램 이식 가능성(transportability)을 위한 최소 사양(Minimum Specifications) 정의

이 프로그램이 온타리오 외 지역의 다양한 공동체로 더 널리 확산되기를 바라는 마음에서, 핵심 팀은 다음과 같은 질문에 대해 논의하였습니다:

후보 제공 기관(candidate delivery sites)이 반드시 준수해야 할 각 원칙의 최소 사양은 무엇인가요?

 

이 질문에 답하기 위해, 핵심 팀이 합의한 원칙을 바탕으로, 각 원칙에 대한 운영화 문장(operationalizing statements)최소 사양(minimum specifications)이 구성되었습니다. K. Parker는 기존 프로그램 문서, 회의록, 전사 자료를 바탕으로 각 원칙에 대한 초기 정의 초안을 작성하였고, 이후 K. Parker와 A. Sud가 이 초안을 검토하여 핵심 팀과 논의할 준비를 마쳤습니다.

 

핵심 팀은 회의를 통해 각 원칙에 대한 파일럿 정의(pilot version of the operational definition)에 합의하였으며, 이후 K. Parker는 기존 문서와 회의록, 전사 자료를 활용해 각 원칙에 대한 운영화 문장을 도출하였습니다. 초안은 핵심 팀에 공유되어 피드백을 반영한 최종 문서로 완성되었습니다.

 

마지막으로, 핵심 팀은 각 원칙의 최소 사양(minimum specifications)에 대한 파일럿 버전에도 합의하였고, 초안은 최종 검토를 위한 논의와 성찰을 위해 다시 공유되었습니다. 이 과정에서 도출된 최종 원칙 문서운영 정의(operational definition), 운영화 문장(operationalizing statements), 최소 사양(minimum specifications)을 모두 포함하고 있으며, 아래에 상세히 기술되어 있습니다.


결과 (Results)

SOP/EPOCH 프로그램을 위한 6개의 고유한 원칙(principles)과 이에 대한 운영화 문장 및 최소 사양이 도출되었으며, 이는 아래 Table 1에 요약되어 있습니다.

 

프로그램 이해관계자들은 이러한 원칙을 향후 프로그램 설계 및 운영에 통합하기 위한 여러 프로세스와 실행방안을 함께 개발하였습니다. 구체적으로는 다음과 같은 실천이 이루어졌습니다:

  • 최소 사양 체크리스트(minimum specification checklist)를 개발하여 프로그램 기획 과정에서 이를 적극 활용하고 있음
  • 프로그램 참여자를 대상으로 설문조사를 실시하여, 참여자들이 프로그램이 제시된 원칙을 얼마나 잘 따르고 있다고 느끼는지를 측정

논의 (DISCUSSION)

사실(Facts)에서, 사실과 가치(Facts and Values)로

전통적인 성과 기반 평가(outcomes-based evaluation)는 주로 “프로그램이 의도한 대로 작동했는가?”라는 질문에 집중합니다. 이러한 접근은 프로그램 이해관계자(stakeholders)나 참여자의 의도나 행동과는 관계없이 '객관적 사실(bare facts)'에만 초점을 맞춘 평가로 이해될 수 있습니다.

 

이에 반해, 원칙 중심 평가(PFE)는 이해관계자들을 지식의 보유자이자 행위 주체(actors)로 참여시킵니다. 이들은 자신의 가치관(values), 삶의 경험(lived experiences), 관점(perspectives)을 평가 과정에 반영할 수 있도록 초대받으며, 이는 실제로 프로그램의 의사결정과 운영 방식, 그리고 그 결과(outcomes)에 영향을 미치기 때문입니다.

 

이는 특히 CPD 프로그램을 통해 오피오이드 위기에 대응하는 것과 같은 역동적이고 복잡한 상황에서 더욱 중요합니다. 이처럼 사실만으로는 의사결정을 내리기 어려운 경우에, “실천 가능한 가치이자 실제로 실천된 가치(actionable and actioned values)”로서의 원칙이 평가의 중심이 됩니다.

 

평가 질문은 다음과 같이 바뀝니다:

  • 이 원칙들은 명확하고 실천 가능한가?
  • 실제로 이 원칙들이 지켜지고 있는가? 지켜지지 않는다면 그 이유는 무엇인가?
  • 이 원칙의 준수 또는 미준수가 프로그램의 과정이나 결과에 어떤 영향을 미쳤는가?

PFE는 이러한 질문을 판단(judgement)의 시각이 아니라, 학습(learning)의 시각에서 던지며, CPD 프로그램의 모든 측면에서 원칙과 가치가 미치는 영향을 인정하려는 시도입니다. 이때 가치는 좋고 나쁜 것으로 평가되거나, 편향의 원천으로 간주되지 않습니다.


PFE의 강점

프로그램의 가치와 영향을 측정하는 ‘원칙’

성과 기반 평가 접근은 교육 활동에 대해 학습자가 얼마나 참여했는지, 만족했는지, 그리고 지식, 기술, 태도가 어떻게 변화했는지를 이해하는 데 중요한 역할을 합니다. 그러나 실제로는 환자 및 인구 건강에 대한 높은 수준의 영향을 입증하는 데 어려움을 겪습니다. 또한 이러한 접근은 프로그램이 실제로 어떻게 작동하는지, 그리고 주어진 맥락 내에서 어떤 영향을 미치는지를 온전히 이해하는 데 한계가 있습니다⁸.

 

프로그램은 지속적으로 변화하는 맥락 속에서 개발되고, 실행되며, 반복적으로 수정되는 과정을 겪습니다. 이 맥락은 아이디어, 가치, 자원, 경험, 연구 등 다양한 복잡성으로 구성됩니다. 결과적으로 결과 중심 평가의 목표는 계속 움직이는 표적(moving target)이 될 수밖에 없습니다.

 

원칙과 가치는 프로그램의 중요한 추진력이지만, 프로그램과 맥락의 복잡한 그물망으로부터 한 단계 떨어져 있습니다. 따라서 언제, 어디서 프로그램이 시행되든 일관되게 적용 가능한 평가 초점으로 기능할 수 있습니다.

 

우리는 이제 계획된 성과에 대한 평가뿐 아니라, 원칙을 포함하는 새로운 평가 방식과 사고방식을 요구받고 있습니다.

 

전통적으로는 프로그램의 영향력을 키우는 방법으로 프로그램의 범위를 확장하는(scale-up) 방식이 선호되었습니다. 그러나 CPD 프로그램은 맥락 간 확장이 매우 어렵습니다. 이와 달리, 개별 프로그램 구성요소보다 ‘원칙’은 경계를 넘어 보다 쉽게 전이될 수 있어, 프로그램의 맥락 간 이식 가능성을 높이고, 다른 프로그램이나 시스템 내 다른 부분에서도 활용될 수 있는 수단(vehicle)이 됩니다. 즉, 원칙과 그 준수 여부, 영향력 자체가 CPD의 새로운 평가 대상(evaluand)이 될 수 있습니다.


“복잡한 시스템을 항해하기 위한 키(rudder)”

Patton의 설명에 따르면, 프로그램 개발자가 원칙을 명확히 정의하고 탐색하는 행위 자체가 복잡한 상황에서 방향성과 지침을 제공할 수 있습니다. 원칙의 해석과 실행은 구체적인 상황과 맥락에 의해 영향을 받으며, 이러한 특성은 프로그램이 이후 반복될 때마다 각기 다른 맥락 속에서 ‘최선(best)’의 모습을 구현할 수 있도록 해줍니다.


PFE의 한계

그러나, 다양한 맥락에서의 프로그램 개발 및 실행에 있어 표준화와 일관성(consistency)이 요구되는 경우, PFE는 적합하지 않을 수 있습니다. 또한, 평가의 목적이 사전에 설정된 절차나 성과에 대한 책무성(accountability) 확보라면, 전통적인 평가 접근 방식이 더 효과적일 수 있습니다.


결론 (CONCLUSION)

원칙 중심 평가는 프로그램의 가치를 판단하는 유일한 기준이 결과(outcomes)라는 기존의 관점을 과감히 내려놓게 해줍니다. 우리가 던져야 할 중요한 질문은 단지 “이 프로그램이 우리가 기대하는 것을 달성했는가?”가 아니라, “서로 다른 지역, 보건 시스템, 시간적 맥락에서도 프로그램의 진정한 정체성과 실용성을 어떻게 유지할 수 있을까?”입니다.

 

또한, 학습 중심 평가 프레임워크를 활용함으로써, 우리는 프로그램이 개인, 팀, 시스템 수준에서 의도된 결과뿐 아니라 예기치 않은 결과(emergent outcomes)까지 포함한 실제 영향을 더 깊이 이해할 수 있게 됩니다.

 

마지막으로, PFE와 같은 활용 중심 평가(utilization-focused evaluation)의 진정한 가치는, 프로그램 의사결정과 그 결과가 ‘역동적인 맥락’과 ‘인간 행동의 복잡성’에 의해 형성된다는 점을 점점 더 많은 사람들이 수용하고 있다는 사실에 있습니다.
원칙 중심 평가는 이러한 현실을 인정하고, 우리의 평가 도구 상자(toolbox)를 확장할 수 있는 하나의 방법을 제시합니다.

 

 

 

 

SOP/EPOCH 프로그램의 6가지 핵심 원칙 및 실행 기준

 

🏅 1. 탁월성에 대한 헌신 (Commitment to excellence in)

  • 정의
    만성 통증 관리, SOP 및 CPD에 대한 다양한 지식과 모범 사례들을 모아, 우리가 수행하는 개발, 전달, 평가 전반에 대한 전문성을 높인다.
  • 선택 실행 문장 (Select Operationalizing Statements)
    • 프로그램 책임자, 대표 기획 위원, 개발자, 교수, 진행자, 사회자, 관리자들이 (신규, 기존, 퇴사 예정 포함) 교육을 받는다.
    • 각 프로그램은 임상적 전문성과 교육 경험을 갖춘 전문가의 지식(근거 기반 콘텐츠 포함)을 바탕으로 설계되어야 한다.
  • 선택 최소 사양 (Select Minimum Specifications)
    • 프로그램은 오피오이드 처방에 대한 모범 사례 및 근거 기반 지침을 반영해야 한다.
    • 프로그램은 해당 대상자 집단을 대표할 수 있는 전문가에 의해 제공되어야 한다.

🧭 2. 진실성 (Integrity)

  • 정의
    우리가 믿는 바와 행하는 바가 일치하도록 하며, 만성 통증과 SOP의 환자 중심적 관리를 적절한 대상자(다학제 전문가 포함)에게, 적절한 이유로 전달하는 프로그램을 설계한다.
  • 선택 실행 문장
    • 산업 자금 및 이해충돌이 없어야 한다.
    • 학습자/고객의 요구를 명확히 정의해야 한다.
  • 선택 최소 사양
    • 산업체 콘텐츠나 자금은 허용되지 않으며, 개발·전달에 관여한 사람들과 이해충돌이 있는 산업체와도 연계되어서는 안 된다.
    • 프로그램에는 인구 건강 데이터, 역학 경향, 임상 지침 등 관련 데이터를 반드시 포함해야 한다.

🌐 3. 접근 가능성 (Accessible: 지리적, 문화적, 재정적)

  • 정의
    누구도 소외되지 않아야 한다. 이 프로그램의 혜택을 받을 수 있는 모든 사람이 접근할 수 있어야 한다.
  • 선택 실행 문장
    • 가장 많은 도움이 필요한 개인 또는 그룹을 식별한다.
    • 다양한 타겟 청중의 특수한 요구를 식별한다.
  • 선택 최소 사양
    • 프로그램은 명확한 타겟 집단을 식별해야 한다.
    • 학습자의 구체적인 필요를 식별하고 그에 맞춘 콘텐츠를 구성해야 한다.

🔄 4. 유연성과 적응성 (Adaptable/Flexible)

  • 정의
    모든 직원은 각 환자/학습자가 고유하다는 것을 알고 있으며, 프로그램은 이 지식을 바탕으로 설계 및 전달된다.
  • 선택 실행 문장
    • 실습 전 회고 과제를 수행하여 참여자의 임상 반영을 부분적으로 사전 평가한다.
    • 개별 참여자의 요구를 프로그램 설계 및 모듈 전반에 반영한다.
    • 개별 참여자의 요구를 프로그램 기획 시 선제적으로 반영한다.
  • 선택 최소 사양
    • 조정이 필요한 프로그램 일부는 리더들과 협의하여 조정 가능해야 한다.
    • 교수자는 참여자의 요구에 따라 교육 콘텐츠를 맞춤형으로 제공할 수 있어야 한다.
    • 교수자는 참여자의 필요에 따라 교육 콘텐츠를 조정할 수 있어야 한다.

🔁 5. 변화 유도 (Influencing Change)

  • 정의
    이 프로그램이 오피오이드의 안전한 처방에 필수적인 역량을 중심으로 설계되었으며, 오피오이드를 사용하는 사람과 만성 통증 환자의 삶에 변화를 줄 수 있는 프로그램임을 보여준다.
  • 선택 실행 문장
    • 안전한 오피오이드 처방에 필수적인 역량과 기술을 명확히 기술한다.
    • 실질적 영향을 평가할 수 있는 신뢰 가능한 데이터 수집 체계를 구축한다.
  • 선택 최소 사양
    • 평가 전략에는 변화의 테스트와 설명이 반드시 포함되어야 한다.
    • 정보 수집 전략에는 프로그램 인증이나 집단 성과 평가에 필요한 데이터 수집이 포함되어야 한다.

🧩 6. 유용성과 관련성 (Useful and Relevant)

  • 정의
    이 프로그램은 더 큰 시스템(보건당국, 교육기관 등)의 일부로 존재하며, 다양한 문제 해결에 유용할 수 있음을 인식한다.
  • 선택 실행 문장
    • 공중보건, 교육 등 프로그램이 해결할 수 있는 현재 혹은 미래의 과제를 식별한다.
    • 해당 문제 해결에 영감을 받은 핵심 인물 또는 그룹과 협력한다.
  • 선택 최소 사양
    • 프로그램이 속해 있는 시스템 내 파트너를 식별해야 한다.
    • 지역 리더는 이 프로그램이 어떻게 작동하며, 그 이유를 시스템 파트너에게 명확히 설명할 수 있어야 한다.

 

Acad Med2023 Feb 1;98(2):204-208.  doi: 10.1097/ACM.0000000000005009. Epub 2023 Jan 20.

Program Evaluation in Health Professions Education: An Innovative Approach Guided by Principles

 

 

 

 

🎯 SMART 목표만으로 충분할까?

원칙 중심 평가(Principles-Focused Evaluation)라는 새로운 접근을 소개합니다. 최근 의학교육(Health Professions Education, HPE) 분야에서는 새로운 프로그램이 끊임없이 등장하고 있죠. 하지만 이런 새롭고 실험적인 프로그램(emergent or novel programs)들은 평가하기가 쉽지 않습니다. 대부분의 프로그램 평가는 SMART 목표(Specific, Measurable, Achievable, Realistic, Time-bound)를 기준으로 삼는데요, 아직 구체적인 목표가 명확히 정해지지 않은 초기 단계의 프로그램에서는 이 방식이 한계를 드러냅니다.

 

이럴 때 유용한 대안으로, 이번에 소개할 연구에서는 원칙 중심 평가(Principles-Focused Evaluation)를 제안합니다. 이 접근법은 목표 달성 여부가 아니라, ‘우리가 어떤 원칙을 지키고자 했는가’를 중심으로 프로그램의 효과성을 평가합니다.

"It uses adherence to guiding principles, not achievement of goals, as the criterion for judging the value or effectiveness of a program."
→ 이 접근은 목표 달성이 아니라, 지도 원칙의 준수를 프로그램의 가치와 효과성을 판단하는 기준으로 삼는다.


🔍 CHOP의 사례: 실제 적용기

연구팀은 필라델피아 아동병원(CHOP)에서 의학교육 학술활동을 위한 프로그램(Collaboratory)을 운영하면서 이 원칙 중심 평가를 직접 적용해보았습니다. 처음에는 ‘탁월성 증진(Advance Excellence)’, ‘역량 구축(Build Capacity)’, ‘협력 장려(Encourage Collaboration)’을 지도 원칙으로 삼았는데요, 운영을 거듭하면서 참여자들의 피드백을 반영해 원칙을 조정했습니다.

최종적으로 정립한 세 가지 지도 원칙은 다음과 같아요:

  • 🏆 탁월성 증진 (Advance Excellence)
  • 🌉 연결 구축 (Build Bridges)
  • 🌱 학습 조성 (Cultivate Learning)

이 원칙들은 참가자 피드백을 통해 형성되었고, 평가에서도 이 원칙들이 실제로 잘 구현되고 있는지를 확인하는 방식으로 진행되었습니다.


📊 결과는 어땠을까?

설문조사 결과는 흥미로웠습니다.

  • ‘연결 구축’과 ‘학습 조성’은 대부분의 응답자(95%)가 잘 실현되고 있다고 응답했습니다.

"The Collaboratory was useful in creating an education community and connecting CHOP with the education community from other institutions."
→ Collaboratory는 교육 커뮤니티를 형성하고 CHOP와 타 기관의 교육 커뮤니티를 연결하는 데 유용했다.

  • 반면 ‘탁월성 증진’은 일부 참가자에게는 오히려 높은 기준이 부담감으로 작용했습니다.

"High standards could feel discouraging to those just testing the waters of education scholarship."
→ 교육학 연구에 막 입문한 사람들에게는 높은 기준이 오히려 위축감을 줄 수 있다.

 

그래서 연구진은 이후 접근성을 높이기 위한 워크숍 등 실용적 개선책을 도입했다고 합니다.


🧭 SMART 목표와는 다른 길

연구진은 말합니다. SMART 목표가 분명 유용할 수 있지만, 모든 상황에 적합한 건 아니라는 거죠. 특히 새롭고 실험적인 프로그램, 혹은 여러 기관에 걸쳐 운영되는 프로그램(multisite programs)이라면, 구체적인 목표보다는 ‘공유된 가치와 방향성’이 더 중요할 수도 있다고 이야기합니다.

"Where doing the right thing (adhering to principles) is more imperative than doing things right (achieving specific goals)."
→ 정해진 목표를 제대로 달성하는 것보다, 옳은 방향(원칙)에 따라 가는 것이 더 중요할 수 있다.


✅ 마무리하며: 우리가 배울 수 있는 점

이 연구는 기존의 목표 지향 평가가 놓치기 쉬운 부분—가치, 의미, 성장의 가능성—을 ‘지도 원칙’이라는 개념을 통해 재조명합니다. 평가란 단지 결과를 수치화하는 것이 아니라, 과정과 방향에 대한 성찰이 될 수도 있다는 점에서 매우 인상적인 사례였습니다.

의학교육 프로그램을 운영하거나 평가해야 하는 분들이라면, 이 Principles-Focused Evaluation을 한 번쯤 도입해보는 것도 가치 있는 시도가 될 수 있겠습니다.

 


문제 제기 (Problem)

보건의료 전문가 교육(Health Professions Education, HPE)에서 구체적이고(Specific), 측정 가능하며(Measurable), 달성 가능하고(Achievable), 현실적이며(Realistic), 기한이 정해진(Time-bound) SMART 목표의 달성은 프로그램의 가치나 효과성을 평가하는 일반적인 기준으로 사용된다¹⁻³. SMART 목표는 프로그램 평가에 유용하지만, 새롭게 등장하거나(또는) 실험적인 프로그램을 평가할 때에는 SMART 목표를 명확하게 설정하는 것이 쉽지 않다. 이러한 상황에서는 프로그램 리더들이 무엇이 중요한지, 무엇을 이루고자 하는지에 대해 일반적인 감은 있지만, 그 목표를 어떻게 달성할지에 대한 구체적인 방법은 명확하지 않거나 프로그램이 발전함에 따라 변화할 수 있다.

 

Patton⁴이 제안한 ‘원칙 중심 평가(Principles-Focused Evaluation)’는 목표 지향적 프로그램 평가의 대안이 될 수 있다. 이 접근법은 프로그램의 가치나 효과성을 평가할 때 목표의 달성 여부가 아닌, ‘지도 원칙(guiding principles)’의 준수 여부를 기준으로 삼는다. Patton은 지도 원칙을 다음과 같이 정의한다:

 

“개인의 가치, 신념, 경험을 바탕으로 바람직한 결과를 향해 어떤 사고방식이나 행동을 취해야 할지를 안내하는 문장”⁴(p9).

 

프로그램 평가의 맥락에서 Patton은 다음 다섯 가지 조건을 충족하는 지도 원칙을 제안한다⁴⁻⁵:

  1. 지도적이어야 한다 (guiding) – 방향성과 안내를 제공해야 함
  2. 유용해야 한다 (useful) – 의사결정에 도움이 되어야 함
  3. 영감을 주어야 한다 (inspiring) – “무엇이 가능한가”를 상상하게 해야 함
  4. 발전 가능해야 한다 (developmental) – 시간과 맥락에 따라 진화 가능해야 함
  5. 평가 가능해야 한다 (evaluable) – 문서화되고 평가 가능해야 함

따라서 SMART 목표와 지도 원칙을 프로그램 평가의 기준으로 삼을 때에는 명확한 차이가 존재한다. SMART 목표가 달성 가능성과 시점을 명시하는 실현 가능성 중심의 지표라면, 지도 원칙은 정량화하기 어렵고 시간에 얽매이지 않는 가치 중심의 방향성을 제공한다 (표 1 참고). 또한 SMART 목표실현 가능한 것을 명시하는 반면, 지도 원칙은 지향해야 할 이상적인 상태를 서술하는 ‘열망적(aspirational)’ 특성을 갖는다.

 

 

우리는 HPE 프로그램에서 지도 원칙을 따르면서도 그것을 실현하는 방식에 유연하고 개방적으로 임하는 것이 창의성을 촉진할 수 있다고 주장한다. 또한 지도 원칙을 활용하면 프로그램의 가치나 효과성을 판단할 때 조기 종결(premature closure)을 방지할 수 있다. 예를 들어, SMART 목표를 기준으로 평가할 경우, 프로그램 참가자의 단 10%만이 12개월 내에 동료 평가(peer-reviewed) 논문을 1편 이상 출판한 성과를 두고 원래 설정한 목표치(예: 20% 이상)에 미달하였다고 하여 프로그램이 효과가 없다고 판단할 수 있다. 이는 일종의 ‘위음성(false-negative)’ 오류에 해당한다. 그러나 원칙 중심 평가에서는 같은 프로그램이 참여자들이 해당 교육 프로그램을 “내 사람들(my people)” 또는 “나의 근거지(home base)”라고 일관되게 언급했다면, 이는 공동체를 형성한다는 지도 원칙이 잘 구현되었음을 나타내므로 프로그램이 효과적이었다고 평가할 수 있다.

 

현재까지 알려진 바에 따르면, 지도 원칙은 HPE 프로그램의 설계 및 실행 단계에서는 사용된 적이 있으나, 프로그램 평가에 직접 활용된 사례는 보고되지 않았다⁶⁻⁷. 본 논문에서는 이 간극을 해소하고자 프로그램 평가의 새로운 접근법인 원칙 중심 평가를 소개하고, 이를 보건의료 전문가 교육(HPE)의 새로운 프로그램에 실제로 적용한 사례를 공유하고자 한다.


접근법 (Approach)

프로그램 개발과 지도 원칙 수립

2019년, 우리는 Children’s Hospital of Philadelphia(CHOP)에서 보건의료 전문가 교육(HPE) 분야의 학술 활동을 위한 진행 중인 프로젝트 공유 프로그램인 Medical Education Collaboratory(Collaboratory)를 개발하였다. 이 Collaboratory는 교수진, 직원, 수련생들이 학술 프로젝트를 발표하고 건설적인 피드백을 받을 수 있는 포럼이자, 동료들의 학술적 작업으로부터 배울 수 있는 학습 공동체로 설계되었다.

 

지도 원칙을 수립하기 위해, 우리는 2017년에 개최된 CHOP의 헌신적인 보건의료 교육자들이 참여한 비전 회의(visioning meeting)에서 작성된 기존 문서들을 검토하였다. 해당 문서들에는 CHOP 교육자들이 어떤 가치를 중요하게 여기고, 무엇을 믿으며, 어떤 경험을 해왔는지에 대한 서술이 포함되어 있었다. 우리는 2019년 9월부터 11월까지 세 차례에 걸쳐 회의를 진행하며 이 문서들을 검토하였고, 귀납적으로(inductively) 지도 원칙을 도출하였다.

 

초기 지도 원칙으로는 다음 세 가지가 설정되었다:

  • Advance Excellence (탁월성 증진)
  • Build Capacity (역량 구축)
  • Encourage Collaboration (협력 장려) (그림 1 참조)

이러한 초기 원칙들은 Patton⁴이 제시한 원칙 중심 평가의 목적에 맞도록 수정되었다. 즉, 프로그램의 가치나 효과성을 목표 달성 여부가 아닌 지도 원칙의 준수 여부로 판단하기 위한 방향으로 다듬었다.

 

프로그램 운영 시, 우리는 이 지도 원칙들을 정기적으로 공유하였다. 예를 들어, Collaboratory에 대한 이메일 공지문에 포함하거나, 학기 시작 시 Collaboratory 세션에서 구두로 전달하였다. 우리는 CHOP 윤리심의위원회(Committee for the Protection of Human Subjects)의 승인을 받았으며, 이 프로젝트는 심의 면제(exempt from review) 판정을 받았다.

프로그램 실행과 개선

우리는 2020년 1월 Collaboratory를 실행하면서 지도 원칙을 항상 염두에 두었고, 프로그램을 지속적으로 개선해나갔다. 예를 들어, 참석자 및 발표자들의 다양한 요구에 부합하도록 세션 일정을 반복적으로 조정하였다. 기존의 한 세션에 발표자 2명을 배정하던 방식에서 1명으로 조정하고, 초저녁 시간대 세션을 추가하는 등의 변화가 있었다. 또한, 토론 시간을 극대화하기 위해 발표자 가이드라인을 수정하였다 (보조 디지털 부록 1 참고: http://links.lww.com/ACADMED/B345).

 

코로나19로 인해 대면 모임이 제한되었을 때, 우리는 프로그램을 화상 회의로 전환하였고, 채팅 기능을 활용하여 관련 논문을 공유하는 등 가상 회의의 장점을 적극적으로 활용하였다.

 

이 연구는 CHOP 윤리심의위원회로부터 심의 면제(exempt) 승인을 받았다.

 

결과 (Outcomes)

우리는 본 논문에서 ‘원칙 중심 평가(Principles-Focused Evaluation)’를 프로그램 평가에 적용한 혁신적 시도의 결과를 두 가지 측면에서 보고한다. 첫째는 지도 원칙의 수정 자체를 하나의 결과로 간주하는 것이며, 둘째는 수정된 지도 원칙에 우리가 얼마나 충실했는지에 대한 근거를 제시하는 것이다.

수정된 지도 원칙 (Revised guiding principles)

2021년 5월, 3학기에 걸친 프로그램 운영과 반복적인 개선 이후, 우리는 Collaboratory에 대해 원칙 중심 평가를 본격적으로 시작하였다. 우리는 구체적으로 다음과 같은 질문을 던졌다:

 

“우리는 우리의 지도 원칙을 잘 지키고 있는가?”

 

이 질문에 답하기 위해, 학기말 Collaboratory 세션에서 참석자들에게 프로그램에 대한 서술적 정보(예: 세션 수, 참석자 수)초기 지도 원칙을 공유하였고, 프로그램 개선에 대한 의견을 수렴하였다. 참석자들의 피드백을 바탕으로, 그리고 의사 교육자들 간의 새로운 커뮤니티 형성을 위한 장소가 생겼다는 사실을 고려하여, 우리는 초기 원칙 중 하나였던 “역량 구축(Build Capacity)”의 비중을 줄이고, “협력 구축(Building Collaboration)”에 더 집중하기로 했다. 또한 참석자들로부터 이 포럼이 ‘학습을 위한 안전한 공간(safe space for learning)’이라는 인식을 갖게 되었다는 점이 인상 깊었고, 이를 지도 원칙에 반영하고자 했다. 그 결과, 지도 원칙은 다음과 같이 수정되었다:

  • Advance Excellence (탁월성 증진)
  • Build Bridges (다리 놓기/연결 구축)
  • Cultivate Learning (학습 조성) (그림 1 참조)

이후 우리는 수정된 지도 원칙에 따라 Collaboratory가 얼마나 잘 운영되었는지를 묻기 위한 설문조사를 설계하였다. 설문 문항은 4점 척도(1 = 전혀 그렇지 않다 ~ 4 = 매우 그렇다)로 구성된 7개 항목으로 이루어졌으며, 자유롭게 응답할 수 있는 서술형 문항 칸도 함께 포함되었다 (보조 디지털 부록 2 참고: http://links.lww.com/ACADMED/B345).

 

설문 문항은 참석자 피드백을 기반으로 도출된 지도 원칙의 언어를 바탕으로 제작되었지만, 사전 파일럿 테스트(pilot test)는 시행되지 않았다.

 

우리는 이 평가 질문을 보다 심층적으로 다루기 위해, 2021년 7월에 Collaboratory에 참여한 이전 발표자(n = 13)와 참석자(n = 25)에게 이메일로 설문조사를 배포하였다. 그 결과, 총 20명의 응답자(발표자 9명, 참석자 11명)로부터 응답을 받았으며, 응답률은 53% (20/38)였다. 우리는 양적 데이터는 기술 통계적으로 분석하였고, 각 문항별 응답 비율을 산출하였다. 서술형 문항에서 수집된 질적 데이터는 지도 원칙별로 범주화하여, 각 원칙과의 정렬 여부를 검토하였다. 각 문항에 대한 결과는 그림 2에 제시되어 있다.

 

 

설문조사 결과는 아래와 같이 각 지도 원칙별로 요약하였으며, 서술형 응답을 통해 얻은 인사이트도 함께 제시한다. 표본 수가 적고, 발표자와 참석자 간의 정량적 응답이 유사하였기 때문에, 전체 응답자(n = 20)의 정량적 응답은 통합하여 백분율로 보고하였다. 반면, 서술형 응답에서는 참석자와 발표자의 응답을 구분하여 보다 미묘한 차이를 포착하였다.


지도 원칙 (Guiding Principles)

탁월성 증진 (Advance Excellence)

20명의 설문 응답자 중 9명(45%)은 Collaboratory가 학술적 대화(scholarly conversation)에 참여하는 데 있어 자신에게 도움이 된 정도가 낮았다고 응답했으며, 8명(40%)은 전문성 향상(professional growth)에 기여한 정도가 낮았다고 평가했다. 즉, ‘탁월성 증진’이라는 Collaboratory의 목표는 양날의 검(double-edged sword)처럼 작용하는 것으로 보인다.

 

서술형 응답에 따르면, 일부 참석자들은 높은 수준의 학문적 엄격성(rigor)에 대해 긍정적인 평가를 했지만, 다른 참석자들은 제시된 학술 수준이 너무 높아 좌절감을 느꼈다고 언급했다. 예를 들어, 어떤 이들은 Collaboratory가 “아이디어 수준의 프로젝트를 학술적 실천(scholarly practice)으로 발전시키는 데 유용했다”, “학문적으로 나아가야 할 방향을 제시해주었다”라고 긍정적으로 평가하였다. 반면, 다른 이들은 “교육학 연구의 입문자에게는 Collaboratory의 높은 기준이 오히려 위축감을 줄 수 있다”고 지적하였다.

이에 따라, 참석자와 발표자 모두 ‘탁월성 증진’이라는 원칙을 보다 잘 실현하기 위해서는 단순한 토론 포럼을 넘어서 워크숍(workshop) 같은 접근 가능한 기회를 제공할 필요가 있다고 제안하였다.


연결 구축 (Build Bridges)

20명의 응답자 중 19명(95%)은 Collaboratory가 개인적인 관점(personal perspectives)과 다양한 학문 분야 간 관점을 HPE에 접목시켜 환영하는 분위기를 조성했다고 응답하였다. 발표자 가운데 약 절반은 Collaboratory에서 발표한 이후 새로운 협업자(collaborator)를 최소 1명 이상 얻게 되었다고 보고하였다.

 

참석자와 발표자 모두, Collaboratory가 “교육 커뮤니티를 조성하고 CHOP와 다른 기관의 교육 커뮤니티를 연결하며”, “학제 간(interdisciplinary) 학술 접근을 지지하는 데 유용했다”고 평가하였다.


학습 조성 (Cultivate Learning)

20명의 설문 응답자 중 19명(95%)은 Collaboratory가 다양한 학술적 관점을 환영하는 곳이라고 응답하였다. 서술형 응답에서는, Collaboratory가 ‘학습을 위한 안전한 공간(safe space for learning)’으로 인식되는 데 기여한 여러 요소들이 드러났다. 참여자들은 이를 “포용적(inclusive)이고”, “정직하며(honest)”, “친근하다(friendly)”고 표현하였다.

 

특히 참석자들은 화상 회의의 기능들(예: 자막 제공, 회의 전사, 채팅 박스)과 소규모 그룹 환경토론에 쉽게 참여하고 기여할 수 있도록 도왔다고 언급하였다. 발표자들은 Collaboratory가 “접근성(accessibility)도 훌륭하고, 피드백도 좋으며, 전반적으로 매우 좋은 학습 환경”이었다고 평가하였다.

 


다음 단계 (Next Steps)

보건의료 전문가 교육(Health Professions Education, HPE) 분야가 계속 확장됨에 따라, 새롭게 등장하거나 실험적인 프로그램(emergent or novel programs)의 수 역시 증가할 것이다. 이에 따라, 우리는 CHOP의 새로운 HPE 프로그램에 '원칙 중심 평가(Principles-Focused Evaluation)'라는 혁신적인 프로그램 평가 접근법을 적용하였다⁴. 이 접근의 뚜렷한 공헌점(distinct contributions)은 다음과 같다.

  • 기존 문서에서 도출된 초기 지도 원칙을 바탕으로 출발할 수 있는 유연성,
  • 이해관계자의 피드백을 반영하여 지도 원칙을 조정할 수 있는 능력,
  • 사전에 설정된 SMART 목표가 아닌, 수정된 지도 원칙에 대한 책임성(accountability)을 유지할 수 있었다는 점이다.

평가 결과에 따르면, 우리는 연결 구축(Build Bridges)’과 ‘학습 조성(Cultivate Learning)’이라는 두 가지 원칙은 잘 준수하고 있었으나, 탁월성 증진(Advance Excellence)’ 원칙은 더 개선의 여지가 있음을 확인하였다.

 

우리는 본 연구를 프로그램 평가의 타당성 기준—실현 가능성(feasibility), 유용성(utility), 정직성(integrity), 정확성(accuracy)⁸⁻⁹에 비추어 성찰하였다. 우리의 원칙 중심 평가는 프로그램이 성숙하고 COVID-19 팬데믹이라는 특수 상황 속에서도 원칙에 부합하는 다양한 방식에 대해 열린 태도를 유지할 수 있도록 해주었기에 실현 가능성이 높았다.

 

또한, 이 평가는 프로그램 개선에 있어 유용하게 작용하였다. 예를 들어, 평가 결과를 바탕으로 우리는 자주 제기되는 문제 영역을 중심으로 소그룹 기반 실습 중심의 기술 훈련 세션(skill-building sessions)을 시행하였다. 원칙 중심 평가는 또한 CHOP의 보건의료 교육자들로부터 얻은 자료에 기반하였기 때문에 정직성도 확보되었고, 정량 및 정성 데이터를 모두 수집·분석함으로써 평가 결과의 정확성도 높였다.

 

원칙 중심 평가를 적용하며, 우리는 몇 가지 제한점과 주의점을 인식하게 되었다. 우리는 이번 연구에서 탁월성, 연결, 학습 공간 조성을 핵심 원칙으로 삼았지만, ‘형평성(equity)’과 같은 다른 중요한 원칙은 다루지 못했다. 또한, 참석자의 개별 출석 현황을 추적하지 않았기 때문에, 자주 참석한 사람과 드물게 참석한 사람 간의 인식 차이를 반영하지 못했을 가능성이 있다.

 

우리는 프로그램 리더이자 평가자의 역할을 동시에 수행했다는 점도 인지하고 있으며, 향후에는 외부 평가자(external evaluator)를 프로그램 운영진에 포함시킬 계획이다. 비록 원칙 중심 평가는 SMART 목표에 대한 실현 가능한 대안이 될 수 있지만, 지도 원칙(guiding principles)은 본질적으로 추상적이며, 때로는 상호 모순적이거나(at least not mutually supportive), 적어도 완전히 조화되지 않는 것으로 보일 수도 있다.

 

실제로 우리는 ‘역량 구축(capacity building)’ 대신 ‘연결(connection)’에 집중하기 위해 지도 원칙을 수정하는 과정에서 이러한 제한점을 경험하였다. 따라서, 프로그램 리더와 평가자는 프로그램의 지도 원칙에 대해 공통된 인식(shared mental model)을 수립하고 지속적으로 유지하려는 노력이 필요하다.

 

물론 SMART 목표에 기반한 평가 방식은 많은 상황에서 여전히 적절하다. 그러나 새롭거나 실험적인 HPE 프로그램에서는 창의성을 제한할 수 있다. 앞으로의 발전 방향 중 하나는, 원칙 중심 평가를 다기관 프로그램(multi-site programs)에 적용하는 것이다⁴. 새롭거나 실험적인 프로그램을 운영하는 리더들과 마찬가지로, 다기관 프로그램 리더들도 공통적으로 중요하게 여기는 가치와 목표는 공유하고 있지만, 이를 실현하는 방식은 각 기관의 맥락적 요인(contextual influences)에 따라 달라질 수 있다⁽¹⁰⁾.

 

마무리하자면, 원칙 중심 평가는 보건의료 전문가 교육에서의 프로그램 평가를 위한 혁신적인 접근법이다. 이 방식은 우리가 운영한 지역 기반, 새롭게 등장한 프로그램의 효과성을 입증하는 데 기여했으며, 향후 개선이 필요한 영역도 밝혀냈다. 더 넓은 맥락에서, 원칙 중심 평가는 “무엇을 성취했는가”보다 “어떻게 옳은 방향으로 가고 있는가”가 더 중요한 프로그램들, 즉 구체적 목표 달성보다 ‘원칙의 준수’가 핵심이 되는 프로그램들을 평가하는 데 유용한 접근법이 될 수 있다⁴.

 

 

 

 

 

📌 그림 1. 필라델피아 아동병원(CHOP) 의학교육 Collaboratory의 초기 및 수정된 지도 원칙과 ‘학습 조성(Cultivate Learning)’ 원칙에 대한 GUIDE 기준 예시


🟦 초기 지도 원칙 (Initial Guiding Principles)

  • 탁월성 증진 (Advance excellence): 학술 활동(scholarship)을 통해 병원의 최고 명성을 높이는 데 기여함
  • 역량 구축 (Build capacity): 보건의료 전문가 교육의 학술성과 교육 훈련을 증진함
  • 협력 장려 (Encourage collaboration): 병원의 교육, 연구, 진료 미션을 연결함으로써 협력을 촉진함

🟨 수정된 지도 원칙 (Revised Guiding Principles)

  • 탁월성 증진 (Advance excellence): 지역적, 국가적, 국제적으로 의미 있고 가치 있는 학술적 대화(scholarly conversation) 및 성과(output)를 창출하고 이를 지원함
  • 연결 구축 (Build bridges): 다양한 관점을 환영함으로써, 교육학 연구가 현재와 미래의 의학교육 미션(missions of academic medicine)에 얼마나 관련 있는지를 보여줌
  • 학습 조성 (Cultivate learning): 모든 수준의 학술 경험자들이 성장할 수 있도록, 안전하고 성장 지향적인 공간(safe space)을 마련함

🟩 ‘학습 조성(Cultivate Learning)’을 위한 GUIDE 기준 예시 (Example of GUIDE Criteria)

  • G – Guide: 학습 조성을 위한 방향 제시
  • U – Useful: 세션을 향상시키기 위한 유연한 조정 가능성
  • I – Inspiring: 의학교육 맥락에서의 심리적 안전(safety)을 추구함
  • D – Developmental: 다양한 학습 경험의 범위를 반영함
  • E – Evaluable: 안전감에 대한 인식(perceptions of safety)을 문서화하고 평가할 수 있음

 

 

 

+ Recent posts