동전의 양면: 보건 전문직 교육의 질 개선 및 프로그램 평가 (J Eval Clin Pract. 2022)

J Eval Clin Pract. 2022 Feb;28(1):3-9.  doi: 10.1111/jep.13598. Epub 2021 Jul 22.

Two sides of the same coin: Quality improvement and program evaluation in health professions education

 

 

🩺 질 향상(Quality Improvement)은 어떻게 의과대학 교육 평가를 바꿀 수 있을까?

👨‍⚕️ 요즘 의과대학들은 *사회적 책무성(social accountability)*을 강조하며, 지역사회에 기여할 수 있는 교육 프로그램을 만들기 위해 노력하고 있죠. 그런데 과연 이런 프로그램들이 실제로 효과가 있을까요? 안타깝게도, 연구에 따르면 아직 그 성과는 확실치 않습니다. 😕

---

🎯 문제는 ‘프로그램 평가’ 방식에 있었다!

의과대학들은 다양한 혁신적인 교육 프로그램을 개발하고 있지만, 그것들이 잘 작동하는지를 평가하는 방식이 여전히 총괄적 평가(summative evaluation)에만 머무는 경우가 많습니다.

“While schools are clearly moving forward with well-intended programs, that the evaluations occur outside the context of mechanisms for improvement stands as a major constraint to the success of these initiatives.”
→ "학교들이 의도를 갖고 프로그램을 잘 운영하고는 있지만, 평가가 개선을 위한 메커니즘과 분리되어 이루어진다는 점이 이런 프로그램의 성공을 가로막는 주요 원인이다."

 

이 말은 곧, 프로그램을 바꾸기 위한 실시간 피드백이 거의 없다는 거예요. 그렇다면 어떻게 해야 할까요?

---

🔁 해답은 ‘질 향상(Quality Improvement)’!

질 향상(QI)은 원래 제조업에서 출발했지만, 지금은 보건의료와 교육에서도 매우 효과적인 도구로 인정받고 있어요. 이 방법의 핵심은 다음과 같습니다:

• 지역 맥락에 맞춰 변화 설계
• 반복적인 실험과 조정 (PDSA cycle 활용)
• 실시간 피드백으로 프로그램 개선

“The deliberate use of quality improvement methods within evaluations can emphasize improvement-driven evaluation activities and, in the end, generate sustainable improvements in outcomes.”
→ "평가에 QI 방법을 의도적으로 통합하면, 개선 중심의 평가 활동을 강조할 수 있고, 결과적으로 지속 가능한 성과 향상으로 이어질 수 있다."

---

🔄 평가 전에? 평가 후에도! 언제든 QI

QI는 평가 이전에 적용하면 새로운 개입을 맥락에 맞게 조정할 수 있고, 평가 이후에도 실패 요인을 고치거나 필요한 부분을 보완하는 데 쓸 수 있어요. 예를 들어, 한 연구에서는 간호사와의 섀도잉 실습 프로그램을 다양한 병동, 시간대, 학습 목표 등으로 반복 실험하면서 점점 개선했어요. 이후 이 프로그램은 전체 교육과정에 통합될 수 있었습니다. 🔬

---

🧭 사회적 책무성을 향한 실질적인 접근

결국, 이 논문이 주장하는 바는 분명합니다.

“Quality improvement appears to be a natural fit with the current conceptualizations of social accountability as the proactive response to anticipated societal concerns and inequities through contextualized programming that graduates health system change agents and positively impacts health outcomes.”
→ "QI는 현재 사회적 책무성의 개념, 즉 사회적 불평등과 건강 문제에 대한 능동적 대응을 위해 보건의료 체계의 변화를 이끄는 인재를 양성하고 긍정적 건강 성과를 창출하는 맥락화된 교육과 자연스럽게 잘 맞는다."

 

이 말은 즉, QI는 단지 품질 보증(quality assurance)을 위한 도구가 아니라, 의학교육이 사회적 요구에 제대로 응답할 수 있게 해주는 실질적인 방법이라는 겁니다.

---

✍️ 마무리하며

프로그램 평가는 단순히 *“잘했어요!”*라고 말해주는 활동이 아닙니다.
"어떻게 더 잘할 수 있을까?"를 실시간으로 고민하고 실험해보는 과정, 그것이 질 향상(QI)입니다.
의과대학이 더 나은 교육 성과와 사회적 책무성을 이루고 싶다면, 이제 QI를 평가의 파트너로 삼아야 할 때입니다. 💡

---

1 | 서론 (INTRODUCTION)

의과대학은 광범위한 사회정치적 맥락과 불가분하게 연결되어 있으며, 사회 전반에 작용하는 경제적‧문화적 힘의 영향을 깊이 받는 동시에, 이러한 힘에 영향을 미칠 수 있는 권한 또한 지니고 있다¹ ². 실제로, 의학교육의 정책과 관행은 의료 전문가들이 환자 진료를 어떻게 수행하는지³, 누가 의사가 될 수 있는지⁴, 그리고 인구가 어떻게 보건의료에 접근하는지⁵에 직간접적으로 영향을 미친다.

 

대부분의 의과대학은 이러한 힘을 인식하고 있으며, 사회적 책무성(social accountability)에 대한 미션을 기관의 책무로 명시하고 있다⁶⁻⁸. 이러한 사회적 책무는 매우 다양한 활동으로 구체화될 수 있으며, 예를 들어 의과대학 교육에 대한 공정한 접근을 촉진하는 프로그램(입학 및 선발 관련 이니셔티브), 그리고 사회적 요구에 부합하는 교육성과를 창출하기 위해 고안된 교육과정 전략들(예: 서비스 러닝, 지역사회 배치, 취약계층과의 임상 경험) 등이 포함된다⁶⁻⁹. 예를 들어, 이러한 프로그램은 저소득 지역에서 진료할 수 있는 의사 배출이라는 결과로 이어질 수 있다.

 

하지만 많은 노력이 있었음에도 불구하고, 의과대학의 사회적 책무 프로그램에 대한 연구들은 이 프로그램들이 기대한 결과를 항상 달성하지는 못한다는 사실을 보여준다⁸ ¹⁰.

 

이에 대해 우리는, 이러한 성과 부족의 주요 원인은 현재 의학교육에서 지배적인 '인증 문화(accreditation culture)'의 한계에 기인한다고 본다. 현재의 인증 체계에서는, 의과대학이 사회적으로 의미 있는 프로그램을 운영하고 있다는 것(예: 체계화된 서비스 러닝 제공)만을 입증하면 되며, 이러한 프로그램이 실제로 어떤 성과를 내고 있는지는 증명할 필요가 없다¹¹⁻¹³. 이는 프로그램이 학습자와 지역사회에 어떤 영향을 미치는지에 대한 하류적 성과(downstream impacts)를 평가할 수 있는 다양한 접근 방식이 있음에도 불구하고 생기는 문제다.

 

그 결과, 많은 의과대학들은 프로그램이 존재한다는 사실을 보여주는 데 초점을 두며, 그것이 실제로 무엇을 달성했는지는 중요하게 다루지 않는다. 물론 일부 의과대학들은 프로그램 성과에 대한 증거를 수집하기도 하지만, 이 경우에도 공통적으로 발견되는 문제가 있다. 즉, 수집되는 성과가 대부분 단기적인 지표에 한정되며, 학습자·환자·지역사회에 지속가능한 영향을 보여주지 못한다는 점이다.

 

이러한 지속적인 영향을 실현하기 위해서는, 의학교육에서의 평가가 프로그램의 실시간 개선(real-time improvements)을 유도할 수 있는 메커니즘을 갖추어야 한다. 그러나 현실에서는, 많은 평가가 단지 프로그램의 우수성을 판정하는 데 그치고, 그로부터 얻은 지식을 바탕으로 프로그램을 향상시키기 위한 실제적인 후속 조치로 이어지지 못한 채, 추측 수준에 머무는 경우가 대부분이다.

 

이러한 맥락에서, 우리는 신속하고 반응적인 변화를 위해 이미 널리 활용되고 있는 하나의 검증된 방법론을 의학교육 평가에 통합함으로써, 그 효과를 극대화할 수 있는 방안을 모색하고자 한다. 이 방법론은 바로 '질 향상(quality improvement, 흔히 QI로 불림)'이다.

 

우리는 이 글을 통해, 보건의료 시스템 내에서 이미 그 가치를 인정받고 있는 질 향상 개념이 의학교육에서도 효과적으로 적용될 수 있으며, 평가된 프로그램의 향상에 기여할 수 있음을 보여주고자 한다. 이를 위해 먼저 질 향상을 성과 개선 접근법(performance improvement approach)으로서 개괄적으로 설명하고, 그 다음에는 일반적으로 사용되는 질 향상 모델을 프로그램 평가와 실질적으로 통합하는 방식을 소개하며, 이 통합이 평가에 어떻게 기여할 수 있는지를 논의한다. 마지막으로, 프로그램 평가 도구 상자(toolbox) 내에 질 향상을 내재화시키는 장점과, 그것이 사회적 책무성(social accountability)의 증진에 미치는 잠재적 이점에 대해 고찰한다.

---

1.1 | 질 향상(Quality Improvement)이란 무엇인가?

질 향상(quality improvement, 이하 QI)은 시스템의 성과(performance)를 향상시키기 위해 구조(structure), 과정(process), 결과(outcome)를 지역 수준(local level)에서 개선하고자 하는 일련의 체계적인 접근들을 포괄하는 상위 개념이다¹⁴ ¹⁵. 흔히 ‘지속적 질 향상(continuous quality improvement)’이라는 철학적 개념과 혼용되기도 하지만, 후자가 시스템 내 성과 최적화에 지속적으로 집중하려는 포괄적 철학을 의미하는 반면, 전자인 QI는 구체적으로 정립된 틀(framework)과 의도적으로 적용되는 방법론 및 도구들을 지칭한다.

 

현대의 QI 프레임워크들은 1900년대 초반 제조업 분야에서 개발된 원리를 토대로 형성되었다¹⁶ ¹⁷. QI는 종종 품질 보증(quality assurance), 품질 관리(quality control) 등과 혼용되어 사용되지만, 그 주요 초점은 내부 주도적이고 의도적이며 반복적인 개선 활동을 통해 기존에 도달하지 못했던 수준의 성과를 달성하고 지속시키는 것이다.

 

보건의료 분야에서는 QI 방법이 널리 활용되며, 오류 감소, 위해 요인 완화, 환자 안전 향상, 의료 결과 개선 등에 기여하고 있다¹⁸. 보건의료전문직 교육(health professions education) 역시 이러한 QI의 임상적 유용성을 인식하여, 역량 기반 교육 틀 내에 QI를 통합하고, 이를 핵심 교육과정의 일환으로 정규 훈련을 요구하며, 모든 졸업생이 보건의료시스템 개선에 기여할 수 있는 역량을 갖추어야 한다고 명시하고 있다¹⁹ ²⁰.

 

QI에는 다양한 프레임워크가 존재하며, 적용 절차나 개선의 초점은 다르지만, 모두가 공통적으로 공유하는 특징들이 있다. 이들 모두는 지역적 수준에서의 시스템 성과 향상에 집중하며, 지속적인 데이터 수집을 통해 체계적으로 변화를 추진한다. 일반적으로 각 프레임워크는 두 가지 핵심 구성요소를 포함한다:

1. 개선 목표(goal)와 관련 성과 지표(performance indicators)를 정의하는 기획 기능(executive function)
2. 목표 달성을 위해 적용되는 구체적인 도구의 집합(toolset)
   변화는 대개 점진적으로 시행되고, 반복적으로 실험되며, 지속적으로 모니터링됨으로써, 지역 맥락(local context)에 맞게 조정되도록 한다¹⁴ ²¹.

이 논문 전반에서 예시로 사용할 대표적인 프레임워크는 The Model for Improvement(개선 모델)이다²². 이 모델은 순환적이고 반복적인 방식으로 변화를 구현하는 데 유용하며, 보건의료 분야에서 자주 사용되며, QI 교육과정에서 의료 학습자에게 흔히 가르쳐진다²³.

 

이 모델은 초기 단계에서 명확한 목표(aim)를 설정하고, 개선 활동을 평가하기 위한 세 가지 범주의 지표들—결과 지표(outcome measures), 과정 지표(process measures), 균형 지표(balancing measures)—로 구성된 '지표의 집합(family of measures)'을 정의한다²⁴⁻²⁶. 이후에는 PDSA 사이클(Plan-Do-Study-Act cycle)을 반복 적용하여, 개입(intervention)이나 변화 개념(change concept)을 시험하고, 최적화하며, 지속 가능성을 확보한다²⁷.

 

PDSA 사이클은 새롭고 익숙하지 않은 맥락에 맞게 개입을 조정하고 적응시킬 수 있게 하여, 변화가 실제 개선으로 이어질 가능성을 높인다²⁸.

 

모든 QI 프레임워크에서 공통적으로 강조되는 핵심 요소는 ‘맥락(context)’의 중요성이다²⁹. 의학교육에서의 맥락은 다음과 같이 정의된다:

“환자, 장소, 진료, 교육, 사회 등에서 나타나는 기저 패턴과, 이들 간의 예측 불가능한 상호작용에 의해 생성되는 역동적이고 끊임없이 변화하는 시스템”²⁹

 

의학교육은 맥락을 형성하는 동시에, 그로부터 영향을 받는다. 예를 들어, 교육성과를 유도하기 위해 맥락적 변수를 의도적으로 조작할 수 있으며, 이는 지방 또는 외딴 지역에서의 수련 배치, 또는 여러 진료과를 순환시키는 과정 등을 통해 다양하고 취약한 환자군에 대응할 수 있는 독립적 진료 역량을 길러주는 데 사용된다²⁹ ³⁰.

 

연구 증거를 일반화하려면 다양한 맥락을 고려하는 것이 필수적이지만, 특정 환경에서의 구체적인 맥락 요소들은 항상 가시적이지 않으며, 타 기관에서 개발된 개입을 그대로 적용할 경우 그 맥락이 예기치 않게 효과를 방해할 수도 있다²⁹. 따라서 QI는 맥락을 시스템의 내재된 일부로 간주하며, 개입의 실행, 수용, 지속 가능성, 그리고 결과를 형성하는 데 있어 맥락의 역할을 중시한다³¹.

 

이러한 관점에서 볼 때, QI는 다른 학교에서 개발된 개입을 자교의 교육 프로그램에 도입하려는 경우 특히 유용하다. 예를 들어, 문제 기반 학습(problem-based learning)이나 온라인 교육 모듈과 같은 성공적인 개입들이 다른 유사한 환경에서 동일한 결과를 재현하는 데 실패한 사례가 존재한다³² ³³. 하지만 개입을 지역 맥락에 맞게 정교화(refine)한다면, 그 성공 가능성은 더 높아질 수 있다³⁴ ³⁵.

 

1.2 | 질 향상(QI)은 프로그램 평가(program evaluation)와 어떻게 다른가?

질 향상(quality improvement)이 과학적 방법론으로서 공학 및 제조 산업에서 발전한 반면, 프로그램 평가(program evaluation)는 그 기원을 1940년대 교육 분야에서 찾을 수 있다. 프로그램 평가 모델은 초기의 환원주의적 접근(reductionist approach)에서 출발하여, 사전 정의된 목표를 달성했는지에 대한 증거 수집에 집중하던 방식에서, 이제는 이론 기반 모델(theory-based models)로 발전하였다. 이 새로운 모델들은 프로그램이 어떻게, 왜 작동하는지, 그 인과적 메커니즘(causal mechanisms)은 무엇인지, 그리고 예기치 않은 부작용(unintended consequences)이 무엇일 수 있는지를 이해하는 데 초점을 둔다³⁶⁻⁴³.

 

유사한 점이 많음에도 불구하고, 질 향상은 프로그램 평가와는 본질적으로 다른 접근 방식이다(표 1 참고). 이러한 차이는 데이터 수집 방법 및 지식의 유형에 대한 관점에 영향을 준다. 예를 들어,

• 프로그램 평가는 이해관계자에게 '프로그램이 어떻게, 왜 작동하는가'에 대한 지식 생성을 중시하는 반면,
• 질 향상은 해당 프로그램이 운영되는 지역 맥락에서의 성과 개선에 더 큰 관심을 둔다.

 

따라서 프로그램 평가자는 일반적으로 맥락적 변수(contextual variables)와 프로그램 효과성 지표를 분리해서 다루지만, QI 수행자는 맥락 자체를 시스템의 내재된 일부로 간주하며, 개입의 수용, 실행, 결과에 영향을 미치는 요소로 여긴다⁴⁴ ⁴⁵. 이로 인해 많은 평가 활동은 단순히 프로그램 효과성에 대한 총괄적 판단(summative judgement)으로 그치고, 그 이후의 활용으로는 이어지지 않는 경우가 발생한다⁴⁶⁻⁴⁸.

 

최근에는 프로그램 평가의 결과가 실제 실행(practice) 개선으로 이어져야 함을 강조하는 새로운 평가 접근 방식들도 등장하고 있다. 예를 들어, Patton(2010)의 발달적 평가(Developmental Evaluation)는 신속하고 지속적인 프로그램 개발에 중점을 둔다. 그러나 이 접근은 정형화된 도구나 방법에 의존하지 않으며, 이해관계자들이 실험과 혁신을 시도할 준비가 되어 있어야 하고, 불확실성에 대한 수용력과 실패에 대한 개방성을 요구한다⁴⁹ ⁵⁰.

 

발달적 평가의 특징 중 일부는 시스템 수준의 원인을 겨냥하는 개입을 생성한다는 점에서 QI와 겹치는 부분도 있지만, 의학교육에서는 널리 활용되지 않는다. 이는 방법론적 구조의 부재, 총괄적 결과에 대한 비중 축소, 그리고 기관 차원의 위험 회피 성향 등이 그 확산을 저해하는 요소로 작용한다고 추정된다.

 

평가 결과의 실제 활용(evaluation utilization)은 여전히 해결되지 않은 핵심 과제다. 특히, 평가 결과가 이론과 실행에 얼마나 영향을 미치는지에 대한 우려가 지속적으로 제기되어 왔으며, 많은 연구들은 프로그램 효과성에 대한 총괄적 판단을 넘어서 평가 결과가 실제로 사용되지 않는 현실을 지적해 왔다⁵¹⁻⁵³. 다시 말해, 평가는 프로그램 성과를 최적화할 수 있는 개선 영역을 밝혀주지만, 그 결과는 대부분 무시되거나 실천으로 이어지지 않는다.

 

이에 대해 일부 학자들은, '도구적 활용(instrumental utilization)', 즉 평가 결과를 명확한 프로그램 개선 행동으로 직접 연결시키는 것이야말로 평가의 진정한 가치 판단 기준이 되어야 한다고 주장한다. 이는 평가가 실제 개선을 유도했다는 명확한 증거를 제공하기 때문이다. 결국, 프로그램 평가의 결과가 이론적 담론과 실제 실행(practice)에 얼마나 실질적인 영향을 주는가는 여전히 중요한 논의 지점으로 남아 있다. 특히, 총괄적 판단에 그친 채 실행으로 이어지지 못하는 평가 결과가 반복되고 있다는 점에서 그렇다⁴⁸⁻⁵⁰.

---

2 | 프로그램 평가를 보완하기 위한 질 향상(Quality Improvement)의 활용

우리는 질 향상(QI) 방법이 의학교육 평가 이니셔티브의 활용도를 확장하는 데 효과적이고 수용 가능한 방식이 될 수 있다고 믿는다²⁰ ⁵⁴. 특히, 프로그램 평가와 질 향상은 상호 보완적인 특성을 가지며, 이 두 접근이 실시간으로 프로그램을 조정하여 더 나은 성과를 달성할 수 있도록 상호 강화될 수 있다고 본다(그림 1 참조).

---

2.1 | 프로그램 평가에 앞선 질 향상의 활용

질 향상은 프로그램 평가에 앞서 사전 단계(pre-cursor)로 유용하게 사용될 수 있으며, 이를 통해 향후 더 정교하게 평가될 지역 개입(local intervention)의 초기 설계 및 실행을 도울 수 있다. 이 맥락에서, 질 향상 접근은 이후 개입을 위한 '개념 증명(proof of concept)'을 구축하는 데 기여할 수 있다⁵⁵.

 

새로운 혁신은 당연히 바람직하지만, 복잡한 시스템 내 낯선 맥락에 신개념 개입을 도입하는 일은 매우 어렵고, 신중하게 계획되지 않으면 실패한 실행으로 이어질 수 있다. 실제로, 새로운 교육과정을 도입하는 의과대학은 종종 '성과 하락(performance dip)', 즉 교육과정 변화 이후 일정 기간 동안 성과가 저하되는 현상을 경험하곤 한다⁵⁶.

 

이러한 상황에서 QI 방법을 초기 단계에 적용하는 가장 큰 장점은 개입을 지역 맥락에 맞게 조정(tailor)할 수 있다는 점이다. 예를 들어, 일대일 파일럿(one-to-one pilot)을 활용하면, 더 넓은 사용자에게 확장하기 전에 개입을 한 명(또는 한 그룹)을 대상으로 시험하고 개선할 수 있다. 이처럼 여러 번의 반복적 실험(iterative tests)을 수행함으로써, 개입의 충실도(fidelity)와 관련된 문제를 조기에 발견하고 해결할 수 있으며, 해당 맥락에 최적화된 개입으로 발전시켜 확장 시 기능성을 높일 수 있다.

 

지역 맥락 내에서 여러 번의 조정 사이클을 거친 이후에는, 프로그램 평가를 통해 그 개입이 어떻게, 왜 효과가 있었는지를 종합적으로 이해할 수 있게 된다.

 

보건의료전문직 교육 문헌에서도 이러한 사례가 보고되어 있다. 한 연구에서는 The Model for Improvement를 사용하여, 의학 예과(pre-clerkship) 학생들에게 제공할 다학제적(interprofessional) 체험 학습 개입을 설계, 실행, 개선하는 데 이 모델을 적용하였고, 이후 개입이 확장된 시점에서 보다 광범위한 프로그램 평가를 수행하였다⁵⁷ ⁵⁸.

 

PDSA 사이클은 이 개입을 식별하고 정교화하는 데 매우 유용했으며, 다음과 같은 요소들을 반복적으로 실험하고 조정하는 데 활용되었다⁵⁹:

• 다양한 임상 환경에서의 시험 적용 (예: 병동별 실습 적용 비교)
• 체험 학습의 적정 시간대와 기간 설정 (예: 요일, 교대 시간)
• 학생 일정 관리 도구 (예: 스케줄링 시스템)
• 학생의 다학제 경험 준비를 위한 학습 전략 (예: 학습 목표, 자주 묻는 질문, 간호사 프리셉터에게 물어볼 질문 예시 등)

이후 반복된 PDSA 사이클은 이 개입을 더 많은 다학제 팀 구성원(예: 언어치료사)에게 확산시키고, 의과대학의 또 다른 분산 캠퍼스(distributed campus)로 확장하는 데 기여하였다.

 

---

2.2 | 프로그램 평가 이후의 질 향상(Quality Improvement)

질 향상(QI) 접근은 프로그램 평가 이후의 개선 활동에도 효과적인 메커니즘으로 작용할 수 있다. 프로그램 평가는 계획된 목표가 달성되었는지 판단하고, 관련 이해관계자에게 그 가치를 입증하는 역할을 한다. 그러나 동시에, 프로그램 내에서 충분히 작동하지 않았던 영역도 함께 드러낸다.

 

평가 결과를 바탕으로 교육자들은 의도된 결과든, 의도치 않은 결과든 간에, 성과를 향상시키기 위해 프로그램을 정교화하려는 욕구를 갖게 될 수 있다³⁸ ⁶⁰. 이때, 질 향상 접근은 평가를 통해 확인된 결과에 영향을 미치는 맥락적 요인과 인과 메커니즘을 다루는 개입을 개발하고 실험하는 데 유용하다.

 

이러한 순차적 적용 방식(sequential application)은 특히 평가 이전에 QI를 선제적으로 사용하지 않았던 신규 프로그램에 적합하다. 특히 광범위하게 시행되었지만 실제 실행 과정에서 완전하게 작동하지 않았던 프로그램의 경우에 더욱 유용하다.

 

실제로 많은 경우에서, 의도한 성과를 내지 못한 프로그램 또는 과정의 일부 요소들을 수정하거나, 부정적 결과에 기여했던 요소들을 제거하거나, 목표한 성과 달성을 위해 새로운 구성요소를 추가 통합할 필요가 생긴다. 이러한 각각의 개선 영역은 QI 도구와 방법론을 통해 구체적으로 타겟팅할 수 있다.

 

프로그램 평가 이후의 도구로서 QI 방법을 활용하면, 의과대학의 사회적 책무성(institutional social mission)을 실제 실행으로 전환하는 과정을 강화할 수 있다.

 

예를 들어, Dharamsi와 동료들(2010)은 8개 선택형 학생 그룹과 함께 2년 동안 진행된 새로운 지역사회 서비스 러닝 이니셔티브를 파일럿 테스트한 바 있다⁵¹. 이 사례에서, QI 방법은 기존 서비스 러닝 프로그램을 확장하여, 급성 또는 응급 건강 요구를 가진 새로운 인구 집단에 대해 학습할 수 있는 기회를 학생들에게 제공하는 방식으로 적용될 수 있다.

 

반복적 사이클(iterative cycles)을 통해, 개입이 확장될 때마다 시험 및 개선을 거쳐, 최종적으로는 핵심 교육과정(core curriculum)에 통합될 수 있다.

---

3 | 논의 (DISCUSSION)

프로그램 평가는 사회적 책무성(social accountability)을 촉진하는 교육 개혁을 유도할 수 있는 잠재력을 가진다는 인식이 강하게 존재한다. 하지만 의과대학들이 사회적 책임을 다하기 위해 상당한 노력을 기울이고 있음에도⁶ ⁸, 이러한 프로그램이 실제로 효과적인지에 대한 근거는 매우 부족하다⁵² ⁵³.

 

우리의 견해로는, 많은 학교들이 의도를 갖고 진심으로 프로그램을 개발하고는 있지만, 그 평가가 프로그램 개선을 위한 메커니즘과 분리되어 수행되고 있다는 점이 이러한 이니셔티브의 성공을 제한하는 주요 요인이라고 본다. 이에 대해 우리는, 질 향상(QI) 방법을 동시에 적용함으로써 프로그램을 실질적으로 개선할 수 있다는 관점을 제안한다.

 

QI 방법의 병행적 사용(parallel use)이란, 프로그램 평가 전반에 걸쳐 반복적인 PDSA 사이클을 지속적으로 활용하여, 개선이 필요한 영역을 식별하고 개입을 정교화하여 그 효과를 향상시키는 방식을 말한다. 주목할 점은, 이러한 관점이 미국과 캐나다 의과대학을 인증하는 LCME(Liaison Committee on Medical Education)의 요구사항과 일치한다는 것이다. LCME는 의과대학이 다음과 같은 활동을 수행할 것을 요구한다:

“단기 및 장기적인 교육 목표를 수립하고,
프로그램의 질 향상에 활용 가능한 측정 가능한 성과를 달성하며,
의학교육 프로그램이 인증 기준을 준수하는지를 효과적으로 모니터링할 수 있는
지속적 기획과 지속적 질 향상 과정(Strategic Planning and Continuous Quality Improvement)을 수행해야 한다”(Standard 1.1)¹²

 

하지만 의학교육 문헌에서는 QI와 프로그램 평가의 관계에 대한 논의는 매우 부족하며, 일부 논의에서는 QI를 단순히 ‘품질 보증(quality assurance)’ 또는 ‘최소한의 인증 기준 준수’와 혼동하는 경향이 있다⁶¹.

 

이에 대해 Boelen과 Woollard(2011)는, 질 향상이 사회적 책무성을 촉진하는 방안이 될 수 있음을 제시하며, 사회적 요구의 변화에 따라 기관의 미션과 교육 프로그램을 지속적으로 정교화할 수 있도록 하는 능동적 피드백 루프를 포함한 모델을 제안하였다⁶². 더 최근에는 Clithero 외(2017)가 사회적 책무성 모델을 제시하며, 이 모델이 실행 → 평가 → 사후 조정(post-evaluation adjustments)으로 이어지는 순환적 구조를 가지며, 이를 통해 의과대학의 거버넌스, 교육, 연구, 서비스가 개선되어야 한다고 주장하였다⁶³.

 

이러한 모델들은 QI의 핵심 원칙을 반영한다:

• 반복적(iterative)이고
• 지역 맥락과 요구에 민감하며(attentive to local contexts and needs)
• 단순한 과정 개선을 넘어, 결과의 향상과 지속 가능성(sustainable outcomes)을 지향한다.

평가 안에 QI 방법을 의도적으로 통합하는 것은, 개선 중심의 평가 활동(improvement-driven evaluation)을 강조하고, 결과적으로 지속 가능한 성과 향상(sustainable improvements)으로 이어질 수 있다. 물론, 발달적 평가(developmental evaluation) 또한 이러한 개선을 강조한다⁶⁴. 그러나 QI 방법은 의학교육에서 사용되고 있는 다양한 평가 프레임워크와 유연하게 결합될 수 있는 특징을 갖고 있다.

 

요컨대, QI는 ‘사회적 책무성’의 현재 개념, 즉 사회적 불평등과 미래의 건강 문제에 대한 능동적 대응을 위해 보건의료 체계 변화를 이끄는 인재를 배출하고 긍정적인 건강 성과를 창출하는 ‘맥락화된 교육(contextualized programming)’의 역할과 잘 부합한다.

QI와 프로그램 평가의 결합은 의과대학이 새롭게 등장하는 사회적 요구(emergent needs)에 신속히 대응하고, 기관의 사회적 미션과 교육 실천을 변화시켜, 이해관계자에게 양질의 교육 성과가 건강 성과에 긍정적 영향을 미친다는 증거를 제공할 수 있게 한다.

---

4 | 결론 (CONCLUSION)

교육 평가는 “교육과정의 개발과 변화를 유도”하며, “의학교육자가 교육을 개선할 수 있도록 돕는 활동”이라고 정의된다⁶⁵. 보건의료 전문직 교육에서 교육과정의 개혁과 혁신은 확실히 필요하지만, 실제로 학교들이 어떻게 개선을 실행하는지는 불분명하고, 상당히 다양할 수밖에 없다.

 

프로그램 평가는 의학교육의 핵심 활동 중 하나이지만, 이해관계자에게 가치를 입증해야 한다는 요구와, 인증과 같은 평가 활동의 관료적 성격은 평가 이후의 실질적 개선 활동을 방해하는 요소가 될 수 있다.

 

질 향상과 관련된 검증된 개선 방법론은, 단독으로든 평가 활동과 결합하여든, 아직까지 의학교육 분야에서 표준적 실천으로 자리 잡지 못했다. 이 논문에서는 질 향상을 단순한 철학이 아니라, 평가와 순차적 혹은 동시적으로 통합되어 사회적 미션의 성과를 향상시키는 실질적 메커니즘으로서 구체화하였다.

---

 

 

 

 

이 표는 프로그램 평가(program evaluation)와 질 향상(quality improvement)이라는 두 접근법이 목적, 방법, 산출물, 지식 활용의 측면에서 어떻게 서로 다른지를 요약한 내용입니다. 두 접근은 독립적으로도 기능할 수 있지만, 의도적으로 결합된다면 서로를 보완하며 효과를 극대화할 수 있는 가능성을 지니고 있습니다.

🎯 목적(Objective)

• 프로그램 평가는 주어진 맥락에서 프로그램이 얼마나 잘 작동하는지를 이해하는 데 목적이 있습니다. 즉, 프로그램의 성과를 해석하고 설명하는 데 초점이 맞춰져 있습니다.
• 질 향상은 지역 수준에서 새로운 수준의 성과에 도달하는 것 자체가 목표입니다. 즉, 이해보다는 성과의 개선이 핵심입니다.

🛠️ 방법과 모델(Methods and Models)

• 프로그램 평가는 CIPP, 로직 모델(Logic Model), 커크패트릭(Kirkpatrick) 모델 등 다양한 평가 모형을 사용합니다. 이들은 프로그램의 계획, 실행, 결과를 분석하는 데 유용합니다.
• 질 향상은 The Model for Improvement, Lean, Six Sigma 등 다양한 QI 모델에 기반하여 실행됩니다. 반복적 실험과 실시간 개선을 지원하는 구조적 접근법들입니다.

📊 일반적 산출물(Common Output)

• 프로그램 평가는 ‘무엇이 잘 작동했고, 무엇이 작동하지 않았으며, 또 어떤 일이 일어났는지’를 포괄적으로 설명하는 이해 기반의 결과를 산출합니다.
• 반면, 질 향상은 시스템에 대한 지속 가능한 변화(sustained improvement)를 만들어내는 데 초점을 둡니다. 즉, 변화 자체를 이끌어내는 실천적 결과가 목적입니다.

🧠 지식 활용의 목적(Purpose of Knowledge)

• 프로그램 평가는 평가 결과를 통해 이해관계자에게 프로그램의 가치 또는 효과에 대한 증거를 제공하는 것이 주된 목적입니다.
• 질 향상은 변화가 지속 가능한 지역 성과 개선으로 이어졌는지를 보장하는 데 지식이 활용됩니다. 즉, 지식은 변화의 지속성을 증명하는 도구입니다.

---

 

 

 

 

 

🔄 프로그램 평가와 질 향상(QI)의 순환적 연계 프레임워크

이 그림은 프로그램 평가(program evaluation)와 질 향상(quality improvement)을 어떻게 순차적이면서도 반복적으로 연결하여 사용할 수 있는지를 보여주는 프레임워크입니다. 핵심 메시지는 다음과 같습니다:

“QI 방법을 지속적으로 사용해 개입(intervention)을 반복적으로 개선하고, 프로그램의 성과가 실질적으로 달성되고 유지될 때까지 발전시켜야 한다.”

 

---

🔍 프로그램 평가에서 시작하기 (Program Evaluation → QI)

먼저, 기존 혹은 신규 프로그램을 기존 평가 모델(예: Kirkpatrick 모델, CIPP 모델, Realist Evaluation 등)을 사용해 평가할 수 있습니다. 이 과정에서는 다음과 같은 목표를 달성합니다:

• 무엇이 효과가 있었고, 무엇이 작동하지 않았으며, 어떤 일이 일어났는지에 대한 포괄적 이해를 생성
• 개선이 필요한 영역을 식별, 이후 QI 방법으로 타겟팅 가능

---

🧪 질 향상을 통한 새로운 개입 실험 (QI → 신규 개입 테스트)

Model for Improvement와 Plan-Do-Study-Act(PDSA) 사이클을 활용하여 소규모 단위로 새로운 프로그램이나 개입을 실험합니다.

• Abandon: 작동하지 않는 경우, 다른 개입을 새롭게 실험
• Adapt: 기존 개입을 수정하고 반복적 실험을 이어감
• Adopt: 작동이 확인되면, 확산 및 규모 확장 후 본격적인 평가로 전환

🔁 이 방식은 개입이 처음부터 제대로 작동하지 않을 수 있음을 전제로 하며, 반복을 통해 맥락에 맞는 최적화를 유도합니다.

---

🔧 프로그램 평가 이후 개입을 개선하기 (Evaluation → QI)

이미 평가된 프로그램이라도, 개선이 필요한 부분이 식별되었다면 QI 방법으로 정밀 개선이 가능합니다:

• 프로그램 평가에서 드러난 개선 필요 영역을 Model for Improvement로 정조준
• 반복적인 PDSA 사이클을 통해 Abandon, Adapt, Adopt 전략을 계속 적용

---

🔁 다시 프로그램 평가로 (QI → Evaluation)

QI를 통해 프로그램을 개선한 뒤에는, 다시 평가를 통해 다음을 확인합니다:

• 문제가 되었던 영역이 QI로 효과적으로 개선되었는가?
• 프로그램의 질적 가치가 실제로 향상되었는가?
• 프로그램이 최적화되고 지속 가능한 상태에 도달했는가?

---

이 프레임워크는 QI와 프로그램 평가를 대립되는 것이 아니라, 상호 순환적이고 강화적인 관계로 재구성합니다. 즉, 하나의 방향으로만 흘러가는 선형 모델이 아니라, 개선과 평가가 유기적으로 이어지는 루프(loop)를 통해 지속 가능하고 효과적인 교육 성과를 달성하는 것입니다.