Perspect Med Educ. 2024 Feb 6;13(1):95-107. doi: 10.5334/pme.962. eCollection 2024.

Evaluating Competence by Design as a Large System Change Initiative: Readiness, Fidelity, and Outcomes

캐나다의 거대한 실험: 역량 바탕 의학 교육(CBD)은 과연 성공했을까?

안녕하세요! 오늘은 의학교육 분야에서 가장 큰 규모의 변화 중 하나로 꼽히는 캐나다의 Competence by Design (CBD), 그리고 그 거대한 변화를 어떻게 평가하고 있는지 다룬 따끈따끈한 논문을 소개해 드리려고 합니다.

캐나다 왕립 내과 및 외과 대학(Royal College)이 주도한 CBD는 전공의 교육을 시간 중심에서 역량 바탕 의학 교육(Competency-Based Medical Education, CBME)으로 완전히 뜯어고치는 대규모 프로젝트였죠.

하지만, 시스템을 바꾸는 것만큼이나 중요한 게 바로 "제대로 바뀌고 있는지 확인하는 것" 아니겠어요? 🤔 이 논문은 바로 그 평가 전략과 초기 결과에 대한 아주 솔직한 보고서입니다.

1️⃣ 거대한 변화, 어떻게 평가할까? (The 3 Pillars)

연구진은 이 복잡한 변화를 평가하기 위해 세 가지 기둥(Three Pillars)을 세웠습니다. 무작정 결과만 보는 게 아니라, 단계별로 꼼꼼히 뜯어보겠다는 거죠.

🏛️ 첫 번째 기둥: 실행 준비도 (Readiness to Implement)

가장 먼저, 수련 프로그램들이 이 새로운 제도를 받아들일 마음의 준비(의지)와 능력(행동)이 되었는지 평가했습니다. 준비가 안 된 상태에서의 변화는 실패할 확률이 높으니까요.

🏛️ 두 번째 기둥: 실행의 충실도와 진정성 (Fidelity and Integrity)

이 부분이 이 논문의 핵심 포인트 중 하나입니다! 단순히 매뉴얼대로 했느냐(Fidelity, 충실도)를 넘어, 제도의 취지를 제대로 살리고 있느냐(Integrity, 진정성)를 구분해서 봤다는 점이에요.

연구진은 이렇게 말합니다.

"프로그램이 CBD의 모든 필수 구성요소를 실행했을 수 있지만(즉, 충실도를 달성함), CBD의 진정한 의도를 실현하지 못했을(즉, 진정성을 달성하지 못함) 가능성이 예상되었습니다."

"In implementing CBD, therefore, it was anticipated that a program could have implemented all required components of CBD (i.e., achieved fidelity) but without having realized the true intention of CBD (i.e., achieved integrity)."

즉, 겉모양만 갖추고 속은 그대로인 경우를 경계한 것이죠.

🏛️ 세 번째 기둥: 성과 (Outcomes)

마지막으로, 정말로 전공의들이 진료할 준비가 더 잘 되었는지, 그리고 궁극적으로 환자 진료에 도움이 되는지를 봅니다. 물론, 환자 결과까지 연결하는 건 장기적인 과제겠죠? ⏳

2️⃣ 솔직한 중간 성적표: 이상과 현실 사이 📉

2017년부터 2023년까지의 데이터를 분석한 결과는 어땠을까요? 긍정적인 변화도 있었지만, 뼈아픈 현실도 드러났습니다.

✅ 긍정적인 신호

많은 프로그램 리더들이 "교육과정이 더 유연해지고, 피드백이 많아졌다"고 평가했습니다. 특히 역량 위원회(Competence Committee)를 통해 더 객관적인 승급 결정이 내려지고 있다는 점은 고무적입니다.

⚠️ 우려되는 신호: "Bolt-on" 현상

하지만 연구진은 꽤 충격적인(혹은 우리 모두 공감할만한) 현상을 발견했습니다. 바로 "Bolt-on(억지로 덧붙이기)" 현상입니다. 기존 교육과정은 그대로 둔 채, CBD가 요구하는 평가 절차만 억지로 끼워 넣은 곳들이 많았다는 거죠.

연구진의 날카로운 지적을 보시죠.

"일부 프로그램에서 실행이 전환이라기보다는 필수 절차들의 내키지 않는 '억지로 덧붙인 것(bolt-on)'을 더 닮았음을 시사합니다."

"Implementation has resembled less of a transformation and more of a reluctant 'bolt-on' of required processes in some programs."

😫 현장의 고충: EPA와 포트폴리오

특히 위임 가능 전문 활동(Entrustable Professional Activities, EPA) 평가가 "체크박스 채우기"로 전락하거나, 전공의들이 교수님을 쫓아다니며(chasing) 서명을 받아야 하는 행정적 부담이 되었다는 지적도 있었습니다. 이는 오히려 전공의들의 웰니스(Wellness)를 해치는 결과로 이어지기도 했고요.

3️⃣ 앞으로 나아갈 길 🚀

결국, 제도를 도입한다고 해서 문화가 하루아침에 바뀌지는 않는다는 것이 이 논문의 결론입니다.

연구진은 이렇게 강조합니다.

"복잡하고 시스템 전반에 걸친 전환은 하룻밤 사이에 일어나지 않으며, 오히려 시간이 지남에 따라 전개되는 발달 궤적을 따릅니다."

"Complex, system-wide transformations do not happen overnight but rather follow a developmental trajectory that unfolds over time."

그리고 문화 변화를 위해서는 끈기가 필요하다고 덧붙입니다.

"문화 변화는 시간이 걸리고 전환 과정을 통한 지속적인 집단적 노력이 필요할 것으로 보입니다."

"It seems that culture change will take time and a sustained collective effort through the transformation process."

📝 요약하며

이 논문은 단순히 캐나다의 사례를 넘어, 의학교육 혁신을 꿈꾸는 모든 이들에게 중요한 메시지를 던집니다.

1. 준비도(Readiness)를 꼼꼼히 챙겨라.
2. 형식(Fidelity)보다 본질(Integrity)을 추구해라.
3. 변화는 긴 여정(Journey)임을 받아들여라.

우리나라 의학교육 현장에서도 새로운 제도를 도입할 때, 그것이 혹시 'Bolt-on'에 그치고 있지는 않은지 되돌아볼 수 있는 좋은 거울이 되는 논문이었습니다. 🪞

더 자세한 내용이 궁금하신 분들은 원문을 꼭 읽어보시길 추천드립니다!

서론 (Introduction)

Competence by Design (CBD)는 캐나다 전역의 전문의 의학 교육(specialty medical education)에 역량 바탕 의학 교육(competency based medical education, CBME)을 도입하는 것을 목표로 하는(aimed at) 주요한 변화 이니셔티브(major change initiative)입니다 [1]. CBME는 의료 제공의 질(quality of health care provision)과 전통적인 전공의 수련 구조의 부적절성(inadequacies of traditional postgraduate training structures)에 대한 광범위한 우려(broad concerns)에서 탄생했습니다 [2, 3, 4]. CBME에서, 수련 중인 보건 의료 전문가(health professionals in training)의 역량의 발전(progression of competence)은 환자와 대중의 요구를 충족시키기 위해(to meet the needs of patients and the public) 명시적으로 기술되고 설명됩니다(explicitly described and accounted for) [5, 6]. CBD는 캐나다 왕립 내과 및 외과 대학(Royal College of Physicians and Surgeons of Canada, 이하 Royal College)의 CBME 모델(Royal College’s model of CBME) [7]이며, 졸업하는 의사들의 역량과 기술(competencies and skills of graduating physicians)이 사회의 진화하는 요구(evolving needs of society)와 일치하도록 보장함으로써(by ensuring that... match) 캐나다인의 건강과 의료를 개선하는 것(improving the health and health care of Canadians)을 전체적인 목표(overall goal)로 삼고 있습니다.

Royal College는 67개 모든 내과, 진단검사의학과, 외과 전문 과목(가정의학과 제외)에 걸쳐 캐나다 수련 프로그램의 표준 설정(standard setting) 및 인증(accreditation), 그리고 의사 수련생(physician trainees)의 자격 인증(certification)을 담당합니다(responsible for). CBD가 출범할 당시(At the time of CBD’s launch), 캐나다 전역에서 약 13,000명의 수련생이 등록되어 있었습니다 [8]. 시간 기반 모델(time-based model)에서 벗어나 학습자의 성장과 발달을 의도적으로 촉진하도록 설계된(designed to deliberately foster learner growth and development) 모델로 이동하는 것을 수반한(entailed) CBD의 실행(implementation of CBD)은 캐나다 설립 이래 대학원 의학 교육(postgraduate medical education)에서 가장 큰 변화(largest change)였습니다 [9]. 이러한 실행은 Royal College, 전공의 수련 기관(postgraduate training institutions), 그리고 개별 전공의 수련 프로그램(individual postgraduate training programs)으로부터 상당한 자원 투자(significant investment of resources)를 요구했습니다. 따라서 CBD의 실행에 관련된 모든 사람들(all those involved)이 프로그램 평가에 대한 견고하고 체계적인 접근(robust and systematic approach to program evaluation)에 참여하는 것은 의무였습니다(incumbent upon). Royal College는 Yarborough 등이 제시한 프로그램 평가의 정의를 활용했습니다:

"의사결정(decision-making), 판단(judgments), 결론(conclusions), 발견(findings), 새로운 지식(new knowledge), 조직 개발(organizational development), 그리고 확인된 파트너들의 요구에 대응한 역량 강화(capacity building in response to the needs of identified partners)를 목적으로,
프로그램 및/또는 그 구성요소의 질(quality of programs and/or their components)을 체계적으로 조사(systematic investigation)하는 것이며,
이는 사용자들의 프로그램과 시스템 내에서의 개선(improvement) 및/또는 책무성(accountability)으로 이어지고,
궁극적으로 조직적 또는 사회적 가치(organizational or social value)에 기여한다" [10].

이 평가에는 프로그램의 질이 시스템 내의 서로 다른 사람들에게 서로 다른 것을 의미하며(means different things to different people), 과정과 결과(process and outcomes) 모두에 상대적이라는 이해가 내재되어 있습니다(embedded in) [11]. 이 정의는 다양한 렌즈를 통해(through multiple lenses) 프로그램의 질을 이해하고, 향후 프로그램의 수정과 개선(program adaptation and improvement moving forward)에 정보를 제공하는 데 초점을 맞추고 있어 선택되었습니다.

Karpinski 등 [12]이 설명한 바와 같이, 국가적 차원의 CBD 전환의 규모와 복잡성(size and complexity of the national CBD transformation)은 과소평가될 수 없으며(cannot be understated), 실행은 수년에 걸쳐 반복적으로(iteratively over many years) 발생하고 수많은 파트너 그룹과 수천 명의 수련생 및 임상의사들이 관여합니다. 복잡하고 시스템 전반에 걸친 전환(Complex, system-wide transformations)은 하룻밤 사이에 일어나지 않으며(do not happen overnight), 오히려 시간이 지남에 따라 전개되는(unfolds over time) 발달 궤적(developmental trajectory)을 따릅니다 [13]. 또한 이는 정책과 절차(policies and procedures)를 실행하는 것뿐만 아니라 일선 교수진(front-line faculty)과 수련생들의 활동, 역량, 사고방식(mindsets) 수준에서 풀뿌리 차원의 변화(grassroots change)를 이끌어내려는 교육 리더들의 노력에 달려 있습니다(dependent on) [14]. 평가의 과제(evaluation challenge)는 현장에서 일어나고 있는 변화의 본질(nature of the change as it was happening on the ground)을, 원하는 전환(desired transformation)을 향한 깊은 통찰력(deep insights)과 시의적절한 경로 수정(timely course corrections)을 가능하게 하는 방식(in a fashion that allowed for)으로 포착하는 것이었습니다. 이러한 과제를 충족하고 CBD 평가를 가이드하기 위해, CBD 프로그램 평가 전략(CBD Program Evaluation Strategy, PES)이 개발되었으며, 세 가지 주요 목표가 확인되었습니다:

1. CBD의 성공적인 실행을 지원하기 위해(To support successful implementation of CBD): 목표는 성공적인 실행을 지원하거나 저해하는 전략(strategies that support or hinder)에 대한 이해를 발전시키는 한편, 의도한 대로(as intended) 성공적으로 전환을 달성하고 CBD를 실행하는 역량(capacity)에 지역 및 전문과목 특이적인 맥락적·문화적 요인(local specialty-specific contextual and cultural factors)이 미치는 영향을 조사하는 것이었습니다.
2. 시간에 따른 CBD 영향의 근거 기반을 구축하기 위해(To build an evidence base of the impact of CBD over time): 목표는 CBD 실행의 의도된 결과와 의도하지 않은 결과(intended and unintended outcomes) 모두를 측정하고 모니터링하여 Royal College의 이론적 이해(theoretical understanding)를 향상시키는 것이었습니다. 구체적으로
   1. a) CBD가 어떻게 영향을 미쳤는지(how CBD has had impact),
   2. b) 어떻게 하면 가장 효과적으로 작동하게 만들 수 있는지(how it could be made to work most effectively),
   3. c) 난관에 대응하여(in response to challenges) 이 모델과 다른 CBME 모델들의 반복적인 수정(iterative adaptation)에 정보를 제공하는 것입니다.
3. CBD 평가에 초점을 맞춘 실천 공동체를 육성하기 위해(To foster a community of practice focused on evaluating CBD): CBD 실행이 국가, 기관, 전문과목, 개별 프로그램 수준(national, institutional, specialty, and individual program levels)에서 수많은 파트너를 포함할 것임을 인식하고, 목표는 프로그램 평가에 대한 다양한 노력(diverse efforts)을 하나로 모아 그것들이 서로를 지원하고 그 위에 구축될 수 있도록 보장하는 것이었습니다.

이러한 대규모 전환(such a large-scale transformation)을 위한 프로그램 평가에 가장 잘 접근하는 방법에 대한 구체적인 청사진(specific blueprint)은 없습니다 [15, 16, 17]. 오히려, 교훈(lessons learned)이 모든 전문과목에 걸친 CBD의 지속적인 전개(ongoing rollout)에 체계적으로 통합될 수 있도록(systematically incorporated) 보장하기 위해 프로그램 평가 전략과 장기 계획(long-term plan)이 필요했습니다. 본 논문은 전반적인 프로그램 평가 설계 및 전략(overall program evaluation design and strategy)을 설명합니다. 예비 결과(Preliminary findings)는 예상된 이점과 예상치 못한 결과(anticipated benefits and unanticipated consequences)를 모두 포함하여 상당한 수준의 변화가 진행 중(significant degree of change is underway)임을 시사합니다. 그러나 원하는 시스템 전환(desired system transformation)을 달성하는 것은 잠재적인 과제(potential challenge)로 떠오르고 있습니다. 우리는 Royal College의 지속적인 프로그램 평가 전략이 실행을 향한 여정(journey to implementation)에 대해 어떻게 통찰력을 제공해왔는지 설명합니다.

CBD 프로그램 평가 로직 모델 (CBD program evaluation logic model)

CBD 프로그램 평가 설계를 위한 정보를 제공하고(To inform the design) 이니셔티브의 규모를 포착하기 위해(capture the scale of the initiative), 2017년에 로직 모델이 생성되었습니다 (그림 1 참조) [18]. 로직 모델은 투입(inputs), 프로그램 활동(program activities), 결과(outcomes) 사이의 연결(linkages)을 나타내며 프로그램이 어떻게 작동해야 하는지(how a program is supposed to work)를 보여주는 다이어그램입니다 [19, 20, 21]. 이는 프로그램 모델에 대한 공유된 이해(shared understanding)를 형성하기 위해 프로그램 평가에서 흔히 사용됩니다.

[그림 1 Competence By Design Program Evaluation Logic Model (CBD-PELM) ]

[테두리 및 배경 요소: 외부 환경]

• 상단: 전공의 교육의 변화하는 맥락 (Changing Context of Residency Education)
• 좌측: 변화하는 환자 진료 요구와 의료 시스템 (Changing patient care needs and healthcare system)
• 우측: 교육 이론과 실제의 발전 (Advances in educational theories and practice)

[상단 및 중앙: 목표와 성과 (Goals and Outcomes)]

*(점선 박스 상단 표시: Royal College는 기여적 영향력(CONTRIBUTING INFLUENCE)*을 가짐)

전략적 목표 (STRATEGIC GOAL) 캐나다인의 건강과 의료를 개선하는 것 (To improve the health and healthcare of Canadians)

주요 성과 (KEY OUTCOMES)

• 장기 (Long-term, 7-10년)
  • 향상된 환자 진료 성과 (Enhanced patient care outcomes)
• 중기 (Medium-term, 4-6년)
  • 향상된 진료 준비도 (Enhanced readiness for practice)
  • 프로그램 변화의 지속가능성 (Sustainability of program changes)
• 단기 (Short-term, 1-3년)
  • 역량의 점진적 발달(progressive development of competence)을 촉진하는 평가 시스템과 관행
  • 학습자의 요구에 개별화된 교육(Teaching that is individualized)
  • 자기조절 학습(self-regulated learning)과 평생 학습(life long learning) 역량을 보여주는 학습자

[하단: 투입, 활동, 산출 (Inputs, Activity, Output)]

1. 투입 (INPUTS) *(하단 표시: Royal College는 감독 권한(OVERSIGHT)*을 가짐)

• Royal College – 주요 이니셔티브 (Key Initiatives)
  • 전문과목 교육 설계 과정 (Specialty education design process)
  • 평가 전략 (Assessment strategies)
  • 변화 관리 전략 (Change management strategy)
  • 교수 개발 (Faculty development)
  • 인증 개혁 (Accreditation reform)
  • CanMEDS 2015 프레임워크 (CanMEDS 2015 framework)

2. 활동 (ACTIVITY)

• Competence by Design
  • 캐나다 전역의 전공의 수련(residency training)에 역량 바탕 의학 교육(competency-based medical education) 접근법을 실행하는 것을 목표로 하는 다년 간의 변화 과정(Multi-year change process).

3. 산출 (OUTPUT) *(하단 표시: Royal College는 직접적 영향력(DIRECT INFLUENCE)*을 가짐)

• 역량 바탕 – 전공의 교육 (Competency based – Residency Education)
  • 모든 교육과정 요소(교육, 학습 및 평가 관행)가 진료에 필요한 역량의 발달적 습득(developmental acquisition of competencies)을 촉진하기 위해 명시적이고 체계적으로 순서화된(explicitly and systematically sequenced) 전문과목 수련 프로그램.

CBD 프로그램 평가 로직 모델(CBD-PELM)(그림 1)은 투입(inputs)으로 분류된 주요 이니셔티브들이 어떻게 CBD의 채택과 실행(adoption and implementation)을 촉진하는지를 보여줍니다. 결과적으로(In turn),

• CBD의 실행은 모든 전문과목 프로그램의 모든 교육과정 요소(all curricular elements)가 역량의 점진적 발달(progressive development of competencies)을 지원하도록 정렬되는(aligned) 산출물(output)로 이어지도록 의도되었습니다.
• 시간이 지남에 따라, 이러한 정렬은 "변화하는 환자 진료와 다양한 인구 집단의 건강 요구를 더 잘 충족시킨다(to better meet changing patient care and the health needs of diverse populations)"는 전략적 목표(strategic goal)와 연결되는 주요 단기, 중기, 장기 성과(key short-, medium-, and long-term outcomes)의 생산으로 이어져야 합니다. 이 진술은 CBD 실행의 전반적인 의도된 영향(overall intended impact)을 반영했습니다.

이니셔티브의 범위를 고려할 때, CBD-PELM은 또한 경계(boundaries)를 묘사하여, 변화를 시작하는 데 있어(initiating the change) Royal College가 직접적인 감독 권한(direct oversight)을 가진 곳과 실제 CBD 채택에 있어 영향력(influence)을 가진 곳을 표시했습니다. 이러한 경계는 Royal College의 이니셔티브가 성과에 어떻게 기여할 것으로 예상되는지(expected to contribute to outcomes)를 묘사하는 데 도움을 주었으며, 프로그램 평가를 수행하는 데 파트너들 간의 광범위한 협력(extensive collaboration among partners)이 필요함을 보여주는 데 도움이 되었습니다. 또한, CBD-PELM은 CBD의 실제 실행에 결정적인(critical to the actual implementation) 수많은 파트너들과, 장기적인 성과의 실현(realization of longer-term outcomes)이 의료 시스템 수준에서의 시너지(synergy at the level of the health care system)를 필요로 한다는 점을 강조합니다(underscores). 더 나아가, CBD-PELM은 평가 전략의 진화(evolution of the evaluation strategy) 과정에서 반드시 고려되어야 할(must be accounted for) 3가지 주요한 더 넓은 요인들의 영향력을 인정합니다:

• 변화하는 환자 진료 요구(changing patient care needs),
• 전공의 교육의 변화하는 영향과 트렌드(changing influences and trends in residency education), 그리고
• 교육 이론과 실제의 전반적인 발전(overall advances in educational theory and practice).

이것들은 모델 내에서 CBD의 실행과 평가 전략 모두를 형성하는 힘(forces shaping both)으로서 경계(borders)로 존재합니다.

이 로직 모델을 바탕으로(On the basis of), Royal College는 전반적인 "작동 이론(theory of action)", 즉 CBD 프로그램 모델이 어떻게 원하는 변화를 가져오도록 의도되었는지(how... was intended to bring about the desired change)를 명시적으로 진술했습니다 [22]:

• 명시적인 일련의 학습 경험(explicit sequence of learning experiences), 교수 방법(instructional methods), 평가 관행(assessment practices)을 진료에 필요한 역량(competencies required for practice)과 체계적으로 정렬함(systematically aligning)으로써, CBD는 진료 현장에 진입(enter into practice)하고 양질의 환자 진료를 제공할 준비가 더 잘 된 학습자의 발달을 가능하게 합니다.

로직 모델을 사용하는 것은 Royal College가 시간에 따른 CBD의 의도(intention of CBD over time)를 보여줄 수 있게 했습니다. 또한 이는 국가 기관(national organization)으로서 Royal College가 국가 수준의 데이터를 수집(collecting national-level data)하는 동시에, 시간이 지남에 따라 캐나다 수련 프로그램과 기관들의 변화를 시작하고, 지원하며, 모니터링할 수 있는 고유한 역할(unique role)을 가지고 있음을 확인하는 데 도움이 되었습니다. 하지만, 실질적인 실행에 대한 책임(responsibility for actual implementation)은 개별 기관과 전공의 교육 프로그램에 있었습니다(lay with).

CBD-PELM에 정보를 얻어(Informed by), 평가 전략은 다음 섹션에서 설명되는 바와 같이 세 가지 기둥(three pillars)에 걸쳐 개념화되었습니다.

CBD 평가의 세 가지 기둥 (The three pillars of CBD evaluation)

전체적인 프로그램 평가 전략(overall program evaluation strategy)은 의사결정의 목적을 위해(for the purposes of decision-making) CBD에 관한 구체적인 질문에 답하는 데 도움을 주도록 의도되었습니다(intended to help answer specific questions):

• 실행 전략(implementation strategy)에 변화가 필요한가?
• 실행 후 어떤 수정(adaptations)이 필요한가?

CBD-PELM에 정보를 얻어(Informed by), CBD의 채택(adoption of CBD)은 세 가지 중복되지만 뚜렷하게 중요한 단계들(three overlapping but distinctly important phases)을 포함하는 것으로 구상되었습니다(envisioned to encompass).

• 프로그램 전개(program rollout)가 시작됨에 따라, 프로그램 평가 전략(PES)은 프로그램과 조직이 실행할 준비가 되었는지의 정도(extent to which... were ready to implement)에 초점을 맞추었습니다.
• 전개가 계속됨에 따라, 프로그램들이 CBD를 의도된 대로 실행하고 있는지의 정도(extent to which... were implementing CBD as intended)가 다음 관심의 중심(next center of attention)이 되었습니다.
• 시스템 전반에 걸쳐 실행이 추진력을 얻으면서(gathered momentum), 의도된 것과 의도하지 않은 것(both intended and unintended) 모두를 포함한 성과를 포착하는 것(capturing outcomes)이 평가의 마지막 영역으로 확인되었습니다.

결과적으로, 평가는 실행 준비도(readiness to implement), 실행의 충실도와 진정성(fidelity and integrity of implementation), 그리고 CBD의 성과(outcomes of CBD)라는 세 가지 기둥으로 조직되었습니다. 이 세 가지 기둥은 실행 준비(preparing to implement)에서부터 결과적인 영향(resultant impacts)으로 이동하는 뚜렷하게 상호 관련된 단계(distinctly interrelated phases)로서, 이 각각의 핵심 영역에 초점을 맞춘 우선순위 평가 프로젝트(priority evaluation projects)를 가이드하는 데 도움을 주기 위해 선택되었습니다.

각 기둥에 대해, 단일한 방법이나 접근법(no single method or approach)이 사용되지 않았습니다; 오히려, 수정과 개선을 위한 영역을 식별(identify areas for adaptation and improvement)하고, 시간이 지남에 따라 CBD의 영향을 이해(understand the impact of CBD over time)하는 데 도움을 주기 위해 일련의 전략들(a set of strategies)이 의도적으로 선택되었습니다. 그 핵심에서(At its core), PES는 활용 중심 평가(utilization-focused evaluation) [23]로 설계되었는데, 이는 CBD의 실행과 반응적 수정(responsive adaptation)에 있어 의사결정에 정보를 제공하고 성과를 개선(inform decisions and improve performance)하기 위해 계획되고 제정되었다는 점에서 그렇습니다.

실행 준비도 (Readiness to implement)

실행 준비도(Readiness to implement)는 조직(이 경우에는 수련 프로그램)이 혁신을 채택할 의지가 있고(willing [심리적으로 준비된, psychologically prepared]) 능력이 되는(able [행동적으로 준비된, behaviourally prepared]) 정도(extent)입니다 [24].

• 조직적 준비도(organizational readiness)가 높을 때, 파트너들과 투자된 다른 사람들(partners and invested others)은 노력을 기울이고(exert effort), 변화를 시작하며(initiate change), 도전에 직면하여 끈기 있게 지속할(persist in the face of challenges) 가능성이 더 높으며, 이는 궁극적으로 성공적인 실행의 가능성을 높입니다(increases the likelihood of successful implementation) [25].
• 변화에 대한 충분한 조직적 준비도가 확립되지 않았을 때, 주요 변화 이니셔티브(major change initiatives)는 실패할 가능성이 더 높습니다 [26].
• 조직적 준비도는 혁신의 성공적인 실행에 필수적이며 하류 성과의 핵심 매개변수(key mediator of downstream outcomes)이므로 [27], Royal College는 또한 CBD 실행과 성과 사이의 연결고리(link between CBD implementation and outcomes)를 명확히 하기를 희망했습니다.

수련 프로그램들이 CBD를 효과적으로 실행할 준비가 되도록 보장하기 위해(to ensure that training programs were ready) 상당한 시간과 자원이 투자되었습니다 [28]. 그러나 프로그램 수준에서 CBD의 성공적인 실행에 기여할 요인(factors that would contribute to successful implementation)이나 수련 프로그램들이 CBD를 시작할 준비가 되었는지에 대해 어떻게 인식하는지(how training programs perceived their readiness)에 대해서는 거의 알려진 바가 없었습니다(little was known). 프로그램 준비도에 대한 평가는 프로그램의 구체적인 역량 강화 전략(specific capacity-building strategies)과 구체적인 자원 및 인프라 요구(specific resource and infrastructure needs)를 식별하는 데 도움을 주기 위해 우선순위가 지정되었습니다.

프로그램 준비도를 조사하기 위해(To examine program readiness), Royal College는 Scaccia 등의 연구 [29]를 참고하여 그들의 R = MC2 프레임워크를 활용했습니다 [30]. 이 개념적 모델에서, 준비도는

• 혁신을 실행하려는 조직의 동기(organization’s motivation),
• 변화에 대한 조직의 일반적인 역량(general capacities of the organization for change), 그리고
• 특정 혁신에 요구되는 혁신 특이적 역량(innovation-specific capacities)의 산물(product)입니다.

각 구성요소는 체계적으로 평가될 수 있는 준비도의 매개변수 세트(set of mediators of readiness)를 나타냅니다. 이 프레임워크를 사용하여, 우리는 주로 설문조사를 통해(primarily via surveys) 프로그램 간의 자가 보고된 준비도(self-reported readiness)를 평가했습니다. CBD 실행 전 2년 이내의 모든 프로그램의 책임자(Program directors)들이 연례 설문조사에 참여하여 프로그램의 동기, 변화에 대한 일반적 역량, 그리고 혁신 특이적 역량을 파악하고자 했습니다. 더 나아가, 전체적인 준비도 점수(overall readiness score)가 계산되었습니다. 다른 곳에서 보고된 [30] 이 발견들은 실행 전략에 반복적으로 정보를 제공했습니다(informed implementation strategies iteratively).

실행의 충실도와 진정성 (Fidelity and integrity of implementation)

실행의 충실도(Fidelity of implementation)는 CBD가 의도된 대로 실행되고 있는 정도(degree to which CBD was being implemented as intended)로 정의되었습니다 [31]. 이 개념은 실행의 진정성(integrity of implementation) [32]과 밀접하게 관련되어 있는데, 진정성은 충실도를 넘어 실행에 있어 CBD의 원칙들이 존재하는 정도(degree to which the principles of CBD were present)를 식별하는 것입니다. 이 구분의 중요성은 임상 역량 위원회(clinical competence committees, CCs)의 채택을 조사한 Hauer 등의 연구에서 잘 묘사되어 있습니다 [33].

• 연구에 포함된 모든 프로그램은 역량 위원회(CCs)를 설립했으므로 시스템 전반에 걸쳐 실행의 충실도는 달성되었습니다.
• 그러나 CC가 수련생을 평가하는 방식(How the CCs went about assessing trainees)은 다양했습니다.
  • 일부는 발달적 접근(developmental approach)을 채택하여, 수련생에게 개인의 강점과 약점 영역을 지적하는 정기적인 피드백(regular feedback)을 제공하고, 이를 구체적인 벤치마크나 이정표(milestones)의 성취와 명확하게 연결했습니다. 발달적 접근은 원하는 전환(desired transformation)과 일치하므로, 이러한 경우 실행의 진정성은 건전했습니다(sound).
  • 그러나 대다수는 모든 수련생의 발달을 지원하기보다는 주로 고전하는 수련생(struggling trainees)을 향한 논의에 초점을 맞춘 문제 확인 접근(problem identification approach)을 사용했습니다. 다시 말해, 그들은 새로운 위원회 구조를 실행했지만 실제 수련생 평가 과정(actual process of trainee assessment)은 새로운 목표와 일치하지 않았습니다. 따라서 CBD를 실행함에 있어, 프로그램이 CBD의 모든 필수 구성요소를 실행했을 수 있지만(즉, 충실도를 달성함), CBD의 진정한 의도를 실현하지 못했을(즉, 진정성을 달성하지 못함) 가능성이 예상되었습니다(it was anticipated).

충실도에 초점을 맞춘 평가 전략(Fidelity-focused evaluation strategies)은 지역적 맥락(local contexts)에서의 실행에 있어 혁신의 기계적 또는 구조적 요소(mechanistic or structural elements)에 대한 단순한 모니터링이 될 위험이 있습니다. 이는 평가가 프로그램 수준에서 실행하는 사람들에 대한 비판(critique of the those implementing)이 되는 것으로 잘못 해석될 결과(resultant misinterpretation)를 초래할 수 있습니다; "당신은 이것을 하기로 되어 있는 대로 했습니까?" 평가 전략이 CBD의 중요한 구성요소의 실행에 대한 정보를 포착할 필요가 있었지만, 그 전체적인 평가 목표(overall evaluation aim)는 우리가 CBD를 의도된 원칙과 전체 목표에 충실한 방식(way that was true to its intended principles and overall goals)으로 실행했는지 이해하기 위해, 실행의 진정성(integrity of implementation)을 이해하는 것을 선호했습니다. 여기서 '우리'는 혁신의 설계자를 포함하여 시스템 내의 모든 파트너와 투자된 다른 사람들을 집합적으로 포함합니다.

CBD 펄스 체크 연구(CBD Pulse Check study)는 캐나다 전문의학 시스템 전반에 걸쳐 CBD 실행의 충실도와 진정성을 특성화(characterize)하는 동시에, 개선을 위한 도전과 기회(challenges and opportunities for improvement)를 설명하기 위해 개발되었습니다.

• 충실도를 포착하기 위해 CBME 핵심 구성요소 프레임워크(CBME Core Components Framework, CCF)가 활용되었습니다 [34].
  • 이 프레임워크는 수정된 델파이 기법(modified Delphi)을 통해 도출되어 CBME의 핵심 구성요소를 결과 역량(outcome competencies), 순차적 진행(sequenced progression), 맞춤형 학습 경험(tailored learning experiences), 역량 중심 수업(competency-focused instruction), 그리고 프로그램적 평가(programmatic assessment)로 식별했습니다.
  • 이 전 세계적으로 관련성 있는 프레임워크(globally relevant framework)는 실행의 충실도를 달성하기 위해 필요한 프로그램 요소를 식별하는 데 사용되었습니다.
• 실행의 진정성은 혁신 구성 매핑(innovation configuration [IC] mapping)을 사용하여 다루어졌습니다 [34, 35]. IC 매핑은 새로운 혁신(이 경우, CBD)이 무엇이고 무엇이 아닌지(what... is and what it is not)를 입증하는 유용한 방법입니다.
  • 혁신의 주요 구성요소를 식별한 후, IC 맵은 각 주요 구성요소에 대해 미실행(non-implementation)에서 이상적 실행(ideal implementation)까지의 범위에 있는 척도(scale)로 실행을 묘사합니다. 따라서, 이것은 충실도뿐만 아니라 실행의 진정성도 모니터링합니다.
  • 광범위한 자문 과정을 통해 생성된 CBD IC 맵은 CBD 펄스 체크 설문조사의 기초를 형성했으며, 전자 포트폴리오(electronic portfolios), 직장 기반 위임 가능 전문 활동 평가(workplace-based entrustable professional ability assessment), 그리고 즉각적인 코칭(coaching in-the-moment)과 같은 주요 구성요소를 포함했습니다.
  • 전국의 프로그램 책임자들은 그들의 프로그램이 CBD를 시작한 지 6개월 후에 이 설문지를 받았고 그 후 매년 받았습니다. 또한, 각 설문조사 반복(iteration) 후, 응답자의 하위 집단(subset of respondents)이 프로그램 책임자들의 CBD 경험에 대한 더 깊은 탐구를 촉진하는 반구조화된 인터뷰(semi-structured interview)에 참여했습니다.

CC(역량 위원회)가 CBD 평가 프로그램의 초석(cornerstone)이므로, CBD 펄스 체크를 확장하고 CC에 대한 실행의 진정성을 탐구하기 위해 후속 질적 인터뷰 연구(follow-up qualitative interview study)가 설계되었습니다. 2020년 이전에 시작한 프로그램의 모든 CC 위원장들에게 이메일을 통해 연락하여 CC 실행 테마(CC-implementation themes)를 식별하기 위한 반구조화된 인터뷰에 참여하도록 초대했습니다.

프로그램 책임자들에게 초점을 맞춘 CBD 펄스 체크 연구의 개발 이후, 수련생의 관점(trainee perspective)이 과소대변되었다는(under-represented) 점이 인식되었습니다. 캐나다 전공의 협회(Resident Doctors of Canada)와의 의도적인 파트너십이 형성되었고 [36], 수련생을 위해 특별히 설계된 CBD 펄스 체크 설문조사 버전이 설계되었습니다. 이 설문조사는 CBD 실행에 대한 그들의 인식을 조사하고, 실행의 충실도와 진정성을 더 깊이 이해하며, 초기 성과(early outcomes)를 포착하는 것을 목표로 했습니다. 특히 다른 수련생 중심 평가 노력 [37]에서 우려 영역으로 확인되었던 수련생의 웰니스(trainee wellness)에 미치는 영향과 관련된 성과를 포착하고자 했습니다.

CBD 펄스 체크 설문조사와 CC 인터뷰 연구의 시스템 수준 관점(system-level perspective)을 보완하기 위해, CBD의 현장 경험(on-the-ground experience)에 대한 심층적인 이해를 생성하는 것을 목표로 하는 연구도 수행되었습니다. 신속 평가 방법론(rapid evaluation methodology) [38]을 사용하여, 이 연구는 여러 분야와 파트너에 걸친 개별 수련 프로그램들의 실행 경험과 초기 성과를 비교하고 대조했습니다. 세 개의 구체적이고 모범적인 전문 분야(exemplar disciplines)(내과, 응급의학과, 비뇨의학과)가 모집되어 Royal College와 파트너십을 맺고 초기 CBD 실행자 풀(pool)에서 개별 전공의 수련 프로그램의 대표 표본을 형성했습니다.

신속 평가(Rapid evaluation)는 시스템 변화를 향한 진화적 적응의 과정(process of evolutionary adaptation)에 참여하기 위해 시의적절한 증거를 포착하고 피드백하는 것(capturing and feeding-back timely evidence)에 초점을 맞춘 접근법입니다 [39]. 핵심 구성요소 프레임워크(Core Components Framework) [34]를 바탕으로, 계획된 실행의 맥락과 세부 특징, 그리고 기대되는 성과를 포함한 변화의 본질(nature of the change)에 대한 명시적인 설명이 각 참여 프로그램의 지역 CBD 리더들과의 파트너십을 통해 생성되었습니다. 평가는 각 프로그램에서 실행된 CBD의 경험을 더 잘 이해하기 위해 수련생, 일선 교수진(front-line faculty), 프로그램 리더들과의 일련의 인터뷰 및 포커스 그룹을 통해 정보를 수집하는 데 초점을 맞추었습니다. 이 데이터는 그 후 CBD가 의도된 대로 실행되고 있는지 판단하고 경로 수정(course correction)이 필요한 영역을 식별하기 위해 의도된 지역적 변화(intended local change)에 대한 설명과 비교되었습니다. 피드백은 파트너들과 투자된 그룹들에게 제공되었고, 다른 사람들의 경험이나 감독 기관의 지침과 같은 영향을 미치는 외부 요인(influencing external factors)을 고려하여 경로 수정이 실행되었습니다. 참여 프로그램에 피드백이 제공된 후, CBD 실행의 국가적 그림(national picture)을 알리고 의도된 것과 의도하지 않은 것 모두를 포함한 실행의 떠오르는 성과(emerging outcomes)를 식별하기 위해 전문과목 전반에 걸친 2차 분석(secondary analysis)이 수행되었습니다.

위에서 설명한 바와 같이, 프로그램들이 충실도와 진정성을 모두 갖추고 실행에 착수했음을 보장하지 않고서는, 성과나 영향(outcomes or impacts)을 CBD 실행 자체나 CBD 모델의 특정 특징 탓으로 돌리는 것(attribute... to)이 불가능할 것입니다. 따라서 이 두 번째 기둥은 CBD와 관련된 성과의 견고한 조사를 위한 토대(foundation for a robust examination)를 제공합니다.

CBD의 성과 (Outcomes of CBD)

CBME는 교육 이론의 발전(advances in education theory)을 활용하고 전공의 과정 환경(postgraduate setting)에서 최선의 교육 원칙이라고 생각되는 것들을 엮은 근거에 정보를 얻은 혁신(evidence-informed innovation)입니다 [40]. 그러나 우리는 전 세계적으로 CBME의 영향을 이해하기 위한 실제 근거 기반(actual evidence base)을 개발하는 매우 초기 단계에 있습니다 [41]. 결과적으로, 세 번째 기둥으로서, Royal College는 시간이 지남에 따라 CBD의 영향에 대한 증거를 수집하기 위해 종단적 성과 평가(longitudinal outcome evaluation)에 참여할 필요성을 인식했습니다. 이 섹션에서는 집필 당시 구체적인 성과 연구가 완료되지 않았으므로 예상되는 도전과제(anticipated challenges)와 이 기둥을 다루는 접근방식을 설명합니다.

CBD가 많은 변수(실행의 충실도, 지역적 맥락 등)의 역동적 상호작용(dynamic interaction)을 포함하는 복잡한 전환적 개입(complex transformative intervention)임을 감안할 때, 이는 다중 성과(multiple outcomes)의 생산을 초래할 것입니다. 예를 들어, 로직 모델(그림 1 참조)에 묘사된 바와 같이, 서로 다른 성과들이 시간이 지남에 따라 전개될 것(unfold over time)으로 예상됩니다. 더 정교한 성과의 분류체계(taxonomy of outcomes)가 국제 역량 바탕 의학 교육(International Competency-based Medical Education, ICBME) 협력자들에 의해 기술되었습니다. 이 성과들은 시간선(수련, 진료로의 전환, 진료)에 따라 세 가지 영역: 초점(교육적, 임상적), 수준(미시적, 중범위적, 거시적)에 걸쳐 조직됩니다 [42]. 이 분류체계는 수련 중인 의사들의 궤적(trajectories of physicians in training)을 따라가는데,

• 먼저 수련 중에 발생하는 성과에 초점을 맞추고,
• 그 다음 수련에서 지도감독 없는 진료(unsupervised practice)로 전환하는 시기를 둘러싸고 발생하는 성과를 독특하게 강조하며,
• 마지막으로 독립적인 진료(independent practice) 중에 발생하는 성과에 초점을 맞춥니다.

이 분류체계는 초기에 조사해야 할 중요한 성과가 CBD가 수련생의 "진료 준비도(readiness to practice)"를 향상시키는 정도(extent to which CBD enhances trainee “readiness to practice”)임을 시사합니다(즉, 증가하는 복잡성, 중증도, 그리고 환자의 기대가 변화의 주요 동인인 변화하는 의료 환경에서 졸업하는 수련생들이 진료할 준비가 되도록 보장하는 것). 더 구체적으로는, 수련 중 강화된 직접 관찰(enhanced direct observation)과 같은 교육과정의 변화가 지도감독 없는 진료에 요구되는 역량의 보증(assurance of competence)으로 이어질 것으로 예상됩니다.

모니터링해야 할 또 다른 중요한 성과는 CBD가 전공의 교육과 조직 문화(organizational culture)의 진정한 전환(true transformation)을 촉진하는 정도입니다. 실행의 진정성이라는 개념을 바탕으로, 우리는

• 피드백의 질(quality of feedback),
• 수련생에게 그들의 개별 학습 요구와 궤적에 맞춘 지원(support tailored to their individual learning needs and trajectory)이 제공되는 정도,
• 그리고 평생 학습(lifelong learning)에 대한 헌신을 보여주는 수련생의 행동을 조사함으로써 수련생 평가에 대한 더 발달적인 접근으로의 이동(shift to a more developmental approach)을 조사할 수 있습니다.

중요한 것은, 이 분류체계가 원위의 환자 중심 성과(distal patient-focused outcomes)를 측정하는 도전에 직면하여 이러한 더 근위의 교육 성과(proximal educational outcomes)를 평가하는 것의 효용성을 강조한다는 점입니다. 하류의 환자 진료(downstream patient care)에 미치는 CBD의 영향을 측정한다는 높은 목표(lofty goal)는 혁신의 하류에 있는 통제하기 어려운 다른 많은 영향들(many other difficult-to-control influences) 때문에 도전이 될 것입니다 [43, 44]. 그러나 수련 프로그램은 의사의 진료 수행능력(physician practice performance)과 환자 진료 성과에 상당한 영향을 미치는 것으로 나타났으며 [45], 복잡성과 도전에도 불구하고 이 영향을 시간이 지남에 따라 측정하려는 노력이 이루어져야 합니다. 또한, 그러한 복잡한 혁신에 대해 인과 관계(cause-and-effect relationship)를 예측하는 어려움을 감안할 때, 긍정적이든 부정적이든 의도하지 않은 성과(unintended outcomes)를 포착하는 것은 Royal College 평가 계획의 중요한 측면입니다. 일부 분야는 이미 측정될 수 있는 원위 환자 중심 성과의 우선순위를 정하는 과정을 시작했습니다. 예를 들어, 응급의학과에서 Chan 등 [46]은 3가지 최우선 성과를 식별했습니다:

• CBD 졸업생과 관련된 환자 안전 및 진료의 질 지표(patient safety and quality care metrics),
• 근거 중심 진료에 대한 졸업생의 준수(graduate adherence to evidence-based practice), 그리고
• 병원의 흐름과 기능(hospital flow and function)에 미치는 CBD의 영향.

그러한 복잡한 개입에서 성과 측정의 마지막 도전은 전통적인 무작위 대조 시험 방법론(randomized controlled trial methodology)을 넘어서야 할 필요성입니다 [41]. CBD를 실행하는 데 있어 지역적 맥락의 강력한 영향력(powerful influence of local context)을 감안할 때, 한 프로그램이 다른 프로그램과 진정으로 비교될 수 있다고 기대하는 것은 비현실적입니다. 오히려, Royal College는 복잡성의 조건 하에서(under conditions of complexity) 실현된 성과에 대한 풍부한 이해와 가치 있는 통찰력을 생성하기 위해 다중 방법(multiple methods)을 사용하는 데 초점을 맞출 것입니다. 이러한 성과 연구들은 Royal College가 충실도와 진정성을 가지고 실행되었을 때의 CBD의 영향에 대한 풍부한 지식 기반(rich knowledge base)을 체계적으로 개발하도록 해줄 것입니다.

실천 공동체 육성 (Fostering a community of practice)

첫 번째와 두 번째 목표가 CBD 평가의 세 가지 기둥에 의해 다루어진(addressed by) 반면, 세 번째 목표를 계획하는 것은 CBD 프로그램 평가에 참여하는 사람들의 실천 공동체(community of practice)를 형성하기 위한 다각적인 접근(multi-pronged approach)을 필요로 했습니다. CBD 실행이 국가, 기관, 전문과목, 개별 프로그램 수준에서의 조율된 노력(synchronized efforts)을 필요로 한다는 점이 즉각적으로 인식되었습니다. 따라서, 동시다발적인 프로그램 평가(simultaneous program evaluation) 역시 동일한 시스템 횡단적 노력(cross-system effort)을 필요로 했습니다. 이 세 번째 목표의 목적은 CBD 실행에 참여하는 수많은 교수진, 전공의, 프로그램 리더, 교육 학자들에 의한 프로그램 평가 노력을 촉진(catalyze)하는 것이었습니다. 이 과정을 시작하기 위해, Royal College는 전국 각지의 프로그램 평가 작업을 공유하고 선보이기 위해(to share and showcase) 일련의 대규모 대면 및 가상 연례 프로그램 평가 서밋(summits)을 주최했습니다 [47]. 부가적인 활동(adjunct activity)으로, Royal College는 또한 일 년에 두세 번 더 짧고 소규모인 가상 프로그램 평가 포럼을 주최했습니다. 이 포럼들은 증거에 기반한 토론(evidence-informed debate)이 가능할 만큼 충분한 프로그램 평가가 수행된 CBD의 측면들을 조사했습니다. 해당 주제와 관련된 학술 활동(scholarship)에 활발한 주요 연사들이 초청되어 자신의 연구를 짧게 발표하고, 이후 서로 다른 관점(differing perspectives)에 대한 패널 토론에 참여했습니다. 이러한 서밋과 포럼의 목표는 아이디어 공유를 위한 장(venue for sharing of ideas)을 만들고, 기관 간 협력(inter-institutional collaboration)을 촉진하며, CBD 프로그램 평가에 관련된 파트너들을 위한 지원적인 실천 공동체(supportive community of practice)를 만드는 것이었습니다.

Royal College가 주도한 프로그램 평가 프로젝트의 공유를 더욱 촉진하기 위해(To further facilitate sharing), Royal College 프로그램 평가 팀은 완료된 연구와 진행 중인 연구(studies in flight)의 세부 사항 및 결과에 누구나 접근할 수 있는 대중에게 공개된 상호작용형 대시보드(publicly facing interactive dashboard)를 만들었습니다 [48]. 이 대시보드는 정기적으로 업데이트되었으며 데이터 조직화 및 공유를 위한 단일 장소(single location) 역할을 하도록 의도되었습니다. 또한, Royal College는 CBD와 관련된 프로그램 평가 학술 프로젝트를 위해 경쟁적 연구비(competitive grant funding)를 제한된 금액으로 제공했습니다. 마지막으로, Royal College는 CBD에 영향을 받는 다른 주요 국가 기관들과 파트너십을 맺고 프로그램 평가 프로젝트에 협력했습니다. 이러한 유형의 협력의 한 예는 CBD 실행의 주요 구성요소에 대한 수련생의 관점(trainee perspectives)을 명확히 하기 위해(to elucidate) 캐나다 전공의 협회(Resident Doctors of Canada)와 함께 진행한 공동 설문조사 프로젝트(위에서 논의됨)였습니다 [36].

초기 발견과 향후 경로 (Early findings and path forward)

2017년 CBD 프로그램 평가 전략(PES)의 시작부터 2023년 초 집필 시점까지, Royal College 프로그램 평가 연구들은 1,670명의 설문 응답자, 128명의 인터뷰 대상자, 60명의 포커스 그룹 참가자를 포함하여 1,858명의 파트너 및 투자된 다른 사람들의 견해와 관점(views and perspectives)을 포착했습니다 [48]. 참가자들에는 887명의 프로그램 책임자, 700명의 수련생, 그리고 캐나다 내 17개 모든 의과대학의 52명의 전공의 교육(PGME) 리더들이 포함되었습니다. 프로그램 평가 서밋 및 포럼을 포함한 지역사회 참여 작업(community engagement work)을 통해, 91개의 초록과 20개의 기조연설(plenaries)이 총 1,779명이 넘는 청중에게 발표되었습니다. 투자된 파트너 참여(invested partner engagement)의 범위는 다양성과 규모(diversity and magnitude) 면에서 상당했습니다.

많은 CBD PES 연구들은 집필 시점에 여전히 진행 중(still in process)입니다; 예를 들어, Royal College는 CBD 펄스 체크를 통해 프로그램 책임자들을 설문조사하는 5년 차에 접어들고 있으며, Royal College-캐나다 전공의 협회 공동 수련생 설문조사의 두 번째 반복(second iteration)을 시작하고 있습니다. 이 작업의 많은 부분에서 나온 발견들은 주로 기술 보고서(technical reports), 프로그램 평가 대시보드, 회의 또는 웨비나 발표, 또는 미출판 저작물(unpublished works)로만 보고되었습니다. 그러나 모든 작업을 폭넓게 조망하고(taking a broad view) 캐나다 전역의 외부 그룹에서 수행한 다른 주요 연구들의 유사한 발견들과 삼각 검증(triangulating)을 해보면, 중요한 광범위한 주제와 교훈을 요약할 수 있습니다.

우선, 캐나다의 모든 전문 분야와 기관을 대표하는 많은 프로그램 전반에 걸쳐 긍정적인 전환의 강력한 지표들(strong indicators of positive transformation)이 있습니다.

• 2022년에, 전국 CBD 펄스 체크 설문조사에 응답한 프로그램 책임자의 70%가 CBD의 실행이 잘 진행되고 있다는 데 동의하거나 강력히 동의했습니다(agreed or strongly agreed). 초기에 보고된 이점들은
  • 목적에 부합하는 프로그램 설계(program design fit for purpose)의 유연성,
  • 전공의 과정 및 진료로의 더 명시적이고 촉진된 전환(more explicit and facilitated transitions),
  • 수련생의 발전을 관찰할 더 많은 기회,
  • 수련생을 위한 더 많은 코칭과 지원,
  • 역량 위원회를 통한 더 객관적이고 타당하며 정보에 입각한 정당화된 발전 결정(better informed and justified progression decisions), 그리고
  • 프로그램의 질과 개혁에 대한 더 큰 초점 등 CBD의 바라는 목표들 중 많은 것을 반영합니다 [38, 48].
• 이는 교육적 책무(educational mandates)에 헌신적인 교수진이 있는 많은 프로그램들이 그들의 "전공의 과정 2.0(residency 2.0)"을 만들면서 이미 고기능적인 수련 프로그램의 전면적인 수정(whole-scale revision)에 참여하는 결과를 낳았습니다 [49].

그러나, Royal College와 다른 의학교육 기구들에 의한 평가들은 CBD 실행의 충실도와 진정성(fidelity and integrity) 모두에서 변동성(variability)이 있음을 발견했습니다.

• 일부 우려의 초기 신호들(early signals of concern)이 여러 전문 분야와 기관 전반에 걸쳐 표면화되고 있으며(surfacing),
• 이는 일부 프로그램에서 실행이 전환(transformation)이라기보다는 필수 절차들의 내키지 않는 "억지로 덧붙인 것(bolt-on)"을 더 닮았음을 시사합니다.

이는 역사적으로 다른 대규모 전환적 변화들(large-scale transformative changes) 전반에서 흔히 있어왔습니다 [32, 50, 51]. 이와 같은 변화는 하룻밤 사이에 실행되는 것이 아니라, 참가자와 현장(sites)에 따른 예상된 변동성을 가진 전환적 변화의 여정(journey of transformational change)과 더 유사합니다. 캐나다의 CBD 실행에 내재된(engrained in) 의도적인 유연성 [1]은 이 초기 단계에서 CBD 실행의 충실도에 있어 상당한 양의 국가적 변동성에 더욱 기여했습니다. 또한 CBD 실행의 진정성이 많은 환경에서 아직 달성되지 않았음(has yet to be achieved)을 시사하는 강력한 신호들이 여러 영역에서 나타나고 있습니다.

전자 포트폴리오(electronic portfolios)와 관련된 도전과제들은 Royal College 연구와 다른 연구들 모두에서 CBD 실행에 관련된 파트너들에 의해 자주 기술되었습니다 [38, 52, 53, 54]. 수련생, 교수진, 역량 위원회 구성원 모두 전자 포트폴리오의 바라는 기능(desired functionality)과 효과적이고 유용한 수집된 데이터(effective useful collated data)를 제공하는 능력 사이의 불일치(misalignment)를 보고합니다. 캐나다의 여러 그룹은 지역적으로 또는 국가적으로 채택된 지역적 혁신(local innovations)을 통해 이를 해결하기 위해 노력해 왔습니다 [55].

CBD 실행 도전과제의 가장 강력한 신호는 위임 가능 전문 활동(entrustable professional activities)의 직장 기반 평가(workplace-based assessment)에 대한 우려와 가장 관련이 깊어 보입니다. 일부 환경에서 위임 가능 전문 활동은 인지된 평가 부담(perceived increase in the burden of assessment)의 증가와 "체크박스 채우기(ticking boxes)"에 집중하는 경향 [56, 57, 58], 그리고 어떤 경우에는 평가에 있어 "나무만 보고 숲을 보지 못하는(loss of the “forest for the trees”)" 결과를 초래한다고 보고되었습니다 [38, 59]. 이러한 문제들은 바라는 성장 마인드셋(growth mindset) [60]과는 반대로 학습과 평가에 대한 성과 지향적 접근(performance-orientated approach)을 영속화(perpetuated)시켰으며, 직장 기반 평가의 "게임화(gaming)"[역주: 평가 시스템을 악용하여 실제 역량 향상 없이 점수만 따내는 행위] 뿐만 아니라 수련생들에게 과도한 압박(undue pressures)으로 이어질 수 있습니다 [37, 56]. 내키지 않아 하는 교수진(reluctant faculty)으로부터 위임 가능 전문 활동의 "성공적인" 평가를 "쫓아다니는(chasing)" 수련생들의 이러한 행정 업무의 추가적인 부담(extra burden of administrative tasks)이 초래하는 가장 우려스러운 결과는 수련생의 웰니스(trainee wellness)에 미치는 상당한 부정적 영향일 수 있습니다 [36, 37].

전반적으로, 이미 제한된 자원과 다른 맥락적 어려움(contextual struggles)으로 고생하는 기존 프로그램에 CBD 요소들이 최소한으로 혹은 내키지 않는 "덧붙임(bolt-on)"으로 들어온 상황에서는, CBD의 실행이 아직 바라는 효과를 달성하지 못한 것으로 보입니다. 문화 변화(culture change)는 시간이 걸리고 전환 과정을 통한 지속적인 집단적 노력(sustained collective effort)이 필요할 것으로 보입니다; 그리고 요구되는 노력은 수많은 지역적 맥락 요인(host of local contextual factors)에 따라 확실히 가변적일 것입니다. 구조, 절차, 정책을 마련하는 것(Getting the structures, processes, and policies in place)이 첫 번째 단계일 수 있지만, 교육 설계의 반복적인 수정 및 수정(iterative revision and adaptation)을 동반한 지속적인 질 개선(continued quality improvement)이 프로그램과 전문 분야에서 바라는 마인드셋 변화로 이어질 수 있습니다. 이는 Royal College와 현장에 관여하는 전공의 수련 기관 및 프로그램 모두의 지원을 필요로 할 것입니다. 지금까지 얻은 교훈을 되돌아볼 때(Reflecting on lessons learned thus far), CBD PES의 다음 단계는 맥락 전반에 걸친 수련생의 CBD 경험에 대한 더 나은 이해 개발, 서로 다른 전문 분야의 고유한 CBD 경험에 대한 추가 탐구 및 서로 다른 맥락에 고유한 수정(unique adaptations)이 필요한지에 대한 도전, 그리고 CBD 실행의 환자 및 시스템 수준 성과(patient- and system-level outcomes) 조사를 포함한 몇 가지 핵심 영역에 초점을 맞춰야 할 것입니다.

이 평가 노력이 캐나다 내 CBD의 진화에 정보를 제공할 뿐만 아니라 전 세계적으로 CBME를 실행하는 사람들에게도 정보를 제공하기를 희망합니다. Royal College는 CBME 실행의 최전선(front edge)에 있는 여러 PGME 시스템 중 하나에 대해서만 책임이 있습니다. 예를 들어 2013년에 처음 실행된 ACGME 마일스톤(ACGME Milestones)은 전문 분야별 평가 프로젝트 [62, 63]를 포함한 광범위한 평가 노력 [61]을 통해 확인된 초기 마일스톤의 한계에 대응하여 "마일스톤 2.0(Milestones 2.0)"을 제정하고 있습니다. 전문 분야 전반에 걸친 마일스톤의 수정 외에도, 국가적인 변화는 마일스톤의 복잡성 감소(reducing milestone complexity), 지역사회 참여 강화(enhancing community engagement), 그리고 실행을 위한 추가 도구 제공에 초점을 맞추었습니다 [61]. 더 나아가, 수술 성과(surgical outcomes)와 마일스톤 수행능력의 상관관계를 분석한 Kendrick 등 [64]의 연구와 같이 성과에 초점을 맞춘 평가 프로젝트들이 이제 등장하고 있습니다. 또 다른 예로, 네덜란드에서는 세기가 바뀔 무렵부터 CBME가 채택되었습니다. 그러나 초기 실행은 수련생 발달을 위한 역량 프레임워크와 포트폴리오를 제공했음에도 불구하고 시간 기반(time-based)으로 남아있었습니다. 이는 2017-2019년 사이에 모든 전문 분야에 걸쳐 위임 가능 전문 활동과 진정한 시간 가변성(true time-variability)의 실행을 촉발했습니다 [65]. 이 실행에 대한 평가는 전반적인 수련 시간의 감소를 발견했으며, 지속적인 문화 변화를 위한 노력의 필요성과 전환기 동안 안전한 환자 진료의 연속성(continuity safe patient care)을 유지하는 데 초점을 맞춰야 함을 강조했습니다(underlined).

위에 언급된 평가 프로젝트들에도 불구하고, CBME에 있어 체계적인 국가 규모의 평가 노력(systematic national-scale evaluation efforts)을 기술한 출판물은 거의 없습니다. CBD 실행에서 취한 접근 방식은 그 규모와 실천 공동체 구축에 대한 초점(focus on building a community of practice) 면에서 독특합니다. 이러한 유형의 접근 방식은 전공의 프로그램에 대한 중앙의 감독(central oversight)이 있는 다른 맥락으로 이전 가능할 수 있습니다. 그러나 프로그램이나 기관이 더 독립적으로 행동하는 맥락에서는 중앙 주도의 체계적인 평가(centrally driven systematic evaluation)를 운영하기가 더 어려울 수 있습니다. 로직 모델과 세 가지 기둥을 포함하는 CBD 평가에서 취한 접근 방식은 방법론적 범위(methodologic scope)가 제한적이라는 비판을 받을 수 있습니다. 로직 모델에 대한 많은 비판 [66]이 있으며, 전통적인 평가 방법론을 넘어 시간이 지남에 따른 혁신의 지속가능성(sustainability of innovations over time)에 초점을 맞추는 것과 같은 현대적인 접근 방식(contemporary approach)을 취하라는 평가 작업에 대한 요구 [67]가 있습니다. 이는 CBD 평가에서 취한 접근 방식에서도 인정되는 부분이며, 내부 전략 외부에서 다양한 평가 접근 방식을 취하는 사람들로부터 교훈을 얻을 수 있는 역량(capacity to learn lessons)이 생기는 국가적 실천 공동체의 중요성을 강조합니다. 이에 대한 몇 가지 예로는 한 캐나다 기관에서 채택한 현실주의적 평가 접근법(realist evaluation approach) [68]과 다른 기관에서 취한 신속 주기 평가 접근법(rapid-cycle evaluation approach) [69]이 있습니다. 전반적으로, 내부적으로 그리고 CBD 평가 실천 공동체 전반에 걸쳐 얻은 교훈들이 캐나다의 CBD를 향상시키는 데 사용되고, 전공의 수련에서 CBME를 평가하는 모든 사람에게 통찰력을 제공할 수 있기를 희망합니다.

결론 (Conclusion)

CBD는 전환적 변화(transformative change)를 위한 활용 중심 프로그램 평가 전략(utilization-focused program evaluation strategy, CBD-PES)에 대한 상당한 투자 및 헌신과 결합된 대규모 국가적 변화 이니셔티브입니다. 변화의 본질과 그 영향에 대한 이해가 진화함에 따라, 지속적인 평가와 수정의 순환(continuous cycles of evaluation and adaptation)은 전환 과정을 더욱 집중시키는 데 도움이 될 것입니다. CBD 로직 모델과 평가의 세 가지 기둥인 실행 준비도(readiness to implement), 실행의 충실도와 진정성(fidelity and integrity of implementation), 그리고 실행의 성과(outcomes of implementation)에 기반을 둔(Grounded in) PES는 지금까지 가치 있는 통찰력을 제공해 왔습니다. 투자된 그룹들과 교류하고(Engaging with invested groups) 이 변화를 중심으로 실천 공동체를 육성하는 것은 결정적이었습니다(critical). 도전과제의 조기 식별과 의도하지 않은 성과의 감지, 그리고 CBD 실행의 충실도와 진정성에 대한 우려 신호는 이미 중요한 수정(important adaptation)을 낳았으며 의학교육에서의 CBME 실행과 변화에 대한 우리의 이해에 기여했습니다. CBD PES는 Royal College가 향후 CBD의 진화를 이끌어갈 수 있는 좋은 위치에 있게 하며(positions... well), 이상적으로는 전 세계의 다른 대규모 전환적 변화 이니셔티브와 모든 CBME 실행에 정보를 제공하는 데 도움을 줄 수 있습니다.

Perspect Med Educ. 2024 Feb 6;13(1):85-94. doi: 10.5334/pme.960. eCollection 2024.

Strategies to Enable Transformation in Medical Education: Faculty and Trainee Development in Competence By Design

오늘은 캐나다 왕립내과외과대학(Royal College)이 주도한 역량바탕 의학교육(CBME) 프로젝트인 'Competence By Design (CBD)'의 이행 전략을 다룬 흥미로운 논문을 소개해 드리려 합니다.

의학교육 커리큘럼을 바꾸는 건 단순히 시간표를 짜는 게 아니라, 거대한 조직 문화를 바꾸는 일이죠. 이 논문은 그 거대한 변화 속에서 교수개발(Faculty Development)과 수련생 개발(Trainee Development)이 어떤 전략적 역할을 했는지 아주 상세히 보여줍니다. 🇨🇦

캐나다의 경험이 우리에게 어떤 통찰을 주는지 핵심 내용을 콕콕 짚어볼까요? 🧐

1. 교수개발, 단순한 교육이 아닌 '변화의 도구' 🛠️

이 논문의 저자들은 교수개발을 단순히 교수님들에게 교수법을 가르치는 워크숍 정도로 보지 않았습니다. 그들은 이것을 시스템을 바꾸는 강력한 무기로 정의했죠.

"교수개발은 교수학습을 개선하는 데 기여하고 혁신과 조직 변화를 촉진할 수 있는 강력한 도구이며, 특히 역량바탕교육에 있어 더욱 그러합니다." "Faculty development is a powerful tool that contributes to improved teaching and learning and can promote innovation and organizational change, especially for competency-based education."

그래서 그들은 논리 모형(Logic Model)을 세우고, 공식적인 워크숍뿐만 아니라 비공식적이고, 개인적이며, 그룹 단위의 다양한 활동을 Steinert의 4분면 모형에 맞춰 촘촘하게 설계했습니다.

2. '적시(Just-in-Time)' 학습과 맞춤형 자원 ⏰

교수님들도 전공의들도 정말 바쁘잖아요. "나중에 필요할 테니 미리 배워두세요"라는 방식은 잘 통하지 않습니다. 저자들은 사용자가 필요할 때 즉시 꺼내 쓸 수 있는 '즉시 사용 가능한 자원(Off-the-shelf resources)'의 중요성을 강조합니다.

"교수개발 구성 요소 일부에 대한 ‘적시(Just-in-Time)’ 접근법은 핵심이었습니다... (중략) 사람들이 쉽게 접근하고, 사용하며, 조정할 수 있는 자원들을 강조했습니다." "A ‘just-in-time’ approach to some of the faculty development components was key... emphasized activities and resources that people could easily access, use, and adapt."

예를 들어, 역량 위원회(Competence Committee)가 열리기 직전에 위원장에게 관련 가이드를 '푸시(Push)'해주는 식이죠. 💡

3. 수련생도 '변화의 주체'입니다! 🧑‍⚕️👩‍⚕️

이 논문에서 가장 인상 깊었던 점은 바로 수련생(Trainee)을 변화 관리의 핵심 파트너로 보았다는 점입니다. 보통 교수개발만 신경 쓰기 쉬운데, 새로운 시스템에서 가장 혼란스러울 전공의들을 미리 준비시키는 것이 성공의 열쇠라고 말합니다.

"학습자를 위해 변화 관리(Change management)에 대한 기술을 구축하는 것이 결정적이며, 이는 전체적인 접근 방식에 내재되어야 함이 분명합니다." "It is clear that building skills around change management for learners... is critical and should be built into the overall approach."

전공의들이 '성장 마인드셋(Growth Mindset)'을 장착하고 시스템을 이해하면, 오히려 교수님들을 돕는 챔피언이 될 수 있다는 것이죠. 👍

4. 끊임없는 피드백과 인내심 🔄

물론 모든 것이 순조로웠던 건 아닙니다. 이해 부족, 시간 부족, 프로그램 간의 이질성(Heterogeneity) 등 수많은 장벽이 있었죠. 연구진은 지속적인 질 개선(CQI) 사이클을 돌리며 계속 전략을 수정했습니다. 그리고 무엇보다 '문화 변화(Culture Change)'에는 시간이 필요하다는 점을 인정해야 한다고 조언합니다.

"의미 있는 문화 변화는 시간과 노력이 필요하며 서로 다른 맥락에서 다양한 속도로 일어납니다." "Meaningful culture change takes time and effort and occurs at varying paces in different contexts."

📝 요약하며

결국 성공적인 의학교육 혁신을 위해서는 정교하게 설계된 논리 모형(Logic Model), 사용자 맞춤형의 적시(Just-in-time) 자원, 그리고 수련생을 파트너로 인정하는 태도가 필수적이라는 것을 알 수 있었습니다.

서론 (Introduction)

교수개발(Faculty development)은 교수학습(teaching and learning)을 개선하는 데 기여하고 혁신(innovation)과 조직 변화(organizational change)를 촉진할 수 있는 강력한 도구이며[1], 특히 역량바탕교육(competency-based education)에 있어 더욱 그러하다[2]. 따라서 교수개발은 국가적인 교육과정 재설계(national curricular redesign)를 촉진하고 국가 차원의 모든 전문 분야에 걸쳐 졸업 후 전공의 수련(postgraduate specialty training)의 시스템 변화(systems changes)를 달성하는 것을 목표로 하는, 캐나다 왕립내과외과대학(Royal College of Physicians and Surgeons of Canada, 이하 Royal College)의 Competence By Design (CBD) 국가 이행 전략의 주요 초점(major focus)이었다.

Competence by Design (CBD)은 역량바탕 접근법(competency-based approach)을 사용하여 캐나다의 전공의 수련을 재정의(redefining)하는 것을 목표로 하는 Royal College의 변혁적 변화 프로젝트(transformative change project)이다. CBD 이행(implementation) 초기부터, 그 성공은 새로운 교육과정 패러다임(curricular paradigm)과 관련된 변화를 만들 수 있도록 널리 분포된 수많은 이해관계 집단(invested groups)을 지원하는 데 부분적으로 달려 있었다[3]. 특히, Royal College는 의과대학들과 협력(partnering)하여 다양한 파트너 그룹 및 조직 전반에 걸쳐 역량(capacity)을 강화함으로써 광범위한 국가 및 지역적 변화를 지원할 수 있음을 인식했다. 따라서 환경 스캔(environmental scan) 및 기타 요구 사정(needs assessments, 투입)을 통합한 논리 모형(logic model: 목적, 투입, 활동, 산출, 성과)(그림 1)을 사용하여, 상호 연관된 다수의 교수개발 이니셔티브(faculty development initiatives, 활동)가 개발되고 시행되었다[4].

그림 1 Competence By Design (CBD) 이행에 사용된 논리 모형(Logic Model) [4].

그림 1 Competence By Design (CBD) 이행에 사용된 논리 모형(Logic Model) [4].

(1) 목적 (Purpose)

• Competence By Design을 설계(designing), 계획(planning), 이행(implementing)하는 사람들을 위해 국가 차원에서 시스템 전반의 변화(system-wide changes)를 지원함
• Competence By Design을 가르치고(teaching), 평가하고(assessing), 활용(utilizing)하는 사람들을 위해 국가 차원에서 시스템 전반의 변화를 지원함 – 교수진(faculty)과 학습자(learners) 모두 포함

(2) 투입 (Inputs)

• 환경 스캔 (Environmental scan)
• 요구 사정 (Needs assessments)
• Royal College 자원 (Royal College resources)
• 임상 교육가 전문성 (Clinician Educator expertise)

(3) 활동 (Activities)

• 발표(Presentations), 워크숍(workshops), 현장 방문(site visits), 서밋(summits), 웨비나(webinars), 소셜 미디어(Slack), 비디오, 학술대회 제공 프로그램(conference offerings), 기술 가이드(technical guides), 즉시 사용 가능한 자원(off-the-shelf resources), 역량바탕 의학교육 리더 프로그램(Competency Based Medical Education Lead Program) 신설
• 공식적(formal), 비공식적(informal), 개인(individual) 및 그룹(group) 학습의 혼합

(4) 산출 (Outputs)

• 성공적인 이행(Successful implementation) – 지역적(locally) 및 국가적(nationally)으로
• 프로그램 검토(인증 표준), 설문조사, 인터뷰, 직접적인 피드백, 서밋을 통해 측정됨

(5) 성과 (Outcomes)

• 유능한 의사(competent physicians) 배출
• 자신의 일을 즐기는 의사 배출
  • 환자 진료/성과 향상(Improved patient care/outcomes) (참고: 이는 추후 확인되어야 할 장기적인 성과임)

CBD와 관련하여 저자들은 교수개발을 "역량바탕 전공의 수련 시스템(competency-based residency system)에서 대상 집단(target audiences)이 자신의 다각적인 역할(multiple roles)을 효과적으로 수행하도록 돕기 위해 고안된 역량 강화 이니셔티브(capacity building initiatives)"로 정의한다. CBD 프로젝트의 대상 집단과 파트너에는 (각 분야의 국가 수준 표준 설정(standard setting) 및 평가(assessment)를 담당하는) 국가 전문분야 위원회(national specialty committees), 각 의과대학의 졸업 후 의학교육(PGME) 부서, 전공의 수련 프로그램 책임자(program directors, PDs), 일선 교수자(front-line faculty teachers), 그리고 수련생(trainees)이 포함되었다. Royal College는 변화를 이행하고 유지(sustaining)하는 데 있어 각 개인의 역할을 개발하도록 돕는 역량 강화 이니셔티브의 필요성을 인식했다. 이러한 도전과제는 전국적으로 전공의 수련을 제공하는 의과대학 및 프로그램 간, 그리고 그 내부의 맥락의 다양성(diversity of contexts)으로 인해 더욱 복잡해졌다(confounded).

제공된 활동 묶음(bundle of activities)은 Steinert의 4분면 모형(quadrant model)[1]에 근거(informed by)하였으며,

• 발표(동기 및 비동기), 워크숍, 현장 방문(site visits), 서밋(summits), 웨비나, Slack과 같은 소셜 미디어 활용, 비디오, 학술대회 제공 프로그램, 기술 가이드, 즉시 사용 가능한 자원(off-the-shelf resources), 그리고 각 의과대학 내 CBME 리더(CBME Lead) 프로그램의 신설 등이 포함되었다.

전통적으로 수련생(trainees)은 교수개발의 대상 집단이 아니었으나, 역량을 강화해야 할 필수적인 그룹(essential group)이라는 점이 조기에 인식되었다는 점을 강조해야 한다. 이에 따라 Royal College는 수련생을 포함시키기 위해 논리 모형의 투입(inputs)과 그에 따른 활동(resultant activities)을 반복적으로 조정(iteratively adapted)했다. 이 논문은 성공적인 CBD 이행을 달성하기 위해 교수 및 수련생 개발(faculty and trainee development)에 대한 국가적 접근법(national approach)을 채택하면서 사용된 논리 모형의 전략, 그리고 직면했던 장벽(barriers)과 촉진 요인(enablers)을 검토한다.

Competence by Design 이행을 위한 교수개발 계획 수립: 목표, 원칙 및 근거 (Designing a faculty development plan for implementation of Competence by Design: goals, principles, and rationale)

CBD는 다년 간의 다자간 파트너(multi-year, multi-partner)가 참여하는 교육과정 설계 및 시스템 변화(systems change) 프로젝트로, 2017년에 첫 번째 프로그램 코호트(cohorts)가 이행을 시작했다. 이 국가 수준 PGME 이니셔티브의 광범위한 범위(broad scope)는 파트너들의 자원과 요구의 이질성(heterogeneity)을 해결하기 위해 광범위한 전략을 활용(leveraged)하는 개입(interventions)을 필요로 했다. 전반적으로, 다음과 같은 원칙들이 CBD 이니셔티브를 위한 교수개발 전략을 뒷받침(underpinned)했다.

전반적인 목적 명확화 (Clarify the overall purpose)

국가 교수개발 전략의 목표는 캐나다의 졸업 후 수련 프로그램들이 역량바탕 교육과정(competency-based curriculum)으로 전환(transitioned)함에 따라 국가 차원에서 시스템 전반의 변화(system-wide changes)를 지원하는 것이었다. 일련의 교수개발 이니셔티브를 통해, Royal College와 의과대학들은 공동 책임(shared responsibility) 모델을 통해 다음을 수행하고자 착수했다(set out to).

• 모든 의과대학에서 CBD를 설계, 계획 및 이행하는 책임이 있는 사람들, 특히 PD들과 CBME 리더들의 지식을 향상하고 기술을 구축(build the skills)한다.
• 임상 교수자(clinical teachers)와 수련생(trainees)을 포함하여, CBD 시스템 내에서 가르치고, 배우고, 평가하게 될 사람들의 지식을 향상하고 기술을 구축한다.

서로 다른 요구, 맥락 및 선호도를 고려하여 다양한 학습 활동 제공 (Provide a variety of learning activities to account for different needs, contexts, and preferences)

캐나다 전역의 의과대학 수(n=17), 전문 분야 수(n=67), 그리고 1000개에 육박하는 개별 프로그램을 고려할 때(Given), CBD를 지원하기 위해 가용한 요구(needs), 자원(resources), 역량(capacity)은 매우 상이(vastly different)했다. 지역 문화(local culture), 프로그램의 규모, 그리고 지역의 전문성(expertise)과 자원에 대한 접근 수준은 프로그램의 CBD 이행 접근 방식 및 성공과 관련된 결정적으로 중요한 요소(critically important factors)였다. 환경 스캔과 여러 차례의 요구 사정을 통해, 이러한 이질성(heterogeneity)에 접근하기 위해서는 다양한 학습 옵션(variety of learning options)이 필요하다는 점이 분명해졌다.

Royal College는 CBD 이행이 이미 극도로 바쁜 교수진(faculty members), 프로그램 행정가(program administrators), 그리고 수련생들의 업무량(workload)을 가중시킬 것임을 인정했다(acknowledged). 이에 따라 CBD 교수개발 전략은 사람들이 쉽게 접근(access)하고, 사용(use)하며, 조정(adapt)할 수 있는 활동과 자원을 강조했다. 이러한 즉시 사용할 수 있는(ready-to-use) 교수개발 자원은 Royal College의 전략과 캐나다 내 많은 의과대학에서 개발된 전략의 핵심(key)이었다.

Steinert의 4분면(Steinert’s four quadrants)[1]에 따라, 공식적(formal), 비공식적(informal), 개인(individual) 및 그룹(group) 학습 활동이 혼합되었다. 역량 강화 노력에는 전통적으로 공식적인 그룹 및 개인 학습과 관련된 다양한 지원(예: 워크숍 및 코스, 출판된 문헌, 매뉴얼)이 포함되었다. 이것들도 꽤 유용했지만, CBD를 위한 교수개발은 비공식적, 일터 기반(work-based), 마이크로(micro), 그리고 적시(just-in-time) 교수개발과 같은 다른 역량 강화 방법들도 강조했다. 이행 업무의 각기 다른 부분에 대한 교수개발 양식(modalities)의 선택은 다양한 세션(sessions) 제공 후의 피드백에 의해 정보를 얻었으며(informed by), 시간이 지남에 따라 상당히 진화했다. 예를 들어, 웨비나(webinars)는 파트너들이 Royal College 교육가들 및 전국의 동료들과 대화에 참여(engage in a dialogue)하고, 자원과 그 사용법을 이해하며, 실용적인 팁과 요령(practical tips and tricks)을 공유할 수 있게 해주기 때문에 높게 평가된다는 점이 분명해졌다. 이는 커뮤니티 참여(community engagement)와 동력(momentum)을 구축하는 데 도움이 되었다.

프로그램 수준의 리더들이 변화를 맥락화하고 유지하도록 지원 (Support program level leaders to contextualize and sustain the change)

캐나다에서 PD는 특정 의과대학의 해당 전문분야 또는 세부전공에 대한 졸업 후 수련 프로그램의 전체 계획 및 이행을 총괄(oversee)하며, 여기에는 선발(recruitment), 교육과정 개발, 평가 전략 개발, 수련생 지원 제공 및 교수개발이 포함된다.

• 그들은 프로그램 내에서 신뢰받는 협력자(trusted collaborators)이자 조언자이다.
• PD는 동료들을 참여시키고 학습, 교육 및 평가의 포괄적인 철학(overarching philosophy)에 대한 변화를 포함하여 프로그램 내에서 의미 있는 변화를 이끌기에 적합한 위치(well positioned)에 있다.
• 이러한 이유로 PD를 지원하는 것은 CBD의 성공적인 이행에 결정적(critical)인 것으로 간주되었다.
• 다행히 Royal College는 기존의 Royal College 전문분야 위원회(specialty committees)를 통해 PD들과 직접적이고 확고한 연결 고리(well-established connections)를 맺고 있다.

해당 전문분야의 모든 PD가 포함된 각 전문분야별 위원회는 독특하게 설계된(uniquely designed) CBD 교수개발 이니셔티브에 참여했다. 여기에는 약 1.5~2년에 걸쳐 개최된 세 차례의 수일간 진행되는(multi-day) CBD 설계 워크숍이 포함되었다. 이 워크숍들은 해당 전문분야의 수련생들이 공식적으로 CBD 수련을 시작하기 약 24개월 전에 처음 시작되었다. 워크숍은 새로운 CBD 표준을 설계하고, PD들이 임상 동료, 수련생, 프로그램 행정가들을 참여시켜 프로그램 내 변화를 촉진(facilitate change)할 수 있도록 준비시키는 주요 장(primary forum)이었다[5].

워크숍에 참여한 처음 몇몇 전문분야 코호트(cohorts)의 경우, 교수개발자들은 2년이라는 기간(window) 내에 CBD로의 원활한 전환(smooth transition)에 필요한 모든 것을 다루는 데 어려움을 겪었다. 이는 배정된 임상 교육가(clinician educator), Pulse Check 설문조사, 전문분야 위원회 위원장, 그리고 각 기관의 국가 CBME 리더들과의 논의를 통해 해당 전문분야로부터 구한 반복적인 피드백(iterative feedback)을 통해 분명해졌다. 또한 필수 벤치마크(benchmarks) 달성 능력에 관한 전문분야 이행 상황의 지속적인 모니터링 데이터에서도 명백히 드러났다. 많은 PD들이 CBD의 근거(rationale)에 대한 확실한 이해를 가지고 CBD 설계 워크숍을 떠났지만, CBD의 "방법(how)"과 소속 프로그램(home programs)에서의 효과적인 설계 적용에 대한 지식과 전문성(expertise)을 구축하기 위해서는 워크숍 밖에서의 추가적인 지원이 필요했다. 이러한 이유로 2019-2020년에 Royal College는 지원 기간을 24개월에서 거의 48개월로 연장(extending)하는 데 집중했으며, 여기에는 각 전문분야의 CBD 출범(launch) 이후까지 지원을 확장하는 것이 포함되었다. 이는 성공을 지원 및 보장하고, 과정의 초기 단계에 있는 다른 프로그램들을 도울 수 있는 이행 경험(implementation experience)에 대한 정보를 반복적으로 수집하기 위함이었다. 이 확장된 지원 모델(extended support model)에는 CBD 설계 워크숍 사이, 워크숍 이후, 그리고 CBD 출범 이후에 프로그램들을 지원하기 위해 고안된 새로운 CBD 부스터 세션(CBD booster sessions)을 통해 PD들의 지속적인 개발을 강화하고 장려(reinforce and encourage)할 기회가 포함되었다. 이 실용적인 세션들은 이행(implementation)에 초점을 맞추어, PD들이 이행 계획을 구상(map out)하도록 돕고 교수개발 지도의 각 섹션에 대한 구체적인 자원을 제공했다. 중요하게도, 참가자들은 무엇이 효과적이었고 무엇이 그렇지 않았는지에 대한 자원과 경험을 동료들과 공유했다. 또한 부스터 세션에서는 비동기 온라인 학습 모듈, 새로운 교육 도구, 동기식 가상 학습 이벤트도 소개되었다. 이 저장소(repository)의 예로는 역량 위원회(Competence Committee) 운영에 관한 슬라이드 자료, 장기간에 걸친 코칭(coaching over time)의 기초 학습 모듈, CBD 교육과정 매핑을 위한 10단계에 관한 2페이지 분량의 인포그래픽(infographic) 등이 있다. 중요하게도, 이 확장된 지원 모델을 통해 Royal College는 무엇이 효과가 있고 없는지를 파악하고 추가적인 교수개발 도구를 반복적으로 설계(iteratively design)할 수 있었다. 이 정보는 프로그램 평가(Program Evaluation) 전략에도 통합되었다[6].

의미 있고 지속 가능한 변화를 장려하기 위해 타인과 협력하라 (Partner with others to encourage meaningful and sustainable change)

PD들(Program Directors)이 CBD 이행(implementation)에 있어 필수적인(vital) 존재로 확인되었지만, 지역 프로그램의 변화가 단 한 명의 개인의 책임일 수는 없다는 점이 분명했다. 2016년에 캐나다의 각 의과대학은 자신의 지역 프로그램을 지원하고 대학 수준(University level)에서 CBD 이행 과정을 안내(guide)할 CBME 리더(CBME Lead)를 지정했다. 이들은 지역의 요구(local needs)와 장벽(barriers)에 대한 고유한 지식을 사용하여 그들의 맥락에 맞게(specific to their context) 활동했다. Royal College는 지역적 이행 노력(local implementation efforts)을 확장하는 데 도움을 주기 위해 CBME 리더들에게 의존하고, 협력(collaborated with)하며, 지원을 제공했다. 공식적인 협력 이니셔티브(formal collaborative initiative)와 공식 및 비공식 피드백을 통해, 리더들은 Royal College의 교수개발자(faculty developers)들의 작업에 정보를 제공(inform)하는 데 도움을 주었으며, 이를 통해 Royal College가 가장 크고 일반적인 도전과제(challenges)에 집중할 수 있도록 했다. 정기 회의에는 도전과제와 격차(gaps)를 해결하고, 개선 기회를 논의하며, 적절한 경우 해결책을 공동 창작(co-create)하기 위한 시의적절하고 솔직한 대화(timely and frank conversations)가 포함되었다.

Royal College와 전국의 의과대학들은 함께 모든 집단의 학습 및 개발 요구(learning and development needs)가 이해되고 지원받을 수 있도록 착수했다(set out to). 교수개발은 Royal College(국가 수준)와 각 의과대학(지역 수준) 간의 공동 책임(shared responsibility)으로 다루어졌으며, Royal College로부터 두 수준의 교육 활동 모두에 대한 광범위한 지원이 있었다. PD들과 CBME 리더들을 포함한 프로그램 챔피언(program champions)들은 CBD로의 전환(transition) 기간 동안 임상 교수자, 수련생(trainees), 그리고 프로그램 행정가들을 지원했다. Royal College는 신뢰와 지원을 구축하고(build trust and support) 접근법과 자원의 공동 창작(co-creation)을 통해 지역적 노력을 확장하기 위해 그 교육가들과 파트너십을 맺었다.

피드백 요청: 요구를 파악하고 대응하라 (Ask for feedback: identify and respond to needs)

수년에 걸쳐 코호트 방식(cohorted fashion)으로 CBD를 전개(roll out)하기로 한 결정[3, 5]은 부분적으로 초기 코호트의 요구와 경험이 나중 코호트에게 제공될 지원 및 자원의 설계를 반복적으로 알릴 수 있다(iteratively inform)는 이해에서 비롯되었다(motivated by). CBD의 초기 몇 년 동안 주요 그룹의 요구를 파악하는 것은 복잡했는데, 이는 교육가들이 경험을 통해 학습함에 따라 많은 CBD 개념이 새롭고 계속해서 진화했기 때문이었다. 프로젝트의 가장 초기 단계에서, Royal College는 그들의 떠오르는 요구(emerging needs)를 이해하고 해결하기 위해 첫 두 전문 분야인 종양내과(Medical Oncology) 및 마취통증의학과(Anesthesiology)와 협력했다. 이들 전문 분야는 지원이 필요한 영역을 강조하는 데 결정적인 역할(critical role)을 했으며, 뒤따르는 전문 분야들을 지원하기 위해 콘텐츠가 생성될 때 그 초안을 작성하고 다듬는(drafting and refining) 데 도움을 주었다. 이러한 지속적 질 개선(CQI) 접근법은 시간이 지남에 따라 직접적인 자원(directed resources)과 지원의 수를 크게 증가시키는 결과를 낳았다. 다행히도, PD들은 학습자와 교수자들의 요구를 예리하게 인식하고(keenly aware) 있었으며, 이는 그들이 지원상의 지역적 요구와 격차를 파악하는 데 결정적인 역할을 할 수 있게 해주었다. Royal College와 CBME 리더들은 이러한 데이터를 사용하여 격차를 해결했는데, 종종 공동 창작뿐만 아니라 새로운 도구와 자원의 공유를 통해 이루어졌다. 초기 수용자(early adopters)들은 또한 학습 요구와 맥락의 이질성(heterogeneity)을 보여주는 데 핵심적이었으며, 이는 궁극적으로 나중 코호트들을 위해 사용된 교수개발 콘텐츠와 전략에 정보를 제공했다.

더 많은 전문 분야가 CBD로 전환함에 따라, Royal College는 진화하는 요구(evolving needs)를 이해하는 데 도움을 얻고자 공식 설문조사와 인터뷰를 시행했다. 또한 Royal College는 이해관계 집단(invested groups)으로부터 공식 및 비공식 보고서를 받았으며, 이는 반복적인 변화(iterative change)를 통해 접근법을 검증(validate)하거나 다듬는 데 도움이 되었다.

맞춤형 적시 학습 및 교육 생산 (Produce customizable just-in-time learning and teaching)

교수개발 구성 요소 일부에 대한 ‘적시(just-in-time)’ 접근법은 Royal College의 교수개발 전략과 캐나다 각 의과대학에서 지역적으로 개발된 많은 전략의 핵심이었다. 초기에, Royal College의 자원 전달 구조는 최종 사용자(end user)에게 필요한 콘텐츠를 찾아야 하는 책임(onus)을 지우게 했다. 이 전달 모델(delivery model)은 사용자들이 콘텐츠를 검색하려는 동기가 매우 높으며, 그들이 세 가지 핵심 사항, 즉 무엇이 필요한지, 언제 필요한지, 어디서 얻을 수 있는지를 알고 있다고 가정했다.

Royal College가 주도한 CBD 이행 설문조사와 기타 직접적인 피드백은 전달 모델과 이해관계 집단의 지식에 대한 이러한 가정이 보편적으로 정확하지 않음(not universally accurate)을 보여주었고, Royal College가 제공하는 자원 및 지원과 교수진이 필요로 하고 쉽게 찾을 수 있는 것 사이에 지식의 격차(gap in knowledge)가 있음을 입증했다. 이를 해결하기 위해 2020년에 대상 집단은 CBD 이행의 "단계(stage)"에 따라 계층화(stratified)되었고, 그리하여 관련 콘텐츠가 그들이 필요로 할 때 그들에게 푸시(pushed)될 수 있도록 했다. 예를 들어, 동기식 가상 이행 부스터 세션(synchronous virtual implementation booster sessions) 이후, 역량 위원회(competence committees), 수련생 오리엔테이션, 성장 마인드셋(growth mindset), 교육과정 매핑(curriculum mapping)에 관한 자원을 포함하여, 참가자들의 현재 요구를 해결하기 위해 논의되었던 상위 10개 자원 목록이 그들에게 발송되었다. 또한, 특정 자원들은 각 전문분야의 PD들이 CBD 출범(launch)을 향한 여정에서 특정 이정표(milestones)를 충족할 때 그들에게 푸시될 수 있도록 준비되어 큐레이팅(curated)되었다.

CBD 교수개발을 위한 우선순위 대상 식별 (Identify priority targets for CBD faculty development)

CBD와 관련된 변화의 범위(scope of change)를 고려할 때, 주요 그룹들이 서로 다른 요구와 우려를 가지고 있다는 것은 놀라운 일이 아니었다. 국가 전문분야 위원회(PD 포함), CBME 리더, PGME 학장들은 일반적으로 Royal College로부터 직접적인 지원을 받았지만, 다른 대학 교수진(임상 교수자, 프로그램 행정가, 학장, 주임교수, 분과장 등)과 수련생들은 종종 지역 지원 팀과 직접 협력했다. 어떤 도전과제들은 기관 특이적(institution-specific)이었고 다른 것들은 전국적으로 더 공통적이었다. 주요 그룹의 요구와 의미 있는 접촉(meaningful contact)의 기회에 따라, 이는 Royal College에 의해 제공되는 일부 표적화된(targeted) CBD 교수개발로 이어졌다(그림 2).

그림 2 Competence by Design 이행에 있어 Royal College 교수개발을 위한 우선순위 대상(Priority targets).

다른 경우에는 지원이 의과대학에 의해 지역적으로 전달되었으며, 템플릿 및 도구를 포함한 다양한 Royal College 자원에 의해 지역적 노력이 강화(enhanced)되었다(표 1).

표 1 Competence by Design (CBD) 이행 시 교수개발을 위해 생성된 자원의 예시 (Examples of resources created for faculty development in the implementation of Competence by Design (CBD).)

이러한 확립된 연결 고리(established connections)를 활용하여 변화를 전략적으로 지원하는 것이 효율적이고 효과적인 교수개발의 핵심 중 하나임이 초기에 분명해졌다.

종단적 교수개발을 위한 CQI 주기 (CQI Cycles for Longitudinal Faculty Development)

CBD 교수개발 논리 모형의 사용은 Royal College가 교수개발 이니셔티브들이 그 목표를 달성하고 있는지를 평가할 수 있게 해주었다. 또한, CBD 내 교수 및 수련생 개발에 대해 지속적 질 개선(continuous quality improvement) 접근법이 사용되었다. 많은 활동과 자원에 대한 다중 소스(활동 후 평가 피드백, 공식 설문조사, 서밋, 인터뷰 등)로부터의 투입(Input)은 자원과 활동의 반복적 개발(iterative development)을 가능하게 하는 데이터를 제공했다. 견고한(robust) 프로그램 평가 데이터를 얻는 데 오랜 지연(long delay)이 있고 주요 지표에 대한 교란 요인(confounders)이 있어, 데이터 정보에 입각한 접근(data-informed approaches)을 취하는 데는 여전히 도전과제가 있다.

시간이 지남에 따라, Royal College는 CBD 지원 요청의 초점이

• ‘CBME의 기초’에서
• ‘양질의 이행을 보장하는 방법(how to ensure quality implementation)’으로, 그리고
• CBD 설계가 학습자, 프로그램, 그리고 가장 중요하게는 환자에게 어떻게 혜택을 줄 것인지에 대한 정보에 대한 열망으로 이동(shift)하기 시작했음을 관찰하고 추적했다.

수련생은 어떠한가? 교수진을 넘어선 변화 관리 (What about the trainees? Change management beyond faculty)

수련생은 분명히 PGME 시스템의 필수적인 부분(integral part)이지만, 전통적인 교수개발 활동은 드물게 학습자를 대상으로 한다. 사실, 과정 초기에 얻은 가장 중요한 교훈 중 하나는 CBD에 수반되는 변화에 대해 수련생을 준비시키는 것의 중요성이었다. 이것은 설계상의 명백한 격차(clear gap)이자 성공을 위한 열쇠로 인식되었다. 학습자를 위해 이 경우 CBD 이행과 관련된 변화 관리(change management)에 대한 기술을 구축하는 것이 결정적(critical)이며, 이는 전체적인 접근 방식(overall approach)에 내재되어야 함이 분명하다[7]. 수련생을 "소비자(consumer)"로 참여시키고 그들과 파트너십을 맺는 것은 그들이 과정에 기여할 수 있게 해주었다. 이것은 수련생 또는 수련생 조직과 직접적으로, 혹은 PD와 CBME 리더를 통해 간접적으로 수행되었다.

새롭게 출범한 CBD 프로그램들로부터의 초기 피드백은 이 수정된 과정에 대한 방향을 제시했다. 초기 코호트의 수련생들은 이 변화에 대해 준비가 부족하다고 느꼈으며(felt underprepared), 만약 그들이 CBD의 목표, 설계, 과정 및 그 안에서의 자신의 역할에 대한 정보로 무장되어 있었다면(armed with information), 이행 과정을 진전시키는 데 도움을 줄 수 있었을 것이라고 생각했다. 어떤 면에서 수련생들은 특히 출범 초기 시절에 이 변화를 통해 프로그램의 교수진을 옹호하고(champion) 지원하기에 적합한 위치(well positioned)에 있었다.

이러한 초기 피드백은 Royal College 이행 팀들로 하여금 PD들이 수련생들을 CBD에 오리엔테이션하기 위해 "즉시 사용할 수 있는(off the shelf)" 자원을 개발하게 이끌었다. 목표는 이 자원들을 PD들이 사용하기에 접근 가능하고, 실용적이며, 효율적이고, 쉽게 만드는 것이었다. 표 2는 수련생 개발 및 지원을 위한 자원의 예시를 제공한다.

표 2 Competence by Design (CBD) 이행 시 수련생 개발을 위해 생성된 자원의 예시 (Examples of resources created for trainee development in the implementation of Competence by Design (CBD).)

수련생들이 변화에 대한 목표와 근거(즉, 졸업하는 학습자의 역량을 보장함으로써 환자 진료 개선)와 자신의 프로그램을 위한 CBD 설계를 이해하는 것이 무엇보다 중요했다(paramount). 이 정보로 무장되었을 때, 그들은 지역 교육과정에 더 쉽게 참여(engage)할 수 있었고 자신의 책임(예: 정기적인 간격으로 일터 기반 평가(work-based assessments) 획득하기, 지도전문의와의 코칭 대화 시작하기(initiating coaching conversations), 성장 마인드셋(growth mindset) 활용하기, 역량 위원회의 역할 이해하기)을 인지할 수 있었다. 지속적인 수련생 설문조사와 PD 및 CBD에 관여된 다른 교수진으로부터의 피드백을 통해, 도구들은 반복적으로 진화(evolved iteratively)했다.

모든 자원은 CBD 웹사이트(https://www.royalcollege.ca/ca/en/cbd/cbd-tools-resources.html)의의) 단일 소스를 통해 이용 가능하게 되었으며, 이행의 적절한 시점에 PD들에게 직접 푸시(pushed)되었다. PD들과 다른 교수진이 각 도구를 소개받고 사용법을 배우기 위해 웨비나에 참석할 수 있는 다양한 기회(multiple opportunities)가 있었다.

도전과제, 촉진 요인, 그리고 얻은 교훈 (Challenges, enablers, and lessons learned)

CBD와 관련된 변화의 범위와 규모(scope and scale)를 고려할 때, 접근법이 시작된 이래 수많은 교수개발 도전과제(challenges)가 있었던 것은 놀라운 일이 아니다. 이러한 각 도전과제는 논리 모형의 투입 단계(input phase)에 반복적으로 정보(iteratively informed)를 제공하여, 원하는 산출(output)과 성과(outcomes)를 달성하기 위해 활동(activities)을 수정할 수 있도록 했다.

도전과제들은 논리 모형의 투입 단계에 따라 환경 스캔(environmental scan) 및 요구 사정(needs assessments)을 포함한 다양한 소스를 통해 구체적으로 식별되었다. 여기에는 CBD 리더들의 Royal College와의 정기적인 상호작용, 정기적인 PD 타운홀 미팅(townhalls), 전공의 서밋(summits), 웨비나, 기성 파트너 그룹과의 회의, Royal College 터치 포인트(Touch Points) 및 펄스 체크(Pulse Checks), CBD 워크숍의 피드백, 그리고 국가 단체로부터의 공식 전공의 보고서 등이 포함되었다[4]. 특히 전공의 그룹은 그들의 렌즈를 통해 본 CBD 이행의 도전과제에 대해 매우 명확한 피드백을 제공했다[8, 9, 10]. 이러한 피드백에 대한 성찰(Reflections)은 프로젝트의 이후 단계에 정보를 제공(informed)했으며, 이 지속적 질 개선(CQI) 접근법을 사용하여 앞으로의 우려 사항을 해결하기 위한 활동의 변화를 이끌어냈다.

상위 5가지 도전과제는 표 3에 나열되어 있다. 여기에는

• 교수진, 수련생 및 기타 파트너들의 이해와 참여(engagement)의 격차(gaps);
• 프로그램 리더들이 CBD를 이행하기 위한 시간과 자원의 부족;
• 요구의 이질성(heterogeneity);
• 적절한 사람들에게 적절한 지원을 제공하는 것의 어려움; 그리고
• 성장 마인드셋(growth mindset)으로의 문화 변화 등이 포함된다.

우리가 기술한 처음 두 가지 도전과제는 사용자 그룹의 이해도 및 시간/자원 문제와 관련이 있으며, 이 두 가지 모두 문헌에 기술된 바 있다[11, 12]. 우리가 직면한 다른 도전과제들은 대규모의 개념적 및 교육과정 변화 이니셔티브와 관련된 과정 및 시스템 문제(process and system issues)를 더 많이 반영한다[13, 14]. 더 나아가, 표 3은 Royal College 교육가들이 이러한 도전과제를 해결하는 데 성공적이라고 판단한 전략들과 얻은 교훈(lessons learned)을 포함하고 있다.

표 3 대규모 Competence By Design (CBD) 교수개발 이니셔티브에서 흔히 직면하는 도전과제, 전략, 그리고 얻은 교훈 (Commonly encountered challenges, strategies, and lessons learned in large-scale faculty development initiatives in Competence By Design (CBD).)

고찰 (Discussion)

CBD는 캐나다 의학교육의 복잡한 생태계(ecosystem) 내에서의 시스템적 변화(systemic change)이다. 이 논문에서 우리는 Steinert의 교수개발 모형을 설계 틀(design framework)로, 논리 모형을 평가 틀(evaluation framework)로 사용하여 어떻게 국가 교수개발 전략의 이행을 반복적으로 안내(iteratively guided)했는지 기술하였다. 이 전략은 복잡하고 전국적인 의학교육 시스템을 아우르며(encompassed), 파트너십, 공동 창작(co-creation), 그리고 폐루프형 CQI 접근법(closed-loop CQI approach) 내 피드백의 통합을 활용(leveraged)했다.

이 모형은 개인과 그룹 모두를 위한 공식 및 비공식 이니셔티브를 포함하는 교수개발 접근법에 대한 최근의 관점을 반영한다[1]. Royal College의 교수개발 이니셔티브는 Steinert의 4분면(Steinert’s quadrants)을 반영한다. 예를 들어, 부스터 세션, CBD 워크숍, 웨비나, 그리고 국제 전공의 교육 학술대회(International Conference on Residency Education)의 세션들은 Steinert의 공식적 그룹 접근법(formal group approaches) 분면과 일치하는 반면, 코칭 및 역량 위원회 사례에 대한 온라인 모듈은 개인을 대상으로 하는 공식적 학습(formal learning) 분면에 적합하다. CBD로 일찍 전환한 코호트의 동료 PD로부터 받는 동료 코칭(Peer coaching) 또한 개인적 접근법과 일치하며, 이는 공식적이거나 비공식적일 수 있다. 실천 공동체(Communities of practice)(그룹/비공식 분면)는 예를 들어 역량 위원회 위원장(역량 위원회 위원장 포럼)이나 프로그램 행정가(프로그램 행정가 컨퍼런스)를 위해 명시적으로 활성화(explicitly enabled)되었다. 멘토링(Mentoring)은 CBME 리더들에 의해 수행되었다. 비록 PD들은 "그들의 책임의 본질(by the nature of their responsibilities)"에 의해 학습하지만(개인/비공식 분면), 이러한 학습은 기술 가이드나 팁 시트와 같은 자원에 의해 촉진되었다. 소셜 미디어의 사용은 Steinert[3]에 의해 언급되지는 않았지만, 주요 자원에 대한 인식을 구축하고 동참(buy-in)을 촉진하기 위한 Royal College 교수개발 전략의 중요한 부분이었다.

성공적인 CBD 이행에 기여하는 데 있어 수련생 개발(trainee development)의 중요성은 과소평가(underestimated) 되어서는 안 된다. 이는 수련생들에게 가치가 부가된 경험(value-added experience)으로 이어졌다. 전공의들이 변화의 주체(agents), 심지어 챔피언이 될 수 있도록 권한을 부여(Empowering)한 것은 과정에 대한 그들 자신의 참여를 향상시켰을 뿐만 아니라 다른 사람들을 위한 교수개발의 질도 향상시켰다[15].

이 논문에 기술된 성과(outcomes)는 의도적인 틀(deliberate framework)과 설계, 그리고 지속적인 참여를 위한 사회적 및 의사소통 요소(social and communication elements)를 육성(nurturing)하겠다는 헌신을 필요로 했다. 주요 파트너들이 다양한 의사소통 채널(PD 수준에서부터 PGME 부서 수준까지)을 사용하여 그들에게 필요한 것과 효과가 있는 것 또는 없는 것에 대한 의견(input)을 제공하도록 장려했다. 논리 모형을 사용하여 방향을 전환(pivot)하고, 조정(adjust)하며, 격차를 메우기 위해 초기 결과에 지속적인 주의를 기울인 것이 성공에 결정적(crucial)이었다. 기관에서부터 개인에 이르기까지 모든 수준에서 성장 마인드셋을 장려한 것은 모두가 변화에 대해 배우고 성과에 기여할 수 있게 했다.

이 국가 교수개발 이니셔티브의 성과는 부분적으로 Kotter의 변화 주도 8단계(Kotter’s eight steps for leading change)[16]를 반영할 수 있다. 교수개발 제공의 시급성(urgency)은 급진적으로 새로운 교육과정 모델인 CBD의 이행으로부터 발생했다. 파트너들과 협력하고, 목표와 방향에 합의하며, 이를 소통하는 것은 필수적인 요소였다. 장애물을 제거하는 것은 도전적이었으며, 이 정도 규모(magnitude)의 여느 변화와 마찬가지로 도전과제들에 직면했다. 여기에는 새로운 교육 모델에 대한 저항(resistance)과 동참 부족(lack of buy-in), 이행을 위한 자원 부족, 그리고 참여의 격차 등이 포함되었다. 우리는 이러한 도전과제를 해결하기 위해 사용된 몇 가지 전략을 개괄했다. 논리 모형은 교수개발 이니셔티브가 반복적으로 수정될 수 있도록 단기 성과(short-term outcomes)를 제공했다. 현재의 교수개발 프로그램은 동력을 유지(maintain momentum)하고 변화를 정착(anchor)시키도록 설계되어 있지만, CBD 이행은 여전히 진행 중인 작업(work in progress)이며, 교수개발은 그 목표를 달성하는 데 있어 계속해서 중요한 단계가 될 것이다.

Implementing Competence Committees on a National Scale: Design and Lessons Learned

안녕하세요! 오늘은 역량 바탕 의학교육(CBME)의 핵심인 역량위원회(Competence Committee, CC)에 대한 흥미로운 논문을 소개해 드리려고 합니다. 캐나다 왕립 내과 및 외과 대학(Royal College of Physicians and Surgeons of Canada)이 국가 차원에서 CC를 도입하면서 겪었던 생생한 경험과 그들이 설계한 모델에 대한 이야기를 담고 있는데요. CBME 도입을 고민하거나 운영 중인 우리에게 아주 뼈가 되고 살이 되는 내용들이 많답니다.

1. 왜 역량위원회(CC)인가요?

과거의 전공의 수련 평가는 종종 '감'이나 단편적인 데이터에 의존하곤 했습니다. 하지만 사회가 의사에게 더 높은 책무성을 요구하면서, 프로그램적 평가(Programmatic Assessment)가 중요해졌죠.

이 논문에서는 CC의 역할을 단순한 평가자가 아닌, 방대한 데이터를 모아(curating) 학습자의 성장을 돕는 '집단 지성'으로 봅니다.

"CC는 학습 분석(learning analytics)을 통해... 정량적 및 정성적 평가 데이터를 사용함으로써 프로그램적 평가의 약속된 이점을 활용합니다."

"CCs capitalize on the promissory benefits of programmatic assessment by using quantitative and qualitative assessment data... through learning analytics."

2. Royal College 모델의 핵심 원칙

캐나다 모델은 몇 가지 중요한 원칙 위에 세워졌습니다.

• 발달적 관점 (Developmental view): 모든 전공의는 성공할 잠재력이 있다고 믿고 성장을 돕습니다. 🌱
• 프로그램적 평가 (Programmatic Assessment): 다양한 출처의 데이터를 종합적으로 봅니다. 📊
• 집단 의사결정 (Group Decision-making): 한 사람의 편향을 줄이기 위해 여러 사람이 모여 논의합니다. 🤝

특히 흥미로운 점은 CC가 '최종 역량'만 보는 게 아니라, 위임 가능한 직무(Entrustable Professional Activities, EPAs)를 기반으로 단계별 진행 상황을 판단한다는 거예요.

3. 현장의 목소리: 도전과 교훈 (Challenges & Lessons Learned)

하지만 이론과 현실은 다르죠? 😅 연구진은 대규모로 CC를 도입하면서 겪었던 5가지의 현실적인 어려움과 교훈을 아주 솔직하게 털어놓았습니다.

① 표준화 vs 유연성 (Fidelity with Flexibility)

국가 표준을 지키는 것도 중요하지만, 병원마다 사정(규모, 자원 등)이 너무 다르다는 게 문제였습니다. 연구진은 무조건적인 통일보다는 '유연성'이 필수라고 강조합니다.

"이러한 맥락적 차이점들은 지역적 적응을 필요로 합니다: 만능의 혹은 지나치게 규범적인 접근 방식은 있을 수 없습니다."

"These contextual differences necessitate local adaptations: there cannot be a one-size-fits-all or overly prescriptive approach."

② 자원 문제 (Resourcing)

역시 돈과 시간, 사람이 문제죠. 💸 새로운 평가 시스템을 도입하는 데 드는 비용을 초기에 너무 과소평가했다는 고백이 나옵니다.

"CBD를 시행하는 데 필요한 자원 중 많은 부분이 과소평가되었거나 처음에 식별되지 않았으며, 이는 상당한 도전을 제기했습니다."

"Many of the resources required to implement CBD were underestimated or not identified at the outset, which posed significant challenges."

③ 평가 문화의 변화 (Changing the Culture)

가장 어려운 건 사람의 마음을 바꾸는 것이었습니다. 전공의들은 저부담(low-stakes) 평가조차도 자신을 떨어뜨릴 수 있는 시험으로 받아들여 방어적으로 나오기도 했고, 교수님들은 단순히 '문제아'를 찾아내는 데만 집중하기도 했으니까요.

연구진은 이 '이중 목적'을 이해시키는 게 정말 어렵다고 말합니다.

"고부담 CC 결정(high-stakes CC decisions)을 위한 저부담 관찰(low-stakes observations)의 이중 목적의 본질을 소통하는 것은 학습자와 교수진 모두가 채택하거나 받아들이기에 도전적이었습니다."

"Communicating the nature of the dual purpose of low-stakes observations for high-stakes CC decisions has been challenging both for learners and faculty to adopt or accept."

4. 맺음말: 이것은 '진화'하는 과정입니다

이 논문이 주는 가장 큰 울림은 CC 도입이 한 번에 끝나는 이벤트가 아니라는 점입니다. 계속해서 수정하고, 소통하고, 다듬어가는 과정이라는 것이죠.

"CC의 대규모 시행은 단일 시점에서 발생하는 것이 아니라 지속적인 지원을 필요로 하는 진화하는 과정(evolutionary process)입니다."

"Large-scale implementation of CCs does not occur at a single point but is an evolutionary process requiring ongoing support."

우리나라의 의학교육 현장에서도 역량 중심 교육이 자리 잡아가고 있습니다. 캐나다의 이 생생한 경험담이 우리의 시행착오를 줄이는 데 좋은 나침반이 되기를 바랍니다. 🧭

서론 (Introduction)

더 큰 사회적 책무성(greater social accountability)의 시대에, 대중은 졸업 후 의학교육(postgraduate medical education, PGME) 시스템이 감독 없는 진료(unsupervised practice)로 나아가는 졸업생들의 역량(competence)을 보장하기 위한 견고한 평가 과정(robust assessment process)을 갖추기를 기대하게 되었습니다 [1]. PGME에서 수련 프로그램 책임자(training program directors)들은 훈련생의 진척도(progress)를 모니터링할 책임이 있습니다. 과거에는 임시 데이터(ad hoc data), 지도전문의의 원격 회고적 인상(remote retrospective impressions), 또는 성과의 대리 지표(proxy measures)에 의존하는 과정(processes)을 사용하여 이를 수행하곤 했습니다 [2, 3]. 최근 몇 년 사이, 졸업 후 수련은 역량 바탕 의학교육(competency based medical education, CBME)의 광범위한 도입과 함께 변화되었습니다; 이는 프로그램적 평가(programmatic assessment)의 사용과 역량위원회(Competence Committee, CC)에 의한 집단 의사결정(group decision-making)을 장려함으로써 훈련생 진척도의 구조를 개선하고자 하는 졸업 후 수련의 새로운 모델이며, 프로그램이 진척도에 대한 총괄 평가(summative assessment)를 위해 훈련생 성과 데이터를 체계적으로 수집(systematic collection)하도록 안내합니다 [4, 5]. PGME CBME 시스템에서 CC의 사용이 보편적으로 채택된 것은 아니지만, 현재까지 미국[6, 7, 8, 9, 10]과 캐나다[11, 12, 13]에서 광범위하게 도입되었으며, 국제적으로도(예: 네덜란드 및 대만) 관심이 커지고 있습니다 [14, 15, 16].

프로그램적 평가(programmatic assessment)에서,

• 훈련생들이 수련 과정을 진행함에 따라 그들은 졸업생에게 기대되는 능력(expected abilities)에 대한 일련의 진술로 기술된 교육과정의 성과(outcomes)를 달성해야 합니다.
• 평가 프로그램은 프로그램이 훈련생 성과 데이터를 체계적으로 수집(systematic collection)할 수 있도록 안내하기 위해 평가 전략(assessment strategies)과 평가 내용 및 맥락의 범위(breadth)를 명시적으로 개략합니다 [17].
• 교육과정 동안 원하는 역량을 달성해가는 학습자의 진척도(progress)에 대한 많은 표본(samples)이 획득됩니다.
• 다수의 도구와 많은 다른 평가자들이 훈련생 진척도 평가에 다양한 투입(inputs)을 제공합니다.
• 비록 프로그램적 평가는 CC의 도입 없이도, 예를 들어 프로그램 책임자가 다양한 평가 투입물을 검토하는 방식을 통해 달성될 수 있지만, 검토해야 할 데이터의 양(volume of data)과 개별 검토자가 가질 수 있는 내재된 주관적 편향의 위험(risk of inherent subjective biases) 증가를 고려할 때 이는 도전적일 수 있습니다 [2, 3, 18].
• 정확하고 효과적으로 수행될 때, 프로그램적 평가는
  • 학습을 최적화(optimizes learning)하고,
  • 원하는 성과를 향한 학습자의 진급에 관한 의사결정을 촉진(facilitates decision making)하며,
  • 프로그램의 질 향상 활동(quality improvement activities)에 정보를 제공합니다 [19].

캐나다 왕립 내과 및 외과 대학(Royal College of Physicians and Surgeons of Canada, 이하 Royal College)이 설계하고 시행한 PGME에 대한 혁신적인 역량 기반 변화인 설계를 통한 역량(Competence by Design, CBD)에서,

• CC는 학습 분석(learning analytics)을 통해 전자적으로 수집되고, 큐레이팅(curated) 되며, 개별 학습자 및 학습자 집단을 설명하는 의미 있는 정보(meaningful information)로 대조된 정량적 및 정성적 평가 데이터(quantitative and qualitative assessment data)를 사용함으로써 프로그램적 평가의 약속된 이점(promissory benefits)을 활용합니다 [20].

프로그램적 평가와 CC는 개선된 평가 시스템(improved assessment systems)과 고부담 총괄 결정(high stakes summative decisions)(예: 감독 없는 진료)에 대한 타당도 근거(validity evidence) 요구에 대한 직접적인 대응으로 CBD 내에서 서로 연결된 방식으로 도입되었습니다 [21, 22]. 학습 분석 및 기타 모든 형태의 평가 데이터는 진급(progress), 승급(promotion), 그리고 궁극적으로는 감독 없는 진료에 대한 준비 상태(readiness for unsupervised practice)에 대해 집단적 판단(collective judgment)을 내리기 위해 CC를 구성하는 훈련되고 전담된 교육자 그룹에 의해 준비되고, 검토되며, 종합(synthesized)됩니다 [23]. CC의 결정은 집단적으로 이루어지며, 따라서 역량을 향한 훈련생의 진행에 대한 폭넓은 그림(broad picture)을 만들기 위해 다양한 관점(multiple perspectives)을 통합합니다.

CC에 대한 논리적 근거는 집단 의사결정(group decision-making)에 관한 문헌에서 도출되는데, 이는 집단이 개인보다 더 나은 결정을 내릴 수 있으며 [24], 더 많은 정보 공유를 촉진하는 체계적인 집단 절차(systematic group procedures)가 집단 결정의 품질(quality)을 향상시킬 수 있음을 시사합니다 [25, 26]. 따라서 CC는 훈련생의 성과와 진척도에 대한 판단을 내리기 위해 평가 데이터를 집단적으로 종합하고 해석하는 집단 의사결정 과정(group decision-making processes)을 활용할 수 있습니다. CC 내에서 공정한 의사결정(fair decision-making)을 유지하기 위해서는, CC가 훈련생의 진척도를 검토하는 방식에 대한 일관된 과정과 절차(consistent processes and procedures)가 있어야 합니다. 이 총괄 평가의 타당도(validity)는 개별 프로그램 내 평가 데이터의 양, 품질, 해석의 가변성(variability)에 의해 영향을 받을 수 있습니다 [27, 28, 29]. 총괄적 역량 결정을 위한 집단 과정의 많은 이점이 제안되었지만, CC가 오류가 없는 것(infallible)은 아닙니다 [26]. 구성원의 다양성 부족, 열악한 데이터 품질 및 종합, 비효율적인 정보 공유, 그리고 집단 사고(groupthink)가 모두 집단 결정의 품질과 방어 가능성(defensibility)을 위협할 수 있다는 증거가 증가하고 있습니다 [30, 31]. 따라서 국가적 규모로 CC를 설계하고 시행할 때 이러한 위협들에 대해 특별한 주의(special attention)를 기울여야 합니다.

이 논문에서 우리는 CBD에서 사용되는 Royal College의 CC 모델(Royal College model of CCs)을 설명합니다. 여기서 우리는 모델 디자인의 논리적 근거와 원하는 영향(desired impact)을 성찰하고, 캐나다 Royal College 전문과목 PGME에서 CC가 기능하는 데 있어 주목된 몇 가지 초기 성공과 도전(early successes and challenges)을 개략합니다. 우리의 저자 그룹은 다양한 전문 분야의 임상 교육자(physician clinician educators)를 포함합니다. 이 그룹은 Royal College CC 설계, 시행 및 교수 개발 지원에 관여한 구성원들을 포함하므로 이 여정을 통한 포부(aspirations)와 도전(challenges) 모두에 대해 상세한 인식을 가지고 있습니다. 우리는 이러한 렌즈가 이 국가적 시행을 개발하고 지원하기 위해 계속 일하는 사람들과 관련된 편향(biases)을 가져올 수 있으며, 이것이 논리적 근거 또는 시행으로 고군분투하는 사람들의 것과는 다를 수 있음을 인정합니다. 그러나 우리 저자 그룹의 모든 구성원은 각자의 지역 기관에서 CC 위원장(DD, JK, WC)이거나 CC 구성원(AO, JF, LS, RA)이었거나 현재 활동 중이므로, 현장에서 CC 과정에 대한 생생한 경험(lived experience) 또한 가지고 있어 이러한 관점들의 균형을 맞추는 데 도움이 될 수 있습니다.

Royal College의 국가적 역량위원회 모델 (The Royal College’s national model of competence committees)

CC의 구조와 기능(structure and function)은 의료 교육 시스템 전반에 걸쳐 많은 유사점을 가지고 있지만, Royal College는 캐나다 내 CC 업무의 기반이 되는 국가적 모델(national model)을 개발했습니다 [32]. 캐나다 전문의 CBD 모델의 CBME 내 CC들은 최적의 집단 기능을 촉진하기 위해 Royal College가 권장하는 과정과 절차(processes and procedures)에 따라 국가적 차원에서 안내를 받습니다 [33]. 국가적 CC 모델이 근거하고 있는 핵심 원칙(key principles)은 포괄적인 CBD CBME 접근 방식에서 파생되었으며 Table 1에 요약되어 있습니다.

Table 1 캐나다 왕립 내과 및 외과 대학의 역량위원회(Competence Committee) 설계의 핵심 원칙

CC: Competence Committee (역량위원회)

CBD에서의 CC 과정은 각 Royal College 국가 전문과목 위원회가 분야별 콘텐츠(discipline-specific content)를 만들기 위해 사용한 CBD 교육과정 설계 구조에 강력한 영향을 받습니다 [34]. CBD의 특징과 CC 설계의 기초가 되는 핵심 원칙 간의 연결 고리는 Table 2에 요약되어 있습니다. Royal College CBD 모델에서, 각 국가 전문과목 위원회는 표준화된 설계 과정(standardized design process)(전문 과목 교육 설계[specialty education design, SED] 워크숍 시리즈)에 참여했습니다 [35]. 이 과정에서 위원회들은

• 훈련생 성과에 대한 단계별 기대치(stage-specific expectations)를 설정하고
  • 위임 가능한 직무(entrustable professional activities, EPAs),
  • 필수 훈련 경험, 그리고
  • 해당 분야에 특화된 CanMEDS 역량에 대한 평가 가이드를
• 포함하는 훈련 및 평가 표준(standards)을 만들었습니다 [36].

SED 워크숍은 Royal College와 일선 임상의 및 프로그램 책임자들이 공동 창작(co-creation)에 참여할 기회를 제공했으며, 이는 지역 프로그램들이 그들의 CC 관행에 표준을 통합할 가능성을 극대화했습니다. 각 지역 프로그램의 CC는 훈련생의 진척과 승급에 대한 권고에 정보를 제공하기 위해 이러한 국가적 평가 표준을 사용합니다. 국가 전문과목 위원회의 작업과의 이러한 연결은 다양한 지역 CC 맥락 전반에 걸쳐 일관성(consistency)을 촉진하면서도, 동시에 프로그램들이 그들의 특정 지역 맥락에 고유한 역량을 포함할 수 있도록 허용합니다. CC는 지역 및 국가 역량 기대치가 모두 충족되도록 보장해야 합니다.

Table 2 주요 CBD 설계 특징과 역량위원회 원칙 간의 연결

CBD: Competence by Design (설계를 통한 역량); CC: Competence Committee (역량위원회); CQI: continuous quality improvement (지속적 질 향상); EPA: entrustable professional activity (위임 가능한 직무); WBA: workplace-based assessment (직장 기반 평가).

Royal College는 CBD 모델에서 CC의 구조와 기능을 안내하기 위한 문서들을 제작했습니다 [32, 33]. 이 문서들은 모든 Royal College 인증 프로그램 전반에 걸쳐 CC 모델 적용의 일관성(consistency)을 지원합니다; 여기에는

• CC의 적절한 구성원 자격에 대한 지침,
• CC 과정 및 절차(CC processes and procedures) [33],
• CC를 위한 위임 사항 샘플(sample terms of reference for a CC) [32], 그리고
• CC 의사결정에서의 유연성 영역(areas of flexibility)뿐만 아니라
• 구체적인 요구사항을 개략한 기술 지침(technical guide) [37]이 포함됩니다.

구성원 자격과 관련하여, 최소 3명의 구성원이 권장되며 위원회는 다양한 구성원(예: 연차, 성별, 도시/농촌, 의사 및 비의사 구성원 등)을 포함하도록 장려됩니다; 이는 데이터의 다양한 해석(diverse interpretation)과 다른 관점(differing perspectives)의 고려를 촉진하는 것을 목표로 합니다 [38]. 프로그램 책임자들은 CC와 전공의 수련 프로그램 위원회(residency program committee, RPC) 간의 의사소통을 촉진하기 위해 의결권이 없는 구성원으로 CC에 참여하도록 장려되지만, 이해 상충(conflicts of interest)과 과도한 업무량을 피하기 위해 CC 위원장을 맡는 것은 지양됩니다 [39]. 과정 및 절차는 CC가 검토 시 임상 역량을 넘어선 평가 포트폴리오에 대해 전인적이고 포괄적인 접근 방식(holistic comprehensive approach)을 적용할 것이라는 기대치를 제시합니다 [40, 41]. CC는 EPA 관찰과 같은 직장 기반 평가(workplace-based assessments, WBAs), 비-WBA 임상 평가(예: OSCE 및 시뮬레이션 평가), 비임상 평가(예: 연구 역량 및 교육 평가)를 포함할 수 있는 다양한 평가 데이터에 접근하고 이를 통합할 것으로 기대됩니다. CC가 수행하는 검토는 데이터 기반(data driven)이어야 하며 훈련생의 평가 포트폴리오에 문서화된 증거(evidence)에 근거해야 합니다. 이는 투명성(transparency)을 촉진하고 전해 들은 말(hearsay)이나 내재된 편향을 최소화하는 역할을 합니다 [25, 42]. CC 회의 중심의의 효율성(efficiency)을 유지하면서 훈련생 포트폴리오에 대한 심층 검토(deep review)를 가능하게 하기 위해, CC는 CC 토론에 정보를 제공하기 위해(대체하는 것이 아니라) 개별 파일에 대한 심층 검토를 완료할 주요 검토자(primary reviewer)를 배정하도록 장려됩니다. 프로그램은 CC의 권고 사항을 훈련생과 공유하는 것이 필수입니다. Royal College는 프로그램들이 훈련생이 CC가 만든 권고 사항을 이행하기 위한 계획을 세우는 것을 돕기 위해 장기 코치(longitudinal coaches) [14, 43, 44]를 제공하도록 장려하지만, 프로그램들은 동일한 목적을 수행하는 다른 시스템을 개발할 수 있는 유연성을 가집니다.

Royal College CBD 모델은 CC가 최종(수련 종료 시) 역량(terminal competencies)의 성취만을 판단하는 것이 아니라, 단계별로 발달 순서가 정해진 EPAs(stage-specific developmentally sequenced EPAs, RCEPAs)에 대한 훈련생의 성취를 판단한다는 점에서 독특합니다. 이러한 역량에 대한 판단은 각 단계별 EPA에 대한 범주형 성취 결정(categorical achievement decisions)(예/아니오)이며 전반적인 역량을 향한 훈련생의 진척에 기여합니다. 또한, CC는

• 학습자의 상태(status)(예: 예상대로 진행 중[progressing as expected], 예상대로 진행되지 않음[not progressing as expected], 가속된 진행[accelerated progress]),
• 한 단계에서 다음 단계로의 진급 준비 상태(readiness for progression),
• 인증 시험 응시 준비 상태(readiness for sitting the certification examination),
• 그리고 궁극적으로 인증 준비 상태(readiness for certification)에 대해 RPC에 권고를 합니다 [45].

이것들은 EPA 관찰 데이터뿐만 아니라 포트폴리오 내의 전체 성과 데이터 수집에 의해 정보를 얻는 포괄적인 결정(comprehensive decisions)이어야 합니다. Royal College CBD 모델에서, CC는 단계 내 및 단계 간에 이러한 총괄적 상태 권고(summative status recommendations)를 부여하기 위해 평가 데이터를 종합하는 과업을 맡습니다; 다른 CBME 모델에서처럼 각 EPA나 마일스톤에 대해 신뢰의 연속 척도(continuous scale of entrustment)를 따라 "수준"이나 역량의 정도를 결정하지 않습니다 [46, 47].

캐나다 PGME에서,

• Royal College는 CC의 국가적 시행을 지원하는 독특한 위치(unique position)에 있습니다. 국가 교육 설계 및 표준 설정, 프로그램 및 기관 인증, 그리고 개별 의사 자격 부여(credentialing)에 대한 책임으로 인해, Royal College는 CC 기능의 여러 측면에 대한 표준을 설정합니다. CBME 이전에는, Royal College는 구체적으로 항목화된 시간 기반 경험(time-based experiences)의 성공적인 완료가 전문의 인증을 위한 시험 준비 및 자격 부여 결정의 기초가 되는 시스템을 가지고 있었습니다.
• CBD에서는, 지역 CC가 국가 전문과목 시험 응시 자격과 인증 자격을 권고할 책임이 있습니다. 그러나 Royal College가 이러한 시험을 주관하고, (대부분 CC의 권고에 기초하여) 후보자에게 자격을 부여하며, 인증을 수여합니다.
• Royal College는 CC가 적용하는 훈련 및 평가에 대한 국가 표준과 CC 기능에 대한 국가적 기대치를 개발하는 반면, CC에 대한 책임과 감독(oversight)은 각 대학의 PGME 사무국 수준에 있습니다.
• CC에 대한 이러한 지역적 감독은 Royal College가 회원으로 있는 캐나다 전공의 과정 인증 연합(Canadian Residency Accreditation Consortium, CanRAC)을 통한 프로그램 인증의 국가 시스템에 의해 통제됩니다; CanRAC는 프로그램 및 기관 PGME 수준 모두에서 CC에 대한 표준을 포함합니다 [48, 49].

Royal College CBD CC 모델은 안전하고 고품질의 환자 진료를 제공하는 졸업생을 배출하기 위한 감독의 책임이 세 주체, 즉

• Royal College와 그 국가 전문과목 위원회,
• 지역 프로그램과 그들의 CC, 그리고
• 지역 기관의 PGME 사무국
  • ...간에 공유된다(shared)는 개념을 인식하고 받아들입니다.

CBD에서 CC의 중요한 목표는 훈련생에게 그들의 역량과 숙달(mastery)의 추가적인 발달을 촉진하기 위한 지원과 지도가 제공되도록 보장하는 것을 목표로 하는 발달적 접근(developmental approach)을 적용하는 것입니다 [50, 51]. 예를 들어, CC는 단계 진급이나 국가 인증 시험에서의 성공을 지원하기 위해 학습 계획(learning plans)이나 임상 경험을 제안할 수 있습니다. 그러나 이는 CC가 훈련생의 진척 결정과 역량 성취 보증에 있어서 문지기(gatekeeper) 또는 공공 안전 역할(public safety role)을 수행하는 동시에, 추가적인 성장을 위한 목표를 식별하고 방향을 제공하는 발달적 접근을 취해야 한다는 이중 목적(dual purpose)에 직면해 있음을 의미합니다.

Royal College CBD CC 모델에서, CC는 추가적인 역할을 가집니다: 바로 분야별 전문과목 위원회의 지속적 질 향상(continuous quality improvement, CQI) 활동입니다 [31, 52]. 전문과목 위원회는 정기적으로 그들의 표준을 검토하도록 요청받습니다. 이 검토의 일환으로, CC는 프로그램 책임자를 통해 국가 평가 가이드에 수정이 필요할 수 있는 경우나 가이드의 업데이트된 버전이 요구될 수 있는 사례를 식별하고 국가 전문과목 위원회에 보고하도록 초청받습니다. 이는 지역 CC의 관행 및 경험과 전문과목 교육 설계의 국가적 CQI 사이의 연결 고리(link)를 제공합니다.

도전과제와 얻은 교훈 (Challenges and lessons learned)

CC(역량위원회)의 대규모 시행(large-scale implementation)은 복잡한 과업(complex undertaking)이었기에, Royal College의 교육자, 프로그램 책임자, 그리고 CC 위원장들이 과정 중에 여러 도전과제(challenges)에 직면한 것은 놀라운 일이 아닙니다. 그들의 경험과 그들이 그러한 도전들을 완화(mitigate)하기 위해 사용한 전략들은 규모에 맞게 CC를 시행하려고 계획 중인 다른 이들이 유사한 도전에 직면할 수 있으므로, 그들을 안내할 수 있는 얻은 교훈(lessons learned)을 제공합니다 (Table 3 참조). 우리는 모든 해답(all the answers)을 가지고 있지는 않으며, 이 여정의 일부로서 해결책을 공동 창조(co-create)하기 위해 우리의 PGME 및 Royal College 커뮤니티 내의 관여된 그룹(invested groups)들과 계속 협력하고 있습니다. 우리는 현재까지 배운 내용을 제시합니다.

Table 3 역량위원회의 대규모 시행에서의 도전과제와 얻은 교훈

CBME: competency based medical education (역량 바탕 의학교육); CC: Competence Committee (역량위원회).

1. 충실도와 유연성의 균형 맞추기 (Balancing fidelity with flexibility).

• 이러한 도전 중 첫 번째는 CC 시행 및 절차의 핵심 원칙(key principles)과의 일관성 및 정렬(consistency and alignment)을 유지하는 것과, 기관 간 및 프로그램 간의 광범위한 가변성(wide variability)을 수용하기 위해 필요한 유연성(flexibility)을 포용하는 것 사이의 긴장(tension)과 관련이 있습니다. 이러한 이질성(heterogeneity)의 예로는
  • 프로그램의 규모,
  • 수련 장소의 분포,
  • 임상 업무의 맥락,
  • 프로그램의 CBME로의 변화에 대한 준비도(readiness),
  • 전자 평가 포트폴리오(electronic assessment portfolios)의 정교함,
  • 지역 기관의 정책,
  • 교육 문화, 그리고
  • 심지어 임상 교수진을 위한 수수료 구조(fee structures) 등이 있습니다.
• 예를 들어, 작은 프로그램들은 CC 정족수(CC quorum)를 달성하기 위한 교수진 부족이나 이해 상충(conflicts of interests)을 최소화하는 능력에서 도전을 겪을 수 있고, 더 큰 프로그램들은 검토해야 할 훈련생 수가 많거나 위원회 구성원이 너무 많아 효과적인 의사결정을 내리기 어려워 어려움을 겪을 수 있습니다. 어떤 프로그램들은 훈련생들과 밀접하게 일하며 임상 업무에 대한 직접 관찰(direct observation)을 제공하는 반면, 다른 프로그램들은 WBA(직장 기반 평가)를 위해 간접 관찰(indirect observation)에 더 많이 의존하는 워크플로우(workflows)를 가질 수 있습니다.
• 이러한 맥락적 차이점들은 지역적 적응(local adaptations)을 필요로 합니다: 만능의(one-size-fits-all) 혹은 지나치게 규범적인 접근 방식(overly prescriptive approach)은 있을 수 없습니다 [5]. 이러한 가변성에 직면하여 CC 원칙과의 정렬을 유지하기 위해, Royal College는 각 대학의 대표자들로 구성된 국가 CBME 리드 그룹(national CBME Lead group)을 창설하고 정기 회의와 국가 CC 실천 공동체(national CC community of practice)를 촉진했습니다. 이 두 그룹은 CC의 개발 및 조직을 돕기 위해 모범 사례(best practices)와 정책 관리를 공유하고, 더 넓은 의사소통 전략(communication strategy)의 일환으로 관여된 그룹들 간의 대화를 촉진하기 위한 장을 마련했습니다.

절차와 운영의 표준화(Standardization)는 과정의 투명성(transparency)과 일관성(consistency)을 제공하는 데 도움이 될 수 있지만, 훈련생 진척도에 대한 포괄적 관점(holistic view)을 가지고 방어 가능한 총괄 결정(defensible summative decisions)을 내린다는 대원칙에 집중하도록 보장하기 위해서는 CC 관행에 여전히 유연성(flexibility)이 필요합니다.

• 과정이나 절차가 너무 엄격하게(too rigidly) 적용될 때,
  • 이는 CC, 훈련생, 그리고 일선 교수진에게 좌절감이나 역효과를 낳는 행동(counterproductive behaviours)으로 이어질 수 있습니다 [53, 54].
  • 따라서 CC는 모든 데이터를 이해하기 위해 추론(reasoning)에 참여하기보다는 데이터를 정리하고 대조하기 쉬운 것을 검토하는 데 인지적 노력의 대부분을 집중할 수 있습니다. 이는 일부 프로그램이 정량적 평가를 과대평가(overvalue)하게 만들었고, 이는 "체크박스 행동(checkbox behaviours)"과 학습자의 성과 지향성 또는 마인드셋(performance orientation or mindset)으로 이어질 수 있습니다; 또는
• 이러한 평가를 과소평가(undervalue)하여 지나치게 관대해짐(being overly lenient)으로써
  • 학습자나 교수진의 관여 부족(disengagement)을 초래하거나;
  • 고전하는 훈련생에게 과도하게 불이익을 주어 평가 회피(assessment avoidance)로 이어지기도 했습니다 [55, 56, 57].

CC가 다양한 환경에서 기능할 수 있게 하고 위에서 설명한 몇 가지 도전과제를 완화하기 위해, Royal College는 표준과 최소 요구사항을 명시적으로 진술하면서도 어디에 유연성이 있는지를 개략하는 국가 기술 지침(national technical guide)을 만들었습니다 [37]. 예를 들어, 원래 CBD 설계의 의도는 Royal College의 국가 CanMEDS 역량 프레임워크를 마일스톤 수준에 통합하는 것이었지만, CC 검토 관행은 기존 전자 포트폴리오에서 사용 가능한 데이터 보고 기능(data reporting features)의 한계로 인해 방해를 받았습니다. 따라서, 기술 지침은 이러한 도전을 인정하고 마일스톤 평가 척도에 대한 요구사항을 제거함으로써 평가자 부담(assessor burden)을 줄이는 것을 목표로 합니다. Royal College의 CBME 접근 방식의 진화(evolution)뿐만 아니라 Table 1에 요약되고 기술 지침에 명시된 원칙을 유지하면서 맥락적 수정(contextual modifications)을 할 수 있는 기회는 CC가 기능하는 방식에 어느 정도의 유연성을 허용했습니다.

지역적 적응(local adaptations)을 지원하면서 시행의 충실도(fidelity)를 유지하는 것은 또한 핵심 요소들이 여전히 충족되고 있는지 보장하기 위한 지속적인 프로그램 평가(ongoing program evaluation)와 기관 인증을 필요로 합니다. Royal College의 프로그램 평가 위원회는 효과적인 CC 시행과 관련된 정보를 제공했으며, 이러한 평가 보고서(evaluation reports)는 시행자들과 주요 관여된 그룹들에게 배포되었습니다 [57, 58]. 지역적 적응을 고려할 때, CC 감독(oversight), 지속적 질 향상(continuous quality improvement), 그리고 동료 검토(peer review)에 대한 책임은 기관 수준(institution level)으로 이동하고 있습니다. 기관 중심의 CC 감독으로의 이러한 이동은 여전히 시행 및 평가의 파일럿 단계에 있습니다. 국가적 벤치마킹(National benchmarking)과 집계 데이터 공유(aggregate data sharing)는 정책 및 절차의 진화에 정보를 제공하는 데 도움이 될 수 있지만, 그러한 단계는 높은 수준의 복잡성(complexity) 및 기관 간 데이터 안전(data safety) 및 개인정보 보호에 관한 우려와 관련이 있습니다.

2. CC 시행을 위한 자원 지원 (Resourcing implementation of CCs).

• 주요 교육과정 변경이 계획될 때, 시행을 지원하기 위한 충분한 자원(sufficient resources)과 충분한 시간이 있어야 합니다. CBD를 시행하는 데 필요한 자원 중 많은 부분이 과소평가(underestimated)되었거나 처음에 식별되지 않았으며, 이는 상당한 도전을 제기했습니다 [59]. 프로그램에 대한 CC 설립의 진정한 비용(true costs)은 알려지지 않았지만, 몇 가지 문제에 대한 고려가 필요합니다:
  • 교수진의 현실적인 시간 할애(realistic time commitment)가 확립되어야 하고, 프로그램 행정과 관련된 비용이 명확히 식별되어야 하며, 새로운 평가 데이터 요구사항(novel assessment data requirements)(예: 다면 평가, 시뮬레이션)의 잠재적 가능성을 검토해야 합니다.
  • CC 구성원은 교수 개발 및 검토 활동을 위해 보호된 시간(protected time)을 가져야 하며, 이를 위해서는 리더십으로부터 재정적 인센티브(financial incentives), 시간 및/또는 인정(recognition)에 대한 지원이 필요합니다.
  • 기관들은 감독, 프로그램 평가, 그리고 전자 포트폴리오 플랫폼의 예상치 못한 지연이나 비용 초과(cost overruns)와 관련된 비용에 직면할 수 있습니다. 자원 요구사항을 지원하기 위해 Royal College는 중앙 집중식 전자 포트폴리오(centralized electronic portfolio), 큐레이션 된 교수 개발 자원을 제공하고, 이러한 유형의 지원이 필요한 프로그램들을 위해 프로그램 평가를 착수했습니다.

3. CC를 위한 교수진 지원 (Supporting faculty for CCs).

• CC의 목적, 과정, 절차에 대한 명확하고 간결한 의사소통(Clear and concise communication)은 구성원 참여와 교수진의 이해에 있어 결정적입니다. Royal College는 시스템에 대한 신뢰(trust)를 개발하기 위해 관여된 그룹들 사이에서 공유된 정신 모형(shared mental model)을 전달하기 위한 계획을 세웠습니다. 중요하게도, 이 작업은 집단 의사결정의 방어 가능성(defensibility)과 수용성(acceptability)을 높이기 위해 기본 원칙(Table 1 참조)에 대한 지식 전파 노력(knowledge dissemination efforts)을 지원했습니다.
  • 시행 과정 전반에 걸쳐 Royal College는 훈련생 및 교수 개발을 위한 종단적이고 강화하는 제공(longitudinal and reinforcing offerings)을 다수 마련했습니다.
    • 여기에는 워크숍 개발뿐만 아니라 녹화된 웨비나, 쉽게 수정 가능한 슬라이드 세트, 교육 비디오, 인포그래픽, 기술 지침, e-모듈을 포함하는 자원 디렉토리(resource directory)가 포함되었습니다 [60].
  • Royal College는 또한 시행에 대한 장벽과 촉진 요인을 더 잘 이해하고 CC 위원장들에게 지속적인 지원을 제공하기 위해 CC 위원장들을 위한 국가적 실천 공동체 모델(national community of practice model)(CC 위원장 포럼이라 불림)을 개발했습니다.
  • 지속적인 대화(ongoing dialogue)와 종단적 교수 개발 전략(longitudinal faculty development strategy)은 모든 과정을 표준 원칙 및 CC 수행에 대한 조정된 기대치(calibrated expectations)와 정렬시킬 수 있게 했습니다. CC 리더들의 높은 이직률(high turnover) [61]을 고려할 때, 실천 공동체는 지속적인 지원과 개발을 필요로 합니다.

4. 평가 문화 다루기 (Addressing assessment culture).

• 뿌리 깊은 성과 평가 문화(culture of performance assessment)는 CBME의 무결성, 따라서 CC 시행을 제한하는 가장 만만치 않은 장벽(formidable barrier)이었습니다.
  • 이전의 평가 경험과 인식을 고려할 때, 훈련생들은 학습을 위한(for learning) 평가이자 학습에 대한(of learning) 평가라는 이중 목적(dual purpose)을 이해하는 데 어려움을 겪을 수 있으며, 심지어 저부담 일일 평가(low-stakes daily assessment)조차 총괄적(summative)인 것으로 간주할 수 있습니다 [62, 63]. 이는 훈련생들이 그들의 진척 결정에 잠재적으로 해롭다고 인식할 수 있는 피드백을 피하거나 부정할 수 있기 때문에 WBA에서 제공되는 피드백의 유용성을 제한합니다.
  • CC 내의 교수진은 문제 식별 모델(problem identification model) 내에서 그들의 역할을 정렬하고 고전하는 훈련생을 식별하는 데만 모든 노력을 집중할 수 있습니다 [64]. 의도하지 않았더라도, 이러한 행동은 CBME와 CC의 근본적인 이점을 제한할 수 있습니다.
• 프로그램적 평가를 실행(enact)하기 위한 CC의 사용은 관여된 그룹과 소통하거나 그들을 개발할 때 세심한 주의와 사려 깊음을 요구합니다. 고부담 CC 결정(high-stakes CC decisions)을 위한 저부담 관찰(low-stakes observations)의 이중 목적의 본질을 소통하는 것은 학습자와 교수진 모두가 채택하거나 받아들이기에 도전적이었는데, 이는 더 복잡한 대화와 학습자 진척에 대한 발달적 관점(developmental view)을 취한다는 CC의 목표에 대한 근본적인 신뢰(fundamental trust)를 필요로 하기 때문입니다. 이러한 핵심적인 대화 없이는, 총괄적 요소만이 가치 있게 여겨지는 잠재적 교육과정(hidden curriculum)이 나타날 위험이 있습니다. CC를 시행하는 사람들은 학습을 위한 평가(assessment for learning)와 성장 마인드셋(growth mindset)이 강조되는 평가 문화를 만들기 위해 노력해야 합니다.

결론 (Conclusions)

새로운 CBME 시스템을 위한 CC의 국가적 시행(national implementation)은 개입을 전달하고 받는 사람들에게 요구되는 전문 지식과 기술(expertise and skills); 목표로 하는 그룹, 환경 및 수준의 수; 그리고 개입 또는 그 구성 요소의 허용된 유연성 수준(level of flexibility)으로 인해 복잡합니다. 대규모 CC 시행에 있어, 표준화와 유연성의 긴장(tension of standardization with flexibility)을 관리하는 것은 세심한 고려와 관여된 그룹과의 참여(engagement)를 통해 예상하고 다루어야 할 근본적인 문제입니다. 다양한 맥락에서의 시행상 도전을 예상하는 것은 지역적 적응(local adaptation)을 허용하기 위해 다중 참여 및 의사소통 전략(multiple engagement and communication strategies)을 사용하는 접근 방식을 필요로 합니다. CC의 대규모 시행은 단일 시점에서 발생하는 것이 아니라 지속적인 지원을 필요로 하는 진화하는 과정(evolutionary process)입니다. 따라서, 시행 초기에 프로그램 평가 계획(program evaluation plan)을 내재화(embedding)하는 것을 고려하는 것이 중요합니다. 우리는 Royal College의 CC 시행 경험, 직면했던 도전과제, 그리고 이를 다루기 위해 사용한 몇 가지 전략을 제시했습니다. 이것이 대규모 CBME CC 시행을 고려하고 있는 다른 교육자들에게 가치가 있기를 바랍니다.

Enabling Implementation of Competency Based Medical Education through an Outcomes-Focused Accreditation System

📢 인증평가(Accreditation), CBME의 '걸림돌'이 될까, '디딤돌'이 될까?

안녕하세요! 오늘은 의학교육계의 뜨거운 감자인 역량바탕의학교육(CBME)과 인증평가(Accreditation)의 관계를 다룬 흥미로운 논문을 소개해 드리려 해요.

우리는 흔히 인증평가가 교육의 질을 담보한다고 생각하지만, 때로는 혁신적인 교육 모델인 CBME를 도입하는 데 있어 장벽(Barrier)이 되기도 한다는 사실, 알고 계셨나요? 이 논문은 인증평가 시스템이 어떻게 변해야 CBME를 성공적으로 정착시킬 수 있는지에 대한 통찰을 담고 있습니다.

함께 핵심 내용을 살펴볼까요? 🧐

1️⃣ 인증평가의 두 얼굴: 촉진제인가, 장벽인가?

연구진은 인증평가가 CBME 구현의 강력한 도구가 될 수도 있지만, 자칫하면 시스템이나 기준의 특성 때문에 한계와 부작용을 낳을 수도 있다고 지적해요. 특히 성과(Outcomes)에만 너무 집착하는 것이 오히려 독이 될 수 있다고 경고합니다.

교육에는 성과로 딱 잘라 측정하기 힘든 '교육 과정(Educational processes)'이나 '학습 환경(Learning environment)' 같은 요소들이 있거든요. 연구진은 이렇게 말합니다.

"성과 중심 구성에 대한 경직된 고수는 이러한 요소들이 효과적으로 평가되는 것을 방해하여, 인증기구가 지닌 신탁 책임을 훼손할 수 있습니다."

"Rigid adherence to the outcomes-based construct would prevent these elements from being effectively evaluated, compromising the fiduciary responsibility that accreditation bodies hold."

즉, 성과만 보다가 정작 중요한 교육 환경을 놓칠 수 있다는 것이죠.

2️⃣ 무엇이 CBME 구현을 막고, 무엇이 돕는가? (핵심 4가지 요소)

논문에서는 인증 시스템의 4가지 특징이 어떻게 작용하느냐에 따라 결과가 달라진다고 분석했어요.

• 🎓 교육 이론의 정렬 (Alignment of educational theory)
  • Good: 교육 패러다임과 인증 시스템이 한 방향을 바라보면 변화가 가속화됩니다.
  • Bad: 하나의 이론만 너무 고집하면(Rigid adherence), CBME 초기 정착에 필요한 다른 중요한 요소들을 놓칠 수 있어요.
• 🎯 질적 초점 (Quality focus)
  • Good: 질 향상(Quality Improvement)에 초점을 맞추면 스스로 발전하고 혁신을 공유하게 됩니다.
  • Bad: 단순히 최소 기준만 맞추는 질 보증(Quality Assurance)에 머무르면, 학교들은 '혁신'보다 '기준 달성'에만 급급해집니다.
• 📝 인증 기준 (Accreditation standards)
  • Good: 유연한 성과 바탕 기준(Outcome-based standards)은 학교별 상황에 맞는 혁신을 가능하게 합니다.
  • Bad: 너무 시시콜콜하고 규범적인 기준(Prescriptive standards)은 변화를 억누를 수 있습니다. 특히 '수련 시간'을 깐깐하게 따지는 구시대적 기준은 CBME와 맞지 않죠.
• ⚙️ 인증 절차 (Accreditation processes)
  • Good: 초기에는 어느 정도 관용(Leniency)을 베풀고, 처벌보다는 개선을 돕는 방식이어야 합니다.
  • Bad: 너무 엄격하거나 실패를 용인하지 않는 분위기는 학교들의 도전 의지를 꺾을 수 있어요.

연구진은 인증기구의 의무에 대해 단호하게 이야기합니다.

"따라서 인증기구는 그들의 기준이 의학교육의 주요 변화—이 경우 CBME—와 보조를 맞추도록 할 의무가 있습니다."

"Accreditation bodies thus have a duty to ensure their standards keep pace with major changes in medical education — in this case, CBME."

3️⃣ 미래를 위한 제언: 데이터와 성과의 연결

그렇다면 앞으로 인증평가는 어떻게 진화해야 할까요? 🚀

연구진은 데이터(Data)의 힘을 강조합니다. 프로그램 평가 분석(Program evaluation analytics)을 통해 단순히 전공의가 시험을 통과했느냐 뿐만 아니라, 교수진이 피드백을 잘 주고 있는지, 로테이션은 적절한지 등을 깊이 있게 들여다볼 수 있습니다.

"이러한 유형의 데이터 사용은 인증평가 내 평가 과정의 구체성과 객관성을 진전시킬 수 있습니다."

"The use of this type of data could therefore advance the specificity and objectivity of evaluation processes in accreditation."

더 나아가, 졸업생이 실제 진료 현장에 나갔을 때 환자를 얼마나 잘 치료하는지 보여주는 임상 성과(Clinical outcomes)까지도 인증평가의 지표로 활용될 수 있는 미래를 그리고 있습니다.

📝 마치며

결국 인증평가 시스템은 CBME라는 거대한 변화의 물결 속에서 '수동적인 심판'이 아니라 '능동적인 조력자'가 되어야 합니다.

연구진의 결론으로 이 글을 마무리할게요. 학교가 CBME로 전환하려 한다면, 인증평가 시스템의 역할을 절대 간과해서는 안 됩니다.

"인증 시스템은 CBME로의 전환을 가능하게 하는 데 있어 강력한 역할을 합니다."

"Accreditation systems have a powerful role to play in enabling the transition to CBME."

서론 (Introduction)

캐나다 전공의 교육(postgraduate medical education, PGME) 전반에 걸친 역량 바탕 의학 교육(competency based medical education, CBME) 의 구현(implementation)은 전례 없는 수준의 개혁(unprecedented level of reform) 을 가져왔습니다. 캐나다 가정의학회(College of Family Physicians of Canada, CFPC)가 ‘Triple C 역량 바탕 교육과정(Triple C Competency-based Curriculum)’을 시행(implementing)하고, 캐나다 왕립 내과 및 외과 대학(Royal College of Physicians and Surgeons of Canada, Royal College)이 ‘설계에 의한 역량(Competence by Design, CBD)’으로 전환(transitioning)함에 따라, 전공의 교육(PGME)에서 수련생(trainees)을 교육하고 평가하는 방식(the way in which trainees are educated and assessed)이 근본적으로 변화(fundamentally changed)했습니다 [1, 2, 3]. CBME의 구현은 대규모의 복잡한 변화 이니셔티브(large-scale, complex change initiative)입니다 [4]. 성공적인 구현(successful implementation)이 없다면, 학습자들은 이 교육적 접근 방식(educational approach)이 제공한다고 알려진 이점들(purported advantages)로부터 혜택을 얻지 못할 것(fail to benefit)입니다.

다른 연구들이 CBME 구현 경험(CBME implementation experience)을 특징짓고(characterized) 그 결과에 영향을 미친 것으로 인식되는(perceived to have influenced) 요인들을 규명(identified)해왔지만, 문헌들은 이러한 전환을 가능하게 하는(enabling this transition) 데 있어 인증(accreditation)이 수행하는 중요한 역할(important role)에 대해서는 논의하지 못하고 있습니다(fails to discuss) [5, 6, 7]. 캐나다 전공의 교육(PGME) 시스템에서 일어난 실질적인 변화들(substantive changes)은 전공의 교육(PGME) 내의 성과 중심 인증 과정(outcomes-based accreditation process) 으로의 전환과 병행하여(in parallel with) 발생했습니다. 교육 패러다임(educational paradigm)과 인증 시스템(accreditation system) 사이에는 반드시 연계(alignment)가 있어야 하며, 그렇지 않을 경우 변혁적인 변화(transformational change)의 구현은 방해받을 것(hampered)입니다.

우리는 독특하고 협력적으로 구축된 인증 시스템(unique, collaboratively constructed accreditation system) 이 어떻게 CBME로의 전환과 그 구현을 가능하게 했는지(enabled) 기술합니다. 여기서 얻은 교훈들(lessons learned)은 지역적으로는 지속적인 개선 과정(continuous improvement process)을 촉진(facilitate)하고, 진화하는 시스템(evolving systems) 내에서 구현의 충실도와 무결성(fidelity and integrity of implementation) 을 극대화하기 위한 도구로서의 인증에 대한 세계적인 담론(world discourse)에 정보를 제공하기 위해(to inform) 공유됩니다.

정의 (Definitions)

역량 바탕 의학 교육(Competency-based medical education, CBME) 은 “졸업 성과 능력(graduate outcome abilities)에 지향점을 두고(oriented to), 사회 및 환자의 요구(societal and patient needs) 분석에서 도출된 역량(competencies)을 중심으로 조직된 것”입니다 (p. 636) [8].

• 개별 학습자의 역량(Individual learner competencies)은 지식, 기술, 태도(knowledge, skills, and attitudes)를 통합하는 관찰 가능한 능력(observable abilities) 입니다 [9].
• CBD는 2017년에 구현이 시작된 로열 칼리지(Royal College) 버전의 CBME이며, 시간을 자원으로 활용하면서(utilizing time as a resource) 학습에 대한 성과 중심 접근 방식(outcomes-based approach)을 결합한 것입니다 [3].
• CBME는 교육과정(curriculum) 그 이상입니다. 그것은 관련된 교육 프로그램의 설계(design), 구현(implementation), 평가(assessment and evaluation)뿐만 아니라 일련의 정책 결정 및 영향(policy decisions and implications)을 포함합니다 [9, 10].
• CBME의 채택(adoption), 그리고 이 경우 CBD의 채택은 행동의 상당한 전환(significant shift in behaviours)을 필요로 하는 변혁적 변화(transformational change) 로 특징지어졌습니다(characterized) [11].

인증(Accreditation) 은 “질 보장 및 향상(quality assurance and enhancement)을 목적으로 외부 기관(external body)에 의해 정의된 기준(defined standards)에 따라 교육 프로그램, 기관 또는 시스템을 공식적으로 평가하는 과정(process of formal evaluation)”입니다 (p. 4) [12].

• 인증 시스템을 위한 목적 적합성 프레임워크(fit-for-purpose framework) 는 최상의 설계(best design)가 현지의 요구와 맥락(local needs and contexts)을 우선시하여(prioritizes), 관할권(jurisdiction)의 시간 흐름에 따른 변화에 적응할 수 있는(adaptable) 맞춤형 접근 방식(tailored approach) 을 도출한다고 명시합니다 [13].
• 맥락을 우선시함으로써(By prioritizing contexts), 목적 적합성 프레임워크는 현지 요인(local factors)과 질(quality)을 추구함에 있어 상황적으로 의미 있는 인증(situationally meaningful accreditation) 을 효과적으로 수행할 수 있는 인증 시스템의 능력 사이에 중요한 연결 고리(important connection)를 확립합니다.
• 모든 인증 시스템의 설계에서 고려되어야 할(must be considered) 그러한 현지 맥락 중 하나는 교육적 접근 방식(educational approach), 즉 이 경우에는 CBME입니다 [13, 14].

CanERA (CanERA)

캐나다에서는 세 개의 협회(colleges)가 전공의 교육(PGME)을 인증할 권한(mandate)을 공유합니다:

• 캐나다 가정의학회(CFPC),
• 퀘벡 의사협회(Collège des Médecins du Québec, CMQ), 그리고
• 로열 칼리지(Royal College)입니다.

이 협회들의 인증 시스템은 수십 년 동안(대략 1990년부터 2010년까지) 변혁적인 변화 없이(without transformational change) 지속되었으며, 기준을 강화하고(enhancing standards) 대학 간의 연계(alignment)를 개선하는 데 초점을 맞춘 점진적인 개선(incremental improvements) 만이 있었습니다. 현재의 변화에 대한 추진력(impetus)은 2000년대 후반(대략 2008~2009년)에 발생했는데, 주요 전공의 교육 이해관계자들(stakeholders)이 현대적인 재설계(modern redesign)의 필요성을 알리는 신호를 보내면서(signalling) 시작되었습니다 [15]. 이러한 변화에 대한 요구(call for change)는 CBME 모델의 초기 개발 및 캐나다 내에서의 CBME를 향한 추진(drive)과 동시에 일어났습니다(coincided with) [16, 17].

이러한 변화의 요구에 대응하여(In response to), 세 협회는 2013년에 캐나다 전공의 인증 컨소시엄(Canadian Residency Accreditation Consortium, CanRAC) 을 결성했습니다. 협력적으로(Collaboratively), CanRAC은 2013년부터 2018년까지 캐나다 전공의 교육(PGME) 및 인증 환경(landscape) 전반의 이해관계자들이 참여한 일련의 정상 회의(series of summits)를 주최했습니다. 이 과정을 통틀어(Throughout this process), CanRAC은 의학 교육의 연속체(continuum of medical education) 전반에 걸쳐

• 인증 절차의 연계 및 조정(alignment and coordination) 기회를 식별하고(identify),
• 인증의 모범 사례(best practices)를 통합 및 혁신(incorporate and innovate)하며,
• 교육 패러다임 내에서 일어나는 변화에 적응(adapt to changes)하고자 했습니다 [18].

이 작업은 2019년 7월 1일에 공식적으로 ‘캐나다 우수 전공의 인증(Canadian Excellence in Residency Accreditation, CanERA)’ 이라는 새로운 통합 전공의 교육 인증 시스템(unified PGME accreditation system)을 출범(launch)하면서 결실을 맺었습니다(culminated in). CanERA는 일련의(a bundle of) 변혁적 인증 변화(transformational accreditation changes) 를 특징으로 합니다(features) [18] (그림 1).

그림 1 캐나다 우수 전공의 인증(CanERA) 시스템의 변혁적 변화. Copyright 2017. The Canadian Residency Accreditation Consortium (CanRAC). https://www.canrac.ca/canrac/about-e. 허가를 받아 전재함(Reproduced with permission).

이 새로운 시스템의 설계 및 출범과 함께 CanERA를 위한 일련의 목표들(A set of goals)이 수립되었습니다. 여기에는

• 새로운 기준(new standards)을 통해 인증 접근 방식을 현대화(modernize) 하고,
• 기준 평가를 안내할(guide) 새로운 프레임워크를 제공하며,
• 지속적인 질 향상(continuous quality improvement) 에 대한 강조를 높이고(increase the emphasis),
• 더 길어진 8년의 인증 주기(accreditation cycle)와 디지털 인증 관리 플랫폼(digital accreditation management platform)을 통해 모든 이해관계자의 업무량(workload)을 줄이며,
• CBME의 원칙과 부합하는(align with) 기준, 정책 및 절차를 통해 CBME 구현을 지원(support CBME implementation) 하려는 의도가 포함되었습니다.

어떤 인증 시스템의 특징들이 CBME의 구현을 가능하게 하는가? (What features of an accreditation system enable the implementation of CBME?)

교육 이론의 연계 (Alignment of educational theory)

이전 연구들은 인증 시스템(accreditation systems)과 그 설계(design)가 그것들이 위치한 환경(environments)에 의해 영향을 받는다고 제안했습니다(proposed) [13]. 그러나, 그 반대 또한 사실입니다(the opposite is true as well): 교육 환경(educational environment)은 인증 시스템과 그 설계에 의해 심오하게 영향을 받을 수 있습니다(profoundly influenced). 인증 시스템들이 규제적 권한(regulatory mandates)을 통해 상당한 영향력을 행사한다(wield considerable influence)는 점이 인식되어야 합니다(must be recognized). 잠재적인 인증 결과(Potential accreditation outcomes)는 인증을 받는 대상들의 교육적 행동과 결정(educational behaviour and decisions)을 유도합니다(drive). 새로운 교육 패러다임(new educational paradigm)을 구현할 때(implementing), 따라서 공유된 특성과 구성 개념(shared characteristics and constructs)을 증진하고 우선시하는(promotes and prioritizes) 인증 시스템을 갖추는 것이 중요합니다. 새로운 패러다임의 이론적 기초(theoretical basis), 교육적 우선순위(educational priorities), 그리고 사회적 책무(societal responsibilities)를 포함한 근본적인 특징들의 연계(Alignment of the underlying features)는 구현이 의도된 교육적 변화(intended educational change)의 방향으로 추진되도록 보장하는 데 결정적(critical)입니다.

전통적인 인증 시스템(Traditional accreditation systems)은 구조와 과정(structures and processes) 에 초점을 맞추었는데, 이는 학습자들이 유능한 의사(competent physician)가 되기 위해 필요한 훈련(required training)을 받았음을 보장하기 위해 시간(time)에 의존했던 교육 시스템에 잘 맞았습니다(well suited). 성과 중심 교육 패러다임(outcome-based educational paradigm)으로서, CBME는 교육 경험 전반에 걸쳐 역량(competencies)의 형태를 띤 성과(outcomes)의 평가(assessment), 기록(documentation), 그리고 해석(interpretation)을 중심으로 조직된 교육과정을 활용합니다(utilizes) [9, 19, 20]. CanERA의 새로운 인증 시스템 설계는 구조와 과정이라는 더 쉽게 평가되는 구성 개념(more easily evaluated constructs)으로부터의 이탈(departure)을 반영하며, 대신 인증 기준 내에서 성과(outcomes)에 강조점(places emphasis)을 둡니다 [21].

• 예를 들어, 단순히 정책이 존재한다는 것(policy exists)을 요구하는 대신, 인증을 받는 대상들은 기준 준수(compliance with the standard)를 확립하기 위해 정책이 어떻게 사용되는지, 그리고 그 결과(outcome)를 입증(demonstrate)할 것으로 기대됩니다.

성과 중심 인증 시스템(outcomes-based accreditation system) 내에서, 전공의 수련 프로그램(postgraduate training programs)들은 CBME의 원칙과 일치하는(consistent with) 교육적 혁신(educational innovations)을 더 자유롭게 채택하고 우선시할 수 있습니다(more freely able to adopt and prioritize). 여기에는 훈련생의 성과(outcomes of the trainee)에 초점을 맞춘 교육적 개입(educational interventions), 학습 경험(learning experiences), 그리고 평가(assessments)가 포함될 수 있습니다.

• 예를 들어, 모든 학습자가 특정 교육 경험(specific educational experience)을 거치도록 요구하는 대신, 프로그램들은 교육적 역량(educational competencies)을 충족시키기 위해 비전통적이거나 학습자 주도적인 경험(non-traditional, or learner-driven experiences)을 자유롭게 활용(free to utilize) 할 수 있습니다.

이러한 유형의 핵심 요소(critical components)를 통합하는 능력은 구현의 충실도(fidelity of implementation), 다시 말해 혁신의 핵심 요소가 실행된 시스템(enacted system) 내에 존재하는 정도(extent)를 진전시키는 데 중요합니다 [22].

게다가(Furthermore), 성과 중심 인증 시스템의 원칙은 더 근본적인 수준(more fundamental level)에서 CBME의 교육적 성과 우선순위(educational outcome priorities)와 일치합니다(align with): 구체적으로, 개인과 인구 집단의 건강을 개선하는 데 기여하고 책임을 질(contribute to, and be responsible for) 유능한 의사를 배출할 졸업생 및 프로그램 성과(graduate and program outcomes)에 대한 강조입니다 [9, 23, 24]. 이러한 연계는 인증 시스템과 절차의 타당성(validity)을 강화하는(serve to strengthen) 동시에, 사회적 책무성(social accountability)에 대한 기대를 다룹니다(addressing expectations) [9, 23, 24]. 이 수준에서의 연계는 프로그램과 기관들이 이러한 필수적인 원칙들(essential principles)을 그들 자신의 맥락(contexts)에 통합하고 적용할 가능성을 높여주며(increases the likelihood), 그로 인해 구현의 무결성(integrity of implementation)을 심화시킵니다(furthering) [25].

질 보장 대 질 향상의 초점 (Quality assurance versus quality improvement focus)

인증 시스템(Systems of accreditation)은 종종 질 보장(quality assurance)과 질 향상(quality improvement) 모두를 포함하는 목적을 가집니다 [12].

• 질 보장 초점(quality assurance focus)은 프로그램들이 교육적 질(educational quality)에 대한 최소 기준(minimum standards)을 충족함을 대중, 규제 기관 및 기타 사람들에게 확언(assures)하며, 이를 통해 특히 주요 교육과정 개혁(major curricular reform) 기간 동안 위해를 방지(preventing harm)합니다 [26]. 따라서 인증 기구들은 기관과 프로그램, 수련생, 그리고 궁극적으로는 환자들에게 중요한 수탁 의무(fiduciary duty)를 가집니다.
• 반대로(Conversely), 질 향상 초점(quality improvement focus)은 자기 평가(self-evaluation)의 수행을 통해 질을 개선하고 시간이 지남에 따라 열망적인 기준(aspirational standards)을 달성하도록 프로그램과 의학 교육 시스템을 돕는 것을 강조하며(emphasizes helping), 이 모든 과정에서 인증 지위(accreditation status)에 대한 위험은 더 낮게 유지합니다 [27, 28].
  • 틀림없이(Arguably), 이러한 개선 추구(pursing improvement)의 개념은 CBME 채택의 초기 단계(early stages) 동안 특히 중요할 수 있습니다. 질 향상 철학(quality improvement philosophy)은 또한 “다음” 및 모범 사례(“next” and best practices)의 식별과 공유를 촉진하고, 따라서 CBME 구현 기간 동안 혁신의 확산(diffusion of innovation)을 촉진할 수 있습니다 [27].
• 일부 인증 시스템은 두 가지 질적 목표 중 하나에 더 큰 강조점을 두기도 하지만, 대부분의 시스템은 이 두 끝점 사이의 스펙트럼(spectrum) 어딘가에 위치해 있습니다 [13].

두 가지 우선순위를 모두 충족하기 위해(To meet both priorities), CanERA 시스템은 그 권한(mandate)을 재설정(reframed)하고 질 보장에 초점을 맞춘 설계 특징들을 유지하면서도 지속적인 질 향상(continuous quality improvement)에 대한 강조와 기대치를 높였습니다(placed increased emphasis and expectations). 프로그램 수준에서, 이러한 강조는 인증 기준 내에 새로운 질 향상 영역(new quality improvement domain) 을 생성함으로써 구체화되었습니다(manifested) [29]. 이 영역은 관련된 기준 및 지표(associated standards and indicators)와 함께, 전공의 수련 프로그램 내에 질 향상 문화(culture of quality improvement)가 존재하도록 보장하고 모든 프로그램이 준수해야 할(held) 기대치를 명확히 정의하기 위해 만들어졌습니다. 이 새로운 시스템 설계에서는 시스템 내의 안전(safety)을 유지하면서 구현을 진전시키는(advanced implementation) 균형(balance)이 이루어졌습니다 [29].

인증 기준 (Accreditation standards)

인증 기준(Accreditation standards)은 “프로그램, 기관 또는 시스템의 질에 대한 결정을 내리는 데 사용되는 척도(measures) 또는 일반적으로 수용되는 벤치마크(generally accepted benchmarks)”로 정의될 수 있습니다 (p. 6) [12]. 따라서, 기준은 프로그램과 기관의 질적 성취(achievement of quality)에 대한 기대치를 개요화(outline)하고 기준을 충족하기 위한 관련 행동을 유도합니다 [30, 31]. 인증 기준은 아마도 인증 시스템의 가장 근본적인 구성 요소(most fundamental components) 중 하나일 것입니다 [32]. CBME의 경우, 인증 기준의 내용이 역량 바탕 설계(competency-based design)의 핵심 구성 요소(core components)와 연계되고(aligned with) 이상적으로는 그에 기반하도록(based upon) 보장하는 것이 [11] CBME의 구현을 추진하는 데(drive the implementation) 도움이 될 것입니다.

인증 기준은 세부 사항의 수준(level of detail), 요구 사항에서 허용되는 유연성(flexibility afforded), 그리고 구조, 과정 및/또는 성과에 대한 초점 측면에서 다릅니다(differ).

• 매우 상세하거나 규범적인(highly detailed or prescriptive), 또는 주로 구조적이고 과정 기반의 기준(structural and process-based criteria)을 강조하는 인증 기준은
  • 프로그램 간의 표준화(standardization)를 추진하는 데 가장 효과적일 수 있습니다 [33]. CBME에서, 이는 기대치 측면에서 프로그램에 명확성(clarity)을 제공하고 교육 설계의 원하는 모델(desired model)과 관련하여 충실도(fidelity)를 높일 수 있습니다.
  • 하지만, 이러한 접근 방식이 변화 확산(change diffusion)의 자연스러운 과정을 통해 발생하는 중요한 혁신을 저해(stifle important innovation)할 수도 있다는 주장이 제기될 수 있습니다 [34].
• 반대로(Conversely), 더 큰 유연성(greater flexibility)을 허용하거나 교육적 성과(educational outcomes)에 더 큰 강조점을 두도록 작성된 기준은
  • 프로그램들이 CBME의 현지 구현(local implementation)에서 혁신할 수 있는 능력을 촉진(facilitate)할 수 있습니다. 이러한 접근 방식은 구현이 진행됨에 따라 혁신에 의해 인증 기준이 지속적으로 정보를 제공받을 수 있도록(continuously informed by innovations) 하는 메커니즘과 결합될 때, 지속적인 반복과 개선(ongoing iteration and improvement)을 추진하는 데 꽤 강력할 수 있으며, 따라서 CBME의 구현을 지원할 수 있습니다.
  • 그러나, 지나치게 유연하거나 모호한 기준(overly flexible or vague standards) 은 특히 구현 초기 단계에서 프로그램에 필요한 지침(guidance)을 제공하지 못할 수 있으며, 궁극적으로는 교육 설계의 원하는 모델에 대한 구현의 충실도 상실(loss of fidelity of implementation)을 초래할 수 있습니다.

전반적으로(Overall), CanERA 기준은 구조, 과정, 그리고 성과 측정(structure, process, and outcome measures)의 균형을 염두에 두고 작성되었으며, 이는 각각 더 상세한 것에서 더 유연한 것으로 이어지는 스펙트럼을 반영합니다. 구체적으로, 기준은 계층 구조(hierarchy) 로 구성되었는데, 포괄적인 기준(overarching standard) 으로 시작하여, 그 아래에 요소(elements), 요건(requirements) 및 지표(indicators)가 내포(nested) 되어 있습니다;

• 평가 프레임워크는 측정 가능한 각 요건과 지표가 평가될 것을 요구하며 [29], 기준의 기대치(standards’ expectations)에 따라 무엇이 구현되었는지, 그리고 개선을 위한 영역(areas for improvement)이 어디서 식별되는지에 대해 프로그램에 정확한 피드백(precise feedback)을 제공합니다.
• 예를 들어, 교육 프로그램에 관한 기준(standard 3)은 “전공의는 독립적인 진료를 위해 준비된다(Residents are prepared for independent practice)”라는 포괄적인 성과를 명시하며 (p.9) [29]; 그 내포된 요소, 요건 및 지표들은 CBME의 핵심 구성 요소에 기반한 기대치를 개요화합니다.

인증 절차를 통해 평가되는 이 기준의 구체적인 지표들은

• CBME 구현의 일부로서 무엇이 요구되는지(예: 지표 3.1.1.2: “역량 및/또는 목표는 해당 분과의 CanMEDS/CanMEDS-FM 프레임워크의 각 역할을 다룬다” (p.9) [29])와
• 성과를 달성하는 방법에 있어 더 많은 유연성이 허용되는 부분(예: 3.2.3.1: “개별 전공의의 교육 경험은 해당 분과의 국가적 기준과 사회적 요구를 충족하면서, 그들의 학습 요구와 미래 경력 열망을 수용하도록 맞춤화된다” (pg.9) [29])
• ...에 대해 프로그램에 구체적인 지침을 제공합니다.

CanERA 기준의 내용은 의도적인 평가 구조 및 문구(wording)와 결합되어, CBME로의 전환에 있어 강력한 활성자(powerful enabler)로 작용합니다.

인증 절차 (Accreditation processes)

“인증 절차(Accreditation processes)”는

• 기준이 어떻게 평가되는지(즉, 자기 평가 및 외부 평가 모델, 평가에 사용되는 정보),
• 결정이 어떻게 내려지는지(how decisions are rendered)(즉, 결정 범주 및 절차),
• 누구에 의해(즉, 현장 검토 모델), 그리고
• 얼마나 자주(즉, 인증 주기) 이루어지는지를 포함하여
• 대부분의 인증 시스템에 공통적인 몇 가지 핵심 활동(core activities) 을 포괄(encompass)하는 광범위한 용어입니다 [13].

인증 시스템마다 이러한 절차에는 상당한 차이(significant variation)가 있습니다. 중요한 것은 — 혹은 아마도 필수적인 것은 — 그것들이 인증을 받는 프로그램이나 기관의 바람직한 행동(desired behaviours)과 연계되고 그것을 보상(reward)하며(따라서 촉진하는) 것이라는 점입니다 [13].

CanERA 인증 시스템은 CBME의 구현을 육성(foster)하는 것을 돕기 위해 의도된 몇 가지 특징들을 도입했습니다.

• 첫째, 프로그램들은 어떠한 인증의 영향(accreditation impacts) 전에 CBME 구현에 작업할 시간(time to work)을 부여받았습니다.
  • 구체적으로, 인증 기준이 프로그램들로 하여금 전문 분야별 교육 요건(specialty-specific educational requirements)에 따라 CBD를 구현할 것을 요구하는 경우, 예를 들어 프로그램 목표를 정의할 때 전문 분야별 학습자 역량을 사용할 것(지표 3.1.1.1, pg. 9 [29])이나 특정 교육 경험, 예컨대 로테이션(지표 3.2.1.2, pg. 9 [28])에 대한 요건과 같이, 인증 정책은 프로그램들이 해당 전문 분야의 CBD 출범 첫해 동안에는 그러한 요건을 준수할 것으로 기대되지 않도록(would not be expected to comply) 보장했습니다 [35].
• 둘째, CanERA는 CBD 구현을 지원하기 위한 새로운 인증 의사결정 접근 방식(new approaches to accreditation decision-making) 을 도입했습니다. CanERA 인증 범주(categories)와 관련된 의사결정 원칙은 징벌적(punitive)이기보다는 지속적인 개선을 장려하고 보상하도록(encourage and reward continuous improvement) 개정되었습니다;
  • 구체적으로, 결정 원칙은 프로그램과 기관이 자신들이 작업하고 있는 내용을 인증자들과 적극적으로 공유하는 경우(actively share), 그들이 최소 기준을 달성하고 개선을 이루고 있다면(provided they achieve minimum standards and are making improvement), 인증 결정 시점에 해당 영역에 대해 불이익을 받지 않도록(not penalized) 설계되었습니다 [35].
    • 이는 개선이 이루어지고 있는 프로그램이 알고 있는 영역을 포함하여 기준의 모든 격차(any gap)가 프로그램의 공식적인 약점 목록(formal list of weaknesses)에 포함되고 인증 결정에 반영되었던(factored into) 이전의 인증 모델들과 대조됩니다(contrasted with).
  • 추가적으로, 기관 수준(institution level)에서 새로 도입된 인증 결정과, 기관이 전공의 수련 프로그램을 어떻게 감독(oversee)하고 질 향상을 지원하는지에 대한 추가적인 기준 요건들은, CBME와 같은 기관 전반의 변화(institution-wide change)를 이끄는 데 있어 PGME 부서와 그 리더십이 수행하는 역할을 강화(bolster)하기 위함입니다.
• 마지막으로, 새로운 CanERA 인증 절차는 특히 CBD를 성공적으로 구현하기 위한 참신한 접근 방식(novel approaches)과 관련하여 혁신과 실험(innovation and experimentation)을 육성하는 것을 목표로 합니다.
  • CanERA에서, 선도적 관행 및 혁신(leading practice and innovation, LPI) 은 “해당 학문 분야, 또는 전공의 교육 전반(writ large)에 있어 주목할 만하며(noteworthy); 그리고/또는 본질적으로 독특하고 혁신적인(unique and innovative) 관행(방법, 절차 등)”으로 정의됩니다 [35].
  • LPI는 조사관들(surveyors)이 전국의 다른 프로그램이나 기관에 흥미로울 수 있는 참신하거나 흥미로운 관행에 대해 프로그램과 기관을 인정(recognize)할 수 있는 기능을 도입했습니다. 그 목표는 이러한 관행들을 미래에 공유하는 것이며, 여기에는 CBD를 구현하는 참신하고 성공적인 접근 방식들이 포함되고, 이를 통해 개선을 위한 특정 영역을 다루거나 일반적으로 프로그램을 개선할 방법을 찾는 다른 프로그램들이 접근할 수 있는 데이터베이스에 저장하는 것입니다.

인증평가가 어떻게 동시에 CBME 구현의 장벽이 될 수 있는가 (How accreditation can simultaneously be a barrier to implementation of CBME)

인증평가(accreditation)가 역량바탕의학교육(CBME) 구현의 촉진제(enabler) 역할을 할 수 있는 반면, 시스템, 기준(standards), 그리고 절차(processes)의 특성들은 한계(limitations)와 결과(consequences)를 도입하기도 합니다. 인증평가와 CBME 모두에서 성과(outcomes)에 초점을 맞추는 것(aligned focus)이 구현을 가능하게 할 수 있다는 합의[36, 37]에도 불구하고, 인증평가에서 성과에 대한 과도한 의존(over-reliance on outcomes)에 따르는 어려움(challenges)이 있습니다[23]. 모든 교육 사업(curricular enterprise)에는 성과의 형태(form of outcomes)로는 평가될 수 없는[24] 교육 과정(educational processes)과 학습 환경(learning environment)의 특성들을 포함한 요소들이 있으며, 이는 프로그램의 질(quality of the program)과 따라서 인증기구(accrediting bodies)에게 본질적으로 중요합니다. 성과 중심 구성(outcomes-based construct)에 대한 경직된 고수(rigid adherence)는 이러한 요소들이 효과적으로 평가되는 것을 방해하여, 인증기구가 지닌 신탁 책임(fiduciary responsibility)을 훼손할(compromising) 수 있습니다. 게다가, 인증 시스템 설계(accreditation system design) 내에 이러한 구성요소(constructs)가 부재할 경우, 이러한 필수 요소들에 대한 불충분한 특성화(deficient characterization)를 통해 초기 구현(early implementation)을 저해할(impair) 수 있습니다 (표 1 참조).

표 1 (Table 1) 인증 시스템의 특성이 어떻게 CBME의 구현을 가능하게 하거나 저해할 수 있는가

(How features of an accreditation system can enable or hinder implementation of competency based medical education.)

인증평가는 본질적으로 수년에 걸친 주기적인 과정(cyclical process)입니다; 프로그램들은 종종 인증 기준을 충족하기 위해 수년을 준비하며, 이는 인증 시스템이 민첩성(agile)을 유지하고 기준이 유의미성(relevant)을 유지하도록 하는 것을 어렵게 만들 수 있습니다[34]. 그러나 CBME의 구현을 촉진하기(promote) 위해서, 특정 인증 기준들은 지향적(aspirational)이거나, 적어도 원하는 변화를 뒷받침할 만큼 충분히 유연(flexible)해야 합니다. 훈련에 소요되는 시간(time spent in training)에 대한 규범적 요구사항(prescriptive requirements)과 같이 원하는 CBME 모델과 상충하는 시대착오적인 기준(anachronistic standards)은 CBME를 채택하는 프로그램들에게 부당하게 불이익을 주고(unduly punishing) 전체 시스템 전반의 CBME 채택 및 구현 속도를 늦출(slowing the overall pace) 위험이 있습니다. 따라서 인증기구는 그들의 기준이 의학교육의 주요 변화(major changes)—이 경우 CBME—와 보조를 맞추도록(keep pace with) 할 의무(duty)가 있습니다.

마지막으로, CBME 변화와 병행되는 인증평가 개혁의 자원 관련 함의(resource implications)가 장벽(barrier)이 될 수 있습니다. 기존의 인증 시스템이 CBME 패러다임의 채택(adoption)에 더 잘 부합하도록 진화함에 따라, 인증 과정의 질과 효과성(effectiveness)을 유지하기 위해 많은 내부적인 변화가 요구됩니다[36].

• 이와 같은 대규모 변화(large-scale changes)에 대한 정확한 자원 요구량(resource requirements)은 기술된 바 없으나, 예로 Greenfield 등[38]은 호주의 일반 진료(general practice)를 위한 인증 기준의 개발 및 개정이 상당한 자원을 필요로 하는 중대하고, 도전적이며, 어려운 작업(significant, challenging, and difficult undertaking)이었다고 언급했습니다.

이러한 영향(implications)은 인증 과정 자체가 CBME 도입으로 인해 새롭거나 상당히 수정되었을 때 더욱 클 수 있습니다. 인증 시스템에 대한 변화는 결과적으로 프로그램으로 되돌아가는(cycle back) 자원적 영향을 초래할 가능성이 있습니다. 인증 과정에 대한 관여 및 참여(engagement and participation)는 때때로 수개월에서 수년에 걸쳐 이어지는 자원 영향(resource impacts)을 가집니다. 이는 인증 과정이 검토(examine)하고자 하는 교육적 사명(educational mission)뿐만 아니라 CBME의 구현 과정(implementation process)에도 부정적인 영향(negative impacts)을 미칠 가능성이 있습니다.

미래 시스템 설계를 위한 고려사항 (Considerations for future system design)

CBME는 의학교육 설계에 있어 성과(outcomes), 주로 해당 프로그램의 졸업생들이 획득한 역량(competencies)을 강조하는 근본적인 변화(fundamental shift)를 나타냅니다. 미래에는, 프로그램 활동(program activities)과 졸업생 성과(graduate outcomes)에 기반하여 지능(intelligence)을 제공하기 위해 개발된 방법론과 기술들이 인증 사업(accreditation enterprise)을 변화시킬(transform) 수 있습니다.

프로그램 평가 분석(Program evaluation analytics).

• CBME 프로그램은 방대한 양의 평가 데이터(assessment data)를 생성하며, 이는 훈련생의 진급(trainee progression)[39, 40]에 정보를 제공할 뿐만 아니라, 교수진의 교수 및 평가 관행(teaching and assessment practices of faculty)[41]이나 순환 실습(rotations)[42]과 같이 인증 기준의 초점이 되는 프로그램의 다른 측면들에 대한 통찰력(insights)을 제공할 수 있습니다.
• 이러한 정보는 인증 과정에 의해 주도되는[43] 질 향상 노력의 효과성(effectiveness of quality improvement efforts)에 대한 특히 가치 있는 통찰력을 제공할 수 있는데, 왜냐하면 교수개발(faculty development) 노력은 평가에 대한 훈련생들에게 제공되는 지도전문의 피드백(supervisor feedback)의 개선과, 의도된 평가 완료(desired completion of assessments)와 실제 완료(realized completion) 간의 정렬(alignment)을 개선하기 위한 순환 일정(rotation schedules)의 변경으로 이어질 것으로 기대되기 때문입니다.
• 따라서 이러한 유형의 데이터 사용은 인증평가 내 평가 과정(evaluation processes)의 구체성(specificity)과 객관성(objectivity)을 진전시킬(advance) 수 있습니다.

프로그램 성과 기준(Program outcomes standards).

• 단순한 평가 지표(simple assessment metrics)의 포함을 넘어서, 더 원위의 교육 및 임상 성과(distal educational and clinical outcomes)를 추적할 수 있는 기회는 CBME의 채택 없이는 불가능했을[4, 20, 44] 인증 관점(accreditation lens)에서의 추가적인 질적 차원(additional dimensions of quality)을 평가할 기회를 제공할 수 있습니다.
  • 예를 들어, 프로그램의 졸업생들이 진료를 시작했을 때(begin practice) 적절한 임상 성과(clinical outcomes)를 낸다는 것을 증명(demonstration)하는 것보다 더 나은 양질의 교육 프로그램에 대한 증거가 어디 있겠습니까?
• 교육 및 임상 데이터의 견고한 통합(robust integration)은, 프로그램 수준에서는 전공의 프로그램이 졸업생들을 진료를 위해 얼마나 잘 준비시키고 있는지(preparing its graduates for practice)[45]에 대한 통찰력을 제공할 수 있으며, 시스템 수준에서는 더 나은 임상 성과를 초래하는 전공의 수련(residency training)의 특징에 대한 통찰력을 제공할 수 있습니다. 이러한 통찰력들은 결과적으로 미래의 인증 기준 개발에 정보(inform)를 제공할 수 있습니다.

변혁적 설계를 위한 타당도 증거(Validity evidence for transformative designs).

• 마지막으로, 인증 과정의 고부담 성격(high-stakes nature)과 그에 부여되는 가치를 고려할 때, 새로운 인증 설계가 CBME와 함께 전개됨(roll out in tandem)에 따라 인증에 대한 타당도 논거(validity argument)[46]가 어떻게 강화될 수 있을지[47] 고려해보는 것은 흥미로울 것입니다. 의학 인증평가와 그 일부인 의사결정(decisions)을 뒷받침하기 위한 타당도 증거(validity evidence)의 탐색은 새로운 것이 아닙니다[48]. 현재 출판된 타당도 증거는 제한적이며, 대개 고유한 설문 도구(unique survey tools)의 타당도와 개별 기준들의 안면 타당도(face validity)에 국한되어 있습니다[48, 49].
• 앞서 기술된 CanERA 내의 변혁적 설계 결정(transformative design decisions)들은 단지 CBME 구현을 가능하게 하기 위해서뿐만 아니라, 인증평가의 일부인 의사결정의 질(quality of decision making)을 높이기 위해(advance) 이루어졌습니다. 일화적 증거(anecdotal evidence)는 이것이 성공적이었음을 시사하지만, 미래에는 평가 데이터, 프로그램 분석(program analytics), 그리고 새로운 프로그램 성과 측정치(new program outcome measures) 모두가 이를 객관적으로 탐구하고 인증 의사결정의 타당도에 기여하는 데 사용될 수 있을 것입니다.

결론 (Conclusion)

인증 시스템은 CBME로의 전환(transition)을 가능하게 하는 데 있어 강력한 역할(powerful role)을 합니다. 기저에 깔린 교육 이론(underlying educational theory)의 정렬, 질적 초점(품질 보증[quality assurance] 대 질 향상[quality improvement]), 인증 기준, 그리고 인증 절차를 포함한 시스템의 특징들은 모두 이 전환을 촉진하기(facilitate) 위해 사용될 수 있는 설계 기회(design opportunities)를 나타냅니다. 그러나, 이러한 각 영역 내에는 한계(limitations)가 있으며 모든 설계 기회에는 결과(consequence)가 따를 수 있음을 인정해야 합니다(must be acknowledged). 우리는 현재까지 관찰된 기회와 한계, 그리고 미래를 위한 기회를 설명하기 위해 CanERA 인증 시스템의 예시를 제시했습니다. CBME로의 전환을 고려 중이거나 착수하고 있는(undertaking) 교육 기관들은 이 새로운 교육 패러다임으로의 성공적인 전환을 가능하게 하는 데 있어 인증평가의 중요성(importance of accreditation)을 고려해야 합니다.

Design and Implementation of a National Program of Assessment Model - Integrating Entrustable Professional Activity Assessments in Canadian Specialist Postgraduate Medical Education

캐나다의 실험: 국가 단위로 EPA 기반 평가 시스템을 도입하면 어떤 일이 생길까? 🇨🇦🩺

안녕하세요! 오늘은 의학교육, 그중에서도 역량 바탕 의학 교육(Competency Based Medical Education, CBME)에 관심 있는 분들이라면 아주 흥미로워하실 내용을 들고 왔습니다.

바로 캐나다 왕립 내과 및 외과 대학(Royal College)이 주도한 대규모 프로젝트, '설계에 의한 역량(Competence by Design, CBD)' 모델의 도입 과정과 그 교훈을 담은 논문 리뷰입니다. 전공의 수련 과정에 신뢰할 수 있는 전문 활동(Entrustable Professional Activities, EPAs)을 국가 차원에서 어떻게 접목했는지, 그리고 그 과정에서 겪은 시행착오는 무엇이었는지 함께 살펴보시죠! 🧐

1. 왜 '프로그램 평가(Programmatic Assessment)'인가?

과거의 평가는 주로 "시험 한 번 잘 보면 통과!"하는 식이었죠. 하지만 의사를 길러내는 과정이 그래서는 안 된다는 문제의식에서 프로그램 평가(Programmatic Assessment)가 등장했습니다.

이 논문에서 강조하는 프로그램 평가의 핵심은 '한 방'이 아니라 '꾸준함'과 '모음(Suite)'입니다.

🗣️ 연구진의 의견: "프로그램 평가는 개별 평가 도구에 의존하는 것에서 벗어납니다; 대신 고부담 의사결정에 정보를 제공하기 위해 의도적으로 그리고 지속적으로 수집 및 분석되는 평가 구성 요소들의 “모음(suite)”에 초점을 맞춥니다." "Programmatic assessment shifts away from relying on individual assessment tools; it focuses instead on a “suite” of assessment components that are purposefully and continually collected and analyzed to inform high-stakes decisions."

즉, 평가 하나하나는 가벼운 저부담(low-stakes) 피드백을 위한 것이고, 이것들이 모여서 나중에 진급이나 졸업 같은 고부담(high-stakes) 결정을 내리는 근거가 된다는 것이죠.

2. EPA는 '체크리스트'가 아니라 '데이터 포인트' 📊

캐나다의 CBD 모델에서는 각 전공과목별로 EPA를 개발했습니다. 전공의가 특정 의료 행위를 혼자서 수행할 수 있는지 확인하는 것이죠. 여기서 중요한 건, EPA 관찰 한 번으로 모든 게 결정되지 않는다는 점입니다.

많은 교수님들이나 전공의들이 "이거 점수 잘 받아야 통과해!"라고 오해하곤 하는데요, 저자들은 이 점을 분명히 합니다.

🗣️ 연구진의 의견: "모든 평가(의 일부)는 단지 하나의 데이터 포인트(data-point)일 뿐입니다." "Every (part of an) assessment is but a data-point."

여러 교수자에게, 다양한 상황에서, 여러 번 관찰된 결과들이 모여야 비로소 역량 위원회(Competence Committee, CC)가 "이 전공의는 다음 단계로 가도 좋다"는 결정을 내릴 수 있습니다. 이를 다각검증(Triangulation)이라고 해요.

3. 현장의 혼란과 교훈: "위임 가능성(Entrustability)"이라는 단어의 함정 ⚠️

이 논문의 백미는 바로 '성찰과 교훈' 파트입니다. 이론은 완벽했지만, 실제 현장(Real-world)에서는 예상치 못한 문제들이 터져 나왔거든요.

가장 큰 문제는 용어였습니다. 평가 척도에 '위임 가능성 척도(Entrustability scale)'라는 이름을 붙였더니, 평가를 하는 교수님들이 엄청난 부담을 느낀 겁니다. "내가 5점 주면, 내일부터 얘는 이거 혼자 다 해도 된다고 보증하는 건가?" 하고 말이죠. 😅

🗣️ 연구진의 의견: "'위임 가능성 척도'라는 용어가 교수진에게 그들이 EPA 관찰 양식에 기록한 수행 평정이 전공의의 미래 위임에 대한 결정이라는 메시지를 의도치 않게 그리고 잘못 전달하고 있다는 우려가 제기되었습니다." "
The wider medical education community raised concerns that the term entrustability scale was inadvertently and erroneously conveying a message to faculty that the rating of performance they documented on the EPA observation form was a determination of the resident’s future entrustment."

그래서 연구진은 이 척도를 '회고적 감독 척도(Retrospective supervision scale)'라고 부르는 쪽으로 선회하고 있다고 해요. "앞으로 맡길 수 있다"가 아니라, "방금 내가 어느 정도로 감독했나"를 기록하는 것으로 부담을 낮춘 거죠.

4. EPA만 쳐다보지 마세요! (Tunnel Vision 주의) 🔭

또 하나의 문제는 모든 관심이 EPA에만 쏠리면서, 정작 EPA로 측정하기 힘든 다른 중요한 역량들이 소홀해질 수 있다는 점이었습니다. EPA는 중요한 뼈대지만, 전공의 수련의 '전부'는 아니니까요.

🗣️ 연구진의 의견: "밀러 피라미드의 다중 수준과 EPA 프레임워크에 포착된 것 이외의 내용을 다루는 평가 방법 및 도구의 모음은 피교육자 발달의 전체적인 관점(holistic view)을 얻고 CC에 의한 진전에 대한 고부담 결정을 지원하기 위해 필요합니다."
"A suite of assessment methods and tools that address multiple levels of Miller’s pyramid and content beyond those captured in the EPA framework are necessary to obtain a holistic view of trainee development and support high-stakes decisions about progress by a CC."

5. 마치며: 완벽을 기다리지 말라 🚀

전국 단위의 거대한 교육 개혁이 쉬울 리 없겠죠. 하지만 연구진은 마거릿 애트우드(Margaret Atwood)의 명언을 인용하며, 시행착오를 두려워하지 말고 계속 수정하고 개선해 나가는 것이 중요하다고 강조합니다.

🗣️ 연구진의 의견: "만약 내가 완벽을 기다렸다면, 나는 한 글자도 쓰지 못했을 것입니다."
"If I waited for perfection, I would never write a word."

우리나라 의학 교육 현장에서도 시사하는 바가 큰 논문인 것 같습니다. 완벽한 시스템을 기다리기보다, 일관된 철학(프로그램 평가)을 가지고 현장의 목소리에 귀 기울이며 계속 나아가는 태도가 필요하지 않을까요?

서론 (Introduction)

프로그램 평가 (Programmatic assessment)는 역량 바탕 의학 교육 (competency based medical education, CBME)의 핵심 구성 요소 (core component)이며 전 세계 교육 시스템 (systems of education)에 점차 도입되고 있습니다 [1, 2, 3]. CBME의 중심에는 (Central to CBME) 프로그램들이 피교육자 (trainees)의 역량 개발 및 성취 (development and achievement of competence)를 평가하기 위한 체계적인 수단 (systematic means)을 갖추어야 한다는 개념이 있습니다. 이를 위해서는

• 바람직한 성과 (desired outcomes)에 대한 명확한 정의 (clear definitions)와,
• 피교육자가 다음 단계로 나아가기에 (to advance) 충분한 진전 (sufficient progress)을 이루었는지를 정확하게 식별 (accurately identify)하는 동시에
• 학습을 위한 양질의 피드백 제공 (provision of high-quality feedback)을 촉진하고 성찰적 실천 (reflective practice)을 지원하는 견고한 평가 시스템 (robust assessment systems)이 필요합니다 [4, 5].

프로그램 평가는 이러한 목표들과 부합하며 (aligns with) 유능한 졸업생을 배출한다는 (produce competent graduates) 의학의 사회적 계약 (social contract)을 이행하는 데 있어 매우 중요합니다 (crucial) [6]. 프로그램 평가란

• 평가의 의사결정 및 학습 기능 (decision-making and learning function)을 동시에 최적화 (simultaneously optimize)하기 위해, 교육적 틀 (educational framework) 내에 내재된 (embedded) 다양한 평가 방법 및 활동 (variety of assessment methods and activities)을 의도적으로 선택하고 조합 (intentional selection and combination)하여 평가 시스템을 설계하는 특정한 접근법 (specific approach)입니다 [7, 8, 9].

프로그램 평가는 개별적인 고부담 평가 도구 (individual high-stakes assessment tools)의 개발과 사용에 초점을 맞춤으로써 평가의 총괄적 기능 (summative function)을 주로 강조해 온 전통적인 평가 접근법 (traditional approaches to assessment)의 몇 가지 단점 (shortcomings)을 해결하고자 합니다 [10].

• 전통적인 접근법들은 구조화된 고부담 시험 (structured high-stakes examinations)과 같은 수행의 제한된 단면들 (limited snapshots of performance)이 학습자의 성취 및 역량 개발 (learners’ achievement and competence development)에 관한 견고한 의사결정 (robust decision-making)을 뒷받침하기에는 충분한 증거 (sufficient evidence)를 제공할 수 없다는 이유로 비판받아 왔습니다 [11].
• 더욱이, 교육자들이 교수 및 학습 현장 (teaching and learning encounters)과 동떨어진 (removed from) 주기적인 평가 활동 (periodic assessment activities)에 의존할 때, 그들은 성찰적 실천과 개선 (reflective practice and improvement)을 가능하게 하는 데 필요한 빈번하고 의미 있는 수행 피드백 (frequent and meaningful performance feedback)을 제공함으로써 학습자의 발달을 지원할 기회를 놓치게 됩니다 (miss opportunities) [10].

대조적으로 (By contrast), 프로그램 평가는 개별 평가 도구에 의존하는 것에서 벗어납니다 (shifts away from relying on individual assessment tools); 대신 고부담 의사결정 (high-stakes decisions)에 정보를 제공하기 위해 (to inform) 의도적으로 그리고 지속적으로 수집 및 분석되는 (purposefully and continually collected and analyzed) 평가 구성 요소들의 “모음 (suite)”에 초점을 맞춥니다 (표 1 참조) [7]. 프로그램 평가는 다음의 세 가지 근본적인 개념 (fundamental concepts)에 기반을 두고 있습니다 (grounded in):

• 종단성 (Longitudinality): 프로그램 평가는 훈련 과정 전반에 걸친 (through training) 종단적 평가 (longitudinal assessments)를 강조합니다. 이는 피교육자에게 빈번하고 지속적인 피드백 (frequent and ongoing feedback)을 지원하여 성찰과 학습 (reflection and learning)을 촉진하는 동시에, 시간이 지남에 따른 (over time) 피교육자의 진전 상황을 추적 (tracking)할 수 있게 해주는 프로그램으로의 지속적인 정보의 흐름 (continual flow of information)을 생성합니다 [7].
• 다각검증 (Triangulation): 어떠한 단일 평가 (single assessment)도 결정을 뒷받침하기에는 충분하지 않습니다. 그보다는, 동일한 내용 (same content)에 관련된 평가 정보가 다각검증 (triangulated)되며, 의사결정의 신뢰성 (decision reliability)은 시간이 지남에 따라, 서로 다른 평가자들 (different assessors)에 의해, 서로 다른 방법 (different methods)을 사용하여 수집된 다양한 데이터 포인트의 종합 (synthesis of multiple data points)으로부터 도출됩니다 [12]. 다각검증의 개념에는 각 역량 영역 (competency domain)을 포착 (captures)하는 평가 프로그램을 설계할 때 신중을 기해야 한다 (need to be deliberate)는 점과, 각 영역이 다양한 정보원 (variety of information sources)에 의해 정보를 제공받아야 한다는 점이 내재되어 있습니다 (inherent).
• 비례성 (Proportionality): 평가 결정의 중요도/부담 (stakes of an assessment decision)은 해당 결정을 알리는 데 사용되는 데이터의 풍부함과 신뢰성 (richness and trustworthiness)에 상응해야 (correspond with) 합니다 [8]. 전공의 수련 (postgraduate training)에서의 고부담 결정은 수련 과정 동안의 진급 및 승진 (progress and promotion)과 같은 중요한 결과를 초래합니다. 따라서, 방어 가능한 (defensible) 고부담 결정을 알리기 위해서는 다수의 저부담 평가 (multiple low-stakes assessments)에서 나온 집계된 양적 및 질적 데이터 (aggregated quantitative and qualitative data)가 필요합니다. 추가적으로, 고부담 결정은 개별 평가 (individual assessment)와 분리되어 발생하기 때문에, 학습자가 관찰될 때마다 개선을 위한 코칭 (coaching for improvement)과 학습 지도 (guide learning) (즉, 학습을 위한 평가 [assessment for learning])에 더 큰 주의를 기울일 수 있습니다.

표 1. 전통적인 평가 접근법에 대한 비판을 다루는 프로그램 평가의 특징 (Features of programmatic assessment that address criticisms of traditional assessment approaches.)

교육과정 및 평가 설계 (curricular and assessment design)에 있어 프로그램 평가가 제공하는 (affords) 발전은 점점 더 많은 수의 의료 훈련 프로그램 (medical training programs)에서 그 실행 (implementation)을 촉진시켰습니다 (catalyzed) [7]. 프로그램 평가가 학습자, 교사 및 프로그램에 미치는 영향 (impact)에 대한 연구 증거 (research evidence)가 계속해서 증가하고 있는 반면 [7, 13], 대규모 (large scale)로 진행된 프로그램 평가 실행의 영향에 대해서는 아직 널리 알려진 바가 거의 없습니다 (little has yet been disseminated). 캐나다에서는, 전공의 교육 (postgraduate specialist medical education)이 신뢰할 수 있는 전문 활동 (entrustable professional activities, EPAs)을 중심으로 한 (centred around) 역량 바탕 모델 (competency based model)로의 변혁적인 변화 (transformative change)를 겪었습니다. 이 논문에서, 우리는 학습을 지도하고 (guide learning) EPA 성취 및 훈련 과정의 진전 (EPA achievement and progress through training)에 대한 방어 가능한 결정 (defensible decisions)을 지원하기 위해 견고한 데이터 (robust data)가 수집되도록 보장하게끔 설계된 평가 프로그램 모델의 대규모, 전국적 실행 (large scale, national implementation)에 대해 기술하고 성찰 (describe and reflect on)합니다. 이를 수행함에 있어, 우리는 오타와 2020 합의 성명서 (Ottawa 2020 consensus statement)에 정의된 프로그램 평가의 원칙들을 참조합니다 (make reference to) (표 2 참조) [8]. 이러한 원칙들은 프로그램 평가의 중요하고 인식 가능한 측면들 (important and recognizable facets)을 나타냅니다. 이 논문에서는 원칙 1-8에 특히 주의를 기울입니다 (Attention is specifically given to). 원칙 9-12는 이 시리즈의 다른 논문들에서 다루어집니다 [14, 15].

표 2. 프로그램 평가를 위한 오타와 2020 합의 성명서에 따른 프로그램 평가의 원칙들 (Principles of programmatic assessments from the Ottawa 2020 consensus statement for programmatic assessment [8].)

1. 모든 평가(의 일부)는 단지 하나의 데이터 포인트 (data-point)일 뿐이다.
2. 모든 데이터 포인트는 학습자에게 의미 있는 피드백 (meaningful feedback)을 제공함으로써 학습을 위해 최적화 (optimised for learning)된다.
3. 합격/불합격 결정 (Pass/fail decisions)은 단일 데이터 포인트 (single data-point)에 기반하여 내려지지 않는다.
4. 평가 방법들의 혼합 (mix of methods of assessment)이 존재한다.
5. 선택된 방법은 해당 방법을 사용하는 교육적 정당성 (educational justification)에 의존해야 한다.
6. 총괄 평가 (summative)와 형성 평가 (formative)의 구분은 부담의 연속선 (continuum of stakes)으로 대체된다.
7. 학습자 진전 (learner progress)에 대한 의사결정은 그 부담 (stake)과 비례적으로 관련 (proportionally related)된다.
8. 평가 정보는 적절한 프레임워크 (appropriate framework)를 향해 데이터 포인트 전반에 걸쳐 다각검증 (triangulated)된다.
9. 고부담 결정 (진급 [promotion], 졸업 [graduation])은 포괄적 접근 (holistic approach)을 사용하여, 신뢰할 수 있고 투명한 방식 (credible and transparent manner)으로 이루어진다.
10. 학습자와 그들의 진전 (progression)에 대해 논의하고 결정하기 위해 중간 검토 (Intermediate review)가 이루어진다.
11. 학습자는 모든 평가 데이터에 대한 자기 분석 (self-analysis)을 사용하여 (교수) 멘토/코치와 반복적인 학습 미팅 (recurrent learning meetings)을 갖는다.
12. 프로그램 평가는 개인의 학습 우선순위 (individual learning priorities)를 지원하도록 맞춤화된 학습 (learning being tailored)을 통해 자신의 학습에 대한 학습자의 주도성 및 책무성 (agency and accountability)을 점진적으로 증가시키는 것을 추구한다.

캐나다 왕립 내과 및 외과 대학 (Royal College)의 신뢰할 수 있는 전문 활동 (EPAs) 실행 (Royal College implementation of Entrustable Professional Activities [EPAs])

설계에 의한 역량 (Competence by Design, CBD)은 전공의 전문 훈련 (postgraduate specialist medical training)을 위해 캐나다 왕립 내과 및 외과 대학 (Royal College of Physicians and Surgeons of Canada, 이하 Royal College라 칭함)이 개발한 CBME 모델입니다. CBD에서 훈련은 네 가지 진행 단계 (progressive stages)로 구성됩니다. 각 훈련 단계마다 피교육자가 다음 단계로 승진 (promoted to the next stage)하기 전에 반드시 성취해야 하는 일련의 성과들 (a set of outcomes)이 정의되었습니다. 각 국가 전문 위원회 (national specialty committee)는 해당 전문 분야의 피교육자들을 위해 관련된 CanMEDS 이정표 (milestones)와 함께 EPA를 개념화하고 작성했습니다 (conceptualized and wrote).

• EPA는 피교육자가 충분한 역량 (sufficient competence)을 입증한 후 수행하도록 완전히 위임 (fully entrusted to perform)될 수 있는 해당 전문 분야의 핵심 과업 (key tasks)이며,
• 이정표는 그 과업을 완수하기 위해 요구되는 구성 기술들 (component skills)을 나타냅니다 [16, 17].

Royal College의 EPA (RCEPAs)는 단계별로 특화되어 있으며 본질적으로 발달적 (stage-specific and developmental in nature)입니다. 즉, 후반 단계의 EPA는 점진적으로 더 복잡해지며 (incrementally more complex) 초기 단계의 EPA를 기반으로 구축됩니다 (build upon). 한 단계에서 다음 단계로 나아가기 (progress) 위해서, 피교육자는 해당 단계 내의 EPA 성취를 입증해야 합니다. 역량 위원회 (Competence Committee, CC)는 피교육자의 포트폴리오 (portfolio) 내에 있는 사용 가능한 데이터를 포괄적으로 검토 (comprehensive review)한 후:

• a) EPA 성취에 대한 고부담 결정 (high-stakes decisions)과
• b) 훈련 단계를 거치는 전반적인 피교육자 진전 및 승진 (overall trainee progress and promotion)에 대해 프로그램에 권고 (recommendations)를 합니다 [14].

EPA 성취에 대한 결정은 CC의 관점에서 그리고 다수의 관찰 (multiple observations)에 근거하여, 전공의 (resident)가 해당 EPA를 일관되게 완수하도록 위임 (entrusted to consistently complete)받을 수 있을 때 내려집니다. 각 전문 위원회는 해당 분야의 EPA 성취에 대한 고부담 CC 결정을 지도하기 위해, 맥락의 다양성 (context variety)과 성공적인 EPA 관찰 횟수 (number of successful EPA observations)에 대한 국가 가이드라인 (National guidelines)을 개발했습니다. 그러나, 결정을 뒷받침하는 데 필요한 데이터의 유형과 양 (type and amount of data)을 결정하는 것은 CC에게 달려 있습니다 (up to the CC).

EPA는 즉각적인 관찰 및 코칭 피드백 (in-the-moment observation and coaching feedback)을 위한 목표물 (targets)로 기능하도록 설계되었습니다. 관찰된 과업에 대한 문서화 (Documentation)는 또한 CC가 EPA 성취에 대한 결정을 내리는 데 정보를 제공하기 위한 중요한 직장 바탕 평가 (workplace-based assessment, WBA) 데이터에 기여하도록 의도되었습니다. EPA 관찰은 일반적으로 EPA 관찰 양식 (EPA observation form) (그림 1)에 기록되지만, 프로그램들은 관찰을 기록하는 데 적합하다고 판단되는 어떠한 WBA 도구라도 사용할 수 있는 유연성 (flexibility)을 부여받습니다. EPA 관찰 양식 템플릿은 프로그램을 위한 자원 (resource)으로 개발되었으며, 수행에 대한 코칭 피드백과 판단 (judgments of performance)의 즉각적인 문서화를 용이하게 하도록 설계되었습니다. 이 관찰 양식은 RCEPA의 주요 특징 (key features)을 개요화하고 (outlines) 과업이 관찰된 구체적인 맥락 (specific context) (임상 환경, 환자 특성, 케이스 복잡성 등)을 문서화하도록 장려합니다. 지도전문의 (Supervisors)는 해당 임상 활동에 요구되는 감독 수준 (degree of supervision)에 근거하여 수행에 대한 단일한 포괄적 평정 (single global rating)을 제공하도록 요청받습니다. Royal College는 프로그램들이 다양한 임상 환경 전반에 걸쳐 강력한 심리측정적 특성 (strong psychometric characteristics)과 타당도 증거 (evidence of validity)를 입증한 O-SCORE 평정 척도 (rating scale)를 사용할 것을 강력히 권장했습니다 [18, 19, 20, 21, 22, 23]. 그러나, 프로그램들은 발달적 궤적 (developmental arc)을 따라 피교육자의 독립성 수준 (level of independence)을 나타내는 다른 회고적 감독 척도 (retrospective supervision scales)를 사용할 수 있는 지역적 유연성 (local flexibility)을 부여받았습니다 [24, 25]. 또한 각 EPA에 대한 이정표가 양식에 표시되어 지도전문의와 피교육자를 위해 과업을 “세분화 (breaking down)”함으로써 구체적이고 실천 가능한 (specific and actionable) 피드백 및 코칭 제공을 용이하게 합니다. 이러한 피드백을 문서화하기 위해 서술형 의견 섹션 (narrative comment section)이 포함되어 있습니다.

그림 1. EPA 관찰 양식 템플릿. EPA 신뢰할 수 있는 전문 활동 (EPA observation form template. EPA entrustable professional activity.)

직장 내 (In the workplace)에서는, EPA 관찰 양식 이외의 다양한 평가 방법 및 도구를 사용하여 EPA를 관찰하고 평가하는 방식에 다용도성 (versatility)이 존재합니다.

• EPA는 임상 평가, 의사소통 기술, 리더십 기술, 술기 능력에 대한 관찰과 같이 임상 지도전문의에 의해 직접 관찰 (directly observed)될 수 있습니다.
• 또한 케이스 또는 차트 검토, 혹은 자문 기록 (consult note)과 같은 작업 산출물 검토 (review of work products)와 같은 다양한 방법을 사용하여 간접적으로 관찰 (indirectly observed)될 수도 있습니다.
• EPA는 다면 피드백 (multisource feedback)으로부터 수집된 데이터를 사용하여 평가될 수도 있습니다.
• 더욱이, 다양한 WBA 도구 (단지 EPA 관찰 양식뿐만 아니라)에서 나온 질적 및 양적 데이터가 집계되고 다각검증 (aggregated and triangulated)되어 EPA 성취에 관한 CC 결정에 정보를 제공할 수 있습니다.
• 따라서, EPA를 수행하는 전공의의 능력은 서로 다른 관찰 방법 (different methods of observation)을 사용하는 지도전문의들에 의해 평가될 수 있으며 다양한 WBA 도구를 사용하여 기록될 수 있습니다.

문서화된 EPA 관찰 (documented EPA observations)의 설계 및 실행은 2020 오타와 합의 성명서 (Ottawa consensus statement)에 정의된 프로그램 평가의 원칙들과 일치하도록 (align) 의도되었습니다 (표 3).

표 3. 2020 오타와 합의 성명서에 정의된 프로그램 평가 원칙과 매칭된 문서화된 EPA 관찰 특성 (Documented EPA observation characteristics matched to programmatic assessment principles defined in the 2020 Ottawa consensus statement [8].)

약어: EPA 신뢰할 수 있는 전문 활동; CC 역량 위원회 (Abbreviations: EPA entrustable professional activity; CC competence committee).

EPA를 넘어서 – 평가 프로그램 (Beyond EPAs – the program of assessment)

CBD 모델은 프로그램들이 반드시 준수해야 하는 (must adhere to) 각 전문 분야별 단계 및 EPA로 구성된 국가 교육 프레임워크 (national educational framework)를 수립합니다. 그러나 CC에 의한 훈련 진전에 대한 고부담 결정은 오로지 EPA 성취 여부의 결정 (determination of EPA achievement)에만 기반하도록 의도되지 않았습니다. 그보다는, 프로그램들은 피교육자의 발달에 대한 포괄적인 관점 (comprehensive view)을 얻기 위해 EPA 프레임워크에 의해 포착되지 않는 역량 및 내용 (competencies and content)에 관련된 평가 정보 또한 수집해야 합니다. 프로그램들은 전공의의 훈련 진전에 대한 CC의 결정을 알리기 위해 EPA 기반 데이터와 비-EPA 기반 데이터 (non-EPA based data) 모두의 다수를 통합하는 (integrates a host of) 그들만의 고유한 평가 “모음 (suite)”을 설계할 수 있는 유연성 (flexibility)을 부여받습니다 (표 2, 원칙 6–8 참조).

CBME는 피교육자의 발달에 대한 보다 전체적인 관점 (holistic view)을 희생시키면서 (at the expense of) 역량을 EPA와 같이 분절되고 측정 가능한 과업 (discrete measurable tasks)으로 해체한다는 (deconstructing) 비판을 받아왔습니다 [26, 27]. 그러나, CBD 맥락에서의 EPA는 모든 것을 포함하도록 (all-encompassing) 설계되지 않았습니다; 그것들은 유능한 졸업생에게 필수적인 모든 지식, 기술, 태도 및 전문적 기대 (professional expectations)를 포착할 수 없습니다. 그보다는, 그것들은 프로그램과 피교육자를 위한 훈련 성과의 국가적 프레임워크 (national framework of training outcomes) 역할을 하도록 만들어졌습니다. CBD의 설계에 있어, 일선 교수진 (front-line faculty)에 의한 학습자의 직장 바탕 관찰 및 평가 (즉, EPA 프레임워크)를 위한 실질적인 기회 (practical opportunities)에 대한 필요성과 [16], 단지 직장 바탕 데이터뿐만 아니라 밀러의 피라미드 (Miller’s pyramid)의 모든 수준에 있는 평가 데이터를 CC가 포괄적으로 검토함으로써 학습자에 대한 전체적인 개요 (holistic overview)를 유지하는 것 사이의 균형을 맞추려는 시도 (attempt was made to balance)가 있었습니다 [14, 28]. 따라서, CBD 모델에서 피교육자의 진전 및 승진에 대한 방어 가능한 결정 (defensible decisions)을 위해서는 EPA 및 비-EPA 기반 내용과 관련된, 시간이 지남에 따라 다수의 출처와 방법으로부터 수집된 평가 정보의 보완 (complement)이 필요합니다 (표 2, 원칙 4 및 8 참조).

설계상 (By design), EPA는 전문 분야의 필수 과업이며 따라서 EPA 기반 평가는 전공의가 일일 임상 진료에서 무엇을 “하는가 (does)”에 초점을 맞춤으로써 밀러 피라미드의 가장 높은 수준 (highest level)을 목표로 합니다 [28]. 그러나, CC에 의한 피교육자 진전에 대한 방어 가능한 고부담 결정을 알리기 위해서는 밀러의 평가 위계 (assessment hierarchy)의 다양한 수준 (various levels)을 다루는 다양한 평가 방법들 (diverse assessment methods)이 필요합니다 [29]. 그러므로, 국가 EPA 프레임워크에 의해 안내되는 평가 데이터를 수집하는 것에 더하여, 프로그램들은 그들의 평가 “모음”에 포함할 추가적인 비-EPA 기반 데이터가 무엇인지 결정해야 하며, 다음을 보장해야 합니다:

• 1) 각 평가 유형이 그것이 선택된 교육 활동의 목적과 일치함 (aligns with) (표 2, 원칙 5 참조),
• 2) 각 평가가 학습자에게 의미 있는 피드백 (meaningful feedback)을 생성하고 CC 결정에 정보를 제공할 유용한 데이터를 생성함 (표 2, 원칙 2 참조), 그리고
• 3) 서로 다른 평가 활동 전반의 데이터가 다각검증 (triangulated)될 수 있음 (표 2, 원칙 8 참조).

CBD EPA 설계의 독특한 특징 (Unique feature)은 구성 이정표 (component milestones)를 EPA 내에서 그리고 EPA 간에 연결 (linking)하는 것이며, 이는 EPA 관찰에 의해 잘 다루어지는 역량들과 다른 교수 및 평가 방법 (other methods of teaching and assessment)을 필요로 하는 역량들을 식별할 수 있게 해줍니다. 표 4는 고부담 진전 결정을 알리기 위해 프로그램들이 그들의 평가 모음에 통합하는 것을 고려할 수 있는 특정 평가 도구의 예시와 함께 다양한 평가 유형의 전부는 아니지만 일부 목록 (non-exhaustive list)을 제시합니다. 평가 모음의 신중한 선택 (deliberate selection)을 용이하게 하기 위해, 프로그램들은 교수 및 학습 활동뿐만 아니라 평가 방법이 의도된 학습 성과와 일치되는 구성적 일치 (constructive alignment) 개념을 적용하도록 장려됩니다 [30]. 이 과정은 다음을 명시적으로 매칭시키는 (explicitly matches) 교육과정 지도 (curriculum map)의 생성을 통해 지원받을 수 있습니다: 1) 학습 활동과 훈련 단계, 2) 역량과 학습 활동, 3) 평가 활동과 학습 활동, 그리고 4) 평가 도구와 평가 활동 [31].

표 4. 평가 유형별 평가 방법 및 도구의 예시 (Examples of assessment methods and tools by assessment type.)

약어: OSCEs 객관구조화진료시험 (Abbreviation: OSCEs objective structured clinical examinations).

요약하자면 (In summary), CBD 접근법은 전문 분야의 모든 프로그램에 국가 EPA 세트 (national set of EPAs)를 제공함으로써 중요한 임상 학습 성과를 표준화 (standardizing)하고 이러한 성과를 중심으로 한 WBA 시스템의 실행을 용이하게 합니다. 개별 프로그램들은 피교육자의 발달에 대한 포괄적인 그림 (comprehensive picture)을 생성하기 위해 국가 EPA 프레임워크에 의해 안내되는 WBA와 비-EPA 기반 평가 모두를 포함하는 지역적 평가 프로그램 (local program of assessment)을 설계하는 데 유연성 (flexibility)을 부여받습니다. Royal College 인증 기준 (accreditation standards)과 정기적인 인증 조사 (accreditation surveys)는 개별 프로그램들이 해당 전문 분야의 전체 역량 스펙트럼 (full spectrum of competencies)을 다루고 방어 가능한 진전 및 승진 결정을 가능하게 하는 전체적인 평가 프로그램 (holistic program of assessment)을 개발하기 위한 요구사항을 충족하도록 보장합니다.

성찰과 교훈 (Reflections and lessons learned)

여느 주요한 변화 이니셔티브 (major change initiative)와 마찬가지로, Royal College는 초기에 실행상의 도전 (implementation challenges)에 직면했습니다. 그러나, 이러한 시련들 (trials)은 보편적으로 경험된 것은 아니었습니다 (not universally experienced). 예를 들어, 나중에 실행한 전문 분야들은 초기 실행자들 (early implementers)의 과거 경험과 그들이 얻은 교훈으로부터 혜택을 받았습니다. 하지만, 동일한 실행 집단 (implementation cohort) 내에서도 기관, 전문 분야 및 프로그램 전반에 걸쳐 변동성 (variability)이 관찰되었습니다 [35]. 따라서, 성공적인 실행에 영향을 미치는 매개 요인들 (mediators)을 결정하고 특징짓는 노력은 여전히 Royal College의 프로그램 평가 전략의 중요한 요소로 남아 있습니다 [36]. 우리는 또한 이러한 도전 중 많은 부분이 CBD 실행에만 고유한 것이 아니며 (not unique) 이전에 문헌에서 기술된 바 있다는 점을 인정합니다 (acknowledge). 일부는 각 프로그램의 지역적 맥락 (local context) 전반에 적용될 수 있는 단일한 분절적 해결책 (single discrete solution)이 없는 “난제들 (wicked problems)”을 나타내며, 이는 전국적 규모의 실행이 가진 복잡성 (complexity)을 강조합니다. 더욱이, 일부 도전은 예상되었던 반면, 일부는 의도하지 않은 예상치 못한 결과 (unintended and unexpected consequences)를 나타내며, 이에 대해 CBD의 평가, 적응 및 대규모 진화 (evaluation, adaptation and large-scale evolution)라는 반복적인 과정 (iterative process)이 진행 중입니다. 여기서 우리는 이러한 도전들이 CBD의 전국적 실행에 어떻게 독특한 영향을 미쳤는지 성찰하고, 다른 이들에게 지침이 되기를 (guide others) 바라는 마음으로 얻은 교훈을 강조합니다.

도전 1 – 평가 프로그램 (program of assessment)을 배제한 채 EPA 기반 평가 데이터에만 치중 (Challenge 1 – Emphasis on EPA-based assessment data at the exclusion of a program of assessment)

CBD의 설계 및 실행과 함께, 직장 바탕 평가 (workplace-based assessments)를 지도하기 위한 새로운 국가적 EPA 프레임워크 (new national framework of EPAs)가 도입되었습니다. 전문 위원회와 프로그램 책임자들 (program directors)은 일련의 CBD 워크숍 동안 그들의 국가적 EPA를 설계, 정제 및 수립하기 위해 상당한 시간과 노력을 투자했습니다 [37]. 게다가, 일선 현장 (on the front lines)에서는 활용과 참여 (uptake and engagement)를 강화하려는 목표로 프로그램, 교수진 및 피교육자들을 그들의 새로운 전문 분야별 EPA에 적응시키는 데 (on-boarding) 자원이 투입되었습니다 (dedicated). 이러한 노력은 각 전문 분야를 위한 새로운 국가적 역량 세트 (new national set of competencies)의 실행을 용이하게 하기 위해 필요했지만, EPA에 대한 인식된 강조 (perceived emphasis)는 프로그램 평가의 원칙에 도전하는 (challenge) 몇 가지 상호 관련된 그리고 의도하지 않은 결과들을 낳았습니다 (표 5).

표 5. EPA 실행으로부터 얻은 성찰과 교훈 (Reflections and lessons learned from EPA implementation.)

약어: CBD 설계에 의한 역량 (Competence by Design); CC 역량 위원회 (Competence Committee); EPA 신뢰할 수 있는 전문 활동 (entrustable professional activity); PA 프로그램 평가 (programmatic assessment).

도전 2 – 평가 부담에 대한 인식에 영향을 미치는 용어 (Challenge 2 – Terminology impacting the perception of assessment stakes)

Royal College에 의한 EPA 관찰 양식의 설계에는 O-SCORE 평정 척도의 광범위한 도입 (wide-scale introduction)이 포함되었습니다 [18, 47]. O-SCORE 척도는 관찰된 과업에 대해 지도전문의가 필요로 했던 관여 정도 (degree of involvement)를 기술하기 위해 구어체 언어 (colloquial language)를 사용하여 작성된 앵커 (anchors)를 포함합니다. 이 척도는 다양한 임상 맥락에 적용되어 왔으며 신뢰할 수 있는 점수 (reliable scores)와 훈련 수준을 변별하는 능력 (ability to discriminate training level)을 포함하여 강력한 심리측정적 특성을 입증했습니다 [19, 20, 22, 23, 48]. O-SCORE와 다른 유사한 척도들은 초기에 위임 가능성 척도 (entrustability scales)라고 기술되었습니다 [49]. Royal College가 예상하지 못한 것은 일선 교수진이 단일 EPA 관찰 양식에 제공한 평정을 피교육자가 미래에 해당 과업을 수행하도록 완전히 위임될 수 있는지 여부에 대한 고부담 판단 (high-stakes judgment)으로 인식할 것이라는 점이었습니다 (이 결정은 시간이 지남에 따라 서로 다른 맥락에서 수집된 다수의 데이터 포인트의 다각검증에 근거하여 CC를 위해 유보된 것입니다; 표 2, 원칙 7 및 8 참조). 더 넓은 의학 교육 커뮤니티는 위임 가능성 척도라는 용어가 교수진에게 그들이 EPA 관찰 양식에 기록한 수행 평정이 전공의의 미래 위임에 대한 결정 (determination)이라는 메시지를 의도치 않게 그리고 잘못 전달하고 있다 (inadvertently and erroneously conveying)는 우려를 제기했습니다 [50]. 이는 이러한 평가에 대해 인식된 부담 (perceived stakes)을 높이고 일선 교수진에게 과도한 부담과 책임 (undue burden and responsibility)을 지우게 되었습니다 (표 2, 원칙 3 및 7 참조) [24, 51].

https://pubmed.ncbi.nlm.nih.gov/22914526/

성찰과 교훈 (Reflections and lessons learned)

EPA 수행에 대한 교수진 판단의 부담을 둘러싼 오해를 불식시키기 위한 (dispel the misconception) 노력의 일환으로, Royal College는 ‘위임 가능성 (entrustability)’이라는 용어와 그것이 가질 수 있는 모든 고부담 함축 의미 (high-stakes connotations)를 제거하기 위해 회고적 감독 척도 (retrospective supervision scale)라는 용어로 전환하는 것을 고려하고 있습니다 [24]. 추가적으로, 평가자들이 평가의 학습 목표 (learning goal) (저부담, 관찰된 만남에 근거한 피드백과 성장에 초점)를 더 잘 이해하도록 돕기 위해 교수 개발 (faculty development)을 위한 지속적인 자원이 개발 및 배포되고 있습니다. 평가의 교육적 영향력 (educational impact)은 주로 학습자에 대한 서술형 피드백 (narrative feedback)에서 파생되므로, 평가에 기록된 서술형 의견의 질을 향상시키기 위한 지속적인 교수 개발 전략은 Royal College가 CBD 실행을 계속해서 강화함에 따라 (continues to enhance) 초점이 되어 왔습니다.

도전 3 – 파견 로테이션 (Challenge 3 – Off-service rotations)

전문 분야별 EPA 시스템 (system of discipline-specific EPAs)을 사용하여 파견 로테이션 (off-service rotations) 중인 피교육자를 평가하는 것은 몇 가지 이유로 둥근 구멍에 네모난 못을 끼우려는 것 (square peg in a round hole)처럼 도전적일 수 있습니다.

• 첫째, 평가자가 피교육자와 동일한 전문 분야가 아니기 때문에, 피교육자의 전문 분야에서 유능하고 독립적인 진료를 위한 표준 (standard)에 익숙하지 않을 수 있습니다.
• 둘째, EPA는 전문 분야에 특화된 과업 (discipline-specific tasks)이므로 다른 임상 환경에서는 관찰되지 않을 수 있습니다. 일부 전문 위원회는 파견 로테이션에서 관찰되고 평가될 수 있는 EPA를 설계하는 데 신중을 기했지만 (deliberate), 이는 전문 분야 전반에 걸쳐 다양하게 고려되었습니다 (variably considered).
• 셋째, 파견 로테이션의 목표는 과업을 독립적으로 수행하는 능력 (즉, EPA)을 획득하는 것이 아닐 수 있습니다; 대신 지식 습득 (knowledge acquisition)이나 기술 개발 (skill development)일 수 있습니다. 결과적으로, 파견 교수진에게 EPA 평가를 완료하도록 요청하는 것은 의도된 학습 성과 (intended learning outcomes)와 관련이 없을 수 있으며 많은 프로그램이 필요하다고 느끼는 수준의 유용한 정보 문서화를 촉진하지 못할 수 있습니다.
• 넷째, 다양한 전문 분야에서 로테이션을 도는 파견 피교육자들을 위해 무엇을 가르치고 평가해야 하는지에 대해 교수진을 오리엔테이션 (orienting)하는 것은 도전적입니다.

성찰과 교훈 (Reflections and lessons learned)

피교육자가 왜 특정 파견 로테이션을 가는지에 대한 명확한 이해 (clear understanding)가 본 소속 프로그램 (home program)에 의해 수립되어야 하며 사용되는 평가 도구는 이러한 목표를 반영해야 합니다 (표 2, 원칙 5 참조).

• 파견 로테이션 동안 피교육자가 어떻게 발달하고 있는지에 대한 세부 사항을 포착하기 위해 (EPA 관찰 양식 이외의) 다른 유형의 평가 도구를 사용하는 것은 CC에게 더 의미 있는 데이터 (meaningful data)를 제공할 수 있습니다.
• 이는 또한 피교육자가 이러한 로테이션 동안 적절한 훈련 경험에 노출되고 있는지 확인하는 데 도움이 됩니다. 파견 교수진에게 이러한 로테이션의 목표, 평가해야 할 것, 그리고 사용될 평가 도구의 유형에 대한 오리엔테이션을 제공하는 것은 이러한 로테이션 동안 수집되는 수행 데이터의 질 (quality of performance data)을 향상시킬 수 있습니다. 그러나, 관여될 수 있는 교수진의 상당한 숫자 (significant number) 때문에 이것이 항상 가능하지는 않을 것임이 인식됩니다.
• 따라서, 평가 도구를 가능한 한 사용자 친화적 (user friendly)으로 만드는 것이 도움이 될 수 있습니다.

도전 4 – 평가에 대한 전공의 부담 (Challenge 4 – Resident burden of assessment)

많은 프로그램이 피교육자가 EPA 관찰을 주도하는 것 (driving EPA observations)에 전적으로 책임 (solely responsible)이 있도록 평가 시스템을 설정했습니다. 피교육자가 자신의 학습을 지휘하는 것 (direct their own learning)에는 분명 가치가 있지만, 피교육자 주도 평가 (trainee-driven assessments)에 대한 배타적 의존 (exclusive reliance)은 몇 가지 의도하지 않은 결과를 초래했습니다. 여기에는

• 피교육자에 대한 업무 부담 증가 (increased burden of work) [42],
• 전공의 웰빙 (resident wellness)에 대한 부정적 영향 [52],
• 어떤 교수진이 평가를 완료하는지에 대한 제한 (limitations),
• 피교육자가 독립적인 수행 (independent performance)을 입증한 경우로만 평가가 제한되는 것 [53], 그리고
• 전반적으로 문서화된 관찰 수의 감소가 포함됩니다.

성찰과 교훈 (Reflections and lessons learned)

평가 활동의 개시 (Initiation)는 교수진과 피교육자 모두가 공유하는 책임 (responsibility shared)이어야 합니다.

• 피교육자는 자신의 강점 영역과 더 많은 관찰 및 코칭이 필요한 진료 영역에 대해 가장 잘 알고 있을 수 있지만, 교수진은 피교육자가 아직 식별하지 못한 결핍 (deficiencies)을 포착하는 데 더 잘 조율되어 있을 수 있습니다 (more attuned to pick up).
• 따라서, 평가는 이 작업의 부담이 공유되고, 매우 다양한 교수진과 광범위한 관찰자 (range of observers)가 참여하며, 피교육자가 독립을 향해 나아감에 따라 임상 수행에 대한 일상적이고 문서화된 피드백 (routine and documented feedback)을 받을 수 있도록 보장하기 위해 교수진과 피교육자 모두에 의해 촉발 (triggered)되어야 합니다.
• EPA를 특정 로테이션에 매핑 (Mapping)하는 것은 교수진이 그들이 일상적으로 관찰하고 평가할 과업의 하위 집합 (subset of tasks)에 더 익숙해지도록 돕고 (표 2, 원칙 5 참조) 그들이 피교육자 평가에 투자해야 하는 노력을 줄여줄 수 있습니다.
• 또한, 주당 촉발되어야 하는 문서화된 관찰의 수와 누가 촉발해야 하는지에 대한 기대치 (expectation)를 설정한 프로그램들이 위의 도전들을 해결하는 데 더 큰 성공을 거두었습니다.

도전 5 – EPA의 현실 세계 실행 (Challenge 5 – Real-world implementation of EPAs)

프로그램 책임자와 전문 위원회가 EPA를 해당 분야의 핵심 과업을 반영하도록 설계하기 위해 모든 노력을 기울였지만, 실행 초기 단계에서 일부 EPA가 실질적인 일일 업무 흐름 (practical daily workflow)과 일치하지 않음 (not congruent)이 분명해졌습니다 (예: 재택 당직 [home-call] 중인 교수진에 의한 과업의 직접 관찰). 이해할 만하게도 (Understandably), 이는 그러한 EPA 관찰의 수용성 (acceptability), 인식된 타당도 (perceived validity), 그리고 교육적 영향력 (educational impact)에 영향을 미쳤습니다 (표 2, 원칙 2 및 5 참조) [54, 55, 56].

성찰과 교훈 (Reflections and lessons learned)

마거릿 애트우드 (Margaret Atwood)는 “만약 내가 완벽을 기다렸다면, 나는 한 글자도 쓰지 못했을 것이다 [57]”라고 말했습니다. 여느 주요한 변화 이니셔티브와 마찬가지로, Royal College는 지속적인 질 향상 (continuous quality improvement) 과정을 사용하여 전문 위원회 수준에서 국가적 EPA 세트를 반복하고 정제하는 것 (iterate and refine)을 목표로 했습니다. CBD를 가장 먼저 시작한 (first to launch) 일부 전문 분야들은 그들의 원래 EPA에 대한 정제 (refinements)를 수행했지만, 다른 분야들은 이제 막 개정 과정 (revision process)을 시작하고 있습니다. Royal College는 전문 위원회 수준에서 EPA 개정을 지원할 수 있는 역량 (capacity)이 자원 제약 (resource constraints)에 의해 영향을 받을 것임을 인식했습니다. 대규모 평가 프로그램을 실행하려는 교육자들은 전체 실행 (full implementation) 이전에 더 작은 규모로 파일럿 (piloting)을 수행하는 것을 고려해야 합니다. 파일럿은 예상치 못한 도전을 식별하고, 자원 필요가 증가하는 영역을 파악하며, 지속적인 개발을 위한 인프라를 구축하고, 지속적인 질 향상을 촉진하기 위한 충분한 역량 (sufficient capacity)을 보장하는 데 도움이 될 수 있습니다 [58].

결론 (Conclusion)

학습을 지도하도록 설계된 평가 프로그램 모델의 실행은, 동시에 다양한 전문 분야 (multiple disciplines)에 걸쳐 전국적 수준 (national level)에서 EPA 성취 및 훈련 진전에 대한 방어 가능한 결정을 지원하기 위한 견고한 데이터 수집을 보장해야 하며, 이는 복잡한 과정 (complex process)이자 주요한 변화 이니셔티브입니다. 우리는 EPA를 중심으로 한 WBA 시스템을 통합하는 CBD 프로그램 평가 모델을 기술하고 이 여정 (journey)에서 겪은 도전들에 대해 성찰했습니다. 이 논문이 평가 시스템의 대규모 변혁 (large-scale transformation)에 착수하려는 (intending to embark on) 다른 교육자들에게 가치 있는 통찰력 (valuable insights)을 제공하기를 희망합니다.

Competence by Design: The Role of High-Stakes Examinations in a Competence Based Medical Education System

역량 중심 교육(CBME) 시대, 시험은 사라질까?

안녕하세요! 오늘은 캐나다 왕립 대학(Royal College)의 시험 위원회 리더들이 발표한 흥미로운 논문을 하나 소개하려고 합니다.

요즘 의학 교육의 대세는 단연 역량 중심 의학 교육(Competence Based Medical Education, CBME)이죠. 현장에서 전공의들을 수시로 관찰하고 피드백을 주는 직장 기반 평가(Workplace-based Assessment)가 강조되면서, 혹자는 "이제 예전처럼 각 잡고 보는 거대한 시험(Examination)은 필요 없는 거 아니야?"라고 묻기도 합니다.

하지만 이 논문의 저자들은 단호하게 "아니요"라고 말합니다. 왜 CBME 시대에도 고부담 시험(High-stakes examinations)이 여전히 중요할까요? 그리고 이 시험들은 새로운 교육 흐름에 맞춰 어떻게 진화해야 할까요?

1. 왜 여전히 '시험'이 필요한가? (The "Failure to Fail" Problem)

우리는 수시로 전공의들을 평가한다고 하지만, 솔직히 말해 현장에는 여전히 '실패시키지 못함(Failure to fail)' 문화가 존재합니다. 교수님들도 사람인지라 제자를 유급시키거나 낙제점을 주는 게 쉽지 않죠.

논문에서는 이 점을 아주 뼈아프게 지적합니다.

"불행하게도, 보건 의료 전문직 교육은 임상 환경에 있는 전공의들에 대해 ‘실패시키지 못함’ 문화를 계속해서 보여주고 있으며, 우리가 직장 기반 평가의 타당도를 결정할 때까지는 CBME가 도입된다고 해서 이것이 변할 것이라고 가정할 수 없다." (Unfortunately, health professions education continues to exhibit a “‘failure to fail” culture for trainees in the clinical environment and we cannot assume this will change with CBME until we determine the validity of workplace-based assessment.)

더 무서운 사실은, 교수님들이라면 누구나 마음속으로 '아, 저 친구는 좀 불안한데...'라고 생각하는 전공의가 있다는 겁니다.

"솔직한 성찰에 참여하는 임상 교수라면 누구나 우려를 가지고 있는 전공의들, 즉 임상 훈련이 끝날 때쯤 자신의 가족을 믿고 맡길 수 없는 의사 지망생들을 거의 확실하게 식별해 낼 것이다." (Any clinical faculty who engage in honest reflection will almost certainly identify trainees about whom they have concerns — aspiring physicians whom they would not trust to look after their own family members by the end of their clinical training.)

결국, 각 수련 병원이나 프로그램이 '온정주의'나 '소송 걱정' 때문에 제대로 걸러내지 못하는 부분을, 국가 차원의 독립적인 시험이 최후의 보루로서 걸러줘야 한다는 것이죠. 이는 사회와의 약속이기도 합니다.

"모든 수련 프로그램이 수련 기간 내내 학습자에 대한 정직한 평가를 완료하고... 사회적 계약상의 의무를 다하고 있는 것은 아니라고 주장할 수 있다." (It can be argued that not all training programs are meeting their obligation in the social contract to complete honest assessments of learners throughout their training.)

2. 시험은 어떻게 진화해야 하는가? (9 Key Adaptations)

그렇다고 옛날 방식 그대로 시험만 고집해서는 안 되겠죠? Royal College는 CBD(Competence by Design) 모델에 맞춰 시험 제도를 9가지 측면에서 대대적으로 뜯어고쳤다고 해요. 핵심만 쏙 뽑아 정리해 드릴게요.

• ① 더 이른 시험 시기 (Earlier Timing) ⏰ 수련이 다 끝날 때 시험을 보는 게 아니라, 조금 앞당겨서 봅니다. 시험에 합격하고 나면 남은 수련 기간(Transition to Practice 단계) 동안은 시험 공부가 아니라 진짜 '임상 실무'에만 집중할 수 있게요. 혹시 떨어지더라도 수련 중에 재교육(Remediation) 받을 기회를 줍니다.
• ② 평가 간의 정렬 (Alignment) 🔗 시험에서 잘 볼 수 있는 것(지식, 드문 케이스 대처)과 현장에서 잘 볼 수 있는 것(태도, 술기)을 구분해서 서로 상호 보완(Complementary)하게 설계합니다.
• ③ 시험 순서 재배치 (Sequencing) 1️⃣➡️2️⃣ 필기시험(Written)에 먼저 합격해야 구술/실기(Applied) 시험을 볼 수 있게 바꿨습니다. ('필기 후 실기' 원칙)
• ④ 투명성 강화 (Transparency) 🔍 시험 청사진(Blueprint)과 예시 문항을 투명하게 공개해서, 운이나 요령이 아니라 진짜 역량(Competence)이 점수에 반영되도록 합니다.
• ⑤ 시험관 교육 (Examiner Training) 👨‍🏫 시험관들이 단순히 지엽적인 지식을 묻는 게 아니라, "이 사람이 캐나다에서 전문의로 활동할 역량이 있는가?"를 판단하도록 교육합니다.
• ⑥ 질 관리 (Quality Review) ✅ 문항 출제에 참여하지 않은 제3의 검토자가 문제의 명확성을 다시 확인합니다.
• ⑦ 포괄적 평정 척도 (Global Rating Scales) 📊 체크리스트(Checklist) 방식에서 벗어나, 전공의의 고차원적 사고와 임상적 의사결정을 평가할 수 있는 포괄적 평정 척도를 도입했습니다. 기계적 암기보다는 '생각하는 힘'을 보겠다는 거죠.
• ⑧ 심리측정의 변화 (Psychometrics) 📈 상대평가적 요소가 강한 'Cronbach's alpha' 대신, 절대적인 기준(역량) 도달 여부를 판단하기 좋은 'Theta' 값을 신뢰도 지표로 사용합니다.
• ⑨ 지속적 질 향상 (QI) 🔄 시험이 끝날 때마다 데이터를 분석해서 계속해서 시험 자체를 업그레이드합니다.

3. 마무리하며: 공존의 미학

결론적으로, 역량 중심 교육 시대에도 시험은 사라지지 않습니다. 오히려 직장 기반 평가가 놓칠 수 있는 부분을 채워주는 든든한 파트너로서 그 역할이 더 명확해졌다고 볼 수 있습니다. 저자들은 마지막으로 이렇게 강조합니다.

"시험은 직장 기반 평가를 보완하는 독립적인 제3자 평가로서 Royal College 인증 과정에서 필수적인 역할을 계속 수행한다." (Examinations continue to play an integral role in the Royal College certification process as an independent, third-party assessment that complements workplace-based assessment.)

결국 중요한 건 '시험이냐 아니냐'의 이분법이 아니라, '어떻게 하면 안전하고 유능한 의사를 길러낼 것인가'라는 목표를 위해 두 가지 평가 방식을 얼마나 조화롭게 섞느냐(Mix)인 것 같습니다.

서론 (Introduction)

역량 중심 의학 교육(competency based medical education, CBME) 시대에 고부담 시험(high-stakes examinations)의 역할(role)은 무엇인가? CBME와 프로그램식 평가(programmatic assessment)는 전공의(trainees)의 일상 업무(daily work) 속에서 이루어지는 빈번한 저부담 평가(frequent low-stakes assessments)로의 평가 철학(assessment philosophy) 및 설계(design)의 변화(shift)를 대변하며, 일부에서는 이것이 시험의 종말(end of examinations)을 알리는 신호가 되어야 한다고 제안해왔다. 불행하게도, 보건 의료 전문직 교육(health professions education)은 임상 환경(clinical environment)에 있는 전공의들에 대해 “실패시키지 못함(failure to fail)” 문화[1, 2]를 계속해서 보여주고 있으며(continues to exhibit), 우리가 직장 기반 평가(workplace-based assessment)의 타당도(validity)를 결정(determine)할 때까지는 CBME가 도입된다고 해서 이것이 변할 것이라고 가정(assume)할 수 없다. 대부분의 전공의가 성공(succeed)하고 많은 이들이 졸업 후 의학 교육(postgraduate medical training)에서 뛰어난 성과(excel)를 보이지만, 솔직한 성찰(honest reflection)에 참여(engage)하는 임상 교수(clinical faculty)라면 누구나 우려(concerns)를 가지고 있는 전공의들, 즉 임상 훈련(clinical training)이 끝날 때쯤 자신의 가족을 믿고 맡길 수 없는(would not trust to look after their own family members) 의사 지망생들을 거의 확실하게 식별(identify)해 낼 것이다. 이러한 우려는 전공의의 의학적 전문성(medical expertise)뿐만 아니라 의사소통(communication), 협력(collaboration) 또는 전문 직업적 품행(professional conduct)과 같은 다른 핵심 역량(core competencies)과도 관련이 있을 수 있다.

캐나다 왕립 내과 및 외과 대학(Royal College of Physician and Surgeons of Canada, 이하 Royal College)의 설계에 의한 역량(Competence by Design, CBD) 모델[3]을 포함한 CBME는 교육을 재형성(reshape)하고, 학습을 지원(support learning)하며, 우리의 미래 동료들에게 성장 마인드셋(growth mindset)을 촉진(promote)할 수 있는 엄청난 잠재력(tremendous potential)을 가지고 있다. 이러한 기회(opportunity)가 실현(realized)되기 위해서는,

• 학습자가 자신의 한계(limits)를 인정(acknowledgment)하고 개선이 필요한 영역(areas for improvement)에 대해 솔직한 토론(candid discussion)을 할 수 있도록 허용하는 안전하고 지지적인 학습 환경(safe, supportive learning environment)을 인식하는 문화적 변화(cultural shift)가 필요하다.
• 그 위에 더해(Layered on top of that), 전공의들의 지도 감독 없는 진료(unsupervised practice)를 향한 진행(progression)을 결정하기 위해 일선 교수진(front-line faculty)과 역량 위원회(Competence Committee) 구성원들의 책임무(accountability)가 강화되어야 한다.

밀러의 피라미드(Miller’s pyramid)[5] 최상단, 즉 전공의가 임상 진료(clinical practice)에서 실제로 “수행하는 것(what a trainee does)”(모든 CanMEDS[6] 역할(Roles)과 관련된)에 대한 빈번한 평가(frequent assessment)를 강조하는 잘 설계된 평가 프로그램(well-designed program of assessment)[4]은 널리 퍼져 있는 ‘실패시키지 못함(failure to fail)’ 문제를 해결(address)할 수 있는 이론적 잠재력(theoretic potential)을 제공한다.

‘실패시키지 못함(failure to fail)’ 현상을 뒷받침하는(underpinning) 요인(factors)은 무수히 많으며(myriad of), CBD가 의미 있는 문화 변화(meaningful culture change) 없이는 이 모든 것을 해결할 가능성은 낮다.

• 학습자 수준(learner level)에서, 전공의들은 평가의 인지된 부담(perceived stakes)과 그것이 자신의 진급(progression)에 미치는 영향 때문에,
  • 자신이 잘 수행할 수 있는 쉬운 증례(easy cases)를 선택(select)하거나 자신의 역량(competence)을 평가받기 위해 더 관대한 임상 지도전문의(lenient faculty supervisors)를 찾으려(seek) 할 수 있다.
  • 이는 성장 마인드셋의 발달(development)을 저해(hinders)할 뿐만 아니라 최종적인 총괄 평가(eventual summative assessment)의 타당도에 대한 위협(threat)이 된다.
• 임상 지도전문의 수준(clinical supervisor level)에서는
  • 수행에 대한 기대치(expectations of performance)가 불명확(unclear)할 수 있으며, (훈련받지 않은) 평가자(raters)들은 상당한 변동성(considerable variability)을 보일 수 있다.
  • 관대화 편향(leniency bias) 또한 우려되는 부분인데, 특히 전공의와의 사회적 상호작용(social interaction)이 있는 맥락이나, 평가자가 저조한 수행(poor performance)을 상황(circumstance)이나 증례(case)의 탓으로 돌리며(attribute), 관찰된 저조한 수행이 일회성 발생(one-time occurrence)이었다고 가정하여 우려 사항을 기록하지 않기로(choosing not to document) 선택하는 경우에 더욱 그러하다.
• 프로그램 수준(program level)에서는
  • 전공의의 “실패(failure)”가 수련 프로그램(training program)에 대한 좋지 않은 반영(reflects poorly)이 될 것이라는 우려,
  • 실패가 확인된 후 기다리고 있을 상당한 교정 교육 업무량(substantial remediation workload), 그리고
  • 실패한 전공의가 임상 진료 제공 일정(clinical service delivery schedules)에 공백(gaps)을 남길 수 있다는 우려가 있을 수 있다.
• 외부적 요인(External factors) 또한 신뢰할 수 있는 평가 결정(trustworthy assessment decisions)에 영향을 미칠 수 있는데,
  • 예를 들어 예상대로 발전하지 못하고 있는(not progressing as expected) 저성과 전공의(underperforming trainees)로부터의 소송 위협(threat of litigation) 등이 있다.
• 이러한 요인들은, 견고한 시험 과정(robust examination process)과 결합되어, 일부 프로그램들이 저조한 성과를 보이는 지원자(poorly performing candidates)를 식별(identify)하고 이들이 지도 감독 없는 진료(unsupervised practice)에 진입하는 것에 대한 장벽(barrier)을 만들기 위해 암묵적으로(implicitly) 국가 Royal College 시험에 의존(rely on)하는 환경을 고착화(perpetuated)시켰다.

비록 국가 인증 기관(national certifying bodies)이 시행하는 총괄 인증 시험(summative certification examinations)의 유용성(utility)과 역할이 특히 COVID-19 팬데믹 초기 단계[7] 동안 의문이 제기되었으나(questioned), 문헌(literature)은 인증/면허 시험(certifying/licensure examinations)이 중요한 환자 결과(important patient outcomes)뿐만 아니라 미래의 의사 성과(future physician performance)를 예측(predict)하는 데 도움이 된다고 시사한다[8–16]. 이 시험들은 지역 수련 프로그램(local training program)이 고전하고 있는 전공의(trainee struggling)를 식별하지 못하거나 앞서 언급한 ‘실패시키지 못함(failure to fail)’ 문제로 어려움을 겪고 있을 때, 대중을 위한 중요한 안전장치(important safeguards) 역할을 할 수 있다. 캐나다에서는 Royal College 시험에 불합격할 위험(risk of failing)이 있는 전공의들이 수련 과정에서 비교적 일찍 식별 가능한(identifiable) 경우가 많지만[17], 이러한 “신호(signal)”가 기록되어 사용 가능한 평가 데이터(documented, usable assessment data)로 변환(translated)되지는 않는다. 수련 중 평가(in-training evaluations)가 가장 취약한(weakest) 사람들은 Royal College 내과 시험(Internal Medicine examination)에서 불합격할 위험이 4배나 높지만[18], 그러한 개인들은 여전히 프로그램에 의해 시험 자격이 있는(eligible) 것으로 간주된다. Royal College 시험은 지도 감독 없는 진료를 위한 역량(competence for unsupervised practice)을 결정(determining)한다는 목표로 개발되므로, 모든 수련 프로그램이 수련 기간 내내 학습자에 대한 정직한 평가(honest assessments)를 완료하고 역량 및 프로그램 수료(program completion)에 대해 정확한 결정(accurate decisions)을 내려야 한다는 사회적 계약(social contract)[19]상의 의무(obligation)를 다하고 있는 것은 아니라고 주장할 수 있다. 따라서 국가 총괄 시험(National summative examinations)은 인증 과정(certification process)에서 중요한 상호 보완적 역할(important complementary role)을 계속해서 수행한다.

Royal College의 각 전문과(Specialty) 및 세부 전문과(Subspecialty)에는 시험 개발을 책임지는(responsible for the development) 시험 위원회(Examination Board)가 있다. 이 위원회는 교육 표준(educational standards)을 개발하는 국가 전문과 위원회(national Specialty Committee)뿐만 아니라, 정책(policy)을 개발하고 시험의 질(quality)과 타당도(validity)에 대한 지침(guidance) 및 감독(oversight)을 제공하는 상위 조직인 Royal College 시험 위원회(Examination Committee)에 보고(reports to)한다. 시험 위원회의 구성원(membership)은 캐나다 전역의 평가 분야 리더(leaders in assessment)들을 대변하며, 여기에는 다양한 외과, 내과 및 실험실 기반 분과(lab-based disciplines)를 대표하는 전현직 시험 위원장(Exam Board Chairs)들과 평가에 초점을 맞춘 박사급 과학자(PhD scientist)가 포함된다. 이 과정은 내부의 시험 품질 및 분석 부서(Exam Quality and Analytics unit)의 지원을 받는데, 여기에는 심리측정 팀(Psychometrics team)과 시험의 시행(delivery)을 구현(implements)하는 Royal College의 운영 팀(Operations team)이 포함된다. 전체적으로, 1,300명 이상의 전문의(specialist physicians)가 그들의 시간을 자원봉사(volunteer)하고 있으며, 67개 전문과/세부 전문과에 걸쳐 50명에 가까운 상근 직원(fulltime staff)이 시험 과정에 기여(contribute)하고 있다.

시험 위원회(Examination Committee) 내의 리더들과 시험 및 인증 분야에서 리더십 역할(leadership roles)을 맡은 의사 직원(staff physicians)들이 저술한 이 논문은, Royal College 고부담 인증 시험의 목표(aims), 미래의 역할(future role), 그리고 이것들이 CBD 모델과 어떻게 관련되는지(how they relate)를 설명(describes)한다. 고부담 시험을 위한 준비(preparation) 자체가 전공의의 학습(learning)과 행동(behaviour)에 지대한 영향을 미칠 수 있음을 인정(Acknowledging)하면서, 우리는 Royal College 시험이 CBD의 교육적 설계(educational design)를 지원하기 위해 어떻게 중요한 수정(important modifications)을 거치고 있는지 설명한다.

Royal College 시험의 목적 (Purpose of Royal College examinations)

Royal College 시험은 지원자가 CBD 프로그램에서 수련을 받았든 그 외의 맥락(outside of that context)에서 수련을 받았든 상관없이 모든 지원자(all candidates)에게 공정한 평가(fair assessment)를 제공하는 것을 목표로 한다(aim to).

• 모든 평가 활동(assessment activities)의 중요한 첫 단계(critical first step)는 평가의 목적(purpose of the assessment)을 결정하는 것이어야 한다.
  • Royal College 시험은 캐나다에서의 지도 감독 없는 임상 진료(unsupervised clinical practice)를 위한 역량을 결정하려는 의도(intention)로 청사진이 그려지고(blueprinted), 개발(developed)되고, 시행(delivered)되며, 각 전문 분야(discipline) 내의 현대적 진료 범위(contemporary scope of practice)에 기반하여 각 전문과에 대한 국가적 벤치마크(national benchmark)를 제공한다.
• 대부분의 지원자는 캐나다의 졸업 후 수련 프로그램(postgraduate training programs) 출신이다; 하지만, 상당한 소수(substantial minority)는 캐나다 밖에서 의학 수련을 마쳤으며 현재 캐나다에서 진료 중이거나 캐나다에서의 인증(및 면허) 취득(obtain certification and licensure)을 원하는 해외 의과대학 졸업생(international medical graduates)이다.
• 따라서 Royal College 인증을 통해 면허를 취득하고자 하는(seek licensure) 모든 이들이 해당 전문 분야의 동일한 기대 진료 범위(same expected scope of practice)에 걸쳐 동일한 기준(same standard)에 따라 평가받도록 보장(ensure)하는 것은 시험의 추가적인 기능(additional function)이다.

우리는 시험이나 평가 프로그램(program of assessment)과 같은 평가 활동에서 고려해야 할(consider) 핵심 요소(key elements)를 강조하기 위해 유용한 도구로서 CARVE라는 기억술(mnemonic)을 활용(utilize)한다[20, 21]. 좋은 평가(good assessment)를 위한 오타와 합의 프레임워크(Ottawa Consensus Framework)[22]에 기반하여, 이 기억술은 고부담 시험을 위한 다섯 가지 핵심 고려사항을 개괄(outlines)한다: 비용 효율성(Cost-effectiveness); 수용성(Acceptability); 신뢰도(Reliability); 타당도(Validity); 그리고 교육적 영향(Educational Impact).

시험의 일차적 목표(primary aim)는 관대화 편향(leniency bias)이 우려될 수 있는 지원자의 졸업 후 의학 교육(postgraduate medical education) 또는 임상 진료 감독(clinical practice supervision)으로부터 독립적이고(independent from), 거리를 둔(at arm’s length to) 과정을 활용하는 것이다.

• 이 시험은 인증 과정의 중요한 부분을 형성하는 직장 내 평가 프로그램(program of assessment in the workplace)을 보완(complement)하기 위해 내용 전문성(content expertise)을 갖춘 훈련된 시험관(trained examiners)을 고용하는 표준화된 과정(standardized process)을 활용(leverages)한다.
• 이러한 추가적인 평가의 원천(additional source of assessment, 즉 시험)은 인증(certification)을 둘러싼 의사결정(decision-making)에 있어 대중의 신뢰(public trust)를 증진(promoting)하는 데 도움이 될 수 있다.

Royal College가 개원 의사(physicians in practice)들에게 지속적인 재인증 시험(ongoing recertification examinations)을 시행(administer)하지 않는다는 점을 고려할 때, 이 초기 인증(initial certification)은 지원자와 사회(society) 모두에게 상당한 부담(substantial stakes)을 지닌다. 비록 Royal College 시험의 주된 목적이 지원자의 역량을 결정하는 것이지만, 평가가 학습을 주도(assessment drives learning)한다는 것은 잘 알려져 있으므로(well recognized), 평가 결정의 교육적 영향(educational impact)(예: 시험의 시기 및 내용)은 여전히 중요하다. 직장 기반 평가(workplace assessment)의 문화가 변화하고 CBD 평가의 타당도에 대한 증거(evidence)가 시간이 지남에 따라 더 명확해짐(becomes clearer)에 따라, Royal College는 인증을 위한 견고한 국가적 표준(robust national standard)을 보장(ensuring)하면서 시험을 계속해서 수정(revise)하고 적응(adapt)시켜 나갈 것이다.

통합된 역량 중심 국가 인증 과정에서의 시험을 위한 9가지 핵심 설계 적응 (Nine key design adaptations for examinations in an integrated competency-based national certification process)

Royal College의 시험 위원회(Examination Committee)는 이러한 적응(adaptations)을 개발하기 위해 대학 내의 상임 위원회(standing Committees), 시험 위원회(Examination Boards) 및 임상 교육자(Clinician Educators)들의 조언(advice)이나 정책(policy)을 통합(incorporate)하고자 긴밀히 협력해왔다(worked closely). 많은 이해관계자(stakeholders)가 있는 거대한 시스템에서의 여느 복잡한 변화(complex change)와 마찬가지로, 합의(consensus)가 항상 가능한 것은 아니었지만, 위원회는 문제점들을 성찰(reflect on issues)하고 전문과별 시험 위원회(Specialty specific Examination Boards)가 변화를 실행(implement)할 수 있도록 허용하는 통합된 접근법(integrated approach)을 개발했다. 변화의 영향(impact of the changes)은 위원회 업무의 진행 중인 지속적인 질 향상(Continuous Quality Improvement)의 일환으로 검토된다.

COVID-19 팬데믹은 지필 시험(paper-and-pencil examinations)과 대면 구술(face-to-face oral) 및 OSCE 시험에서 두 가지 모두를 위한 온라인 플랫폼(online platforms)의 사용으로 이동함에 따라, 시험 과정(examination process)에 상당한 변화(considerable change)를 요구했다. 아래에 개괄된 적응들(adaptations outlined below)은 시행 방법(methods of delivery)과 구체적인 시험 구조(specific examination structure)의 변화에도 불구하고 Royal College가 시험 과정에서 엄격성(rigour)과 타당도(validity)를 유지(maintain)할 수 있도록 해주었다.

더 이른 시험 시기 (Earlier timing for Examinations)

전공의(Trainees)들은, 심지어 CBD 프로그램에 있는 이들조차도, 그들의 인증 시험(certifying examinations)을 위해 계속해서 열심히 공부할 가능성이 높다(likely to continue to study hard). 시험을 수련 과정의 더 이른 시기(earlier in training)로 옮길 수 있는 기회는 전공의들이 시험에서 자신의 역량을 입증(demonstrate their competence)한 다음, 수련의 마지막 몇 달(final few months of training) 동안은 임상 교육(clinical education)에 학습을 집중(focus their learning)할 수 있게 해준다.

• 시험 준비(examination preparation)를 통한 해당 학문 분야(discipline)에 대한 강력한 이론적 이해(strong theoretical understanding)와 결합된 이러한 기회는, 학습자들이 흔히 강조되지 않는 수련의 측면(commonly underemphasized aspect of training)이자
• 여러 전문 분야에 걸쳐 졸업하는 전공의들에게서 자주 확인되는 진료 준비도 부족(perceived lack of readiness for practice)을 바로잡을(rectify) 수 있는 핵심 기회인 ‘진료 이행기(Transition to Practice, TTP)’ 단계(CBD 프로그램의 마지막 단계)에서 그들의 학습을 증폭(amplify)시킬 수 있게 해준다.
• 시험에 성공하지 못한(not successful) 전공의에게 있어, 더 이른 시험 시기는 그들이 여전히 수련 프로그램에 등록(registered)되어 있는 동안 교정(remediation)과 시험 준비 지원(examination preparation support)을 받을 기회를 제공한다.

현재까지, Royal College의 필기시험(written examinations)은 수련의 끝에서 CBD 프로그램의 4단계 중 3번째 단계인 ‘전문 분야의 핵심(Core of Discipline)’ 단계로 옮겨졌다[3, 23].

• 지금까지, TTP 단계로 이어지는 학습자의 지식(learner knowledge) 측면에서 일화적인 피드백(anecdotal feedback)은 긍정적이었으며, 지원자들은 나중에 시험을 치렀던 역사적 대조군(historical cohorts)과 유사한 비율(similar rates)로 시험에 합격할 수 있었다.
• 전문의(specialist physicians)들로부터의 콘텐츠 개발(content development)과 운영 지원(operational support) 측면 모두에서, 더 이른 시기의 고품질 시험(earlier high-quality examination)을 하나 더 만들어내는 업무량(workload)은 상당하다(substantial).

평가 간의 정렬 (Alignment across assessments)

모든 Royal College 시험은 캐나다의 임상 진료(clinical practice)를 반영(reflect)하고 있는지 보장하기 위해 청사진(blueprints)에 대한 검토(review) 및/또는 수정(revisions)을 거친다.

• 시험 위원회는 무엇이 시험에서 가장 잘 평가되는지(best assessed on examinations), 그리고 반대로 무엇이 직장 기반 평가(workplace-based assessment)를 통해 가장 잘 결정되는지(best determined)를 고려하며, 이를 통해 인증 과정(certification process)에서 두 가지 형태의 평가에 대한 상호 보완적인 접근법(complementary approach)을 지원한다.
• 이 접근법은 주제(topics)들이 한 가지 형태의 평가에서만 배타적으로 다루어져야 한다(covered exclusively)는 것을 요구하지 않으며,
• 시험이 캐나다 프로그램 출신의 전공의와 CBD 수련 프로그램 출신이 아닌 해외 의과대학 졸업생(international medical graduates) 모두를 위한 인증의 외부 확인 지점(external checkpoint for certification)으로 기능(function)하기 위해서는 중복(overlap)이 있을 수 있고, 또 있어야 한다.

원칙(principle)은 평가되는 역량(competencies)에 대한 최적의 접근법(optimal approach)을 고려하는 것이다.

• 예를 들어, 전문 직업적 품행(professional conduct)은 임상 환경(clinical environment)에서 가장 잘 평가되는 반면, 해당 영역의 유능한 전문의(competent specialist)를 정의하는 유형인 덜 흔하지만 중요한 임상 상태(less common but important clinical condition)에 대한 지원자의 처치(management)는 시험에서 더 잘 평가될 수 있다.
• 수련 프로그램 내에서 발생하지만 국가적으로 개발되는(nationally developed) 시뮬레이션 기반 평가(Simulation based assessment) 또한 해당 전문과와 관련이 있을 때(when relevant) 인증 과정에 통합되었다[24]. 인증 과정이 필기(written) 및 응용 시험(applied examination - 구술, 객관구조화진료시험[OSCE], 또는 실기)을 모두 포함하는 경우, 시험 위원회는 또한 각 시험에서 무엇이 가장 잘 평가되는지를 결정한다.

시험의 순서 배열 (Sequencing of examinations)

• Royal College 시험은 지원자가 응용 시험(applied examination)에 응시(present)하기 전에 필기시험에 반드시 합격(must pass)해야 하는 ‘필기 후 실기(written-before-applied)’ 형식으로 전환(transitioning)되고 있으며, 이에 맞춰 청사진이 그려지고 설계되고 있다.
• 이러한 전환은 Royal College의 선다형 시험(multiple-choice examinations)에 대해 이미 이루어졌으며, 단답형 질문(short-answer questions)이 있는 시험을 가진 전문과들이 CBD로 전환됨에 따라 해당 시험들에 대해서도 시행되고 있다.

투명성 (Transparency)

• 지원자들이 시험 과정(examination process), 청사진(blueprint), 그리고 시험과 관련된 예시 문항(sample questions)을 이해할 수 있도록 투명성이 개선되고 있다. 이는 모든 Royal College 시험 위원회 위원장(board chairs)과 집행부(executives)의 광범위한 작업(extensive work)뿐만 아니라 Royal College 웹사이트에 대한 상당한 업데이트(substantial updates)를 필요로 했다. 투명성을 높이기 위한 이러한 노력은 구성 개념과 무관한 분산(construct-irrelevant variance)을 줄여서 점수의 변동(variation in scores)이 역량의 진정한 차이(true differences in competence)와 더 관련되도록 돕는다.

시험관 및 시험 리더십의 개발 (Development of examiners and exam leadership)

• 시험관(examiners)과 시험 위원회 리더십(examination board leadership)이 그들 역할의 의무(duties of their role)를 이행하고 캐나다 맥락에서의 역량(competence in the Canadian context)을 시험의 목표(target)로 고려할 수 있도록 돕기 위해 강화된 훈련(Enhanced training)이 제공되고 있다. 시험관들은 유능한 전문의(competent specialist)나 세부전문의(subspecialist)라면 시험에서 성공할 수 있도록(able to succeed) 문항을 개발하는 것을 목표로 한다(aim to).
• 일부 문항은 다른 문항보다 더 어려울 수 있지만, 전체 시험(overall examination)은 역량을 목표로 고려하도록 구축된다.
• Royal College는 인증 과정에서 전문과의 표준(standards)이 유지되도록 보장하기 위해 시간을 자원봉사(volunteer)하는 67개 전문과 및 세부 전문과에 걸친 1,300명 이상의 시험 위원회 구성원을 보유하고 있는 행운을 누리고 있다.
• 이 시험관들은 운영 시험 개발 및 시행 팀(operational examination development and delivery team)뿐만 아니라, 위원장, 부위원장, 집행부 및 위원들이 시험을 개발하고 검토할 때 교육과 지속적인 지원을 제공하는 심리측정 및 데이터 분석 팀(psychometrics and data analytics team)에 의해 지원받는다.

시험의 질 검토 (Quality review of the examination)

• 문항 개발 과정(question development process)에 참여하지 않는 시험 질 검토자(examination quality reviewer)가 전문과 또는 세부 전문과에 대한 명확성(clarity)과 관련성(relevance)을 위해 문항들을 검토한다. 이 과정은 시험의 타당도(validity)를 더해주며 시험이 가장 관련성 있는 자료(most relevant material)에 집중하도록 돕는다. 또한 학습자들을 관련성 있는 임상 진료(relevant clinical practice)에 집중시킴으로써 교육적 영향(educational impact)을 지원할 수도 있다.

포괄적 평정 척도 (Global rating scales)

• 응용 시험(구술, OSCE, 또는 실기 시험)을 활용하는 전문과 및 세부 전문과의 경우, 채점 도구(scoring tool)가 체크리스트(checklists)에서 벗어나 기계적 암기(rote memory)를 테스트하기보다는 임상적 의사결정(clinical decision-making)과 같은 의사의 과업(physician tasks)과 더 잘 정렬되는 고차원적 사고(higher order thinking)에 초점을 맞춘 포괄적 평정 척도(global rating scale)로 이동했다. 이 접근법은 인증 시험 수준에서의 역량 결정(determination of competence)과 더 잘 정렬되며, 더 낮은 연차의 학습자(more junior learners) 수준에서 더 적절할 수 있는 완전성(completeness)보다는 지원자들의 사려 깊은 답변(thoughtful answers)에 보상(rewards)을 준다.

심리측정적 접근법의 최신화 (Updating the psychometric approach)

• 더 역량 중심적인 접근법(competency-based approaches)과 정렬하기 위해 업데이트된 심리측정 과정(psychometric processes)이 시행되고 있다. 예를 들어, Royal College는 시험을 치르는 지원자 집단(cohort of candidates)에 의존적인(그리고 점수의 분산(spread of scores)을 달성하는 데 더 의존적이어서 규준 지향적 접근(norm-referenced approach)과 더 잘 정렬되는) 크론바흐 알파(Cronbach’s alpha) 대신, 일차적인 신뢰도 척도(primary reliability measure)로서 세타(theta, 시험의 결정 일관성(decision consistency)과 더 관련이 있고 시험에 대한 준거 지향적 접근(criterion-referenced approach)과 더 잘 정렬되는)로 이동했다.
• 추가적으로, 의도한 대로 작동하지 않을 수 있는(may not be working as intended) 문항을 식별하고 고려하여 시험에서 제거(removed)할 필요가 있는지 판단하기 위한 강화된 시험 후 문항 검토(post-examination question review) 및 심리측정 과정뿐만 아니라, 각 시험 위원회의 패널들과 함께 기준 설정(standard setting)을 수행하기 위한 강화된 과정이 있다.

질 향상 (Quality improvement)

• 한 번의 시험 반복(iteration)에서 다음으로의 지속적인 질 향상(Continuous quality improvement)은 고부담 평가(high-stakes assessment)에 관여하는 모든 조직에게 중요하다. Royal College의 지속적인 질 향상 과정은 지원자들의 시험 후 설문조사(post-examination surveys) 검토, 시험 질 검토자(examination quality reviewers)의 평가, 심리측정 데이터(psychometric data), 그리고 상위 조직인 Royal College 시험 위원회에 의한 전문과별 시험 검토에 의해 지원받는다.

요약 (Summary)

시험(Examinations)은 직장 기반 평가를 보완(complements)하는 독립적인 제3자 평가(independent, third-party assessment)로서 Royal College 인증 과정에서 필수적인 역할(integral role)을 계속 수행한다. 시험은 CBD 내의 평가 프로그램에 신뢰할 수 있는 앵커(credible anchor)를 제공하며 CBD 및 비-CBD 수련 프로그램 출신의 지원자 모두가 공통의 표준(common standard)에 따라 평가받을 수 있게 해준다. 오직 신중한 개발(careful development)과 시행(delivery)을 통해서만 Royal College는 시험 과정의 타당도(validity)를 유지할 수 있다. Royal College가 더 빈번한 직장 기반 평가를 포함하여 더 견고한 평가 프로그램(robust programs of assessment)을 개발하고 있지만, 대중의 신뢰(public trust)를 유지하고 Royal College의 전체 평가 과정(entire process of assessment)에서 타당도를 보장하기 위해서는 인증 시험의 변화를 신중하게 고려(considered carefully)해야 한다. 캐나다에서 착수된(undertaken) 시험 개혁에 대한 단계적 접근법(stepwise approach to examination reform)은 CBD로의 이동에 대한 프로그램 평가(program evaluation)에 정보를 줄 수 있는(inform), 시험으로부터 축적된 집계 데이터(aggregate data)를 제공한다. 시험에서의 전공의 성과(trainee performance) 변화, 특히 시험 점수(examination scores)나 합격률(pass rates)의 향상이 있거나, 심지어 시험이 몇 달에서 1년 더 일찍 치러졌음에도(taking place months to a year earlier) 합격률이 역사적 대조군(historical controls)과 유사하다면, 이는 CBD의 긍정적인 교육적 효과(positive educational effect)에 대한 신호(signal)로서 기능할 수 있다.

Perspect Med Educ. 2024 Feb 6;13(1):33-43. doi: 10.5334/pme.959. eCollection 2024.

Coaching in Competence by Design: A New Model of Coaching in the Moment and Coaching Over Time to Support Large Scale Implementation

안녕하세요! 👋 오늘은 최근 전 세계 의학교육의 화두인 역량 바탕 의학 교육(Competency Based Medical Education, CBME), 그중에서도 캐나다 왕립 내과·외과 대학(Royal College)에서 제시한 혁신적인 코칭 모델(Coaching Model)에 대한 따끈따끈한 논문을 소개해 드리려고 해요.

학생이나 전공의를 가르치다 보면 "어떻게 하면 이 친구가 더 성장할 수 있을까?" 고민하게 되잖아요. 이 논문은 그 해답을 '코칭(Coaching)'에서 찾고 있답니다. 🧐

1. 왜 하필 '코칭'인가요? 🤔

우리는 흔히 '가르친다(Teaching)' 혹은 '조언한다(Mentoring)'라는 말에 익숙하죠. 하지만 이 논문에서는 코칭을 아주 명확하게 구분하고 있어요. 바로 "지시하기보다 질문하기"입니다.

연구진은 코칭의 핵심을 이렇게 설명해요.

"점차 널리 퍼지고 있는 구분점은 지시하기보다 질문하기를 향한 코치의 지향성입니다; 코치는 학습자의 자기 성찰을 촉진하기 위해 강력한 질문을 던져 학습자를 자기 발견으로 이끄는 반면, 멘토, 조언자, 또는 교사는 자신의 과거 경험이나 전문성을 바탕으로 정보나 조언을 전달합니다."

"While it can be argued that mentoring, teaching, and coaching all focus on an individual’s development, an increasingly prevalent distinction is the coach’s orientation toward asking over telling; a coach asks powerful questions to catalyze learner self-reflection, leading the learner in self-discovery, whereas a mentor, advisor, or teacher imparts information or advice based on their own past experience or expertise."

즉, 답을 주는 게 아니라 스스로 답을 찾게 도와주는 것이 코칭의 본질이라는 거죠! ✨

2. 두 가지 코칭 스타일: CiM과 CoT ✌️

이 모델의 가장 큰 특징은 코칭을 두 가지 역할로 나눴다는 점이에요.

• 현장 코칭 (Coaching in the Moment, CiM): 임상 현장에서 짧고 굵게! ⏱️ 수련생이 환자를 볼 때 그 즉시 이루어지는 코칭이에요. "방금 그 처치는 어땠나요?"라고 묻는 것처럼요.
• 지속적인 코칭 (Coaching over Time, CoT): 한 명의 코치와 오랫동안 관계를 맺으며 성장 과정을 쭉 지켜보는 거예요. 📈 학습 포트폴리오를 함께 보면서 장기적인 목표를 세우는 거죠.

3. 코칭의 마법 주문: RX-OCR 🪄

"코칭 좋은 건 알겠는데, 당장 어떻게 해요?"라고 묻는 분들을 위해 연구진은 RX-OCR이라는 아주 구체적인 프로세스를 제안했어요.

1. R (Relationship/Rapport): 먼저 라포(Rapport)를 형성해서 안전한 학습 환경(Safe Learning Environment)을 만드세요.
2. X (Expectations): 오늘 무엇을 배울지 기대치를 설정하세요.
3. O (Observe): 직접 혹은 간접적으로 수련생을 관찰하세요.
4. C (Coach): 관찰한 내용을 바탕으로 코칭 대화를 나누세요.
5. R (Record/Reflect): 내용을 기록하고, 함께 성찰하세요.

특히 연구진은 첫 단추인 '안전한 환경'을 엄청나게 강조했답니다.

"이 안전을 확립하는 것의 중요성은 아무리 강조해도 지나치지 않습니다: 이것은 코칭의 근본 원칙입니다."

"The importance of establishing this safety cannot be overstated: it is a fundamental principle of coaching."

4. 현실적인 어려움과 해결책 💡

물론 바쁜 병원에서 코칭할 시간을 낸다는 게 쉽지는 않아요. 💦 연구진도 이를 잘 알고 있어요. "평가받는다"는 느낌 때문에 수련생들이 위축될 수도 있고요.

그래서 연구진은 이렇게 조언합니다.

"관찰은 현장 기반 평가(WBA)라기보다는 현장 기반 학습으로 프레임화되어야 하며, 임상 환경에서 수련생의 성장 마인드셋 채택을 지원하는 행동과 관행을 강조해야 합니다."

"Observations should be framed as workplace-based learning rather than workplace-based assessment (WBA), highlighting behaviours and practices that support trainees’ adoption of a growth mindset in clinical settings."

결국, "너를 평가하겠어!"가 아니라 "너의 성장을 도와줄게!"라는 메시지를 주는 게 핵심이겠죠? 🌱

📝 마무리하며

이 논문은 단순히 새로운 교육 이론을 소개하는 것을 넘어, 우리가 학습자를 대하는 태도 자체를 '성장(Growth)'과 '성찰(Reflection)' 중심으로 바꾸자고 제안하고 있어요.

더 좋은 의사를 길러내기 위해, 오늘부터 우리도 "정답을 말해주기보다 질문을 던지는" 코치가 되어보는 건 어떨까요? 🙌

캐나다 왕립 내과·외과 대학 코칭 모델 (The Royal College of Physicians and Surgeons of Canada coaching model)

서론 (Introduction)

역량 바탕 의학 교육(competency based medical education, CBME)이 학습자 중심의 발달적 교육(learner-centered, developmental education)이라는 약속을 이행하기 위해서는 의학 교육의 연속선상(continuum of medical education) 전반에 걸쳐 새로운 교수 학습 관행(new teaching and learning practices)이 요구됩니다. 역량 중심의 지도(Competency-focused instruction)는 역량의 발달적 습득(developmental acquisition of competencies) [1]을 촉진하는 CBME의 핵심 구성 요소(core component)이며, 코칭(coaching)은 이를 달성하기 위한 두드러진 수단(salient avenue)입니다. 발달 궤적(trajectory of development)은 학습자마다 다를 것입니다(vary among learners). 따라서 역량 중심 지도의 완전한 혜택(full benefit)을 가능하게 하려면, 지도와 안내(instruction and guidance)는 각 개인의 현존하는 능력 수준(existing level of ability)과 학습 목표(learning goals)에 맞춰 개별화(tailored)되어야 합니다. 코칭은 점진적인 향상(progressive improvement)에 초점을 맞추고 성장과 발달(growth and development) [2, 3]을 촉진하기 위해 개별화된 안내(individualized guidance)를 활용하며, 이는 역량 중심 지도와 일치(aligning with)하는 동시에 개별화된 지도의 필요성(need for individualized guidance)도 충족시킵니다. 점차적으로, 코칭은 개별 의학 학습자(individual medical learners)가 점진적인 역량(progressive competence)과 전문성 개발(professional development) [4, 5]을 추구하는 것을 돕는 접근법(approach to assist)으로 부상하고 있습니다(emerging). 따라서, 코칭은 CBME의 잠재력을 완전히 실현하는 데 있어 결정적(critical in realizing the full potential)입니다 [1].

코칭은 의학 교육의 연속선상에서 학습자에게 지도를 제공(provide guidance)하기 위해 활용될 수 있는 여러 접근법 중 하나입니다. 의학 교육에서 코칭에 대한 관심이 증가함(growing interest)에 따라, 그 목적을 명확히 하고(clarifying its purpose) 멘토링(mentoring) 및 티칭(teaching)과 구별하는 것(differentiating it from)이 중요합니다 [6, 7]. 멘토링, 티칭, 코칭 모두 개인의 발달(individual’s development)에 초점을 맞춘다고 주장할 수 있지만, 점차 널리 퍼지고 있는 구분점(increasingly prevalent distinction)은 지시하기보다 질문하기(asking over telling)를 향한 코치의 지향성(coach’s orientation)입니다;

• 코치는 학습자의 자기 성찰(learner self-reflection)을 촉진(catalyze)하기 위해 강력한 질문(powerful questions)을 던져 학습자를 자기 발견(self-discovery)으로 이끄는 반면, 멘토, 조언자(advisor), 또는 교사는 자신의 과거 경험이나 전문성(own past experience or expertise)을 바탕으로 정보나 조언을 전달(imparts information or advice)합니다.
• 또한, 코치는 문제 지향적(problem-oriented)이라기보다는 (미래의 진료를 위한) 향상 지향적(improvement-oriented)입니다 [8, 9]. 역량 프레임워크(Competency frameworks)는 훈련의 목표(goals of training)에 대해 필요한 명확성(necessary clarity)을 제공하는 한편, 코치는 학습자가 그 목표를 달성하기 위한 자신의 개별적인 궤적(individual trajectory)을 이해하도록 지원하고 촉진(supports and facilitates)합니다.
• 코칭은 미래의 수행(future performance)에 초점을 맞춥니다: 코치는 학습자가 더 큰 프레임워크(larger framework) 안에서 개인화된 목표(personalized goals)를 식별하고 학습을 위한 개별화된 경로(individualized pathways)를 만들 수 있도록 하는 성찰의 과정(process of reflection)을 통해 학습자를 안내합니다 [4, 6].
• 그렇게 함으로써, 코치는 학습자의 자율성(autonomy)을 증진하여 계속해서 성장하고 발달하려는 내재적 동기(intrinsic motivation)에 기여하는 동시에, 자기 조절 학습 기술(self-regulated learning skills) [10]을 촉진합니다.
• 코칭의 목적에 대한 이러한 공유된 이해(shared understanding)에 도달하는 것은 일관된 실행(consistent implementation), 유용한 교수 개발 지원(useful faculty development supports), 그리고 코칭의 영향에 대한 프로그램 평가(program evaluation of its impact)를 촉진할 것입니다.

피드백(Feedback) 또한 학습자의 수행 능력을 향상시키는(improving learner performance) [11, 12] 중요한 수단입니다. 그러나 수십 년간의 노력(decades of effort)에도 불구하고, 피드백은 학습자와 교사 양쪽의 관점 모두에서 여전히 난관으로 가득 차 있으며(fraught with challenges), 따라서 그 잠재력에 미치지 못했습니다(fallen short of its potential) [13, 14, 15, 16, 17, 18, 19, 20, 21, 22]. 1983년, Ende가 의학 교육에 피드백을 도입했을 때, 그는 피드백을 "학생이나 전공의(house officers)의 특정 활동에서의 수행을 기술하는 정보로서, 동일하거나 관련된 활동에서 미래의 수행을 안내하기 위해 의도된 것(intended to guide their future performance)"이라고 언급했습니다 [11]. 피드백은 방금 일어난 일(what has just happened)에 대한 정보를 제공하지만, 너무나 자주(all too often) 사후에(well after the fact), 비동기적으로(asynchronously), 서면 형태로(in written form), 그리고 그 말들에 실질적인 의미(practical meaning)를 부여하는 중요한 학습 대화(learning conversation) 없이 학습자에게 전달됩니다. 그렇기는 하지만(That said), 많은 경우 피드백은 코칭의 일부로서, 혹은 코칭 이전에 발생하기도 하지만, 코칭은 학습자와 코치가 관련 진료 분야(relevant practice area)에서 미래의 향상(future improvement)을 위한 현실적이고 실행 가능한 계획(realistic actionable plan)을 공동 생성(co-create)하는 것을 보장합니다. 흥미롭게도, 지난 10년 동안 피드백과 관련하여 확인된 몇 가지 도전 과제(challenges identified)를 해결하려는 시도 속에서, 피드백과 관련된 학술적 담론(scholarly discourse)은 개념적으로 변화(shifted, conceptually)했습니다. 이는 실행 가능한 개선 단계(actionable steps for improvement)를 도출하는 성찰적 대화(reflective conversation)에 학습자를 참여시켜야 할 필수적인 필요성(vital need)과, 피드백의 유용성(utility of feedback)에 영향을 미치는 중요한 관계적 및 사회문화적 요인(relational and sociocultural factors)에 주의를 기울여야 함을 환기시켰습니다 [23, 24, 25, 26]. 이러한 피드백의 새로운 실용론(new pragmatics of feedback)에 대한 진화하는 개념화(evolving conceptualization)는 코칭 관계(coaching relationship)의 기본적인 필수 요소들을 포함하고 있습니다.

코칭이 의학 교육에서는 여전히 부상하는 접근법(emerging approach)으로 여겨질 수 있지만, 다른 영역에서는 결코 새로운 개념(by no means a new concept)이 아닙니다. "코치(coach)"라는 단어는 16세기 중반으로 거슬러 올라갑니다(dates back to). 최종 목표(end goal)를 향해 학습을 안내하거나 촉진하는 사람을 지칭하는 오늘날의 의미(present-day meaning)는 1830년 옥스퍼드 대학의 학문적 맥락(academic context)에서 유래했습니다 [2]. 발달을 촉진하는 수단(means of promoting development)으로서, 코칭은 지난 50년 동안 스포츠, 예술, 비즈니스와 같은 다수의 고성과 전문 분야(multiple high-performing professional domains)로 확장되었습니다 [27, 28, 29, 30, 31]. 코칭의 만연함(prevalence)에도 불구하고, 통일된 접근법(unified approach)은 존재하지 않습니다. 광범위한 지식 기반(wide range of knowledge bases)에서 도출되어 매우 가변적인 맥락(variable contexts)에 적용되는 다양한 코칭 접근법과 관련된 다양성 [32]은, 그것이 사용될 맥락의 고유성(uniqueness of a context)에 부합하는(matched to) 코칭 모델을 갖춰야 한다는 결정적인 책무(crucial imperative)를 강조합니다.

의학 학습의 독특한 맥락(distinctive contexts)과 코칭에 수반되는 사회문화적 상호작용의 복잡성(complexity of the sociocultural interaction)은, 코칭의 목적과 필요한 코칭 역할 및 관련 과정(associated processes)에 대한 공유된 이해(shared understanding)를 제공하는 CBME를 위한 새로운 코칭 모델(new coaching model for CBME)을 필요로 합니다(necessitate). 이 논문에서, 우리는 대규모 CBME 구현(large scale CBME implementation)을 지원하기 위해 개발된, 목적에 부합하는(fit for purpose) 이 새로운 코칭 모델을 설명하고, 이 과정을 통해 얻은 교훈(lessons learned)을 성찰합니다. 이 모델은 현재 문헌의 격차(gaps in the current literature)를 다룹니다.

• 여기에는 관찰된 임상 활동(observed clinical activity)과 시간적으로 밀접하게 병치된(juxtaposed closely in time) 임상 환경에서의 현장 코칭(coaching in the moment)의 적용이 포함됩니다;
• 이는 임상 환경에서의 관찰(observation) 필요성을 강조할 뿐만 아니라, 양방향 코칭 학습 대화(bidirectional coaching learning conversation)의 필요성도 강조합니다;
• 또한 학습자가 진정으로 성찰(truly reflect)하고 코치와 함께 향상된 미래 진료 습관(improved future practice habits)을 목표로 하는 개별화된 학습 목표(individualized learning goals)를 공동 생성(co-create)하도록 장려합니다.

CBD 모델에 코칭 대화와 과정(coaching conversations and processes)을 포함시키는 것은 이 CBME 모델이 단순히 평가 관행 및 규정의 변화(shift in assessment practices and regulations) 이상의 것이 되도록 합니다. 이는 학습 문화(learning culture)를 포용하기 위한 진정한 변화(genuine change)를 장려하며, 의학 교육 환경 내의 풍부한 학습 기회(wealth of learning opportunities)를 강조합니다.

• 현장 코칭(Coaching in the moment)은 향상된 임상적 통찰력과 진료(improved clinical acumen and practice)를 촉진하며, 이에 더해
• 지속적인 코칭(coaching over time)은 학습자의 발달적 궤적(developmental arcs)과 의사 및 평생 학습자(lifelong learners)로서의 전문직 정체성 형성(professional identity formation)을 지원합니다.

이 CBD 코칭 모델은 전공의 학습(resident learning)을 확실하게(squarely) 주된 초점(primary focus)으로 두고 있으며, 두 가지의 구별되면서도 상호보완적인(distinct yet complementary) 코칭 역할인 '현장 코칭(Coaching in the moment, CiM)'과 '지속적인 코칭(Coaching over Time, CoT)', 그리고 관련 프로세스 도구인 RX-OCR을 포함합니다. 이 모델은 코칭 구현의 충실도(fidelity of implementation)를 보장하기 위한(즉, 훈련 프로그램이 구현 후 모델의 핵심 구성 요소를 고용하도록 보장하기 위한) 공유된 멘탈 모델(shared mental model)을 제공할 뿐만 아니라, 코치, 학습자, 그리고 전체 코칭 프로그램에 대해 그토록 필요로 했던 코칭 과정의 반복적인 평가(iterative evaluation)를 가능하게 합니다.

캐나다 왕립 내과·외과 대학 코칭 모델 (The Royal College of Physicians and Surgeons of Canada coaching model)

캐나다 왕립 내과·외과 대학(Royal College)은 전 세계적인 CBME의 움직임 [34]에 발맞추어(in keeping with), 캐나다의 전공의 전문직 교육(postgraduate specialist education)을 개혁하기 위해 '설계에 의한 역량(Competence by Design, CBD)' [33]이라고 불리는 주요 변화 이니셔티브(major change initiative)를 도입했습니다. 코칭은 이 이니셔티브의 필수적인 교육적 구성 요소(essential educational component)로 식별되었으며 [1, 35], CBD 코칭 모델(CBD Coaching Model)이 개발되었습니다. CBD 코칭 모델(그림 1 참조)은 코칭 및 의학 교육 영역의 전문성을 갖춘 다학제 팀(multidisciplinary team)에 의해 반복적으로 개발된(iteratively developed), 이론에 기반하고(theory based), 근거에 입각하며(evidence informed), 원칙이 주도하는(principle driven) 모델입니다 [33, 36]. 이 코칭 모델은 각 수련생(trainee)의 개별적인 학습과 역량의 점진적 발달(progressive development of competence)을 지원하고 촉진하려는 명시적인 목적(explicit purpose)을 위해 PGME(졸업 후 의학 교육) 맥락에 최적화(fit for purpose)되어 특별히 만들어졌습니다.

• 이 모델은 역량에 대한 학습자 중심의 발달적 접근(learner-centered, developmental approach)의 중요성을 강조합니다. 왜냐하면 코칭은 발달 궤적(trajectory of development)을 따라 각 고유한 학습자의 역량 단계(stage of competence)에 맞춘 개별화된 지도 및 안내(individualized instruction and guidance)를 통해 점진적인 발달을 촉진하기 때문입니다.
• 모델에 필수적인(Integral to the model) 관련 프로세스 도구인 RX-OCR은 코칭 관계 및 과정(coaching relationship and process)의 중요한 요소들의 중요성을 강조하기 위해 만들어졌습니다.
• CBD 모델은 중요하게도 '현장 코치(Coach in the Moment, CiM)'의 역할을 포함하는데, 이는 임상 환경(clinical settings)에서의 실용적인 코칭 역할(pragmatic coaching role)을 말합니다. CiM은 반드시 종단적인 코칭 관계(longitudinal coaching relationship)를 요구하지는 않습니다. 이 두 가지 구체적인 요소 모두 기존의 코칭 모델이나 의학 교육 문헌의 기술(descriptions)에서는 다루어지지 않았습니다.
• 코칭 프로세스인 RX-OCR은 라포(rapport) 또는 관계 구축(relationship building)의 중요성을 강조할 뿐만 아니라, 코칭 과정에 대한 기대치(expectations of the coaching process)를 명시적으로 표현(explicit articulation)해야 할 필요성을 강조합니다. 그러나 CBD 모델은 이것이 사전에(in advance of) 일어나는 것의 가치뿐만 아니라, 하이픈(-)으로 구분된 것처럼 임상 작업의 직접 또는 간접적 관찰(observation, directly or indirectly) 이전에 반복적으로 재검토(iteratively being revisited)되는 것의 가치도 강조합니다.
• 추가적으로, 관찰(observation)을 코칭의 초석(cornerstone for coaching)으로 명시적으로 강조하는 것은 이 CBD 모델을 다른 모델들과 구별 짓습니다(sets apart).
• 마지막으로, 학습과 향상(learning and improvement)을 궁극적인 목표로 삼는 CBD 코칭 모델은, 코칭 대화가 심리적으로 안전한 환경(psychologically safe environments)과 임상적(현장 코칭) 및 비임상적(지속적인 코칭) 환경 모두에서 성장과 발달을 촉진하기 위한 실행 가능한 단계(actionable steps)를 공동 식별(co-identifying)하는 것의 중요성을 강조합니다(underscores).
• 전체 과정과 코칭 자체의 목표는 학습자가 유도된 성찰(guided reflections)을 받아들이고(receive) 통합하여(incorporate) 미래의 진료를 위해 개선(make improvements)을 이룰 가능성을 최적화(optimize the likelihood)하는 것입니다.

그림 1. 설계에 의한 역량(CBD) 코칭 모델 (The Competence by Design (CBD) Coaching Model) 전공의 학습(Resident learning)이 초점(focal point)이며, 이는 역량 습득(competency acquisition)에 대한 학습자 중심의 발달적 접근의 중요성을 반영합니다. 두 가지 별개의 코칭 역할이 그 발달을 지원합니다: 현장 코칭(coaching in the moment)과 지속적인 코칭(coaching over time). 이 그래픽은 또한 설계에 의한 역량(CBD) 코칭 모델의 기본이 되는(fundamental to) 다른 중요한 개념들을 보여줍니다.

• 첫째, 전공의의 발달은 학습 포트폴리오(learning portfolio)에 보관된 기록(documentation)에 의해 포착되며, 이는 자기 성찰(self-reflection) 및 유도된 성찰 활동(guided reflection activities)을 위해 쉽게 이용 가능합니다.
• 픽셀화된 고리(pixelated ring, 파란색과 회색)는 전문성(expertise)의 발달이 일어남에 따라 전공의의 역량이 점점 더 완전하게 묘사됨(increasingly more complete depiction)을 그래픽으로 표현한 것입니다.
• 현장 코칭과 지속적인 코칭 모두에 대해 전공의와 코치 사이에 양방향 연결(bidirectional connection, 노란색 화살표)이 있으며, 이는 전공의의 학습과 발달의 이익을 위해 육성(nurtured)되어야 하는 협력(collaboration)과 관계, 즉 "교육적 동맹(educational alliance)" [23]의 중요성을 보여줍니다.
• 마지막으로, CBD 코칭 모델은 전공의의 학습과 코칭이 대부분 캐나다 의료 시스템의 복잡한 업무 현장(complex workplace)에 내재되어(embedded) 있음을 명시적으로 인식합니다.
• 이 현장은 모든 임상의(clinicians)에게 다수의 상충하는 우선순위(multiple competing priorities)를 제시하는데, 그중 가장 중요한 것은 환자에게 안전하고 고품질의 진료(safe, high-quality care)를 제공하는 것의 최고의 중요성(paramount importance)입니다 [36].

CBD 코칭 모델은 의도적으로(purposefully) 두 가지 별개의 코칭 역할로 설계되었습니다: 1) 현장 코칭(coaching in the moment, CiM)과 2) 지속적인 코칭(coaching over time, CoT). 이 역할들은 고유한 기능(unique functions)을 가지면서도 둘 다 수련생의 점진적인 발달을 지원합니다. 중요하게도, 두 역할 모두 임상 환경에서 관찰된 작업(observed work)을 학습 기회(learning opportunities)로 가치 있게 여깁니다. 또한 둘 다 학습자의 필요(learner’s needs)를 최우선(at the forefront)으로 둡니다. 코칭 대화의 지속 시간(duration), 다루어지는 목표(goals attended to), 다루어지는 내용(content addressed), 그리고 대화가 일어나는 맥락(context)조차도 역할에 따라 다를 것입니다(differ between the roles).

• 임상 환경에서 학습자와 상호작용하는 모든 임상 교사(Any clinical teacher)는 CiM을 사용할 것이며,
• 반면에 소수의 특별히 지정된 교수 코치(specifically designated faculty coaches)는 CoT를 적용할 것입니다.

함께(Together), 이 코칭 역할들은 수련생의 전문성 개발을 독특하지만 상호보완적인 방식(unique but complementary ways)으로 지원합니다.

현장 코칭 (Coaching in the moment)

현장 코칭(CiM)은 임상 교사(clinical teacher)와 수련생(trainee) 사이의 임상 환경(clinical environment)에서 발생하며, 수련생이 임상 활동(clinical activity)에 참여하는 것이 관찰되는(observed) 바로 그 순간이나 그 시간에 근접하여(at or close to the moment in time) 일어납니다. CiM은 오랫동안 확립된(long-established) 임상 교사의 역할이 진료의 질(quality of care)에 초점을 맞춘 전통적인 감독 역할(traditional supervisory role)에서, 학습자가 정규 훈련(formal training)을 거치는 동안(progress through) 그들의 성장과 지속적인 향상(growth and continual improvement)을 촉진하는(facilitating) 데에도 초점을 맞추는 역할로 진화할 것(evolve)을 요구합니다. CiM의 일환으로 수행되는 관찰은 실제적인 일상 업무(authentic daily work)에 대한 저부담 관찰(low-stakes observations)이 되도록 의도되었습니다; 단일 관찰(single observations)은 그 자체로(on their own) 어떠한 승급 결정(progression decision)에도 사용되지 않습니다; 오히려, 많은 관찰이 함께 모여 수련생의 학습 포트폴리오(learning portfolio) 내에서 데이터 포인트의 집합(aggregate of data points)을 형성하며, 학습자는 이에 대해 성찰(reflect)할 수 있습니다 [33, 37]. CiM은 이러한 개별 관찰(individual observations)을 개별 수련생의 발달(individual trainee development)을 촉진하기 위한 짧은 "현장(in the moment)" 코칭 대화(coaching conversations)를 뒷받침하는(underpin) 핵심적인 기초 재료(key foundational ingredient)로 활용합니다. CiM 대화가 일어나는 분주한 임상 환경(busy clinical environment)을 고려할 때(Given), 이러한 대화는 간결할 것(brief)이며, 대부분의 경우 단 몇 분 길이(only a few minutes long)일 것으로 예상됩니다. 종종 공동 생성(co-creation)에 의한 코칭의 바람직한 결과(desired outcome)는, 수련생이 미래의 유사한 임상 만남(future similar clinical encounters)에서의 구체적인 향상(specific improvement(s))이나 향상을 위한 목표(goals for improvement)를 이해하는 것입니다. 이러한 방식(In this way)으로, 코치는 수련생의 발달을 현재 위치(current place)에서 바람직한 미래 역량(desired future competence)을 향해 촉진하되, 단계적인 방식(graduated fashion)으로 수행합니다. 따라서, CiM의 완전한 잠재력(full potential)은 그것이 모든 임상 학습 환경(clinical learning settings)에서 정상적이고(normal), 기대되며(expected), 내재된(embedded) 일상적인 교육 활동(daily educational activity)이 될 때 비로소 실현될 것입니다.

지속적인 코칭 (Coaching over time)

지속적인 코칭(CoT)은 지정된 코치(designated coach)와 수련생 간의 종단적인 관계(longitudinal relationship)를 요구합니다. CBD 코칭 모델은 CoT에 이중 목적(dual purpose)을 명시적으로 부여합니다(explicitly assigns): 그것은 수련생이 독립적이고 유능한 임상의(independent, competent clinician)가 되는 것과, 자기 조절 학습자(self-regulated learner)로서 지속적인 역량(continued competence)을 갖춘 경력을 준비하는 것을 돕는 데 동시에 초점을 맞춥니다(concurrently focuses). 각 CoT 관계는 어떠한 단일 임상 경험(one clinical experience)보다 오래 지속되도록(last longer) 의도되었지만, 구체적인 기간(specific duration)은 현재 기술되어 있지 않습니다(not currently delineated). 따라서 일부 프로그램에서는 CoT 동맹(alliance)이 전체 전공의 훈련 기간(entire postgraduate training period)에 걸쳐 있을 수(span) 있는 반면, 다른 프로그램에서는 수련생들이 각각 몇 달 이상의 기간(not less than several months’ duration)을 가진 일련의 순차적인 CoT 관계(series of sequential CoT relationships)를 가질 수도 있습니다.

• 모든 CoT 관계에서, 역량을 향한 수련생의 진전(progression toward competence)에 대한 정기적으로 예정된 대면 토론(regularly scheduled face-to-face discussions)은 필수적(essential)이며, 이는 전공의 훈련 기간 전체에 걸쳐(across the entire duration) 이루어져야 합니다.
• CiM에 정보를 제공하는(inform) 관찰과 달리, CoT 만남(encounters)에 정보를 제공하는 관찰은 수련생 학습 포트폴리오에 수집된 데이터(data collected)를 검토하고 성찰함으로써 이루어지며, 또한 CoT 코칭 미팅 중의 행동(behaviours)을 주목하는 것뿐만 아니라, 중요한 것은(importantly), 수련생이 자신의 수행이나 전문성 개발(professional development)에 대해 수행한 성찰(reflections)도 포함한다는 점입니다.
• 이러한 유형의 관찰 중 어느 것에 기초하여(On the basis of), CoT 코치는 종종 초기 단계에서는 공동 구성(co-construction)을 통해, 수련생이 학습 목표를 수립(establish learning goals)하고 수행 능력을 향상시키기 위한 명확한 실행 계획(clear action plan)을 개발하도록 안내할 것입니다.
• 이러한 유형의 관계가 발전하고 잘 작동하기 위해서는, 수련생은 코치가 자신의 최선의 학습 이익(best learning interests)을 염두에 두고 있다는 것을 확신(confident)해야만 합니다 [23].

코칭은 과정이다: 현장 코칭과 지속적인 코칭의 역할을 모두 지원하는 프로세스 도구, RX-OCR (Coaching is a Process: RX- OCR, a process tool supporting both the role of Coaching in the Moment and Coaching over Time)

CiM과 CoT 모두 1:1 코칭 대화(1:1 coaching conversations)를 장려하는 CBD 코칭 모델의 구조는 코칭의 핵심 원칙(key principle)을 강조합니다(underscores): 즉, 학습과 점진적 발달(progressive development)을 촉진하기 위한 개별화된 안내의 제공(provision of individualized guidance)입니다. 그러나 향상을 위한 1:1 코칭 대화는, 비록 중요한 부분이기는 하지만(albeit an important one), 효과적인 코칭이 발생하기 위해 필요한 더 큰 과정(larger process)의 한 부분일 뿐입니다. 효과적인 CiM과 CoT를 촉진하기 위해, 코치들은 CBD 코칭 모델에서 RX-OCR이라는 두문자어(acronym)로 표시된 단계별 과정(step-by-step process)에 의해 안내받습니다(표 1 참조). RX-OCR은 모델의 필수적인 프로세스 도구(integral process tool)로서, 실질적인 구현(practical implementation)을 지원하고 내재된 핵심 코칭 원칙(embedded key coaching principles)의 적용을 가능하게 하도록 의도되었습니다. RX-OCR 과정의 사용은 임상 경험의 기간(duration of the clinical experience)과 관계없이(irrespective of) 코칭을 촉진하며, 모든 코치에게 코칭을 준비하고 참여(engaging in)하기 위한 안내 프레임워크(guiding framework)를 제공합니다.

표 1. CBD 코칭 모델에서의 RX-OCR 프로세스 (The RX-OCR process in the CBD Coaching Model)

RX-OCR 과정은 5가지 핵심 단계(five key steps)를 가지며 반복적인 과정(iterative process)이 되도록 설계되었습니다. 이 섹션의 나머지 부분에서는 각 단계를 설명하고 기저에 깔린 코칭 원칙(underlying coaching principles)을 강조할 것입니다.

1단계와 2단계: 관계/라포 형성 및 기대치 설정 (Steps 1 and 2: Establish a Relationship/Rapport and set eXpectations), RX-

처음 두 단계인 RX는 코칭이 성공하기 위해 결정적(critical for coaching to be successful)인 것으로 여겨집니다 [23, 24]. 코칭의 주된 목적(primary purpose)이 성장과 발달을 촉진(facilitate growth and development)하는 것임을 감안할 때, 수련생이 성장 마인드셋(growth mindset)을 채택하도록 지원하는 코칭 관행은 필수적(vital)입니다 [38]. RX-OCR 코칭 과정에서 RX 단계를 시작점으로 삼고 분리함으로써(starting with and separating), 이 도구는 코치가 수련생과 관계를 형성(establishing a relationship)하고, 라포를 구축(building rapport)하며, 명확한 기대치를 보장(ensuring clear expectations)하는 것이 코칭의 기초(foundational to coaching)라는 점을 강조합니다 [25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39]. 중요하게도, 여기에는 안전한 학습 환경(safe learning environment)을 조성하는 것이 포함됩니다. 학습 환경에서의 심리적 안전(Psychological safety)은 수련생들이 불이익에 대한 두려움(fear of repercussion) 없이 자신의 학습과 발달을 위해 대인관계적 위험(interpersonal risks)을 감수하고, 성장 마인드셋을 포용(embrace)하도록 하기 위해 필수적(imperative)입니다 [40, 41, 42, 43, 44]. 이 안전을 확립하는 것의 중요성은 아무리 강조해도 지나치지 않습니다(cannot be overstated): 이것은 코칭의 근본 원칙(fundamental principle)입니다 [45, 46]. 코치가 개인의 발달에 대한 헌신(commitment to the individual’s development)을 수련생에게 분명히 표현할 때(articulates), 코칭 관계는 강화되고 초점이 판단(judgment)이 아닌 발달에 있다는 메시지가 강화(reinforced)됩니다 [23, 47].

RX의 X는 전반적인 코칭 과정(overall coaching process)과 관련된 것들과 특정 코칭 만남(specific coaching encounter)과 관련된 것들을 포함하여, 기대치가 명확하게 표현(clearly articulated)되고 코치와 수련생 양측에 의해 상호 이해(mutually understood)되도록 보장하는 것의 중요성을 강조합니다. 기대치의 명확성(clarity of expectations)을 보장하고 코칭을 개인의 필요(individual’s needs)에 기반을 두기(ground) 위해, 수련생은 어떠한 코칭 전이라도 목표 설정(setting goals)에 적극적으로 참여(actively engaged)해야 합니다. 이 핵심 원칙은 수련생이 자신의 학습과 발달에 있어 능동적인 파트너(active partners)가 되도록 힘을 실어줍니다(empowers) [48]. 성공적일 때, RX 단계는 수련생이 고정 마인드셋(fixed mindset)에서 벗어나 성장 마인드셋으로 전환(shift away)하도록 돕고, 영향력 있는 코칭 대화(impactful coaching conversations)를 위한 무대를 마련해야 합니다(set the stage).

RX-OCR 두문자어 내의 하이픈(-)은 이러한 초기 기초 단계(initial foundational steps)를 강조하고 코치들에게 각 코칭 만남의 시작 부분에서 과정의 처음 두 단계를 재검토(revisit)하도록 상기시키기 위한 의도입니다. 또한, 특히 CiM(현장 코칭)에서, 이 처음 두 단계가 항상 작업 관찰(observation of work) 바로 직전에 선행(immediately precede)될 필요는 없지만, 시간상 근접하여(in close proximity) 수행되어야 함을 인정합니다.

3단계: 관찰 (Step 3: Observe), O

수련생 작업의 관찰(Observation)은 CiM과 CoT(지속적인 코칭) 모두에서 핵심 요소(key ingredient)입니다. 관찰은 직접적(directly) 또는 간접적(indirectly)으로 발생할 수 있습니다.

• 직접 관찰(Direct observation)은 수련생이 지식과 기술을 실무에 어떻게 적용하는지(apply their knowledge and skills to practice)에 대한 이해를 발전시키기 위해 수련생이 과업을 수행하는 것을 지켜보는 과정(process of watching)을 말합니다 [49, 50].
• 간접 관찰(Indirect observations)은 개인이 수련생이 과업을 수행하는 것을 직접 지켜보지 않고 수행하는 관찰입니다. 간접 관찰은 수련생의 구두 증례 발표(oral case presentation), 임상 기록(clinical documentation), 다른 의료 제공자, 환자 또는 가족으로부터의 보고, 또는 수련생의 학습 포트폴리오와 같은 대리 데이터(surrogate data)로부터 정보를 수집하는 것(gathering information)을 포함할 수 있습니다.
• CoT 역할에서, 일부 코치들은 이용 가능한 데이터를 간접 관찰(또는 검토)하는 것을 정보를 획득하는 것(obtaining information)으로 개념화(conceptualize)하는 것을 더 쉽게 생각합니다. 그렇기는 하지만(That said), CoT 코치들이 수련생의 자기 조절 학습 기술(self-regulated learning skills)을 직접 관찰할 기회들도 있습니다.

관찰은 주로 발달과 향상(형성적[formative] 또는 "학습을 위한[for learning]")을 위해 수행됩니다 [51]. 관찰은 코칭이 수련생의 고유한 개별화된 발달 궤적(individualized developmental trajectory)상에서 그들이 위치한 곳(where the trainee is situated)에 적절하도록(relevant) 해줍니다. 빈번한 저부담 관찰(Frequent low-stakes observations)은 수렴되고 종합되어(converge and aggregate) 수련생의 역량에 대한 더 포괄적인 묘사(fulsome representation)를 제공하는 역량의 진정한 스냅샷(authentic snapshots)을 생성합니다. 여러 코치에 의해 관찰된 다양한 임상 상황에서의 다수 관찰(multiple observations)이 이루어지고 나서야 비로소, 역량 위원회(competence committees)는 데이터의 종합(aggregate of data)과 발달 궤적에 기초하여 수련생의 역량에 대한 판단(judgments)을 내립니다 [52].

4단계와 5단계: 코치, 기록/성찰 (Steps 4 and 5: Coach, C, Record/Reflect, R)

관찰 후에, 수련생과 코치는 코칭 대화(coaching conversation)에 참여해야 합니다(engage in). 코칭 대화에 대한 코치의 접근법은 맥락 특이적(context specific)이며(CiM 또는 CoT), 대화는 수련생과 코치의 선호도(preferences)에 따라 다른 형태를 취할 수 있습니다. 코치가 성찰을 촉진하여 수련생이 향상을 위해 필요한 것을 스스로 식별(self-identify)하도록 이끄는 성찰 기반 접근법(reflection-based approach)을 사용하는 것은, 수련생이 자신의 학습에 있어 능동적인 파트너가 되도록 더욱 장려할 것입니다. 그러나 어떤 맥락에서는, 스포츠나 음악에서 종종 활용되는 지시적(directive) 또는 "전제적(autocratic)" 접근법이 더 효과적이며 [8, 53], 이 경우 코치는 향상을 위한 구체적인 제안(specific suggestions)을 제공합니다. 어떤 유형의 코칭 대화가 일어나든, 수련생은 코치와 함께 향상을 위한 구체적인 단계(specific steps)를 명확하게 공동 구성(co-construct)해야 합니다.

마지막이지만 동등하게 중요한 단계(equally important step)는 학습 및 향상 포인트(learning and improvement points)를 포함한 코칭 만남의 요약(summary)을 기록(record, R)하고 성찰(reflect)하는 것입니다. 일단 기록되면, 코칭 만남은 수련생 학습 포트폴리오의 일부가 되며, 이는 수련생의 미래 성찰(future reflection)을 촉진하고, 그 성찰에 기반하여 향상(improvement can be based)이 이루어질 수 있습니다. 모든 코칭 대화가 기록될 필요는 없지만, 안전한 학습 환경을 보장하고 성장 마인드셋을 포용하는 학습 문화(learning culture)에서는, 드물게 일어나는 큰 교정(infrequent larger corrections)보다는 반복적인 "넛지(nudges, 가벼운 찌름/자극)"를 제공하기 위해 코칭이 빈번하게 수행될 때 코칭의 이점이 극대화될 것입니다. 코칭 만남의 결과를 기록하는 것은 또한 CBME에서의 프로그램적 평가(programmatic assessment)의 일부입니다 [54]. 역량 위원회는 수련생의 역량을 판단하고 훈련 프로그램 내에서 수련생의 진급 및 승진(progression and promotion)에 대한 권고(recommendations)를 하기 위해, 종합적으로(in aggregate) 이 기록들에 의존합니다.

마지막으로, 수련생과 코치 모두 코칭 만남에 대해 정기적으로 성찰(regularly reflect)하도록 장려됩니다. 성찰은 향상의 과정(process of improvement)을 뒷받침하는(underpins) 근본적인 코칭 원칙이며, 그 사용은 CBD 코칭 모델과 RX-OCR 도구의 구조에 의해 장려됩니다. 수련생은 초기에 자기 성찰(self-reflect)을 하고 그 후 자신의 CoT 코치와 성찰 내용을 논의하도록 장려됩니다. 코치들 또한 미래의 코칭 만남을 개선할 수 있는 방법에 대해 성찰하도록 장려됩니다.

성찰과 얻은 교훈 (Reflections and lessons learned)

전공의 의학 교육(postgraduate medical education)의 혁신적인 변화(transformative change)를 위한 대규모 국가적 실행(large-scale national implementation)의 일환으로 코칭을 도입하는 것은, 예상했던 대로(not unexpectedly), 몇 가지 난관(challenges)이 있었습니다. 이 마지막 섹션에서는 유사한 변화를 수행할지 모르는(undertake similar changes) 다른 사람들을 돕기 위해 통찰력과 얻은 교훈(insights and lessons learned)을 제공하고자 이러한 난관들 중 일부를 논의합니다.

도전 과제 1 – 직접 관찰과 코칭을 분주한 임상 진료에 통합하는 것은 어려울 수 있다 (Challenge 1 – It can be difficult to incorporate direct observation and coaching into busy clinical practice)

직접 관찰(direct observation)이 효과적인 코칭의 핵심(key)이긴 하지만, 임상의들은 분주한 임상 진료 환경(busy clinical practice environments)에서 수많은 상충하는 우선순위와 압박(competing priorities and pressures)에 직면합니다 [55, 56]. 비록 코치가 전체 환자 평가(whole patient assessment)를 관찰할 필요는 없더라도, 관찰과 관련된 코칭은 여전히 시간이 걸립니다(take time).

많은 코치들은 임상 업무 흐름(clinical workflow) 내에서 직접 관찰을 위해 특정 시간을 할애하는(dedicating a specific time) 전략을 고용(employ strategies)한다면(예: 하루의 첫 번째 또는 마지막 환자나 케이스, 또는 회진 중 검토할 임상 소견이 있는 한두 명의 입원 환자를 관찰) 관찰을 수행하는 것이 더 쉽다는 것을 발견했습니다 [50]. 간접 관찰(Indirect observations)은 여러 방식(예: 구두 증례 검토, 업무 현장 기록 검토, 다른 의료 전문가와의 토의)으로 일어날 수 있으며 코칭 상호작용(coaching interactions)의 기초로 사용될 수 있지만, 이는 반드시 일부 직접 관찰에 더하여(in addition to) 이루어져야 합니다. CBD를 실행하는 과정(process of implementing)은 지도전문의(supervisors)와 수련생이 관찰 직후에 코칭을 위한 시간을 만드는 것에 대해 의도적(intentional)이어야 함을 드러냈습니다. 미리 계획하는 것(Planning ahead)은 두 가지 모두가 일어나도록 보장하는 데 결정적(crucial)입니다.

도전 과제 2 – 의사들은 문제를 해결하도록 훈련받았으나 코칭은 새로운 기술 세트를 요구한다 (Challenge 2 – Physicians are trained to solve problems and coaching requires a new skill set)

의사들은 전통적으로 문제를 해결(solve problems)하고 쟁점을 다루도록(address issues) 사회화되고 훈련받아(socialized and trained) 왔습니다; 코칭에서의 탐구적 접근(inquiry approach)은 그들에게 낯설 수 있습니다(can be foreign). CiM이나 CoT에서 코치로 활동하는 의사의 자연스러운 경향(natural tendency)은 학습자가 해결책을 찾도록 안내(guiding the learner)하기보다는 확인된 격차(identified gap)에 대한 해결책을 제안(propose solutions)하는 것입니다. 또한, 코칭은 전통적으로 의학 교육 커리큘럼의 일부가 아니었으며 따라서 대부분의 임상의의 기술 세트(skill set)의 일부가 아닌 기술들을 요구합니다.

수련생과 교수진을 탐구적 접근에 적응시키는 것(Orienting)이 아마도 도움이 되겠지만, 목표화된 전문성 개발(targeted professional development) 또한 필요합니다. Royal College는 교수 개발(faculty development)을 돕기 위해 CiM과 CoT 모두에 대한 자원을 제공하지만, 현지의 적용된 실습(local applied practice) 또한 중요합니다. 새로운 증거(Emerging evidence)는 코칭에 대해 공동 학습(co-learning, 수련생과 교수진이 함께)하는 것이 유리할 수 있음(advantageous)을 시사합니다 [57]. CoT에 특이적으로(Specific to), 수련생이 코치와 만나기 전에 자기 성찰 도구(self-reflection tool)를 작성하게 하는 것은 탐구적 접근의 채택을 촉진(expedite adoption)할 수 있습니다. 이러한 전환(shift)은 시간이 걸릴 것입니다.

도전 과제 3 – 학습자들은 관찰을 지배적인 성과 지향적 문화와 관련된 총괄 평가로 인식한다 (Challenge 3 – Learners perceive observation as summative assessment related to the prevailing performance-oriented culture)

CBD에서, 관찰된 작업은 이중 목적(dual purpose)을 수행합니다. 관찰은 코칭의 기초를 형성하지만 또한 수련생의 학습 포트폴리오에 기록되며, 역량 위원회(competence committees)를 위한 프로그램적 평가 모델(programmatic assessment model)에서 설명된 대로 종합된 전체(aggregated whole)로서 검토됩니다. 이러한 이중 용도(dual purposing)는 학습자들이 모든 관찰된 작업을 총괄 평가(summative assessment)로 인식하는 데 기여했습니다 [58, 59]. 학습자의 경험은 그들이 배우고 있는 문화에 얽혀 있습니다(entangled in the culture) [60]. 그렇기에 놀랍지 않게도, 의학 교육의 여전히 두드러진(still-prominent) 평가 중심의 성과 문화(assessment-focused performance culture)는 이러한 관점을 조장합니다(promotes) [58, 59].

이 난관은 공유된 멘탈 모델(shared mental model)을 개발하고 코칭 과정에서의 투명성(transparency)을 보장하는 것의 중요성을 강조합니다(underscores). 관찰은 현장 기반 평가(workplace-based assessment, WBA)라기보다는 현장 기반 학습(workplace-based learning)으로 프레임화(framed)되어야 하며, 임상 환경에서 수련생의 성장 마인드셋(growth mindset) 채택을 지원하는 행동과 관행을 강조해야 합니다. 심리적으로 안전한 학습 환경(psychologically safe learning environment)을 보장하고, 상호 이해된 목표와 기대치(mutually understood goals and expectations)를 수립하며, 바람직한 향상 지향적 문화(improvement-oriented culture)를 지원하는 코칭 관계를 개발하는 것이 결정적입니다 [61]. 심리적 안전을 유지하는 하나의 중요한 방법은 기록된 관찰이 무엇을 위해 사용될 것인지, 그리고 그 정보가 누구와 공유될 것인지에 대한 공유된 이해(shared understanding)를 갖는 것입니다. 그러나 현재의 지배적인 판단 및 성과 중심 문화(predominant current judgement, performance-focused culture)가 수행해야 한다는 필요성(need to perform)에 대한 학습자의 인식에 미치는 영향은 아무리 강조해도 지나치지 않습니다(cannot be understated). 일차적인 목표(primary goal)는 모든 학습자, 교수진, 의학 교육 조직 및 시스템이 개인을 건강 돌봄의 연속선상(continuum of care for health)에서 캐나다 인구에게 봉사할 수 있는 최고의 의사로 개발한다는 공유된 목적(shared purpose)에 집중하도록 보장하는 것이어야 합니다. 그렇게 하기 위해서, 시스템은 안전한 학습 환경을 조성(foster)하고 학습자와 교수진이 학습 문화를 포용(embrace a learning culture)할 수 있도록 필요한 지원을 제공해야 합니다. RX-OCR 과정의 두 번째 R은 초기에 기록(Record)만을 의미하도록 제안되었으나, 기록된 관찰은 성장 지향성(growth orientation)에 발맞추어(in keeping with) 수련생이 코치와 함께 학습 목표를 공동 생성(co-create)하기 위해 자신의 과거 수행을 자기 성찰(self-Reflect)할 수 있게 해줍니다.

결론 (Conclusion)

코칭은 개인, 관계, 시스템 수준(individual, relational, and systems levels)의 다수 요인(multiple factors)을 포함하는 복잡한 인간 상호작용(complex human interaction)이며, 이 모든 것에 주의(attention)가 요구됩니다. Royal College CBME 변화 이니셔티브의 일부로 개발된 CBD 코칭 모델과 그 관련 실행 도구인 RX-OCR은 그 설계를 안내한 코칭의 핵심 원칙들을 강조하며 기술되었습니다. 의학 교육의 독특한 맥락(unique context)에서 CBD 코칭 모델의 성공적인 실행(Successful implementation)은 시간이 걸릴 것이며 지속적인 노력(sustained effort)을 필요로 할 것입니다. 특히 이 접근법이 의학 교육에서 새로운 것(novel one)임을 고려할 때 더욱 그렇습니다. 실행에서 얻은 성찰과 교훈(Reflections and lessons learned)은 이 영역에서 일하는 것을 고려 중이거나 이미 일하고 있는 다른 사람들에게 정보를 제공하기 위해 공유되었습니다. CBME 접근법의 실행은 자원의 투자(investment of resources)를 필요로 하지만, 새로운 증거는 코칭의 이점이 특히 학습자에게, 그리고 코치에게도 그 투자에 대한 수익(return on that investment)이 될 수 있음을 시사합니다.

Competency-Based Medical Education at Scale: A Road Map for Transforming National Systems of Postgraduate Medical Education

캐나다는 어떻게 의사 교육을 뜯어고쳤을까? 대규모 CBME 전환기

안녕하세요! 오늘은 의학 교육 분야에서 정말 거대한 프로젝트를 성공시킨 사례를 다룬 논문을 하나 소개하려고 해.

바로 캐나다의 Royal College of Physicians and Surgeons of Canada가 주도한 'Competence by Design(CBD)' 프로젝트에 대한 이야기야. 캐나다 전역의 전공의 교육 시스템을 역량 바탕 의학 교육(Competency-Based Medical Education, CBME)으로 전환시킨, 그야말로 '대공사'의 기록이지. 🏗️

이 논문은 그 10년 넘는 여정의 로드맵(Road Map)과 그 과정에서 얻은 교훈(Lessons Learned)을 아주 솔직하게 담고 있어.

1. 도대체 무슨 일을 벌인 거야? 🤔

캐나다 Royal College는 무려 67개의 전문과목(내과, 외과 등)과 세부 전문과목 전체를 대상으로 교육 과정을 싹 바꿨어. 핵심은 전공의가 수련 기간 동안 단순히 시간을 채우는 게 아니라, 실제로 환자를 진료할 수 있는 역량(Competence)을 갖췄는지 확인하는 거야.

이 거대한 변화를 위해 이들이 세운 원칙은 이거였어.

"표준은 각 분야에 구체적이어야 합니다... 새로운 CBD 표준은 해당 분야와 Royal College에 의해 공동 생성됩니다."

"Standards would be specific to each discipline... The new CBD standards would be co-created by the discipline and the Royal College..."

즉, 중앙(Royal College)에서는 큰 틀과 자원을 제공하고, 실제 내용은 각 전문과목 위원회가 채워넣는 공동 창작(Co-creation) 방식을 택한 거지.

2. 어떻게 진행했어? (The Strategy) 🗺️

67개 과를 한 번에 다 바꾸면 난리가 나겠지? 그래서 이들은 '코호트(Cohort)' 방식을 썼어. 몇 개의 과를 묶어서 순차적으로 진행한 거야.

1. 코호트 나누기: 준비가 된 '얼리 어답터(Early Adopters)' 과들을 먼저 시작하게 했어.
2. 워크숍 시리즈: 각 과의 위원들을 모아서 3일짜리 워크숍을 3번씩 진행했어. 여기서 교육 과정을 설계하고, EPA(위임 가능한 전문 활동)를 만들었지.
3. 지원은 확실하게: 중앙에서 재정 지원은 물론이고, 임상 교육자(Clinician Educators)와 집필가(Writers)를 붙여서 서류 작업을 도와줬어. (이게 신의 한 수! 👍)

3. 시행착오와 배움 (Learning Along the Journey) 💡

처음에는 이론대로 '역량(Competencies)'이나 '이정표(Milestones)'부터 쓰려고 했대. 그런데 의사들이 너무 힘들어했다는 거야. 그래서 순서를 바꿨어. 연구진은 이 부분에서 아주 중요한 발견을 해.

"대신, 임상의들은 분야의 EPA를 식별하는 것이 더 쉽다는 것을 알게 되었는데, 이 활동이 그들이 자신의 업무와 전공의 수련에 대해 생각하는 방식에 더 맞춰져 있었기 때문입니다."

"Instead, clinicians found it easier to identify the EPAs of the discipline as this activity was more attuned to the way they thought about their work and postgraduate training."

결국, 현장의 언어인 EPA(실제 하는 일)를 먼저 정의하고, 거기에 역량을 연결하는 방식이 훨씬 효과적이었다는 거지. 역시 해봐야 아는 법이야.

또한 초기에는 EPA를 너무 많이 만들어서(욕심쟁이들! 😅) 나중에 관리하기 힘들었대. 그래서 개수를 30~50개 정도로 줄이고, 다양한 상황(소아/성인, 외래/응급실 등)에서 평가할 수 있게 유연성을 줬다고 해.

4. 현실적인 어려움들 (The Challenges) 🚧

물론 꽃길만 있었던 건 아니야. 10년에 걸쳐 순차적으로 도입하다 보니 생긴 문제도 있었어.

"전문과목 코호트에 걸쳐 CBD 변혁의 순서를 정한 결정은 그 영향의 지속 기간을 늘렸습니다."

"The decision to sequence CBD transformation across cohorts of disciplines prolonged the duration of the impact."

한 병원 안에 구식 시스템과 신식(CBD) 시스템이 공존하는 기간이 길어지면서, 행정 부서는 죽을 맛이었고... 😫 아직 CBD를 시작 안 한 과로 파견 나간 전공의들은 평가받기가 애매해지는 상황도 생겼대. 게다가 COVID-19까지 터지면서 워크숍이 중단되기도 했지(하지만 줌(Zoom)으로 극복!).

5. 결론: 다른 나라들에게 주는 조언 📢

이 논문의 저자들은 비슷한 변화를 꿈꾸는 다른 나라나 기관들에게 뼈 있는 조언을 남겼어.

첫째, 시스템 전체를 한방에 바꿀지(Simultaneously) 아니면 순차적으로 바꿀지(Sequentially) 명확히 결정하라는 거야. 캐나다는 순차적 방식을 택해서 재정 부담을 줄이고 노하우를 쌓았지만, 그만큼 과도기 혼란이 길었다는 점을 솔직히 인정했어.

둘째, 유연성!

"교육 설계에 대한 엄격한 고수와 다른 분야나 지역적 맥락을 위한 유연한 적응 사이의 균형을 맞추는 것"

"Balancing strict adherence to the educational design with flexible adaptation for different disciplines or local contexts"

결국 CBME라는 큰 원칙은 지키되, 각 과의 특성에 맞게 유연하게 적용하는 것이 성공의 열쇠라는 거지.

📝 요약하자면: 캐나다의 이 거대한 실험은 완벽해서가 아니라, 문제를 마주하고 끊임없이 수정(Iteration)해 나갔기 때문에 성공적인 모델로 평가받는 것 같아. 우리나라도 의학 교육 변화를 고민할 때 이들의 '로드맵'과 '시행착오'를 꼭 참고해보면 좋겠어!

혹시 더 자세한 내용이 궁금하면 댓글 남겨줘! 👋

서론 (Introduction)

1990년부터, Royal College of Physicians and Surgeons of Canada (이하 Royal College)는 캐나다의 전문의 교육(specialty education) 시스템을 역량 바탕 의학 교육(competency based medical education, CBME)으로 발전시키는 의도적인 경로(deliberate path)를 밟기 시작했습니다(embarked on). Royal College는 67개의 전문과목 및 세부 전문과목(specialty and subspecialty disciplines)(28개의 전문과목(specialties), 37개의 세부 전문과목(subspecialties), 그리고 2개의 특별 프로그램(special programs))에 대한 전문의 교육을 감독합니다(oversees). 각 분야는 국가적 차원(national level)에서 해당 분야를 감독하기 위한 전문과목 위원회(specialty committee)를 두고 있으며; 구성원(membership)에는 교육 리더(educational leaders), 지역 대표(regional representatives), 그리고 해당 분야의 모든 전공의 수련 프로그램 책임자(postgraduate training program directors)가 포함됩니다. Royal College는 전문과목 위원회와 협력하여(Working with), 공통 교육 프레임워크(common educational framework)인 CanMEDS [1, 2]에 기반하여 각 분야의 교육 표준(educational standards)을 설정하고, 개별 전공의 수련 프로그램(postgraduate training programs)의 인증(accreditation)을 위한 표준을 설정하며, 인증 시험(certification examinations)을 개발 및 시행(develops and delivers)하고, 개별 의사들에게 자격을 부여합니다(credentials). 전공의 수련 프로그램은 의과대학(university faculty of medicine)과 제휴된(affiliated with) 대학 병원/학술 건강 과학 센터(academic health science centres)에 기반을 두고 있으며, 졸업 후 의학 교육(postgraduate medical education, PGME) 학장(dean)의 감독을 받고, Royal College에 의해 인증(accredited)받습니다. 캐나다에는 17개의 의과대학, 약 1000개의 전공의 수련 프로그램, 그리고 10,000명이 넘는 수련생(trainees)이 있습니다.

Competence by Design (CBD)은 사회적 건강 요구(societal health needs)와 환자 결과(patient outcomes)를 해결하기 위해 설계된(designed to address) 캐나다 전문의 교육 시스템의 혁신적인 변화 이니셔티브(transformational change initiative)입니다 [3].

• 이는 CBME에 대한 이전의 Royal College 접근 방식(approaches)(예: CanMEDS 역량(CanMEDS competencies))을 기반으로 구축되었으며(builds on), CBME의 5가지 핵심 구성 요소(five core components)를 적용합니다(applies) [4].
• CBD 프레임워크의 특징(Features)으로는
  • CanMEDS 2015 역량 프레임워크에 대한 기반(basis),
  • 전공의 수련에 대한 시간 가변적 접근(time-variable approach),
  • 역량 연속체(Competence Continuum)의 4단계를 따르는 수련 순서 배열(sequencing of training), 그리고
  • 교육, 학습, 관찰, 코칭 및 평가(teaching, learning, observation, coaching, and assessment)의 초점(focus)으로서 각 단계에 특화된 위임 가능한 전문 활동(entrustable professional activities, EPAs)(즉, RCEPAs로 약칭되는(abbreviated as) EPA에 대한 Royal College의 접근 방식)의 사용(use)이 포함됩니다 [5].
• 2015년 9월 CanMEDS 2015의 출시(launch)와 함께, Royal College는 CBD 프레임워크를 각 전문과목, 세부 전문과목 및 특별 프로그램에 적용하기 위한 야심 찬 이니셔티브(ambitious initiative)를 시작했습니다.

CBD 전문과목 변혁 (CBD Specialty Transformation)

초기에(At the outset), Royal College는 이 변화 이니셔티브의 설계 및 구현(design and implementation)을 안내하기 위해(to guide) 몇 가지 원칙(principles)을 수립했습니다(established).

• 공통된 접근 방식(common approach)이 존재해야 합니다;
  • 즉, CBD의 교육 설계(educational design)와 CBME의 5가지 핵심 구성 요소의 사용은 Royal College가 인정한(recognized) 모든 전문과목, 세부 전문과목 및 특별 프로그램에 적용됩니다(apply).
• 표준은 각 분야에 구체적(specific to each discipline)이어야 합니다;
  • 이 교육 설계의 프레임워크 안에서, 각 분야는 해당 분야의 요구에 맞게(to fit the needs) 교육 표준을 개발하고 개별화(develop and individualize)해야 합니다. 새로운 CBD 표준은 해당 분야와 Royal College에 의해 공동 생성(co-created)되며, 전문과목 위원회는 의학 및 교육 전문 지식(medical and educational expertise)을 제공하고, Royal College는 자원(resources), 행정적 지원(logistical support), 그리고 CBD 프레임워크 및 그룹 촉진(group facilitation)에 대한 전문 지식을 제공합니다.
• 변혁은 반복적(iterative)이어야 합니다;
  • 학습한 교훈(lessons learned)을 바탕으로 설계와 프로세스에 대해 시기적절한 조정 및 수정(timely adaptations and modifications)이 이루어져야 합니다.

이 이니셔티브를 수행하기 위해(To carry out), 참가자들은 CBME와 CBD 교육 설계에 대한 새로운 지식과 기술(knowledge and skills)을 개발하고, 이 패러다임(paradigm) 내에서 새로운 수련 표준과 요건(requirements)을 조정 및/또는 생성(adapt and/or create)하며, 자신의 책임 영역(spheres of responsibility) 내에서 변화를 주도하거나 관리(lead or manage)해야 했습니다. CBD 프로젝트 팀은 CBD 전문과목 변혁을 위한 다년 계획(multi-year plan)을 개발하기 위해 교수 개발(faculty development), 교육과정 설계(curriculum design), 그리고 변화 관리 프레임워크/모델(change management frameworks/models)을 적용했습니다(표 1 참조).

표 1. 전공의 교육(residency education)을 역량 바탕 의학 교육(CBME) 모델로 변혁하기 위한 접근 방식에 사용된 이론적 프레임워크/모델

파트너와의 참여 (Engaging with Partners)

2012년부터, CBD 프로젝트 팀은 PGME 시스템 내의 핵심 파트너(key partners)들과 제안된(proposed) CBD 프레임워크 및 CBD 구현 계획(plan for implementation)에 대해 협의했습니다(consulted). 협의 대상에는

• 대학 PGME 학장, 국가 전문과목 위원회(national specialty committees), 국가 전문학회(national specialty societies), 수련생 조직(trainee organizations), 관련 규제 당국(regulatory authorities), 그리고 Royal College 임상 교육자(clinician educators)가 포함되었습니다.

CBD 프로젝트 팀은 이러한 파트너들과의 오랜 관계(longstanding relationships)와 Royal College 또는 각 조직(respective organization)이 주최하는 회의에서의 정기적인(regular)(적어도 연 1회) 상호작용(interactions)을 활용했습니다(leveraged). 이러한 논의(discussions)는 프로젝트 팀에게 PGME 커뮤니티에 정보를 제공하고 참여(inform and engage)시키는 동시에, 제안된 이니셔티브에 대한 그들의 의견을 수집할(gathering their input) 기회(opportunities)를 제공했습니다. 또한, 이러한 협의를 통해 얼리 어답터(early adopters)인 전문과목 위원회, 즉 변혁을 시작하기를 열망하거나(eager to) 이미 CBD의 목표를 향해 진전(making progress)을 보이고 있는 위원회들을 식별했습니다(identified).

로드맵 만들기 (Making the Road Map)

CBD와 그 구현(implementation)을 위한 후속 계획(subsequent plan)은 앞서 언급한 파트너들과의 협의(consultations)에서 확인된(identified) 문제들을 다루었습니다(addressed).

• 업무량(workload),
• 변화를 위한 자원 및 지원의 가용성(availability of resources and support), 그리고
• 이니셔티브와 관련된 일정(timelines)에 대한 우려(Concerns)가 제기되었습니다(had been raised).

 

또 다른 공통된 우려는 진행 중인 Royal College 인증 활동(accreditation activities)과 관련이 있었는데, 여기에는

• 변화하는 교육 설계(educational design)와 관련된 새로운 인증 표준(accreditation standards)에 대한 요건을 충족(meeting requirements)하는 동시에
• CBD 변혁과 인증 활동을 동시에 관리(manage... at the same time)해야 하는 프로그램 및 학교의 업무량이 포함되었습니다.

이 교육과정 변화(curricular change)와 관련하여 인증의 어려운 측면(challenging aspect)은 Royal College 인증 활동의 운영 메커니즘(mechanism of operation)이었습니다. 인증은 하나의 대학, 그 대학의 PGME 부서(PGME office), 그리고 모든 전공의 수련 프로그램에 초점을 맞추는 반면, 교육 표준의 변화는 모든 대학에 걸쳐 단일 분야(a discipline)의 수련 프로그램 차원(level)에서 발생합니다. 따라서, 인증을 받고 있는(undergoing) 대학은 CBD 변혁 과정의 서로 다른 단계(varying stages)에 있는 프로그램들을 보유하게 됩니다.

 

변혁을 위한 로드맵(road map)은 Royal College가 전문과목 교육 설계(specialty’s educational design, SED) 개발과 CBD 구현 작업을 직접 지원한다(directly support)는 원칙(principle)에 기초했습니다. 이는 5가지 핵심 결정(key decisions)으로 이어졌습니다:

• 새로운 교육 표준의 생성(creation)은 Royal College 전문과목 위원회(specialty committee)에 의해 이루어지며, 해당 분야의 모든 프로그램에 걸친 동시적인(simultaneous) CBD 구현을 위한 기반(basis)으로 사용됩니다.
• 전문과목들은 코호트(cohorts)로 그룹화됩니다(grouped); 각 코호트는 한꺼번에 시작하기보다는 순차적으로(in sequence) 작업을 시작합니다.
• 은 해당 분야의 선호도(preference), 범주(category)(내과계, 외과계, 검사계, 전문과목, 세부 전문과목 등), 그리고 다른 분야와의 관계(relationship)에 기초하여 의도적(intentional)으로 이루어집니다 (보충 파일 1: 코호트의 순서 및 그룹화 참조).
• Royal College는 각 개별 전문과목 위원회와 협력하여 SED를 생성할 임상 교육자(clinician educators), 집필가(writers), 행정가(administrators)로 구성된 팀을 수립하고 지원(establish and support)합니다.
• 이 작업은 Royal College가 자금을 대고 지원하는(funded and supported) 일련의 워크숍(workshops)을 통해 이루어집니다.

앞서 언급한 업무량과 자원에 대한 우려가 전문과목 위원회에 대한 중앙 집중식 지원(centralized support)과 일련의 워크숍에 대한 자금 지원(funding)에 관한 결정을 이끌었습니다(drove). Royal College는 각 전문과목 위원회가 CBD의 포괄적인 프레임워크(overarching framework)를 자신의 분야에 맞게 조정(adapted)할 때 그 작업을 촉진(facilitate)하기로 약속했습니다(committed). 이 작업을 통해, 프로그램 책임자들은

• 전문과목의 교육 설계에 직접적인 의견(direct input)을 내고,
• 교수 개발(faculty development)에 참여(engage)하며,
• 최종적인 졸업 시의 분야별 역량(discipline-specific competencies) 세트 외에도 수련의 순서(sequence)를 안내하는(guide) 교육과정 요소(curricular elements)(즉, 단계(stages), RCEPAs, 평가 전략(assessment strategies), 및 수련 경험(training experiences))를 제공받게 됩니다(be provided with).

이 작업을 중앙 집중화(centralizing)하고 재정적 지원(financial support)뿐만 아니라 행정 및 CBD 전문성(logistical and CBD expertise)을 제공함으로써, Royal College는 개별 학교, 프로그램, 그리고 프로그램 책임자들의 부담(burden)을 줄이는 것(reduce)을 목표로 했습니다(aimed).

 

코호트 접근 방식(cohort approach)으로 진행하기로 한 결정은 실용적(pragmatic)이었습니다. 전문과목 위원회에 자금과 전문성을 지원하겠다는 약속 때문에, 67개 위원회 모두와 동시에(simultaneously) 작업하는 것은 실현 불가능했습니다(not feasible). 서로 다른 전문과목들과의 순차적인 참여(sequential engagement)는 재정적 영향(financial impact)을 10년에 걸쳐 분산시켰습니다(spread). 또한 이는 한 번에 워크숍이나 CBD 구현에 적극적으로 참여하는(actively engaged) 전문과목의 수를 제한(limited)하여, Royal College가 지원 및 기타 자원(support and other resources)(임상 교육자, 교육 집필가(education writers), 교수 개발 지원 등)을 해당 전문과목들에 집중(target)할 수 있게 했습니다. 전문과목 위원회들은 언제 작업을 착수할지(initiate)에 대한 선호도를 확인하기 위해 설문 조사(polled)를 받았으며, 그들의 선호도 및 다른 Royal College 책무(commitments)와 관련된 전문과목 위원회의 업무량 같은 요인(factors)들이 코호트 내 배치(placement)에 고려되었습니다(were considered).

 

코호트 내 전문과목의 그룹화 및 순서 배열 또한 전략적(strategic)이었습니다. Royal College는 의도적으로(intentionally) "얼리 어답터(early adopters)"를 처음 두 코호트에 배치했습니다; 이 분야들은 이미 CBME 접근 방식으로의 준비 또는 변혁에 일부 참여했었습니다(participated)(예: EPA 생성 또는 시뮬레이션 기반 수련 및 평가(simulation-based training and assessment)를 위한 교육과정 개발). 처음 두 코호트는 또한 Royal College 전문과목들의 대표적인 혼합(representative mix)을 의도적으로 포함했습니다: 여기에는 전문과목과 세부 전문과목; 내과계, 외과계, 및 진단 분야(diagnostic disciplines); 그리고 전공의 수련 기간(durations)이 다양한(1년~5년) 분야들이 포함되었습니다 (보충 파일 1 참조). 이러한 신중한 배정(careful assignment)의 목표 중 하나는 CBD의 통일된 설계(uniform design)가 다양한 분야에 적용될 수 있는지(could be applied)를 검토하는 것(examine)이었습니다. 전문과목 간의 관계도 전략적 순서 배열의 또 다른 요인이었습니다; 예를 들어, 산부인과(Obstetrics and Gynecology)는 세 개의 세부 전문과목보다 먼저 CBD 변혁을 시작하도록 순서가 정해졌으며, 세부 전문과목들은 서로 동시에(at the same time) 시작하도록 순서가 정해졌습니다. 이러한 전문과목 "가족(families)"별 순서 배열은 소규모의 세부 전문의 그룹보다 앞서 해당 분야의 더 큰 교수진 그룹을 참여시킴(engaging)으로써 CBD 구현 작업을 촉진할 수 있다고 인식되었습니다(was perceived).

 

일련의 워크숍은 새로운 교육 표준을 생성하는 작업의 순서를 정하고(sequence) 이를 시간과 노력 면에서 감당할 수 있는 "덩어리(manageable chunks)"로 나누어, 전문과목 위원회의 참여를 촉진하고 위원회 구성원들이 임상 및 기타 책임에서 자리를 비우는 시간(time away from)을 최소화(minimizing)하도록 설계되었습니다. 워크숍은 약 6개월 간격(intervals)으로 열리는 3일짜리 세션 3회로 구성되었습니다. 각 워크숍은 표준 작업, 교수 개발, 그리고 CBD 구현 준비 간의 균형을 맞췄습니다(balanced). 전체 전문과목 위원회가 전체 워크숍 시리즈에 참석하도록 자금 지원(funded)을 받았으며, 각 위원회는 한두 명의 수련생뿐만 아니라 1~3명의 다른 초청 기고자(guest contributors)(예: CBME 또는 현장 기반 평가(work-based assessment)에 전문성이 있는 해당 분야 구성원)를 포함하도록 장려되었습니다(encouraged). Royal College 임상 교육자들이 워크숍을 진행했습니다(facilitated): 그들은 CBME를 설명하고, 전문과목 위원회를 워크숍 활동 순서에 따라 이끌었으며(led), CBD 프레임워크를 통해 그들을 안내했습니다. Royal College 전문과목 부서(Specialties Unit)는 워크숍을 위한 행정 지원(logistics)을 조직했고, 부서의 교육 집필가와 임상 교육자들은 해당 분야 RCEPAs, 평가 전략, 역량, 수련 경험, 그리고 인증 표준의 개발을 진전시키기 위해(to advance) 편집 지원(editorial support)과 콘텐츠 전문성(content expertise)을 제공했습니다. 일련의 활동에 대한 표준화(standardization)와 워크숍 및 표준 개발에 대한 Royal College의 지원은 업무량, 자원, 일정과 관련된 이해관계자(stakeholder)들의 우려를 해결하기 위한 것이었습니다.

여정에서 얻은 배움 (Learning Along the Journey)

워크숍의 설계 및 전달(design and delivery)은 전문과목 위원회 구성원들의 피드백, 지역 및 국가 프로그램 평가 노력(local and national program evaluation efforts), 워크숍을 진행하는 Royal College 팀의 관찰(observations), 그리고 COVID-19 팬데믹의 현실(realities)에 대응하여(in response to) 수정되었습니다.

 

원래 설계(original design)는 각각 교육과정 설계와 학습자 평가에 초점을 맞춘, 3일 길이의 워크숍 2회를 구상했습니다(envisaged).

• 첫 번째 워크숍은 전문과목 위원회가 CanMEDS 2015의 형식, 내용 및 언어(format, content, and language)에 대한 업데이트를 포함하여 해당 분야의 역량을 수정(revision)하도록 안내하는 것으로 시작했습니다. 그룹은 분야의 전반적인 역량을 다시 쓰는 것(rewriting)으로 시작하여 역량 연속체의 각 단계에 대한 발달 이정표(developmental milestones)를 작성하는 것으로 나아갔습니다(moved on). 해당 분야를 위한 RCEPAs를 생성하는 것이 3일차의 초점이었습니다.
• 두 번째 워크숍에서, 그룹은 RCEPAs를 다듬고(refined), 평가 계획(assessment plans)을 작성했으며, 프로그램이 제공해야 하는 수련 경험을 확인했습니다.

원래의 워크숍 계획은 종양내과(Medical Oncology)와 이비인후과-두경부외과(Otolaryngology — Head and Neck Surgery)라는 처음 두 분야의 경험 후 수정되었습니다. Royal College 팀과 전문과목 위원회 구성원 모두 다른 CBD 결정을 내리기 전에 역량과 이정표를 작성하는 것이 어렵다(difficult)고 보고했습니다(reported). 대신, 임상의들은 분야의 EPA를 식별하는 것이 더 쉽다는 것을 알게 되었는데, 이 활동이 그들이 자신의 업무와 전공의 수련에 대해 생각하는 방식에 더 맞춰져 있었기(attuned) 때문입니다. 또한 이 순서는 그러한 과업을 수행하는 데 필요한 역량의 식별을 촉진했습니다. 이 피드백은 임상의들이 자신의 업무와 기술을 공식적인 역량 프레임워크(formal competency frameworks)의 언어로 옮길 때(translating) 직면하는 어려움에 대한 발표된 보고서(published reports) [10, 11, 12]와 일치했습니다(concurred).

 

초기 경험은 또한 교수 개발의 시기와 순서(timing and sequencing)를 안내했습니다. 워크숍에는 전문과목 위원회 구성원들이 자신의 프로그램의 CBD 구현을 준비하도록 돕는 것을 목표로 하는(aimed to) 세션이 포함되었습니다. 초기 피드백은 변화 활동(change activities)의 양과 복잡성(volume and complexity)을 일선 교사(front-line teachers)들의 변화 수용 능력(capacity for change) 및 그들이 교수와 평가에 대한 새로운 접근 방식을 적용하는 시기와 균형을 맞추기(balance) 위해 구현 활동의 순서를 적절하게 정할 필요가 있음을 확인했습니다.

 

이러한 초기 경험들은 또한 두 번의 워크숍으로는 SED 작업을 완료하는 데(to complete) 충분한 시간을 제공하지 못한다는 것을 확인시켜 주었습니다.

 

CBD 워크숍 계획은 이 피드백을 통합하여(incorporate) 수정되었고, 3일짜리 워크숍 3회 시리즈가 되었습니다(표 2 참조).

 

표 2. 전문과목 교육 설계를 생성하기 위한 워크숍

기간 (DURATION)	워크숍 1 (WORKSHOP 1)	워크숍 2 (WORKSHOP 2)	워크숍 3 (WORKSHOP 3)
	3일 (3 DAYS)	3일 (3 DAYS)	3일 (3 DAYS)
참가자 개발 (Participant development)	CBD란 무엇인가? EPA란 무엇인가?	현장 기반 평가란 무엇인가? 역량 위원회(competence committees)란 무엇인가?	코칭(coaching)이란 무엇인가? CBD에서 이정표(milestones)는 어떻게 사용되는가?
표준 개발 (Standards development)	진료 범위(Scope of practice) 수련의 성과(Outcomes of training) 단계를 통한 진전(Progression through stages) RCEPAs 및 수련 경험의 첫 번째 초안(First draft)	다듬어진(Refined) RCEPAs RCEPAs를 위한 평가 요건 역량 문서 검토	RCEPAs를 위한 다듬어진(Refined) 평가 계획 RCEPAs에 연결된 이정표 역량, 수련 경험, 및 인증 표준에 대한 최종 수정(Final revisions)
구현 준비 (Preparation for implementation)	다가올 변화에 대한 인식 구축(Build awareness) 지역 변화 관리 팀 구축(Build)	역량 위원회 수립(Establish)	교육과정 맵(curriculum map) 생성(Create) 지역 구현을 위한 전략 계획(strategic plan) 생성 일선 교사 및 전공의 오리엔테이션(Orient)
*각 워크숍은 Competence by Design (CBD)의 요소에 관한 전문성 개발(professional development), 해당 분야 교육 표준의 생성 또는 수정, 그리고 지역 구현 준비에 대한 안내(guidance)를 포함하는 활동들의 조합(combination)*이었습니다. RCEPAs – 단계별 특화된(stage specific) Royal College 위임 가능한 전문 활동; 역량, 수련 경험, 및 인증 표준 – 분야별 Royal College 교육 표준을 상세히 설명하는(elaborating) 문서들. 약어: CBD = Competence by Design; EPA = 위임 가능한 전문 활동(entrustable professional activity); RCEPA = EPA에 대한 Royal College 접근 방식.

 

• 첫 번째 워크숍(The first workshop)은 분야의 범위(scope)와 수련의 바람직한 성과(desired outcomes)를 기술하고(delineating), 역량 연속체(competence continuum)의 단계에 따른 수련생 책임(responsibility)의 순차적 진전(sequential progression)을 수립하며(establishing), 분야별 RCEPAs의 첫 번째 초안을 작성하고(producing the first draft), 각 단계에 대한 필수 수련 경험(required training experiences)을 수립하는 데 초점을 맞췄습니다(focused on).
• 두 번째 워크숍(The second workshop)은 RCEPAs를 다듬고(refine), 역량 위원회(competence committees)가 RCEPA 달성 여부를 결정할 때(determining) 사용할 평가 계획(assessment plans)과 지침(guidelines)을 개발하는 데 사용되었습니다. RCEPAs를 개발하고 다듬는 작업은 전문과목 위원회 구성원들 사이에서 과업 수행에 필요한 기술(skills)에 대한 풍부한 논의(rich discussions)를 촉발했습니다(triggered). 임상 교육자(clinician educator)와 집필가(writer)로 구성된 Royal College 팀은 이러한 논의에서 나온 자료(material)를 사용하여 전문과목 위원회가 세 번째 워크숍이나 그 전에 검토할(to review) 이정표(milestones)와 역량(competencies)의 초안을 작성했습니다.
• 세 번째 워크숍(The third workshop)의 목적(purpose)은 평가 계획 및 이정표가 포함된 RCEPAs 세트와, 역량, 수련 경험 및 인증 표준(standards of accreditation)을 포함한 분야 표준 등 전문과목 교육 설계(SED)의 모든 측면을 확정하는 것(finalize)이었습니다.

워크숍 사이사이에, 그룹을 지원하는(supporting) Royal College 집필가와 임상 교육자는 워크숍의 산출물(output)을 검토하고 수정했으며(reviewed and revised), 작업의 명확화(clarification)와 진전(advancement)을 위해 워크숍 참가자들을 참여시켰습니다(engaged).

 

CBD 구현(implementation)을 위한 준비(Preparations)는 순서가 정해져 있었습니다(were sequenced):

• 변화에 대한 인식을 조성하는 방법(how to create awareness)은 첫 번째 워크숍에서,
• 역량 위원회를 수립하고 운영하는 방법(how to establish and run)은 두 번째 워크숍에서, 그리고
• 지역 CBD 구현(local CBD implementation)을 위한 교육과정 맵(curriculum map)과 전략 계획(strategic plan)을 생성하는 방법은 세 번째 워크숍에서 논의되었습니다.
• 추가 웨비나(Additional webinars)는 CBD 구현 6개월 전(six months preceding)에 열리도록 일정이 잡혔으며(timed), 일선 교사(front-line teachers)와 신입 수련생(incoming trainees)을 오리엔테이션(orient)하는 방법에 초점을 맞췄습니다.

COVID-19 팬데믹의 시작(The onset of the COVID-19 pandemic)으로 인해 워크숍을 가상 환경(virtual setting)에서의 전달(delivery)을 위해 수정(modified)해야 했으나; 활동의 순서(sequence)는 유지되었습니다(maintained). Royal College가 대면 회의(in-person meetings)를 주최하지 않았던 2년의 기간 동안, 가상 워크숍으로의 전환(shift)을 통해 14개 분야가 CBD 교육 설계를 완료하고 4개 분야가 작업을 시작할 수 있었으며; 5개 분야는 모든 워크숍을 가상 형식으로 개최했습니다(held). 그러나 전문과목 위원회 구성원들은 대면 회의로 복귀하기를 열망했습니다(eager); 워크숍 참가자 대상 설문 조사(survey)는 서로 간의 네트워킹(networking), 실천 공동체 구축(building a community of practice), 그리고 직장 내 방해 요소 회피(avoiding workplace distractions)의 이점(benefits)을 포함하여 그들의 선호(preference)에 대한 이유를 확인했습니다.

 

마지막으로, 초기 코호트 분야들과 지역 및 국가 프로그램 평가 노력의 피드백에 기초하여(based on feedback) CBD 설계 요소에 대한 중요한 수정(important modifications)이 이루어졌습니다. RCEPAs의 구조(structure), CanMEDS 콘텐츠의 형식(format), 그리고 평가 전략의 선택(selection)에 변화가 있었습니다.

• 초기 코호트는 많은 수(large number)의 RCEPAs를 생산했습니다; 구현 시, 이 많은 수는 수련생, 지도전문의(supervisors), 그리고 역량 위원회가 관리하고 추적하기에(manage and track) 어려움(challenge)이었습니다. 그 후, RCEPAs 개발은 분야의 필수 과업(essential tasks)에 초점을 맞추었고, RCEPA가 다양한 양상(presentations)(예: 외래, 병동, 또는 응급실과 같은 다른 환경(settings), 아동, 성인, 또는 노인과 같은 다른 연령(ages), 심장, 호흡기, 또는 신장과 같은 다른 질환(conditions))에 걸쳐 관찰될 수 있도록(to be observed) 맥락 메뉴(context menus)가 통합되었습니다(incorporated); 이는 분야당 RCEPAs의 전형적인 수(typical number)를 30~50개로 줄였습니다(reduced).
• 또한, 짧은 CanMEDS 역량 진술 형태의 발달 이정표(developmental milestones)가 지도전문의가 해당 활동의 수행(performance)과 관련된 기술에 대해 수련생을 코칭(coach)하기 위한 프롬프트(prompt)로서 RCEPAs에 연결되었습니다(linked). 피드백을 통해 이러한 이정표들이 평가가 완료되는 디지털 플랫폼(digital platforms)에서 잘 작동하려면 간결해야(concise) 할 필요성이 확인되었습니다; 따라서 Royal College는 이정표의 장황함(wordiness)뿐만 아니라 그 숫자도 제한했습니다(limited) (보충 파일 2: RCEPA 및 이정표 수정 예시 참조).
• 더 나아가, 다면 평가 방법(multisource feedback methods), 환자 입력(patient inputs), 그리고 다부분 평가 도구(multi-part assessment tools)는 현재 환경과 디지털 플랫폼을 고려할 때 실행하기에(to be executed) 너무 복잡하다(complex)는 것이 밝혀졌습니다; 이에 대응하여(in response), RCEPA 평가 전략이 조정되었습니다(adjusted).
• 이런 방식으로, 초기 코호트 분야의 경험은 중요한 반복적 변화(iterative changes)에 정보를 제공했습니다(informed).

코호트 접근 방식의 이점과 과제 식별 (Identifying Benefits and Challenges of the Cohort Approach)

Royal College는 코호트 접근 방식을 통해 CBD의 구현을 10년에 걸쳐 분산하고 순서를 정한(spread and sequence) 결정에 대해 비판과 칭찬을 동시에(both criticized and praised) 받았습니다. 이 접근 방식의 몇 가지 핵심 이점(key benefits)은 이미 설명되었습니다(elucidated):

• 초기 피드백에 기초하여 워크숍을 수정 및 조정하는 것;
• 재정적 영향을 시간에 따라 분산하는 것; 그리고
• 위원회에 향상된 지원(improved support)을 제공하는 것입니다.

코호트 접근 방식은 또한 전문과목 위원회의 노력을 지원하는 Royal College 팀 내에 전문성(expertise)을 개발할 시간을 제공했습니다. 각 위원회는 SED 과정을 단 한 번만 겪었지만, 임상 교육자, 집필가, 행정가로 구성된 Royal College 팀은 내과계, 외과계, 진단 분야의 다양한 분야와 함께 그 과정에 반복적으로 노출되었고(repeated exposures) 경험을 쌓았습니다. 이는 이전 코호트로부터 관련 작업(relevant work)을 공유하고(sharing) 여러 분야에 걸쳐 유사한 CBD 표준의 일부 측면(예: 입원 환자 서비스를 이끄는 것(leading)에 대한 EPA의 표준 문구(standard wording))을 표준화함(standardizing)으로써 위원회의 업무를 효율화하는(streamline) Royal College의 능력을 촉진했습니다(facilitated).

 

그러나, CBD 변혁에 대한 긴 접근 방식(lengthy approach)은 학교와 프로그램이 CBME로의 변혁과 동시에 이전의 수련 시스템을 관리해야 했던 기간(period)을 연장시켰습니다(extended). 새로운 수련 패러다임은 다년 프로그램(multi-year programs)에서 이미 수련 중인 전공의가 아닌 신입 전공의에게만 적용될 것이기 때문에 이것은 어느 정도 불가피했습니다(inevitable); 그러나 전문과목 코호트에 걸쳐 CBD 변혁의 순서를 정한 결정은 그 영향의 지속 기간(duration)을 늘렸습니다(prolonged). 이는 한 교육 패러다임을 따르는 수련생들이 다른 교육 패러다임의 프로그램과 상호작용할 때 과제(challenges)를 만들어냈습니다(created). 예를 들어,

• CBD 수련생들이 아직 CBD를 사용하기 시작하지 않은 분야에서 "타과 파견(off-service)" 로테이션을 할 때, 그곳의 지도전문의들은 RCEPAs와 평가 플랫폼의 사용에 익숙하지 않았습니다(not familiar).
• 또 다른 예는 한 전문과목에서 다른 전문과목으로의 전공의 전과(resident transfer), 그리고 교육 패러다임들이 서로 다른 진척도 척도(measures of progress)(즉, 로테이션의 성공적 이수(successful completion) 대 RCEPA 성취 및 역량 진전의 문서화(documentation))를 사용하고 있을 때 그 시점까지의 수련에 대한 학점(credit)을 적용하는 데 있었습니다.
• 구현의 연장된 기간은 또한 학교가 인증 검토(accreditation reviews) 중에 일부 프로그램은 "구(old)" 요건을 따르고 일부는 새로운 CBD 요건을 따르는 두 세트의 표준을 관리해야 함을 의미했습니다.

10년에 걸친 과정과 전문과목 위원회 자원봉사자들의 정상적인 이직(normal turnover)은 또한 전문과목 위원회 내에 멤버십과 리더십의 변화(membership and leadership changes)가 있었음을 의미했고, 이는 해당 분야에서 CBD가 완전히 구현되기 전에 결정과 계획에 대한 "조직의 기억(corporate memory)"에 영향을 미쳤습니다(impacted). 마지막으로, 더 많은 분야가 CBD 구현 단계에 도달함에 따라(reached), Royal College의 관심, 자원, 및 역량(attention, resources, and capacity)은 구현 과정에 있는 전문과목 위원회를 지원하는 것과 워크숍 시리즈에 여전히 참여하고 있거나 참여를 기다리고 있는(waiting to engage) 위원회를 지원하는 것 사이에서 나뉘었습니다(divided).

 

CBD 구현 일정에는 몇 가지 예상치 못한 지연(unexpected delays)이 있었습니다.

• 처음 세 코호트의 경우, 학교들의 준비 상태(readiness)가 구현을 진행하는(move forward) 능력을 제한했습니다. 이 지연의 결과로(As a result of), 일부 초기 코호트 분야들은 변화 과정에서 이탈했으며(disengaged), 이는 프로그램 및 교수진의 준비 상태에 추가적인 과제(further challenges)를 초래했습니다. 워크숍에 참여하는 분야의 규모(volume)가 증가함에 따라, 팀 내 임상 교육자와 교육 집필가의 이직 외에도 이니셔티브를 지원하는
• Royal College 팀을 확장하는 데(expanding) 있어서의 과제들이 계획된 출시(rollout)를 계속하는 Royal College의 역량을 제한했습니다; 후기 코호트들의 일정은 따라잡기(catch-up)를 허용하고 이니셔티브의 지속적인 지속가능성(ongoing sustainability)을 보장하기 위해 수정되었습니다.
• COVID-19 팬데믹은 전문과목 위원회 구성원들이 건강 관리 요구 및 전달(health care needs and delivery)의 변화라는 현실과 수련생들의 요구에 자신의 임상 진료를 적응시키는 것(adapting)을 우선시함에 따라(prioritized) 워크숍 전달에 6개월간의 중단(hiatus)을 초래했습니다; Royal College는 가상 작업 환경으로 전환했습니다. 팬데믹에 큰 영향을 받은(heavily impacted) 분야(예: 공중보건 및 예방의학(Public Health and Preventive Medicine))의 워크숍 및 CBD 구현 참여에 대한 가용성 및/또는 의향(availability and/or willingness)은 코호트 일정에 추가적인 지연을 초래했습니다.

목표 달성 (Achieving the Goal)

변혁을 위한 로드맵에서 Royal College가 내린 결정들은 CBD 교육 설계의 매개변수(parameters) 내에서 수련 표준을 개발하는 데 필요한 작업의 양을 감당할 수 있게 했습니다(enabled). 임상 교육자, 집필가, 행정가로 구성된 소규모 팀이 전문과목 위원회 자원봉사자들과 함께 250회 이상의 워크숍을 촉진할 수 있었습니다. CBD 교육 설계는 광범위한 내과계, 외과계, 진단 전문과목 및 세부 전문과목의 수련 요구를 충족하도록(meet the needs) 성공적으로 적응되었습니다.

 

첫 번째 CBD 워크숍은 2014년 9월 종양내과와 함께 열렸습니다. 2017년 7월, 수련 프로그램에 CBD 교육 설계를 공식적으로 구현한 첫 번째 분야는 마취통증의학과(Anesthesiology)와 이비인후과-두경부외과였습니다. 2023년 7월 현재(As of), (67개 중) 65개의 전문과목, 세부 전문과목, 및 특별 프로그램이 CBD로의 변혁에 참여했습니다. 그 65개 분야 중 61개가 전문과목 교육 설계의 생성을 완료했고, 53개가 수련 프로그램에 CBD를 구현했으며, 24개 분야에서 이 패러다임으로 수련한 후 졸업한 수련생을 배출했습니다(have had trainees graduate).

결론 (Conclusion)

이 논문은 캐나다의 졸업 후 전문의 교육 시스템을 재편한(reshaped) 혁신적인 변화 이니셔티브를 출범하기 위해(to launch) Royal College가 취한 접근 방식을 기술합니다(describes). 우리는 이 접근 방식을 계획하는 데 관련된 고려 사항(considerations)을 특징지었고(characterized), 이 변화를 수행하는 방법(how to undertake)에 대한 결정을 안내한(guided) 원칙들을 기술했으며, 그러한 결정들이 과정과 현재까지의 성과에 미친 영향을 설명했습니다. CBME로의 변화나 복잡한 PGME 환경 내에서 어떤 주요 이니셔티브(major initiative)를 계획하고 있는 다른 관할권(jurisdictions)은 다음 사항을 고려해 볼 수 있습니다:

• 파트너들과 일찍 그리고 자주(early and often) 참여하는 것을 포함하여, 시작 단계와 과정 전반에 걸쳐 변화 관리(change management)의 원칙과 관행을 통합하는 것(Incorporating).
• 이니셔티브를 PGME 시스템의 모든 부분에 걸쳐 동시에 구현할지, 아니면 순차적으로 구현할지 명시적으로 결정하는 것(Explicitly deciding). 각 접근 방식에는 장점(merits)이 있습니다; 우리는 구현의 순서를 정한 Royal College 결정의 이점과 과제 일부를 기술했습니다.
• 만약 순차적 접근 방식(sequential approach)이 선택된다면, 참여 순서를 목적에 맞게 선택하는 것(purposefully select) (예: 얼리 어답터 먼저, 분야의 혼합).
• 지속적인 질 향상(continuous quality improvement)을 과정에 체계적으로 통합하는 것(Systematically incorporating); 여기에는 피드백을 수집하는 방법을 수립하고, 적응(adaptation)을 가능하게 하기 위해 의도된 결과와 의도하지 않은 결과(intended and unintended consequences)를 식별하고 해석하는 것(interpreting)이 포함됩니다.
• 과정에 대한 전문성을 가진 사람뿐만 아니라 내용 전문가(content experts)를 참여시키는 것(Involving). 우리의 경우, 전문과목 위원회가 해당 분야에 대한 내용 전문성을 제공한 반면, Royal College 임상 교육자와 집필가는 CBD 교육 설계에 대한 전문성을 제공했습니다. 전문성의 조합(combination)은 작업을 효율화했고, CBD 교육 설계와의 정렬(alignment)을 보장했으며, 67개 분야 전반에 걸쳐 일관성과 통일성(consistency and coherency)을 제공했습니다.
• 교육 설계에 대한 엄격한 고수(strict adherence)와 다른 분야나 지역적 맥락(local contexts)을 위한 유연한 적응(flexible adaptation) 사이의 균형을 맞추는 것; 공유된 공통 요소(shared common elements)는 자원, 모범 사례(best practices), 그리고 학습한 교훈의 공유를 촉진할 수 있습니다.

 

 

Perspect Med Educ. 2024 Mar 18;13(1):201-223. doi: 10.5334/pme.1096. eCollection 2024.

Competence By Design: a transformational national model of time-variable competency-based postgraduate medical education

제목: 🇨🇦 캐나다는 어떻게 전공의 수련을 확 바꿨을까? '설계에 의한 역량(CBD)' 완벽 정리!

안녕하세요! 오늘은 의학교육 분야에서 정말 핫하고 중요한 논문 하나를 소개해드리려고 해요. 바로 캐나다의 전공의 교육 시스템을 송두리째 바꾼 거대한 프로젝트, 'Competence By Design (CBD)'에 대한 이야기입니다.

우리가 흔히 "전공의 1년차, 2년차..." 이렇게 '시간'이 지나면 다음 단계로 넘어가는 시스템에 익숙하잖아요? 그런데 캐나다 왕립내과외과대학(Royal College)은 이런 20세기 방식을 과감히 버리고, 역량(Competence) 중심의 새로운 모델을 국가 차원에서 도입했습니다.

도대체 어떤 내용인지, 핵심만 쏙쏙 뽑아서 정리해 드릴게요! 🧐

1. 왜 바꾸게 된 거죠? 🤔

기존의 전공의 교육(Postgraduate Medical Education, PGME)은 '시간 기반(Time-based)'이었어요. 정해진 기간을 채우면 수련을 마치는 식이었죠. 하지만 이런 방식에는 몇 가지 문제가 있었습니다.

• 졸업생마다 실력(역량) 차이가 너무 큼
• 환자 안전(Patient Safety)에 대한 우려
• 전공의에 대한 직접 관찰과 피드백 부족 ("그냥 알아서 배워" 식?)
• 평가가 점수 매기기에 급급함

그래서 캐나다는 역량 바탕 의학교육(Competency Based Medical Education, CBME)을 도입하기로 결심합니다. 단순히 이론에 그치지 않고, 시스템 전체를 뜯어고치는 혁신을 감행한 것이죠!

"CBD는 강조점을 수련에 소요된 시간에서 졸업생이 성취한 역량으로 이동시킵니다." (CBME shifts the emphasis from time spent in training to competencies achieved by graduates.)

2. CBD의 핵심! 무엇이 달라졌나? 💡

CBD는 총 14가지의 혁신적인 요소들을 '묶음(Bundle)'으로 제공하는데요, 그중 가장 중요한 몇 가지를 살펴볼게요.

1) 수련 단계의 변화 (Stages of Training)

더 이상 "1년차, 2년차"가 아닙니다. 수련 과정을 4단계로 나눴어요.

1. 전공의 전환기 (Transition to Discipline)
2. 기초기 (Foundations)
3. 핵심기 (Core)
4. 진료 전환기 (Transition to Practice)

각 단계를 통과하려면 시간이 지나는 게 아니라, 그 단계에 필요한 역량을 증명해야 합니다.

2) 신뢰할 수 있는 전문 활동 (EPAs)

이 용어 많이 들어보셨죠? EPAs (Entrustable Professional Activities)는 "교수님이 믿고 맡길 수 있는 업무 단위"를 말해요. 예를 들어 '단순 봉합하기'부터 '복잡한 수술 집도하기'까지, 수련 단계에 맞는 구체적인 업무를 직접 관찰(Direct Observation)하고 평가합니다.

3) 코칭과 성장 마인드셋 (Coaching & Growth Mindset)

평가는 "너 탈락!"이 아니라 "어떻게 하면 더 잘할 수 있을까?"를 알려주는 코칭(Coaching)으로 변했습니다.

"학습에 대한 발달적 관점; 모든 학습자는 역량을 향한 여정에 있으며, 어떤 주어진 역량은 성취되었거나 아직 성취되지 않은 상태입니다." (A developmental view of learning; every learner is on a journey to competence, and any given competency is achieved or not yet achieved.)

즉, 실패가 아니라 "아직 도달하지 못함(Not yet)"인 것이죠. 멋지지 않나요? 🌱

4) 역량 위원회 (Competence Committees)

한 명의 지도전문의가 전공의의 운명을 결정하지 않습니다. 여러 명의 교육자가 모인 위원회에서 다양한 데이터(포트폴리오)를 보고 전공의의 진급 여부를 결정합니다. 훨씬 공정하겠죠?

3. '시간'은 이제 중요하지 않나요? ⏳

아니요, 시간은 여전히 중요합니다. 하지만 그 의미가 달라졌어요. 예전에는 시간이 '목표'였다면, 이제는 '도구'가 되었습니다.

"시간은 학습을 위한 자원이지, 수련 완료의 기준이 아닙니다." (Time is a resource for learning, not the criterion for completion of training.)

역량을 빨리 채우면 이론적으로는 조기 졸업도 가능하고, 부족하면 시간을 더 써서라도 역량을 채우고 나가야 한다는 뜻입니다. (이게 바로 '시간 가변적' 모델의 핵심!)

4. 물론, 어려움도 있었어요 💦

논문에서는 솔직하게 시행착오도 고백하고 있어요.

• 전공의들의 스트레스: 수많은 EPA 평가를 받아야 한다는 압박감이 있었대요. (마치 할당량 채우기처럼 느껴지기도 했다고...)
• 기술적 문제: 전자 포트폴리오(Electronic Portfolios) 시스템이 완벽하지 않아서 고생했다고 합니다.
• 팬데믹: 하필 코로나19가 터지면서 구현에 어려움이 있었지만, 오히려 유연한 시스템 덕분에 수련을 이어갈 수 있기도 했답니다.

📝 요약하며

이 논문은 캐나다의 사례를 통해 역량 바탕 의학교육(CBME)이 단순히 이상적인 이론이 아니라, 국가적 차원에서 실제로 구현 가능한 시스템임을 보여주었습니다.

결국 이 모든 변화의 목적은 단 하나입니다. "환자에게 더 안전하고 효과적인 진료를 제공할 수 있는 의사를 길러내는 것!"

우리나라의 의학교육도 이런 흐름에 맞춰 어떻게 변화해 나갈지 기대가 됩니다. 😊

서론 (Introduction)

전공의 교육(Postgraduate medical education, PGME)은 의사들이 사회에 봉사(serve society)하고 진료(practise)하는 데 필요한 역량 수준(level of competence)을 성취하도록 준비시키는 필수적인 사회적 과업(essential societal enterprise)으로 묘사되어 왔습니다 [1]. 효과적인 PGME 시스템(effective PGME system)이 없다면, 대중(population)은 충분한 의료 인력(sufficient health workforce)이 부족하거나 진료를 위한 준비가 충분하지 않은(not adequately prepared) 의사 집단(cadre of physicians)을 갖게 될 수도 있습니다. Osler, Halsted, 그리고 Flexner에 의해 크게 영향을 받은(heavily influenced) 20세기 의학교육 모델(20th century model of medical education)은 수십 년에 걸쳐 더 많은 교육적 구조(educational structure)를 점진적으로 통합한(progressively incorporated) 도제 모델(apprenticeship model)로부터 발전했습니다(evolved out of) [2, 3]. 하지만 이 모델은 21세기에는 부적절하며(inadequate) [4-10] 사회적 책무성(social accountability)에 더 큰 관심을 기울일 필요가 있다는 비판을 받아왔습니다 [11, 12]. 이에 대한 대응(In response)으로, 새로운 성과 지향적(outcomes-oriented)이고 역량 바탕 접근법(competency-based approaches)들이 지지를 받았습니다(endorsed) [13-18]. 전 세계적으로 역량 바탕 의학교육(competency based medical education, CBME)은 보건 전문직(health professions) 분야에서 주요한 혁신적 움직임(major transformational movement)이 되었습니다 [19-23].

CBME는 "역량(competencies)이라는 조직화된 틀(organizing framework)을 사용하여 교육 프로그램의 설계(design), 실행(implementation), 평가(assessment) 및 프로그램 평가(evaluation)를 수행하는 성과 바탕 접근법(outcomes-based approach)"으로 정의되어 왔습니다 [18]. 보건 전문직 교육(health professions education, HPE)에 대한 이러한 접근 방식은 세계보건기구(World Health Organization)의 주요 보고서로 거슬러 올라가며(extends back to) [24], 이후 많은 저자와 조직들에 의해 더욱 발전되었습니다(further developed). International CBME Collaborators는 현대적 CBME 모델(modern CBME model)의 다섯 가지 요소(five elements)(van Melle 핵심 구성요소[Core Components])를 제안했습니다:

• 졸업생을 위한 역량 프레임워크(competency framework)로 조직된 수련 성과(Training outcomes)
• 초심자(novice)에서 전문가(expert)로 이어지는 정의된 수련의 진척(Defined progression of training)
• 학습자의 요구(needs of learners)를 충족시키기 위한 맞춤형 학습 경험(Tailored learning experiences)
• 역량 성취(competency achievement)에 초점을 맞춘 교수(Teaching)
• 프로그램식 평가(Programmatic assessment) [25]

많은 국가의 PGME 시스템들이 CBME를 채택(adopt)하는 방향으로 움직여 왔습니다 [26-31]. 이러한 움직임을 주도하는 것(Driving this movement)은 현대의 수련(contemporary training)에 대한 여러 우려와 PGME 설계를 향상시킬 수 있는 기회(opportunities to enhance)들입니다.

• 환자 안전 위험(Patient safety risks) [32-34],
• 졸업생 역량의 변동성(variability in graduate competence) [35-38],
• PGME로의 진입/내부/종료 과정의 전환(transitions)과 관련된 문제들 [39-43],
• 부적절한 관리감독(inadequate supervision) 및 전공의 업무에 대한 불충분한 직접 관찰(insufficient direct observation) [44-52],
• 현장 기반 평가(workplace-based assessments) 및 진급 결정(promotion decisions)에 대한 우려 [53-59],
• 임상 평가에서의 형평성 결여(lack of equity) [60, 61], 그리고
• 적거나 빈약한 피드백(poor feedback) [62-67]
  • ...등은 교육 리더들이 해결하고자 노력해 온 PGME의 중요하고 반복적인 난제(important recurring challenges)들의 사례입니다.

동시에,

• 프로그램식 평가(programmatic assessment) [68, 69],
• 신뢰할 수 있는 전문 활동(entrustable professional activities, EPAs) [70, 71],
• 새로운 코칭 피드백 모델(coaching feedback models) [72, 73],
• 의도된 연습(deliberate practice) 및 완전 학습(mastery learning) [74, 75],
• 역량 위원회(Competence Committees) [76, 77],
• 평가 소프트웨어(assessment software) [78-80],
• 학습 분석(learning analytics) [81], 그리고
• 새로운 인증 접근법(novel approaches to accreditation) [82]

• ...과 같은 혁신과 발전들은 모두 의학교육에서의 최상의 근거(best evidence in medical education)를 실행함으로써 더 나은 PGME를 위한 중대한 기회(significant opportunities)를 제시합니다(표 1 참조).

표 1. Competence by Design 프로젝트의 동인 (Drivers of the Competence by Design project)