성과 중심 인증평가 시스템을 통한 역량바탕의학교육(CBME) 구현 촉진 (Perspect Med Educ. 2024)

Perspect Med Educ. 2024 Feb 6;13(1):75-84. doi: 10.5334/pme.963. eCollection 2024.

Enabling Implementation of Competency Based Medical Education through an Outcomes-Focused Accreditation System

Timothy R Dalseg 1 2 3, Brent Thoma 2 4, Keith Wycliffe-Jones 5, Jason R Frank 6, Sarah Taber 2

 

📢 인증평가(Accreditation), CBME의 '걸림돌'이 될까, '디딤돌'이 될까?

안녕하세요! 오늘은 의학교육계의 뜨거운 감자인 역량바탕의학교육(CBME)과 인증평가(Accreditation)의 관계를 다룬 흥미로운 논문을 소개해 드리려 해요.

우리는 흔히 인증평가가 교육의 질을 담보한다고 생각하지만, 때로는 혁신적인 교육 모델인 CBME를 도입하는 데 있어 장벽(Barrier)이 되기도 한다는 사실, 알고 계셨나요? 이 논문은 인증평가 시스템이 어떻게 변해야 CBME를 성공적으로 정착시킬 수 있는지에 대한 통찰을 담고 있습니다.

함께 핵심 내용을 살펴볼까요? 🧐

---

1️⃣ 인증평가의 두 얼굴: 촉진제인가, 장벽인가?

연구진은 인증평가가 CBME 구현의 강력한 도구가 될 수도 있지만, 자칫하면 시스템이나 기준의 특성 때문에 한계와 부작용을 낳을 수도 있다고 지적해요. 특히 성과(Outcomes)에만 너무 집착하는 것이 오히려 독이 될 수 있다고 경고합니다.

교육에는 성과로 딱 잘라 측정하기 힘든 '교육 과정(Educational processes)'이나 '학습 환경(Learning environment)' 같은 요소들이 있거든요. 연구진은 이렇게 말합니다.

"성과 중심 구성에 대한 경직된 고수는 이러한 요소들이 효과적으로 평가되는 것을 방해하여, 인증기구가 지닌 신탁 책임을 훼손할 수 있습니다."

"Rigid adherence to the outcomes-based construct would prevent these elements from being effectively evaluated, compromising the fiduciary responsibility that accreditation bodies hold."

 

즉, 성과만 보다가 정작 중요한 교육 환경을 놓칠 수 있다는 것이죠.

---

2️⃣ 무엇이 CBME 구현을 막고, 무엇이 돕는가? (핵심 4가지 요소)

논문에서는 인증 시스템의 4가지 특징이 어떻게 작용하느냐에 따라 결과가 달라진다고 분석했어요.

• 🎓 교육 이론의 정렬 (Alignment of educational theory)
  • Good: 교육 패러다임과 인증 시스템이 한 방향을 바라보면 변화가 가속화됩니다.
  • Bad: 하나의 이론만 너무 고집하면(Rigid adherence), CBME 초기 정착에 필요한 다른 중요한 요소들을 놓칠 수 있어요.
• 🎯 질적 초점 (Quality focus)
  • Good: 질 향상(Quality Improvement)에 초점을 맞추면 스스로 발전하고 혁신을 공유하게 됩니다.
  • Bad: 단순히 최소 기준만 맞추는 질 보증(Quality Assurance)에 머무르면, 학교들은 '혁신'보다 '기준 달성'에만 급급해집니다.
• 📝 인증 기준 (Accreditation standards)
  • Good: 유연한 성과 바탕 기준(Outcome-based standards)은 학교별 상황에 맞는 혁신을 가능하게 합니다.
  • Bad: 너무 시시콜콜하고 규범적인 기준(Prescriptive standards)은 변화를 억누를 수 있습니다. 특히 '수련 시간'을 깐깐하게 따지는 구시대적 기준은 CBME와 맞지 않죠.
• ⚙️ 인증 절차 (Accreditation processes)
  • Good: 초기에는 어느 정도 관용(Leniency)을 베풀고, 처벌보다는 개선을 돕는 방식이어야 합니다.
  • Bad: 너무 엄격하거나 실패를 용인하지 않는 분위기는 학교들의 도전 의지를 꺾을 수 있어요.

연구진은 인증기구의 의무에 대해 단호하게 이야기합니다.

"따라서 인증기구는 그들의 기준이 의학교육의 주요 변화—이 경우 CBME—와 보조를 맞추도록 할 의무가 있습니다."

"Accreditation bodies thus have a duty to ensure their standards keep pace with major changes in medical education — in this case, CBME."

---

3️⃣ 미래를 위한 제언: 데이터와 성과의 연결

그렇다면 앞으로 인증평가는 어떻게 진화해야 할까요? 🚀

연구진은 데이터(Data)의 힘을 강조합니다. 프로그램 평가 분석(Program evaluation analytics)을 통해 단순히 전공의가 시험을 통과했느냐 뿐만 아니라, 교수진이 피드백을 잘 주고 있는지, 로테이션은 적절한지 등을 깊이 있게 들여다볼 수 있습니다.

"이러한 유형의 데이터 사용은 인증평가 내 평가 과정의 구체성과 객관성을 진전시킬 수 있습니다."

"The use of this type of data could therefore advance the specificity and objectivity of evaluation processes in accreditation."

 

더 나아가, 졸업생이 실제 진료 현장에 나갔을 때 환자를 얼마나 잘 치료하는지 보여주는 임상 성과(Clinical outcomes)까지도 인증평가의 지표로 활용될 수 있는 미래를 그리고 있습니다.

---

📝 마치며

결국 인증평가 시스템은 CBME라는 거대한 변화의 물결 속에서 '수동적인 심판'이 아니라 '능동적인 조력자'가 되어야 합니다.

연구진의 결론으로 이 글을 마무리할게요. 학교가 CBME로 전환하려 한다면, 인증평가 시스템의 역할을 절대 간과해서는 안 됩니다.

"인증 시스템은 CBME로의 전환을 가능하게 하는 데 있어 강력한 역할을 합니다."

"Accreditation systems have a powerful role to play in enabling the transition to CBME."

---

---

서론 (Introduction)

캐나다 전공의 교육(postgraduate medical education, PGME) 전반에 걸친 역량 바탕 의학 교육(competency based medical education, CBME) 의 구현(implementation)은 전례 없는 수준의 개혁(unprecedented level of reform) 을 가져왔습니다. 캐나다 가정의학회(College of Family Physicians of Canada, CFPC)가 ‘Triple C 역량 바탕 교육과정(Triple C Competency-based Curriculum)’을 시행(implementing)하고, 캐나다 왕립 내과 및 외과 대학(Royal College of Physicians and Surgeons of Canada, Royal College)이 ‘설계에 의한 역량(Competence by Design, CBD)’으로 전환(transitioning)함에 따라, 전공의 교육(PGME)에서 수련생(trainees)을 교육하고 평가하는 방식(the way in which trainees are educated and assessed)이 근본적으로 변화(fundamentally changed)했습니다 [1, 2, 3]. CBME의 구현은 대규모의 복잡한 변화 이니셔티브(large-scale, complex change initiative)입니다 [4]. 성공적인 구현(successful implementation)이 없다면, 학습자들은 이 교육적 접근 방식(educational approach)이 제공한다고 알려진 이점들(purported advantages)로부터 혜택을 얻지 못할 것(fail to benefit)입니다.

 

다른 연구들이 CBME 구현 경험(CBME implementation experience)을 특징짓고(characterized) 그 결과에 영향을 미친 것으로 인식되는(perceived to have influenced) 요인들을 규명(identified)해왔지만, 문헌들은 이러한 전환을 가능하게 하는(enabling this transition) 데 있어 인증(accreditation)이 수행하는 중요한 역할(important role)에 대해서는 논의하지 못하고 있습니다(fails to discuss) [5, 6, 7]. 캐나다 전공의 교육(PGME) 시스템에서 일어난 실질적인 변화들(substantive changes)은 전공의 교육(PGME) 내의 성과 중심 인증 과정(outcomes-based accreditation process) 으로의 전환과 병행하여(in parallel with) 발생했습니다. 교육 패러다임(educational paradigm)과 인증 시스템(accreditation system) 사이에는 반드시 연계(alignment)가 있어야 하며, 그렇지 않을 경우 변혁적인 변화(transformational change)의 구현은 방해받을 것(hampered)입니다.

 

우리는 독특하고 협력적으로 구축된 인증 시스템(unique, collaboratively constructed accreditation system) 이 어떻게 CBME로의 전환과 그 구현을 가능하게 했는지(enabled) 기술합니다. 여기서 얻은 교훈들(lessons learned)은 지역적으로는 지속적인 개선 과정(continuous improvement process)을 촉진(facilitate)하고, 진화하는 시스템(evolving systems) 내에서 구현의 충실도와 무결성(fidelity and integrity of implementation) 을 극대화하기 위한 도구로서의 인증에 대한 세계적인 담론(world discourse)에 정보를 제공하기 위해(to inform) 공유됩니다.

정의 (Definitions)

역량 바탕 의학 교육(Competency-based medical education, CBME) 은 “졸업 성과 능력(graduate outcome abilities)에 지향점을 두고(oriented to), 사회 및 환자의 요구(societal and patient needs) 분석에서 도출된 역량(competencies)을 중심으로 조직된 것”입니다 (p. 636) [8].

• 개별 학습자의 역량(Individual learner competencies)은 지식, 기술, 태도(knowledge, skills, and attitudes)를 통합하는 관찰 가능한 능력(observable abilities) 입니다 [9].
• CBD는 2017년에 구현이 시작된 로열 칼리지(Royal College) 버전의 CBME이며, 시간을 자원으로 활용하면서(utilizing time as a resource) 학습에 대한 성과 중심 접근 방식(outcomes-based approach)을 결합한 것입니다 [3].
• CBME는 교육과정(curriculum) 그 이상입니다. 그것은 관련된 교육 프로그램의 설계(design), 구현(implementation), 평가(assessment and evaluation)뿐만 아니라 일련의 정책 결정 및 영향(policy decisions and implications)을 포함합니다 [9, 10].
• CBME의 채택(adoption), 그리고 이 경우 CBD의 채택은 행동의 상당한 전환(significant shift in behaviours)을 필요로 하는 변혁적 변화(transformational change) 로 특징지어졌습니다(characterized) [11].

 

인증(Accreditation) 은 “질 보장 및 향상(quality assurance and enhancement)을 목적으로 외부 기관(external body)에 의해 정의된 기준(defined standards)에 따라 교육 프로그램, 기관 또는 시스템을 공식적으로 평가하는 과정(process of formal evaluation)”입니다 (p. 4) [12].

• 인증 시스템을 위한 목적 적합성 프레임워크(fit-for-purpose framework) 는 최상의 설계(best design)가 현지의 요구와 맥락(local needs and contexts)을 우선시하여(prioritizes), 관할권(jurisdiction)의 시간 흐름에 따른 변화에 적응할 수 있는(adaptable) 맞춤형 접근 방식(tailored approach) 을 도출한다고 명시합니다 [13].
• 맥락을 우선시함으로써(By prioritizing contexts), 목적 적합성 프레임워크는 현지 요인(local factors)과 질(quality)을 추구함에 있어 상황적으로 의미 있는 인증(situationally meaningful accreditation) 을 효과적으로 수행할 수 있는 인증 시스템의 능력 사이에 중요한 연결 고리(important connection)를 확립합니다.
• 모든 인증 시스템의 설계에서 고려되어야 할(must be considered) 그러한 현지 맥락 중 하나는 교육적 접근 방식(educational approach), 즉 이 경우에는 CBME입니다 [13, 14].

CanERA (CanERA)

캐나다에서는 세 개의 협회(colleges)가 전공의 교육(PGME)을 인증할 권한(mandate)을 공유합니다:

• 캐나다 가정의학회(CFPC),
• 퀘벡 의사협회(Collège des Médecins du Québec, CMQ), 그리고
• 로열 칼리지(Royal College)입니다.

이 협회들의 인증 시스템은 수십 년 동안(대략 1990년부터 2010년까지) 변혁적인 변화 없이(without transformational change) 지속되었으며, 기준을 강화하고(enhancing standards) 대학 간의 연계(alignment)를 개선하는 데 초점을 맞춘 점진적인 개선(incremental improvements) 만이 있었습니다. 현재의 변화에 대한 추진력(impetus)은 2000년대 후반(대략 2008~2009년)에 발생했는데, 주요 전공의 교육 이해관계자들(stakeholders)이 현대적인 재설계(modern redesign)의 필요성을 알리는 신호를 보내면서(signalling) 시작되었습니다 [15]. 이러한 변화에 대한 요구(call for change)는 CBME 모델의 초기 개발 및 캐나다 내에서의 CBME를 향한 추진(drive)과 동시에 일어났습니다(coincided with) [16, 17].

 

이러한 변화의 요구에 대응하여(In response to), 세 협회는 2013년에 캐나다 전공의 인증 컨소시엄(Canadian Residency Accreditation Consortium, CanRAC) 을 결성했습니다. 협력적으로(Collaboratively), CanRAC은 2013년부터 2018년까지 캐나다 전공의 교육(PGME) 및 인증 환경(landscape) 전반의 이해관계자들이 참여한 일련의 정상 회의(series of summits)를 주최했습니다. 이 과정을 통틀어(Throughout this process), CanRAC은 의학 교육의 연속체(continuum of medical education) 전반에 걸쳐

• 인증 절차의 연계 및 조정(alignment and coordination) 기회를 식별하고(identify),
• 인증의 모범 사례(best practices)를 통합 및 혁신(incorporate and innovate)하며,
• 교육 패러다임 내에서 일어나는 변화에 적응(adapt to changes)하고자 했습니다 [18].

이 작업은 2019년 7월 1일에 공식적으로 ‘캐나다 우수 전공의 인증(Canadian Excellence in Residency Accreditation, CanERA)’ 이라는 새로운 통합 전공의 교육 인증 시스템(unified PGME accreditation system)을 출범(launch)하면서 결실을 맺었습니다(culminated in). CanERA는 일련의(a bundle of) 변혁적 인증 변화(transformational accreditation changes) 를 특징으로 합니다(features) [18] (그림 1).

 

그림 1 캐나다 우수 전공의 인증(CanERA) 시스템의 변혁적 변화. Copyright 2017. The Canadian Residency Accreditation Consortium (CanRAC). https://www.canrac.ca/canrac/about-e. 허가를 받아 전재함(Reproduced with permission).

 

이 새로운 시스템의 설계 및 출범과 함께 CanERA를 위한 일련의 목표들(A set of goals)이 수립되었습니다. 여기에는

• 새로운 기준(new standards)을 통해 인증 접근 방식을 현대화(modernize) 하고,
• 기준 평가를 안내할(guide) 새로운 프레임워크를 제공하며,
• 지속적인 질 향상(continuous quality improvement) 에 대한 강조를 높이고(increase the emphasis),
• 더 길어진 8년의 인증 주기(accreditation cycle)와 디지털 인증 관리 플랫폼(digital accreditation management platform)을 통해 모든 이해관계자의 업무량(workload)을 줄이며,
• CBME의 원칙과 부합하는(align with) 기준, 정책 및 절차를 통해 CBME 구현을 지원(support CBME implementation) 하려는 의도가 포함되었습니다.

어떤 인증 시스템의 특징들이 CBME의 구현을 가능하게 하는가? (What features of an accreditation system enable the implementation of CBME?)

교육 이론의 연계 (Alignment of educational theory)

이전 연구들은 인증 시스템(accreditation systems)과 그 설계(design)가 그것들이 위치한 환경(environments)에 의해 영향을 받는다고 제안했습니다(proposed) [13]. 그러나, 그 반대 또한 사실입니다(the opposite is true as well): 교육 환경(educational environment)은 인증 시스템과 그 설계에 의해 심오하게 영향을 받을 수 있습니다(profoundly influenced). 인증 시스템들이 규제적 권한(regulatory mandates)을 통해 상당한 영향력을 행사한다(wield considerable influence)는 점이 인식되어야 합니다(must be recognized). 잠재적인 인증 결과(Potential accreditation outcomes)는 인증을 받는 대상들의 교육적 행동과 결정(educational behaviour and decisions)을 유도합니다(drive). 새로운 교육 패러다임(new educational paradigm)을 구현할 때(implementing), 따라서 공유된 특성과 구성 개념(shared characteristics and constructs)을 증진하고 우선시하는(promotes and prioritizes) 인증 시스템을 갖추는 것이 중요합니다. 새로운 패러다임의 이론적 기초(theoretical basis), 교육적 우선순위(educational priorities), 그리고 사회적 책무(societal responsibilities)를 포함한 근본적인 특징들의 연계(Alignment of the underlying features)는 구현이 의도된 교육적 변화(intended educational change)의 방향으로 추진되도록 보장하는 데 결정적(critical)입니다.

 

전통적인 인증 시스템(Traditional accreditation systems)은 구조와 과정(structures and processes) 에 초점을 맞추었는데, 이는 학습자들이 유능한 의사(competent physician)가 되기 위해 필요한 훈련(required training)을 받았음을 보장하기 위해 시간(time)에 의존했던 교육 시스템에 잘 맞았습니다(well suited). 성과 중심 교육 패러다임(outcome-based educational paradigm)으로서, CBME는 교육 경험 전반에 걸쳐 역량(competencies)의 형태를 띤 성과(outcomes)의 평가(assessment), 기록(documentation), 그리고 해석(interpretation)을 중심으로 조직된 교육과정을 활용합니다(utilizes) [9, 19, 20]. CanERA의 새로운 인증 시스템 설계는 구조와 과정이라는 더 쉽게 평가되는 구성 개념(more easily evaluated constructs)으로부터의 이탈(departure)을 반영하며, 대신 인증 기준 내에서 성과(outcomes)에 강조점(places emphasis)을 둡니다 [21].

• 예를 들어, 단순히 정책이 존재한다는 것(policy exists)을 요구하는 대신, 인증을 받는 대상들은 기준 준수(compliance with the standard)를 확립하기 위해 정책이 어떻게 사용되는지, 그리고 그 결과(outcome)를 입증(demonstrate)할 것으로 기대됩니다.

성과 중심 인증 시스템(outcomes-based accreditation system) 내에서, 전공의 수련 프로그램(postgraduate training programs)들은 CBME의 원칙과 일치하는(consistent with) 교육적 혁신(educational innovations)을 더 자유롭게 채택하고 우선시할 수 있습니다(more freely able to adopt and prioritize). 여기에는 훈련생의 성과(outcomes of the trainee)에 초점을 맞춘 교육적 개입(educational interventions), 학습 경험(learning experiences), 그리고 평가(assessments)가 포함될 수 있습니다.

• 예를 들어, 모든 학습자가 특정 교육 경험(specific educational experience)을 거치도록 요구하는 대신, 프로그램들은 교육적 역량(educational competencies)을 충족시키기 위해 비전통적이거나 학습자 주도적인 경험(non-traditional, or learner-driven experiences)을 자유롭게 활용(free to utilize) 할 수 있습니다.

이러한 유형의 핵심 요소(critical components)를 통합하는 능력은 구현의 충실도(fidelity of implementation), 다시 말해 혁신의 핵심 요소가 실행된 시스템(enacted system) 내에 존재하는 정도(extent)를 진전시키는 데 중요합니다 [22].

 

게다가(Furthermore), 성과 중심 인증 시스템의 원칙은 더 근본적인 수준(more fundamental level)에서 CBME의 교육적 성과 우선순위(educational outcome priorities)와 일치합니다(align with): 구체적으로, 개인과 인구 집단의 건강을 개선하는 데 기여하고 책임을 질(contribute to, and be responsible for) 유능한 의사를 배출할 졸업생 및 프로그램 성과(graduate and program outcomes)에 대한 강조입니다 [9, 23, 24]. 이러한 연계는 인증 시스템과 절차의 타당성(validity)을 강화하는(serve to strengthen) 동시에, 사회적 책무성(social accountability)에 대한 기대를 다룹니다(addressing expectations) [9, 23, 24]. 이 수준에서의 연계는 프로그램과 기관들이 이러한 필수적인 원칙들(essential principles)을 그들 자신의 맥락(contexts)에 통합하고 적용할 가능성을 높여주며(increases the likelihood), 그로 인해 구현의 무결성(integrity of implementation)을 심화시킵니다(furthering) [25].

질 보장 대 질 향상의 초점 (Quality assurance versus quality improvement focus)

인증 시스템(Systems of accreditation)은 종종 질 보장(quality assurance)과 질 향상(quality improvement) 모두를 포함하는 목적을 가집니다 [12].

• 질 보장 초점(quality assurance focus)은 프로그램들이 교육적 질(educational quality)에 대한 최소 기준(minimum standards)을 충족함을 대중, 규제 기관 및 기타 사람들에게 확언(assures)하며, 이를 통해 특히 주요 교육과정 개혁(major curricular reform) 기간 동안 위해를 방지(preventing harm)합니다 [26]. 따라서 인증 기구들은 기관과 프로그램, 수련생, 그리고 궁극적으로는 환자들에게 중요한 수탁 의무(fiduciary duty)를 가집니다.
• 반대로(Conversely), 질 향상 초점(quality improvement focus)은 자기 평가(self-evaluation)의 수행을 통해 질을 개선하고 시간이 지남에 따라 열망적인 기준(aspirational standards)을 달성하도록 프로그램과 의학 교육 시스템을 돕는 것을 강조하며(emphasizes helping), 이 모든 과정에서 인증 지위(accreditation status)에 대한 위험은 더 낮게 유지합니다 [27, 28].
  • 틀림없이(Arguably), 이러한 개선 추구(pursing improvement)의 개념은 CBME 채택의 초기 단계(early stages) 동안 특히 중요할 수 있습니다. 질 향상 철학(quality improvement philosophy)은 또한 “다음” 및 모범 사례(“next” and best practices)의 식별과 공유를 촉진하고, 따라서 CBME 구현 기간 동안 혁신의 확산(diffusion of innovation)을 촉진할 수 있습니다 [27].
• 일부 인증 시스템은 두 가지 질적 목표 중 하나에 더 큰 강조점을 두기도 하지만, 대부분의 시스템은 이 두 끝점 사이의 스펙트럼(spectrum) 어딘가에 위치해 있습니다 [13].

두 가지 우선순위를 모두 충족하기 위해(To meet both priorities), CanERA 시스템은 그 권한(mandate)을 재설정(reframed)하고 질 보장에 초점을 맞춘 설계 특징들을 유지하면서도 지속적인 질 향상(continuous quality improvement)에 대한 강조와 기대치를 높였습니다(placed increased emphasis and expectations). 프로그램 수준에서, 이러한 강조는 인증 기준 내에 새로운 질 향상 영역(new quality improvement domain) 을 생성함으로써 구체화되었습니다(manifested) [29]. 이 영역은 관련된 기준 및 지표(associated standards and indicators)와 함께, 전공의 수련 프로그램 내에 질 향상 문화(culture of quality improvement)가 존재하도록 보장하고 모든 프로그램이 준수해야 할(held) 기대치를 명확히 정의하기 위해 만들어졌습니다. 이 새로운 시스템 설계에서는 시스템 내의 안전(safety)을 유지하면서 구현을 진전시키는(advanced implementation) 균형(balance)이 이루어졌습니다 [29].

인증 기준 (Accreditation standards)

인증 기준(Accreditation standards)은 “프로그램, 기관 또는 시스템의 질에 대한 결정을 내리는 데 사용되는 척도(measures) 또는 일반적으로 수용되는 벤치마크(generally accepted benchmarks)”로 정의될 수 있습니다 (p. 6) [12]. 따라서, 기준은 프로그램과 기관의 질적 성취(achievement of quality)에 대한 기대치를 개요화(outline)하고 기준을 충족하기 위한 관련 행동을 유도합니다 [30, 31]. 인증 기준은 아마도 인증 시스템의 가장 근본적인 구성 요소(most fundamental components) 중 하나일 것입니다 [32]. CBME의 경우, 인증 기준의 내용이 역량 바탕 설계(competency-based design)의 핵심 구성 요소(core components)와 연계되고(aligned with) 이상적으로는 그에 기반하도록(based upon) 보장하는 것이 [11] CBME의 구현을 추진하는 데(drive the implementation) 도움이 될 것입니다.

 

인증 기준은 세부 사항의 수준(level of detail), 요구 사항에서 허용되는 유연성(flexibility afforded), 그리고 구조, 과정 및/또는 성과에 대한 초점 측면에서 다릅니다(differ).

• 매우 상세하거나 규범적인(highly detailed or prescriptive), 또는 주로 구조적이고 과정 기반의 기준(structural and process-based criteria)을 강조하는 인증 기준은
  • 프로그램 간의 표준화(standardization)를 추진하는 데 가장 효과적일 수 있습니다 [33]. CBME에서, 이는 기대치 측면에서 프로그램에 명확성(clarity)을 제공하고 교육 설계의 원하는 모델(desired model)과 관련하여 충실도(fidelity)를 높일 수 있습니다.
  • 하지만, 이러한 접근 방식이 변화 확산(change diffusion)의 자연스러운 과정을 통해 발생하는 중요한 혁신을 저해(stifle important innovation)할 수도 있다는 주장이 제기될 수 있습니다 [34].
• 반대로(Conversely), 더 큰 유연성(greater flexibility)을 허용하거나 교육적 성과(educational outcomes)에 더 큰 강조점을 두도록 작성된 기준은
  • 프로그램들이 CBME의 현지 구현(local implementation)에서 혁신할 수 있는 능력을 촉진(facilitate)할 수 있습니다. 이러한 접근 방식은 구현이 진행됨에 따라 혁신에 의해 인증 기준이 지속적으로 정보를 제공받을 수 있도록(continuously informed by innovations) 하는 메커니즘과 결합될 때, 지속적인 반복과 개선(ongoing iteration and improvement)을 추진하는 데 꽤 강력할 수 있으며, 따라서 CBME의 구현을 지원할 수 있습니다.
  • 그러나, 지나치게 유연하거나 모호한 기준(overly flexible or vague standards) 은 특히 구현 초기 단계에서 프로그램에 필요한 지침(guidance)을 제공하지 못할 수 있으며, 궁극적으로는 교육 설계의 원하는 모델에 대한 구현의 충실도 상실(loss of fidelity of implementation)을 초래할 수 있습니다.

전반적으로(Overall), CanERA 기준은 구조, 과정, 그리고 성과 측정(structure, process, and outcome measures)의 균형을 염두에 두고 작성되었으며, 이는 각각 더 상세한 것에서 더 유연한 것으로 이어지는 스펙트럼을 반영합니다. 구체적으로, 기준은 계층 구조(hierarchy) 로 구성되었는데, 포괄적인 기준(overarching standard) 으로 시작하여, 그 아래에 요소(elements), 요건(requirements) 및 지표(indicators)가 내포(nested) 되어 있습니다;

• 평가 프레임워크는 측정 가능한 각 요건과 지표가 평가될 것을 요구하며 [29], 기준의 기대치(standards’ expectations)에 따라 무엇이 구현되었는지, 그리고 개선을 위한 영역(areas for improvement)이 어디서 식별되는지에 대해 프로그램에 정확한 피드백(precise feedback)을 제공합니다.
• 예를 들어, 교육 프로그램에 관한 기준(standard 3)은 “전공의는 독립적인 진료를 위해 준비된다(Residents are prepared for independent practice)”라는 포괄적인 성과를 명시하며 (p.9) [29]; 그 내포된 요소, 요건 및 지표들은 CBME의 핵심 구성 요소에 기반한 기대치를 개요화합니다.

인증 절차를 통해 평가되는 이 기준의 구체적인 지표들은

• CBME 구현의 일부로서 무엇이 요구되는지(예: 지표 3.1.1.2: “역량 및/또는 목표는 해당 분과의 CanMEDS/CanMEDS-FM 프레임워크의 각 역할을 다룬다” (p.9) [29])와
• 성과를 달성하는 방법에 있어 더 많은 유연성이 허용되는 부분(예: 3.2.3.1: “개별 전공의의 교육 경험은 해당 분과의 국가적 기준과 사회적 요구를 충족하면서, 그들의 학습 요구와 미래 경력 열망을 수용하도록 맞춤화된다” (pg.9) [29])
• ...에 대해 프로그램에 구체적인 지침을 제공합니다.

CanERA 기준의 내용은 의도적인 평가 구조 및 문구(wording)와 결합되어, CBME로의 전환에 있어 강력한 활성자(powerful enabler)로 작용합니다.

인증 절차 (Accreditation processes)

“인증 절차(Accreditation processes)”는

• 기준이 어떻게 평가되는지(즉, 자기 평가 및 외부 평가 모델, 평가에 사용되는 정보),
• 결정이 어떻게 내려지는지(how decisions are rendered)(즉, 결정 범주 및 절차),
• 누구에 의해(즉, 현장 검토 모델), 그리고
• 얼마나 자주(즉, 인증 주기) 이루어지는지를 포함하여
• 대부분의 인증 시스템에 공통적인 몇 가지 핵심 활동(core activities) 을 포괄(encompass)하는 광범위한 용어입니다 [13].

인증 시스템마다 이러한 절차에는 상당한 차이(significant variation)가 있습니다. 중요한 것은 — 혹은 아마도 필수적인 것은 — 그것들이 인증을 받는 프로그램이나 기관의 바람직한 행동(desired behaviours)과 연계되고 그것을 보상(reward)하며(따라서 촉진하는) 것이라는 점입니다 [13].

 

CanERA 인증 시스템은 CBME의 구현을 육성(foster)하는 것을 돕기 위해 의도된 몇 가지 특징들을 도입했습니다.

• 첫째, 프로그램들은 어떠한 인증의 영향(accreditation impacts) 전에 CBME 구현에 작업할 시간(time to work)을 부여받았습니다.
  • 구체적으로, 인증 기준이 프로그램들로 하여금 전문 분야별 교육 요건(specialty-specific educational requirements)에 따라 CBD를 구현할 것을 요구하는 경우, 예를 들어 프로그램 목표를 정의할 때 전문 분야별 학습자 역량을 사용할 것(지표 3.1.1.1, pg. 9 [29])이나 특정 교육 경험, 예컨대 로테이션(지표 3.2.1.2, pg. 9 [28])에 대한 요건과 같이, 인증 정책은 프로그램들이 해당 전문 분야의 CBD 출범 첫해 동안에는 그러한 요건을 준수할 것으로 기대되지 않도록(would not be expected to comply) 보장했습니다 [35].
• 둘째, CanERA는 CBD 구현을 지원하기 위한 새로운 인증 의사결정 접근 방식(new approaches to accreditation decision-making) 을 도입했습니다. CanERA 인증 범주(categories)와 관련된 의사결정 원칙은 징벌적(punitive)이기보다는 지속적인 개선을 장려하고 보상하도록(encourage and reward continuous improvement) 개정되었습니다;
  • 구체적으로, 결정 원칙은 프로그램과 기관이 자신들이 작업하고 있는 내용을 인증자들과 적극적으로 공유하는 경우(actively share), 그들이 최소 기준을 달성하고 개선을 이루고 있다면(provided they achieve minimum standards and are making improvement), 인증 결정 시점에 해당 영역에 대해 불이익을 받지 않도록(not penalized) 설계되었습니다 [35].
    • 이는 개선이 이루어지고 있는 프로그램이 알고 있는 영역을 포함하여 기준의 모든 격차(any gap)가 프로그램의 공식적인 약점 목록(formal list of weaknesses)에 포함되고 인증 결정에 반영되었던(factored into) 이전의 인증 모델들과 대조됩니다(contrasted with).
  • 추가적으로, 기관 수준(institution level)에서 새로 도입된 인증 결정과, 기관이 전공의 수련 프로그램을 어떻게 감독(oversee)하고 질 향상을 지원하는지에 대한 추가적인 기준 요건들은, CBME와 같은 기관 전반의 변화(institution-wide change)를 이끄는 데 있어 PGME 부서와 그 리더십이 수행하는 역할을 강화(bolster)하기 위함입니다.
• 마지막으로, 새로운 CanERA 인증 절차는 특히 CBD를 성공적으로 구현하기 위한 참신한 접근 방식(novel approaches)과 관련하여 혁신과 실험(innovation and experimentation)을 육성하는 것을 목표로 합니다.
  • CanERA에서, 선도적 관행 및 혁신(leading practice and innovation, LPI) 은 “해당 학문 분야, 또는 전공의 교육 전반(writ large)에 있어 주목할 만하며(noteworthy); 그리고/또는 본질적으로 독특하고 혁신적인(unique and innovative) 관행(방법, 절차 등)”으로 정의됩니다 [35].
  • LPI는 조사관들(surveyors)이 전국의 다른 프로그램이나 기관에 흥미로울 수 있는 참신하거나 흥미로운 관행에 대해 프로그램과 기관을 인정(recognize)할 수 있는 기능을 도입했습니다. 그 목표는 이러한 관행들을 미래에 공유하는 것이며, 여기에는 CBD를 구현하는 참신하고 성공적인 접근 방식들이 포함되고, 이를 통해 개선을 위한 특정 영역을 다루거나 일반적으로 프로그램을 개선할 방법을 찾는 다른 프로그램들이 접근할 수 있는 데이터베이스에 저장하는 것입니다.

인증평가가 어떻게 동시에 CBME 구현의 장벽이 될 수 있는가 (How accreditation can simultaneously be a barrier to implementation of CBME)

인증평가(accreditation)가 역량바탕의학교육(CBME) 구현의 촉진제(enabler) 역할을 할 수 있는 반면, 시스템, 기준(standards), 그리고 절차(processes)의 특성들은 한계(limitations)와 결과(consequences)를 도입하기도 합니다. 인증평가와 CBME 모두에서 성과(outcomes)에 초점을 맞추는 것(aligned focus)이 구현을 가능하게 할 수 있다는 합의[36, 37]에도 불구하고, 인증평가에서 성과에 대한 과도한 의존(over-reliance on outcomes)에 따르는 어려움(challenges)이 있습니다[23]. 모든 교육 사업(curricular enterprise)에는 성과의 형태(form of outcomes)로는 평가될 수 없는[24] 교육 과정(educational processes)과 학습 환경(learning environment)의 특성들을 포함한 요소들이 있으며, 이는 프로그램의 질(quality of the program)과 따라서 인증기구(accrediting bodies)에게 본질적으로 중요합니다. 성과 중심 구성(outcomes-based construct)에 대한 경직된 고수(rigid adherence)는 이러한 요소들이 효과적으로 평가되는 것을 방해하여, 인증기구가 지닌 신탁 책임(fiduciary responsibility)을 훼손할(compromising) 수 있습니다. 게다가, 인증 시스템 설계(accreditation system design) 내에 이러한 구성요소(constructs)가 부재할 경우, 이러한 필수 요소들에 대한 불충분한 특성화(deficient characterization)를 통해 초기 구현(early implementation)을 저해할(impair) 수 있습니다 (표 1 참조).

 

표 1 (Table 1) 인증 시스템의 특성이 어떻게 CBME의 구현을 가능하게 하거나 저해할 수 있는가

(How features of an accreditation system can enable or hinder implementation of competency based medical education.)

인증 시스템 특성 (ACCREDITATION SYSTEM FEATURE)	CBME 구현을 가능하게 함 (ENABLE IMPLEMENTATION OF CBME)	CBME 구현을 저해함 (HINDER IMPLEMENTATION OF CBME)
교육 이론의 정렬 (Alignment of educational theory)	교육 패러다임과 인증 시스템 내의 교육 이론의 정렬(Alignment of educational theory)은 일관되고 의도된 방향(consistent and intended direction)으로 변화를 주도합니다(drives change). 예시: 성과 바탕 정렬(Outcomes-based alignment): 인증평가에서 구조(structure)와 과정(process)에 대한 강조를 줄이는 것은 프로그램 내 CBME 원칙의 채택(adoption)을 촉진합니다.	단일 교육 이론에 대한 경직된 고수(Rigid adherence)는 상충하는 전통적 구성요소(competing traditional constructs)의 중요성을 무시하여, 그것들에 대한 평가를 방해하고 초기 구현을 저해할 위험(risk impairing)이 있습니다. 예시: 성과 바탕 시스템(outcomes-based system)에서조차, 학습 환경의 속성과 같은 과정 요소(process elements)들은 성과(outcomes)로 가장 잘 평가되는 것이 아님에도, 효과적인 교육과정 구현에 여전히 필수적(critical)입니다.
질적 초점 (Quality focus)	질 향상 초점(quality improvement focus)은 자체 평가(self-evaluation)를 주도하며, 시스템 개발(system development)이라는 목표를 가지고 CBME의 채택을 촉진하여 구현의 충실도와 진정성(fidelity and integrity)을 이끌어낼 수 있습니다. 이러한 초점은 또한 모범 사례(best practices)의 공유와 혁신의 확산(diffusion of innovations)을 장려합니다(promotes).	질 보증 초점(quality assurance focus)은 프로그램이 최소 기준(minimum standards)을 충족하도록 보장하여, 이해관계자(stakeholders)에 대한 위해의 위험을 최소화(minimizing the risk of harm)합니다. 이 과정에서 프로그램들은 CBME의 구현보다는 기준의 달성(achievement of standards)을 우선순위(prioritize)에 두게 됩니다. 혁신의 채택(Adoption of innovations)은 우선시되지 않습니다.
인증 기준 (Accreditation standards)	매우 상세하고 규범적인 기준(prescriptive standards)은 명확한 기대치(clear expectations)를 제공하여, 구현의 충실도(fidelity of implementation)를 향상시킬 수 있습니다. 더 큰 유연성(greater flexibility)을 허용하는 성과 바탕 기준(Outcome-based standards)은 구현을 장려하는 혁신(innovation)과 기관별 맞춤화(site-specific adaptations)를 촉진합니다(promote).	매우 상세하고 규범적인 기준은 혁신과 변화 과정(change process)을 억누를(stifle) 수 있으며, 따라서 구현을 저해할 수 있습니다. 성과 바탕 기준은 너무 유연할(too flexible) 수 있어, 결과적으로 부적절한 지침(inadequate guidance)과 낮은 구현 충실도(low fidelity of implementation)를 초래할 수 있습니다. 실패하거나 진화가 느린(slow to evolve) 기준들은 CBME 채택의 속도를 늦출 수 있습니다.
인증 절차 (Accreditation processes)	구현 첫해 동안 인증 기준에 대한 관용(Leniency)은 프로그램들의 CBME로의 전환(transition)을 지원할 수 있습니다. 징벌적 결과(punitive consequences) 없이 프로그램 내의 지속적 질 향상(continuous quality improvement)을 장려하는 인증 판정 범주(accreditation decision categories)와 의사결정 원칙들은 구현을 촉진할 수 있습니다. 새로운 선도적 실천(novel leading practices)과 혁신에 대한 인정(Recognition)은 다른 프로그램들에 의한 구현을 육성할(foster) 수 있습니다.	관용과 맞춤형 의사결정 원칙(tailored decision-making principles)을 통한 저부담 인증 과정(lower stakes accreditation process)이라는 인식은, 일부에게는 변화와 CBME 구현에 대한 동기(motivation)를 감소시킬 수 있습니다.

 

인증평가는 본질적으로 수년에 걸친 주기적인 과정(cyclical process)입니다; 프로그램들은 종종 인증 기준을 충족하기 위해 수년을 준비하며, 이는 인증 시스템이 민첩성(agile)을 유지하고 기준이 유의미성(relevant)을 유지하도록 하는 것을 어렵게 만들 수 있습니다[34]. 그러나 CBME의 구현을 촉진하기(promote) 위해서, 특정 인증 기준들은 지향적(aspirational)이거나, 적어도 원하는 변화를 뒷받침할 만큼 충분히 유연(flexible)해야 합니다. 훈련에 소요되는 시간(time spent in training)에 대한 규범적 요구사항(prescriptive requirements)과 같이 원하는 CBME 모델과 상충하는 시대착오적인 기준(anachronistic standards)은 CBME를 채택하는 프로그램들에게 부당하게 불이익을 주고(unduly punishing) 전체 시스템 전반의 CBME 채택 및 구현 속도를 늦출(slowing the overall pace) 위험이 있습니다. 따라서 인증기구는 그들의 기준이 의학교육의 주요 변화(major changes)—이 경우 CBME—와 보조를 맞추도록(keep pace with) 할 의무(duty)가 있습니다.

 

마지막으로, CBME 변화와 병행되는 인증평가 개혁의 자원 관련 함의(resource implications)가 장벽(barrier)이 될 수 있습니다. 기존의 인증 시스템이 CBME 패러다임의 채택(adoption)에 더 잘 부합하도록 진화함에 따라, 인증 과정의 질과 효과성(effectiveness)을 유지하기 위해 많은 내부적인 변화가 요구됩니다[36].

• 이와 같은 대규모 변화(large-scale changes)에 대한 정확한 자원 요구량(resource requirements)은 기술된 바 없으나, 예로 Greenfield 등[38]은 호주의 일반 진료(general practice)를 위한 인증 기준의 개발 및 개정이 상당한 자원을 필요로 하는 중대하고, 도전적이며, 어려운 작업(significant, challenging, and difficult undertaking)이었다고 언급했습니다.

이러한 영향(implications)은 인증 과정 자체가 CBME 도입으로 인해 새롭거나 상당히 수정되었을 때 더욱 클 수 있습니다. 인증 시스템에 대한 변화는 결과적으로 프로그램으로 되돌아가는(cycle back) 자원적 영향을 초래할 가능성이 있습니다. 인증 과정에 대한 관여 및 참여(engagement and participation)는 때때로 수개월에서 수년에 걸쳐 이어지는 자원 영향(resource impacts)을 가집니다. 이는 인증 과정이 검토(examine)하고자 하는 교육적 사명(educational mission)뿐만 아니라 CBME의 구현 과정(implementation process)에도 부정적인 영향(negative impacts)을 미칠 가능성이 있습니다.

미래 시스템 설계를 위한 고려사항 (Considerations for future system design)

CBME는 의학교육 설계에 있어 성과(outcomes), 주로 해당 프로그램의 졸업생들이 획득한 역량(competencies)을 강조하는 근본적인 변화(fundamental shift)를 나타냅니다. 미래에는, 프로그램 활동(program activities)과 졸업생 성과(graduate outcomes)에 기반하여 지능(intelligence)을 제공하기 위해 개발된 방법론과 기술들이 인증 사업(accreditation enterprise)을 변화시킬(transform) 수 있습니다.

 

프로그램 평가 분석(Program evaluation analytics).

• CBME 프로그램은 방대한 양의 평가 데이터(assessment data)를 생성하며, 이는 훈련생의 진급(trainee progression)[39, 40]에 정보를 제공할 뿐만 아니라, 교수진의 교수 및 평가 관행(teaching and assessment practices of faculty)[41]이나 순환 실습(rotations)[42]과 같이 인증 기준의 초점이 되는 프로그램의 다른 측면들에 대한 통찰력(insights)을 제공할 수 있습니다.
• 이러한 정보는 인증 과정에 의해 주도되는[43] 질 향상 노력의 효과성(effectiveness of quality improvement efforts)에 대한 특히 가치 있는 통찰력을 제공할 수 있는데, 왜냐하면 교수개발(faculty development) 노력은 평가에 대한 훈련생들에게 제공되는 지도전문의 피드백(supervisor feedback)의 개선과, 의도된 평가 완료(desired completion of assessments)와 실제 완료(realized completion) 간의 정렬(alignment)을 개선하기 위한 순환 일정(rotation schedules)의 변경으로 이어질 것으로 기대되기 때문입니다.
• 따라서 이러한 유형의 데이터 사용은 인증평가 내 평가 과정(evaluation processes)의 구체성(specificity)과 객관성(objectivity)을 진전시킬(advance) 수 있습니다.

프로그램 성과 기준(Program outcomes standards).

• 단순한 평가 지표(simple assessment metrics)의 포함을 넘어서, 더 원위의 교육 및 임상 성과(distal educational and clinical outcomes)를 추적할 수 있는 기회는 CBME의 채택 없이는 불가능했을[4, 20, 44] 인증 관점(accreditation lens)에서의 추가적인 질적 차원(additional dimensions of quality)을 평가할 기회를 제공할 수 있습니다.
  • 예를 들어, 프로그램의 졸업생들이 진료를 시작했을 때(begin practice) 적절한 임상 성과(clinical outcomes)를 낸다는 것을 증명(demonstration)하는 것보다 더 나은 양질의 교육 프로그램에 대한 증거가 어디 있겠습니까?
• 교육 및 임상 데이터의 견고한 통합(robust integration)은, 프로그램 수준에서는 전공의 프로그램이 졸업생들을 진료를 위해 얼마나 잘 준비시키고 있는지(preparing its graduates for practice)[45]에 대한 통찰력을 제공할 수 있으며, 시스템 수준에서는 더 나은 임상 성과를 초래하는 전공의 수련(residency training)의 특징에 대한 통찰력을 제공할 수 있습니다. 이러한 통찰력들은 결과적으로 미래의 인증 기준 개발에 정보(inform)를 제공할 수 있습니다.

 

변혁적 설계를 위한 타당도 증거(Validity evidence for transformative designs).

• 마지막으로, 인증 과정의 고부담 성격(high-stakes nature)과 그에 부여되는 가치를 고려할 때, 새로운 인증 설계가 CBME와 함께 전개됨(roll out in tandem)에 따라 인증에 대한 타당도 논거(validity argument)[46]가 어떻게 강화될 수 있을지[47] 고려해보는 것은 흥미로울 것입니다. 의학 인증평가와 그 일부인 의사결정(decisions)을 뒷받침하기 위한 타당도 증거(validity evidence)의 탐색은 새로운 것이 아닙니다[48]. 현재 출판된 타당도 증거는 제한적이며, 대개 고유한 설문 도구(unique survey tools)의 타당도와 개별 기준들의 안면 타당도(face validity)에 국한되어 있습니다[48, 49].
• 앞서 기술된 CanERA 내의 변혁적 설계 결정(transformative design decisions)들은 단지 CBME 구현을 가능하게 하기 위해서뿐만 아니라, 인증평가의 일부인 의사결정의 질(quality of decision making)을 높이기 위해(advance) 이루어졌습니다. 일화적 증거(anecdotal evidence)는 이것이 성공적이었음을 시사하지만, 미래에는 평가 데이터, 프로그램 분석(program analytics), 그리고 새로운 프로그램 성과 측정치(new program outcome measures) 모두가 이를 객관적으로 탐구하고 인증 의사결정의 타당도에 기여하는 데 사용될 수 있을 것입니다.

결론 (Conclusion)

인증 시스템은 CBME로의 전환(transition)을 가능하게 하는 데 있어 강력한 역할(powerful role)을 합니다. 기저에 깔린 교육 이론(underlying educational theory)의 정렬, 질적 초점(품질 보증[quality assurance] 대 질 향상[quality improvement]), 인증 기준, 그리고 인증 절차를 포함한 시스템의 특징들은 모두 이 전환을 촉진하기(facilitate) 위해 사용될 수 있는 설계 기회(design opportunities)를 나타냅니다. 그러나, 이러한 각 영역 내에는 한계(limitations)가 있으며 모든 설계 기회에는 결과(consequence)가 따를 수 있음을 인정해야 합니다(must be acknowledged). 우리는 현재까지 관찰된 기회와 한계, 그리고 미래를 위한 기회를 설명하기 위해 CanERA 인증 시스템의 예시를 제시했습니다. CBME로의 전환을 고려 중이거나 착수하고 있는(undertaking) 교육 기관들은 이 새로운 교육 패러다임으로의 성공적인 전환을 가능하게 하는 데 있어 인증평가의 중요성(importance of accreditation)을 고려해야 합니다.