Perspect Med Educ. 2024 Mar 18;13(1):201-223. doi: 10.5334/pme.1096. eCollection 2024.

Competence By Design: a transformational national model of time-variable competency-based postgraduate medical education

 

 

제목: 🇨🇦 캐나다는 어떻게 전공의 수련을 확 바꿨을까? '설계에 의한 역량(CBD)' 완벽 정리!

안녕하세요! 오늘은 의학교육 분야에서 정말 핫하고 중요한 논문 하나를 소개해드리려고 해요. 바로 캐나다의 전공의 교육 시스템을 송두리째 바꾼 거대한 프로젝트, 'Competence By Design (CBD)'에 대한 이야기입니다.

우리가 흔히 "전공의 1년차, 2년차..." 이렇게 '시간'이 지나면 다음 단계로 넘어가는 시스템에 익숙하잖아요? 그런데 캐나다 왕립내과외과대학(Royal College)은 이런 20세기 방식을 과감히 버리고, 역량(Competence) 중심의 새로운 모델을 국가 차원에서 도입했습니다.

도대체 어떤 내용인지, 핵심만 쏙쏙 뽑아서 정리해 드릴게요! 🧐

1. 왜 바꾸게 된 거죠? 🤔

기존의 전공의 교육(Postgraduate Medical Education, PGME)은 '시간 기반(Time-based)'이었어요. 정해진 기간을 채우면 수련을 마치는 식이었죠. 하지만 이런 방식에는 몇 가지 문제가 있었습니다.

  • 졸업생마다 실력(역량) 차이가 너무 큼
  • 환자 안전(Patient Safety)에 대한 우려
  • 전공의에 대한 직접 관찰과 피드백 부족 ("그냥 알아서 배워" 식?)
  • 평가가 점수 매기기에 급급함

그래서 캐나다는 역량 바탕 의학교육(Competency Based Medical Education, CBME)을 도입하기로 결심합니다. 단순히 이론에 그치지 않고, 시스템 전체를 뜯어고치는 혁신을 감행한 것이죠!

"CBD는 강조점을 수련에 소요된 시간에서 졸업생이 성취한 역량으로 이동시킵니다." (CBME shifts the emphasis from time spent in training to competencies achieved by graduates.)

2. CBD의 핵심! 무엇이 달라졌나? 💡

CBD는 총 14가지의 혁신적인 요소들을 '묶음(Bundle)'으로 제공하는데요, 그중 가장 중요한 몇 가지를 살펴볼게요.

1) 수련 단계의 변화 (Stages of Training)

더 이상 "1년차, 2년차"가 아닙니다. 수련 과정을 4단계로 나눴어요.

  1. 전공의 전환기 (Transition to Discipline)
  2. 기초기 (Foundations)
  3. 핵심기 (Core)
  4. 진료 전환기 (Transition to Practice)

각 단계를 통과하려면 시간이 지나는 게 아니라, 그 단계에 필요한 역량을 증명해야 합니다.

2) 신뢰할 수 있는 전문 활동 (EPAs)

이 용어 많이 들어보셨죠? EPAs (Entrustable Professional Activities)는 "교수님이 믿고 맡길 수 있는 업무 단위"를 말해요. 예를 들어 '단순 봉합하기'부터 '복잡한 수술 집도하기'까지, 수련 단계에 맞는 구체적인 업무를 직접 관찰(Direct Observation)하고 평가합니다.

3) 코칭과 성장 마인드셋 (Coaching & Growth Mindset)

평가는 "너 탈락!"이 아니라 "어떻게 하면 더 잘할 수 있을까?"를 알려주는 코칭(Coaching)으로 변했습니다.

"학습에 대한 발달적 관점; 모든 학습자는 역량을 향한 여정에 있으며, 어떤 주어진 역량은 성취되었거나 아직 성취되지 않은 상태입니다." (A developmental view of learning; every learner is on a journey to competence, and any given competency is achieved or not yet achieved.)

즉, 실패가 아니라 "아직 도달하지 못함(Not yet)"인 것이죠. 멋지지 않나요? 🌱

4) 역량 위원회 (Competence Committees)

한 명의 지도전문의가 전공의의 운명을 결정하지 않습니다. 여러 명의 교육자가 모인 위원회에서 다양한 데이터(포트폴리오)를 보고 전공의의 진급 여부를 결정합니다. 훨씬 공정하겠죠?

3. '시간'은 이제 중요하지 않나요? ⏳

아니요, 시간은 여전히 중요합니다. 하지만 그 의미가 달라졌어요. 예전에는 시간이 '목표'였다면, 이제는 '도구'가 되었습니다.

"시간은 학습을 위한 자원이지, 수련 완료의 기준이 아닙니다." (Time is a resource for learning, not the criterion for completion of training.)

 

역량을 빨리 채우면 이론적으로는 조기 졸업도 가능하고, 부족하면 시간을 더 써서라도 역량을 채우고 나가야 한다는 뜻입니다. (이게 바로 '시간 가변적' 모델의 핵심!)

4. 물론, 어려움도 있었어요 💦

논문에서는 솔직하게 시행착오도 고백하고 있어요.

  • 전공의들의 스트레스: 수많은 EPA 평가를 받아야 한다는 압박감이 있었대요. (마치 할당량 채우기처럼 느껴지기도 했다고...)
  • 기술적 문제: 전자 포트폴리오(Electronic Portfolios) 시스템이 완벽하지 않아서 고생했다고 합니다.
  • 팬데믹: 하필 코로나19가 터지면서 구현에 어려움이 있었지만, 오히려 유연한 시스템 덕분에 수련을 이어갈 수 있기도 했답니다.

📝 요약하며

이 논문은 캐나다의 사례를 통해 역량 바탕 의학교육(CBME)이 단순히 이상적인 이론이 아니라, 국가적 차원에서 실제로 구현 가능한 시스템임을 보여주었습니다.

결국 이 모든 변화의 목적은 단 하나입니다. "환자에게 더 안전하고 효과적인 진료를 제공할 수 있는 의사를 길러내는 것!"

우리나라의 의학교육도 이런 흐름에 맞춰 어떻게 변화해 나갈지 기대가 됩니다. 😊

 

서론 (Introduction)

전공의 교육(Postgraduate medical education, PGME)은 의사들이 사회에 봉사(serve society)하고 진료(practise)하는 데 필요한 역량 수준(level of competence)을 성취하도록 준비시키는 필수적인 사회적 과업(essential societal enterprise)으로 묘사되어 왔습니다 [1]. 효과적인 PGME 시스템(effective PGME system)이 없다면, 대중(population)은 충분한 의료 인력(sufficient health workforce)이 부족하거나 진료를 위한 준비가 충분하지 않은(not adequately prepared) 의사 집단(cadre of physicians)을 갖게 될 수도 있습니다. Osler, Halsted, 그리고 Flexner에 의해 크게 영향을 받은(heavily influenced) 20세기 의학교육 모델(20th century model of medical education)은 수십 년에 걸쳐 더 많은 교육적 구조(educational structure)를 점진적으로 통합한(progressively incorporated) 도제 모델(apprenticeship model)로부터 발전했습니다(evolved out of) [2, 3]. 하지만 이 모델은 21세기에는 부적절하며(inadequate) [4-10] 사회적 책무성(social accountability)에 더 큰 관심을 기울일 필요가 있다는 비판을 받아왔습니다 [11, 12]. 이에 대한 대응(In response)으로, 새로운 성과 지향적(outcomes-oriented)이고 역량 바탕 접근법(competency-based approaches)들이 지지를 받았습니다(endorsed) [13-18]. 전 세계적으로 역량 바탕 의학교육(competency based medical education, CBME)은 보건 전문직(health professions) 분야에서 주요한 혁신적 움직임(major transformational movement)이 되었습니다 [19-23].

 

CBME는 "역량(competencies)이라는 조직화된 틀(organizing framework)을 사용하여 교육 프로그램의 설계(design), 실행(implementation), 평가(assessment) 및 프로그램 평가(evaluation)를 수행하는 성과 바탕 접근법(outcomes-based approach)"으로 정의되어 왔습니다 [18]. 보건 전문직 교육(health professions education, HPE)에 대한 이러한 접근 방식은 세계보건기구(World Health Organization)의 주요 보고서로 거슬러 올라가며(extends back to) [24], 이후 많은 저자와 조직들에 의해 더욱 발전되었습니다(further developed). International CBME Collaborators는 현대적 CBME 모델(modern CBME model)의 다섯 가지 요소(five elements)(van Melle 핵심 구성요소[Core Components])를 제안했습니다:

  • 졸업생을 위한 역량 프레임워크(competency framework)로 조직된 수련 성과(Training outcomes)
  • 초심자(novice)에서 전문가(expert)로 이어지는 정의된 수련의 진척(Defined progression of training)
  • 학습자의 요구(needs of learners)를 충족시키기 위한 맞춤형 학습 경험(Tailored learning experiences)
  • 역량 성취(competency achievement)에 초점을 맞춘 교수(Teaching)
  • 프로그램식 평가(Programmatic assessment) [25]

많은 국가의 PGME 시스템들이 CBME를 채택(adopt)하는 방향으로 움직여 왔습니다 [26-31]. 이러한 움직임을 주도하는 것(Driving this movement)은 현대의 수련(contemporary training)에 대한 여러 우려와 PGME 설계를 향상시킬 수 있는 기회(opportunities to enhance)들입니다.

  • 환자 안전 위험(Patient safety risks) [32-34],
  • 졸업생 역량의 변동성(variability in graduate competence) [35-38],
  • PGME로의 진입/내부/종료 과정의 전환(transitions)과 관련된 문제들 [39-43],
  • 부적절한 관리감독(inadequate supervision) 및 전공의 업무에 대한 불충분한 직접 관찰(insufficient direct observation) [44-52],
  • 현장 기반 평가(workplace-based assessments) 및 진급 결정(promotion decisions)에 대한 우려 [53-59],
  • 임상 평가에서의 형평성 결여(lack of equity) [60, 61], 그리고
  • 적거나 빈약한 피드백(poor feedback) [62-67]
    • ...등은 교육 리더들이 해결하고자 노력해 온 PGME의 중요하고 반복적인 난제(important recurring challenges)들의 사례입니다.

동시에,

  • 프로그램식 평가(programmatic assessment) [68, 69],
  • 신뢰할 수 있는 전문 활동(entrustable professional activities, EPAs) [70, 71],
  • 새로운 코칭 피드백 모델(coaching feedback models) [72, 73],
  • 의도된 연습(deliberate practice) 및 완전 학습(mastery learning) [74, 75],
  • 역량 위원회(Competence Committees) [76, 77],
  • 평가 소프트웨어(assessment software) [78-80],
  • 학습 분석(learning analytics) [81], 그리고
  • 새로운 인증 접근법(novel approaches to accreditation) [82]
  • ...과 같은 혁신과 발전들은 모두 의학교육에서의 최상의 근거(best evidence in medical education)를 실행함으로써 더 나은 PGME를 위한 중대한 기회(significant opportunities)를 제시합니다(표 1 참조).

표 1. Competence by Design 프로젝트의 동인 (Drivers of the Competence by Design project)

PGME 시스템의 우려되는 문제들 (ISSUES OF CONCERN IN PGME SYSTEM) PGME 시스템 향상을 위한 기회 (OPPORTUNITIES FOR PGME SYSTEM ENHANCEMENT)
보건 전문직 및 교육 시스템의 사회적 책무성(social accountability) 강화에 대한 대중의 기대(Public expectations) [11, 12] 수련 성과(outcomes of training)에 대한 더 큰 집중 요구 [14-18]
전공의 수련 중 및 이후 제공되는 진료와 관련된 환자 안전 우려(Patient safety concerns) [32-34] 주요 의료 단체(예: 세계보건기구)에 의한 성과 지향적(outcomes-oriented), 역량 바탕 시스템(competency-based systems)으로의 전환 권고 [90-92]
의과대학 졸업생 역량의 용납할 수 없는 변동성(unacceptable variability)에 대한 증거 [35-38] 발전의 토대가 될 수 있는 성공적인 CBME 구현 사례(successful CBME implementations)들 (예: 토론토 정형외과 [93], CFPC [94], ACGME [91])
수련 중인 전공의에 대한 직접 관찰(direct observation) 부족

부적절한 관리감독(inadequate supervision) 사례들 [44-52]		 신뢰할 수 있는 전문 활동(entrustable professional activities, EPAs)의 사용은 더 많은 교수진이 전공의의 진척 상황에 대해 더 나은 의견(better input)을 제공하도록 허용함 [70, 71]
식별된 약점을 해결하지 못함 ("유급의 실패[failure to fail]")

전문의 자격 시험 불합격(Certification examination failures)

격차(gaps)나 진료 준비 부족(unreadiness for practice)의 증거에도 불구하고 진급됨

진급 의사결정(promotion decision-making)에 대한 우려

부적절한 현장 기반 평가(inadequate workplace-based assessments)에 대한 우려

현장 평가(workplace assessment)에 참여하는 지도전문의가 거의 없음 [53-59]		 프로그램식 평가(programmatic assessment)의 사용은 평가 결정(assessment decisions)을 향상시킬 수 있음 [68, 69, 95]

의학교육에 학습 분석(learning analytics)을 적용하면 역량을 향해 나아가는 전공의의 진척(progression)에 대한 새로운 통찰력을 얻을 수 있음 [81, 96]
현장 평가(workplace assessments)가 부담스럽다는(burdensome) 보고 [53] 전자 포트폴리오 소프트웨어(electronic portfolio software)의 개발은 평가의 디지털화(digitization) 및 문서화를 가능하게 함 [78-80]
전공의에게 제공되는 피드백(feedback)의 질(quality)과 빈도(frequency)가 부적절하다는 보고 [62-67] 의학교육을 위해 개발된 새로운 코칭 모델(coaching models) [72, 73]

CanMEDS 프레임워크 업데이트는 지도전문의 피드백을 위한 비계(scaffolding)로 사용될 수 있는 발달적 이정표(developmental milestones)를 통합함 [88]
현장 평가(workplace assessment)에 대한 전공의의 불안(anxiety) 보고 [97, 98] 성장 마인드셋(Growth mindset)은 학습을 향상시킬 수 있음 [99-101]
전공의 수련으로의 진입, 고년차 전공의 책임으로의 전환, 그리고 개원/진료 현장으로의 전환(transitions) 문제들 [39-43, 103] 완전 학습(Mastery learning) 방법은 학습을 향상시킴 [74, 75]

수련 단계(Stages of training)는 PGME로의 진입 및 종료 시의 전환(transitions)을 명시적으로 다룰 수 있게 함 [25, 103]
전공의의 참여 부족(disengagement)에 대한 보고 [104] 수련에 대한 더 큰 전공의 참여(Greater trainee engagement)는 학습 성과를 향상시킴 [105]
평가 불평등(assessment inequity)에 대한 보고 [60, 61]

'학습의 평가(assessment of learning)' 접근법이 전공의의 발달(development) 대신 문제가 있는 전공의를 색출하는 것을 지나치게 강조한다는 우려 [77]		 수련에 대한 발달적 관점(developmental view)은 모든 전공의가 역량까지 진척하도록 보장하기 위해 수련과 평가를 맞춤화(tailoring)할 수 있게 함 (학습을 위한 평가[assessment for learning]) [68]
수련을 향상시키지 못할 수도 있는 과정 지표(process measures)에 지나치게 초점을 맞춘 프로그램 리뷰 [106] 새로운 인증 시스템(accreditation systems)은 프로그램 성과(program outcomes)와 지속적 개선(continuous improvement)에 더 큰 강조점을 둠 [106, 107]

의학교육에 학습 분석(learning analytics)을 적용하면 프로그램 성과(program performance)에 대한 새로운 통찰력을 얻을 수 있음 [108]

ACGME Accreditation Council for Graduate Medical Education (미국 전공의 수련 교육 인가 위원회); CBME competency based medical education (역량 바탕 의학교육); CFPC College of Family Physicians of Canada (캐나다 가정의학회); PGME postgraduate medical education (전공의 교육).

 

핵심 구성요소(Core Components)를 사용함으로써, CBME 설계는 이러한 문제들과 기회들을 다룰 수 있습니다(address). CBME는 강조점(emphasis)을 수련에 소요된 시간(time spent in training)에서 졸업생이 성취한 역량(competencies achieved)으로 이동시킵니다(shifts).

  • 졸업생에게 요구되는 역량의 수준과 유형에 대한 명확한 진술(Clear statement)은 학습자와 교수자의 주의(attention)를 역량에 대한 공유된 정신 모형(shared mental model)으로 향하게 합니다(directs) [83].
  • 역량 달성에 대한 발달적 접근(developmental approach)은 의도적으로 순서가 정해진(deliberately sequenced) 수련 경험과 코칭 피드백(coaching feedback)에 반영됩니다.
  • 더 빈번하고(More frequent) 질 높은 피드백(better quality feedback)은 학습과 전공의 만족도(trainee satisfaction)를 향상시킵니다.
  • 다양한 평가자(assessors)와 도구들에 의해 기여된 많은 데이터 포인트(data points)를 가진 프로그램식 평가(programmatic assessment)는 학습자의 진척(learner progress)에 대해 더 많은 정보를 바탕으로 한(better informed), 그리고 더 공정한 의사결정(equitable decision-making)을 가능하게 합니다.
  • 종합하면(Combined), 이러한 CBME 설계 요소들은 전공의들이 수련의 각 단계(each stage of training)에 대해 진정으로 준비되도록 보장하고, 안전하고 효과적인 진료(safe and effective care)를 제공할 수 있는 잠재력(potential)을 가지고 있습니다 [25].

오랫동안 지속된(longstanding) 보건 전문직 교육(HPE) 설계에 대한 이러한 변화들은, CBME가 근거 기반(evidence base)이 없는 주장들의 집합(set of assertions)이라거나, 기저에 깔린 가정(underlying assumptions)이 타당하지 않으며(invalid), 국가적 규모(national scale)에서의 CBME에 대한 개념 증명(proof of concept)이 부족하다는 비판을 초래했습니다(led to criticisms) [84, 85]. 전 세계적으로 진행 중인(underway) 대규모 CBME 구현 프로젝트(large-scale CBME implementation projects)들이 있지만, 문헌(literature)에 기술된 것은 거의 없습니다. 다양한 환경(variety of settings)에서의 CBME 구현(implementation)을 설명하는 근거 기반(evidence base) 없이는, 이러한 성과 중심 접근법(outcome-focused approaches)들은 열망적인(aspirational), 이론적인(theoretical), 혹은 근거 없는(unfounded) 것으로 간주될 수 있습니다.

 

우리는 국가적 전공의 교육(national PGME) 환경을 다학제적(multi-specialty)이고, 시간 가변적인(time-variable) 역량 바탕 시스템으로 변화시키는 변혁적 변화(transformational change)에 대해 기술합니다. CBME의 van Melle 핵심 구성요소(Core Components)가 전문과목 PGME의 기초(basis)로 사용되었습니다. 이 주요한 시스템 개혁 프로젝트는, 시간 기반 수련(time-based training)에 의한 역량 성취에 기초했던 이전 시스템과 구별하기 위해(distinguish) '설계에 의한 역량(Competence by Design, CBD)' [86]이라 명명되었습니다. 이 논문은 CBD라는 국가적 혁신(national innovation)을 형성한 이론적 근거(rationale), 동인(drivers), 그리고 교육적 개입들의 묶음(bundle of educational interventions)에 대한 개요(overview)를 제공합니다. 이 특별 호(special collection)에 실린 동반 논문(Accompanying papers)들은 Competence by Design의 특정 측면들을 탐구하는 반면, 이 논문은 CBME 이론을 실제(practice)로 옮기는 데 관련된 목표(aims)와 혁신(innovations)에 초점을 맞춥니다.

맥락 (Context)

캐나다에서 PGME 시스템은 의과대학(university medical schools), 수련 병원(academic hospitals), 지역사회 임상 교육 센터(community clinical teaching centres), 정부 자금 지원 기관(government funders), 그리고 규제 기관(regulatory bodies)이 뒤얽힌 네트워크(interwoven network)입니다 [87]. 캐나다 왕립내과외과대학(Royal College of Physicians and Surgeons of Canada, 이하 Royal College)은 가정의학(family medicine)을 제외한 전문과목 의학(specialty medicine)의 표준(standards), 인증(accreditation), 자격 인정(certification), 그리고 역량 유지(maintenance of competence)를 감독하기 위해 연방 의회(federal Parliament)의 법령에 의해 창설된 전문과목 표준 기구(specialty standards body)입니다. 현대적 환경(contemporary landscape)에서, Royal College는 기능을 수행하기 위해 PGME 시스템 내의 모든 이해관계자(stakeholders) 및 기관들과 협력합니다(partners). 이 논문에서, 우리는 당시 관여했던 Royal College의 설계(design), 정책(policy), 그리고 표준(standards) 팀의 관점(perspective)에서 변혁적인 의학교육 변화의 초기 단계(early stages)를 제시합니다. 수천 명의 다른 개인들이 이 변혁(transformation)에 기여했으며, 그들 또한 이에 대한 관점을 가지고 있을 것입니다.

 

20세기 캐나다 PGME는 전형적인 북미식 설계(North American design)를 가지고 있었습니다. 의과대학 졸업 후(Following medical school graduation), 수련생들은 임상 현장(clinical settings)에서의 시간 기반 수련(time-based training) 시스템으로 진입했습니다. 캐나다의 수련은 협력하는 세 개의 협회(Colleges)에 의해 감독됩니다:

  • Royal College (67개 전문과목 및 세부전문과목),
  • 캐나다 가정의학회(College of Family Physicians of Canada, 가정의학), 그리고
  • 퀘벡 의사협회(Collège des médecins du Québec, 퀘벡 지역에서 인정된 모든 분과).

의과대학을 갓 졸업한(Directly from medical school), 가정의학 이외의 분야 수련생들은 일차 전문과목(primary specialties)의 자격 인정(certification)으로 이어지는 Royal College 프로그램에 진입했습니다. 모든 캐나다의 전문과목과 세부전문과목은 CanMEDS 역량 프레임워크(CanMEDS competency framework) [88, 89]를 중심으로 구조화되었습니다.

  • 수련은 전형적으로 4주에서 52주에 이르는 특정 임상 서비스(clinical services)에 대한 몰입(immersion)과, 강의실, 술기 워크숍(skills workshops), 시뮬레이션 세션, 또는 실험실에서의 구조화된 정기 교육(structured regular instruction)으로 구성되었습니다.
  • 경험들(Experiences)은 수련생들이 해당 수련 분과와 관련된 정의된 역량(defined competencies)을 습득하고, 자격 시험(certification examinations)을 준비하며, 필요한 임상 서비스를 제공하고, 자격 증명(credentials)을 위한 모든 기준을 충족할 기회를 제공하도록 선택되었습니다.
  • 평가는 가장 일반적으로 4주 단위의 수련 블록(block)이 끝날 때마다 단일 지도전문의(single supervisor)에 의해 작성되는 CanMEDS 기반 후향적 서식(CanMEDS-based retrospective form)을 수반했습니다(entailed). 일부 수련 기관(training sites)은 특별한 목적에 따라(on an ad hoc basis) 다른 평가 방법(예: 객관구조화진료시험[OSCEs])을 통합했습니다.
  • 전형적으로, Royal College 수련생은 최종적인, 고부담(high-stakes) Royal College 전문의 시험(specialty examination)을 치르기(writing) 전까지 4년에서 6년 동안 매년 13개의 블록을 순환(rotate)했습니다. 성공적인 수련생들은 그 후 해당 전문과목에서 자격을 인정받아(certified), 진료(practice)로 이동하거나, 세부전문과목(subspecialty) 수련 프로그램을 시작하거나, 덜 구조화된 추가적인 전임의 수련(fellowship training)을 수행할 수 있게 되었습니다.

시스템 변화를 위한 동인 (Drivers for system change)

개발 당시, CBD는 의료 전문직(medical profession)에 의해 서비스를 받는 사람들에 대한 신탁 의무(fiduciary duty)로서, 캐나다 PGME 시스템의 지속적 개선(continuous improvement)에 대한 Royal College의 헌신(commitment)에 의해 추진되었습니다(driven). Royal College는 다른 이해관계자들과 함께, 우려되는 영역(areas of concern)과 미래 의사들의 수련을 향상시킬 기회를 찾기 위해 환경을 조사했습니다(scanned the environment). 이것들은 표 1에 요약되어 있습니다.

개발 과정 (Development process)

캐나다 PGME는 1990년으로 거슬러 올라가는 CanMEDS 역량 프레임워크의 통합을 포함하여 주요 개혁(major reforms)의 역사를 가지고 있었습니다 [109-111]. 제안된 이 모든 개혁들이 성공적이었던 것은 아니었으므로 [112], CBME를 통해 PGME 시스템을 개선하고자 하는 열망(desire)은 성공을 지원하기 위해 공식적인 시스템 전반의 프로젝트(formal system-wide project)로 조직되었습니다. Royal College는 CBD를 개발하기 위해 주요 기관 프로젝트 그룹(institutional project group)을 출범시켰으며(launched), 여기에는 교육 전략(education strategy), 전문과목 표준(specialty standards), CanMEDS, 교수개발(faculty development), 인증(accreditation), 정책(policy), 평가(assessment), 재무, IT, 커뮤니케이션, 그리고 거버넌스(governance)를 담당하는 팀들이 포함되었습니다. CBD 프로젝트는 4단계(four phases)로 조직되었습니다(그림 1 및 부록 A 참조). 작업을 수행하기 위해, 프로젝트 그룹은 PGME 시스템에 적용되는 여섯 가지 원칙(six principles)을 채택했습니다:

 

그림 1. Competence by Design 개발의 단계 (Phases of Competence by Design development).

제목: Competence by Design의 개발 (The Development of Competence by Design) 캡션: 그림 1. Competence by Design 개발의 단계 (Figure 1 Phases of Competence by Design development)

1단계: 계획을 위한 계획 (Plan the Plan)

  • 프로젝트 팀 (Project Team)
  • 이해관계자 참여 (Engagement of stakeholders)
  • CBME 설계 (CBME design)
  • 표준 및 정책 검토 (Examine standards & policies)

2단계: 준비 (Preparation)

  • 프로젝트 계획 (Project plan)
  • 실무 그룹, 네트워크, 연합 (Working groups, networks, coalition)
  • CanMEDS 2015 (CanMEDS 2015)
  • EPA 시범 프로젝트 (EPA pilot projects)
  • 새로운 표준 및 정책 (New standards & policies)
  • 새로운 인증 시스템 (New accreditation system)
  • 전문과목 표준 변환 모델 (Specialty standards transformation model)

3단계: 실행 (Implementation)

  • 이해관계자 조정 (Stakeholder coordination)
  • 변화 지원 (Change support)
  • 정책 승인 (Policy approvals)
  • 새로운 표준 (New standards)
  • 전문과목 코호트별 도입 (Rollout by cohorts of specialties)
  • 공유 자원 및 보조금 (Shared resources & grants)

4단계: 평가 및 적응 (Evaluation & Adaptation)

  • 모니터링 및 감독 (Monitoring & oversight)
  • 변화 관리 (Change management)
  • 설계의 반복 (Iterations to design)
  • 정책, 표준, 절차의 개정 (Revisions to policies, standards, procedures)
  • 지속적인 평가 (Ongoing evaluation)
  • 우려 사항 해결 (Addressing concerns)

조직의 정렬과 지원 (Organizational alignment and support)

  • 이 프로젝트를 효과적으로 실행하기 위해(execute this project effectively), 관련된 조직들(involved organizations) 스스로가 이 이니셔티브와 정렬(align)되도록 변화될(transformed) 필요가 있었습니다.
  • 따라서, Royal College와 의과대학 및 조직적 파트너들은 새로운 역량 바탕 PGME 시스템(competency-based PGME system)의 창출(creation)을 촉진하는(facilitated) 공식적인 프로젝트 팀(project teams), 실무 그룹(working groups), 공유된 거버넌스 기구(shared governance bodies), 변화 전략(change strategies), 그리고 새로운 정책(new policies)들을 만들었습니다 [113].

이해관계자 참여와 공동 생산 (Stakeholder engagement and co-production)

  • 이것이 오래 확립된 시스템(long-established system) 내에서의 변혁적 변화(transformational change)로 인식되었기 때문에, 프로젝트 그룹은 조기의 광범위한 이해관계자 참여(stakeholder engagement)를 우선순위로 두었습니다(prioritized) [114, 115].
  • 학장(Deans), 정부 대표, 의대생, 전공의(postgraduate trainees), 고위 교육 리더, 일선 교육자(front-line teachers), 교육 행정가, 의료 규제 당국자(medical regulators), 그리고 그 외 많은 이들이 하나의 공동체로서 CBD를 공동 생산(co-produce)하도록 초대되었습니다. 참여와 지원은 다양했지만(varied), 대다수의 이해관계자들은 변화 노력(change effort)을 지지했습니다.

반복적인 공동체 개발과 출시 (Iterative community development and rollout)

  • 초기부터(Early on), 이 거대한 변혁적 변화는 반복적인 접근법(iterative approach)이 필요하다고 결정되었습니다. 교육적 및 정책적 설계들은 2010년부터 시작된 일련의 서밋(summits)에서 브레인스토밍되었으며, 이는 실행(implementation) 전에 의견과 개선을 위해 이해관계자들 사이에서 널리 회람되었습니다(circulated).
  • 마찬가지로, 전문과목과 세부전문과목들(예: 마취통증의학과, 종양내과, 이비인후-두경부외과)이 얼리 어답터(early adopters)가 되어 새로운 모델을 구현하는 첫 번째 집단(cohorts)에 합류하도록 자원해달라는 초청을 받았습니다. 여정의 각 단계에서 얻은 교훈(Lessons learned)은 다음 코호트와 전체 시스템을 위한 변화에 정보를 제공했습니다(informed) [116].

자원 공유 (Resource sharing)

  • 이것이 거대한, 시스템적 변화(systemic change)였기 때문에, 추가적인 교육 자원(education resources)이 필요할 것이라는 점이 일찍이 인식되었습니다.
  • 새로운 교수개발 자원(faculty development resources)(컨퍼런스, 웨비나, 비디오, 템플릿)이 개발되었습니다 [86]. 수련 프로그램(training programs) 내에서 수행되어야 할 작업뿐만 아니라 프로그램 평가(program evaluation)와 연구 결과의 확산(dissemination of findings)을 지원하기 위해 보조금(Grants)이 신설되었습니다(established). 각 의과대학에 새로운 변화 리더십 역할(CBME Leads라고 불림)을 수립하는 것을 돕기 위해 자금(Funding)이 제공되었습니다 [117].

공식적인 전문가 네트워크의 창설 (Creation of formal expert networks)

  • CBME는 1978년 세계보건기구(World Health Organization)의 행동 촉구(call to action) [13] 이후 논의되어 왔지만, CBD가 시작되었을 때 CBME 구현의 많은 측면들이 여전히 개발 중(in development)이라는 점이 인식되었습니다. 아이디어의 공유(Pooling)와 모범 사례(best practices) 및 함정(pitfalls)의 공유는 프로젝트 성공의 핵심 요소(key ingredient)가 될 것이었습니다.
  • 따라서, Royal College 팀은 지식 창출과 확산을 촉진하기 위해(facilitate) 여러 국내 및 국제 네트워크(national and international networks)를 설립하고(founded) 조력했습니다(facilitated).
    • 여기에는 International CBME Collaborators, Learning Analytics Medical Education Network, Canadian Competence Committee Chairs Collaborative, 전공의 원탁회의(Residents Roundtable), 일련의 프로그램 평가 서밋(Program Evaluation Summits), 캐나다 가정의학회(College of Family Physicians of Canada)와의 협력, 그리고 의과대학 기반 CBME 리드 원탁회의(CBME Leads Roundtable)가 포함되었습니다.

선험적 프로그램 평가 (A priori program evaluation)

  • CBD의 많은 측면이 새롭고 변혁적이었기 때문에, CBD의 모든 측면에 대한 지속적 개선(continuous improvement)을 보장하기 위해 견고한 프로그램 평가 전략(program evaluation strategy)과 네트워크를 구축하는 것이 초기 우선순위였습니다.
  • 새로운 PGME 시스템의 어떠한 부정적인 의도하지 않은 결과(unintended consequences)라도 적시에(in a timely manner) 인식되고 개선되는(ameliorated) 것이 필수적이었습니다(imperative). 마찬가지로, 긍정적인 의도하지 않은 결과들도 인식되고, 축하받고, 증폭될(amplified) 필요가 있었습니다. CBD 프로그램 평가 전략은 이 컬렉션에 실린 Hall 등의 논문에 상술되어 있습니다 [118].

Competence by Design 모델: CBME 시스템을 지원하기 위한 14가지 혁신의 묶음 (The Competence by Design model: a bundle of 14 innovations to support a CBME system)

Competence by Design은 캐나다 전문의 PGME 시스템의 모든 측면에 대한 변혁적 변화(transformational changes)를 수반했습니다. 혁신들은 PGME의 문제와 기회들을 CBME의 Van Melle 핵심 구성요소(Van Melle Core Components) [25]와 연결하는 프로그램 논리 모형(program logic model)으로부터 도출되었습니다(derived) (표 2 참조). 핵심 역량(core competencies)에서부터 수련에서 시간의 역할(role of time), 평가(assessment), 인증(accreditation), 자격 검증(credentialing), 그리고 자격 인정(certification)에 대한 정책과 표준에 이르기까지, PGME의 모든 측면이 기본 원칙(first principles)에서부터 다시 구상되었습니다(reimagined). CBD는 새로운 PGME 시스템을 가능하게 하기 위해 14가지 주요 혁신들을 "묶었습니다(bundled)". 이는 아래에 기술되어 있습니다.

표 2. Competence By Design 논리 모형 (Competence By Design Logic Model)

CBME의 핵심 구성요소* (CORE COMPONENTS OF CBME*) 이슈 및 기회 (ISSUES & OPPORTUNITIES) CBD 설계 요소 (CBD DESIGN ELEMENTS) 산출물 (OUTPUTS) 영향 (IMPACT)
졸업생을 위한 역량 프레임워크로서의 성과

(Outcomes as a Competency Framework for Graduates)		 모든 졸업생이 필요한 역량 수준을 충족하도록 보장하기 위한 PGME (안전한 환자 진료를 위한 졸업생 성과에 초점)

성과(outcomes)가 아닌 과정(process)에 초점을 맞춘 프로그램 리뷰		 CanMEDS 2015 프레임워크

새로운 전문과목 특이적 역량(specialty-specific competencies)

새로운 성과 지향적 인증(outcomes-oriented accreditation)		 모든 전문과목에 대한 명확하고 새로운 역량(Clear new competencies)

PGME 성과에 초점을 맞춘 새로운 인증 기준(accreditation standards)		 역량 있는 졸업생(Competent graduates), 진료 준비 완료(ready for practice)

향상된 수련 프로그램(Enhanced training programs)
초심자에서 전문가로의 정의된 수련 진척

(Defined progression of training from novice to expert)		 전환(transitions)과 관련된 이슈들

시간 기반 수련(Time-based training)은 변동성 있는 졸업생을 배출함

환자 안전 우려(Patient safety concerns)

부적절한 관리감독(inadequate supervision) 사례들		 계획된 전환(Planned transitions)

PGME의 4단계(4 stages)

CanMEDS 이정표(milestones)		 전공의 수련 및 진료로의 더 나은 전환(Better transitions)

역량으로 가는 명확한 경로(Clear pathways)

학습을 위한 더 나은 평가(Better assessments for learning)		 수련의 각 단계에 준비된 전공의(Residents prepared)

역량 있는 졸업생, 진료 준비 완료

더 안전한 진료(Safer care)
맞춤형 학습 경험

(Tailored learning experiences)		 일반적인 수련(Generic training)은 변동성 있는 졸업생을 배출함

수련에 대한 전공의 참여(Resident engagement)는 학습을 향상시킴		 시간 가변적 수련(Time variable training)

유연한 수련 요건(Flexible training requirements)

성취에 기반한 진급(Promotions on achievements)

개별화된 순환 계획(Individualized rotation plans)

지속적인 코칭(Coaching over time)		 자격 인정으로 가는 개별화된 경로(individualized pathways)를 가진 전공의들 수련의 각 단계에 준비된 전공의

역량 있는 졸업생, 진료 준비 완료

수련에 대한 더 큰 전공의 만족도(Greater resident satisfaction)
역량 바탕 교수

(Competency-based teaching)		 수련생에 대한 직접 관찰(direct observation)이 거의 없음

현장에서의 부적절한 피드백(Inadequate feedback)

성장 마인드셋(Growth mindset)은 전문성 숙달을 향상시킬 수 있음

EPAs는 더 많은 교수진이 더 나은 의견을 제공할 기회를 제공함

발달적 관점(Developmental view)은 어떤 수련생도 낙오되지 않도록 보장함		 직접 관찰(Direct observation)

현장 기반 평가를 위한 EPAs

즉각적인 코칭(Coaching in the moment)

수련에 대한 발달적 관점

성장 마인드셋		 더 많은 직접 관찰

더 많고 더 나은 피드백

진척 상황에 대한 풍부한 그림을 제공하는 전공의 포트폴리오(Trainee portfolios)		 수련의 각 단계에 준비된 전공의

역량 있는 졸업생, 진료 준비 완료

수련에 대한 더 큰 전공의 만족도
프로그램식 평가

(Programmatic assessment)		 시험 불합격(Exam failures)

역량 부족(dyscompetence)에도 불구하고 진급

평가 횟수 부족(Few assessments)

현장 기반 평가(WBA)에 대한 우려

진급 결정에 대한 우려

학습 분석을 사용할 기회

평가를 디지털화할 기회		 모든 전공의 진척에 대한 역량 위원회(Competence committee) 리뷰

높은 수의 EPA 관찰

학습 분석 및 e포트폴리오

수련에 대한 발달적 관점

성장 마인드셋

지속적인 코칭

자격 시험의 새로운 역할		 더 나은 진급 결정

진척 상황에 대한 풍부한 그림을 제공하는 전공의 포트폴리오

WBA에 관여하는 더 많은 교수진

역량으로 가는 명확한 경로

자격 인정으로 가는 개별화된 경로를 가진 전공의들

더 많고 더 나은 피드백		 수련의 각 단계에 준비된 전공의

역량 있는 졸업생, 진료 준비 완료

수련에 대한 더 큰 전공의 만족도

필요한 평가 이의제기(appeals) 감소

동일하거나 더 높은 시험 합격률(exam pass rates)

*출처: Van Mell E, et al. International Competency-based Medical Education Collaborators. A core components framework for evaluating implementation of competency-based medical education programs. Acad Med. 2019; 94: 1002–9.

발달적 이정표가 있는 새로운 역량 프레임워크 (New competence framework with developmental milestones)

  • Royal College PGME 시스템은 1996년부터 교육과정의 기초(basis of curriculum)로 CanMEDS 역량 프레임워크(CanMEDS competency framework)를 사용하고 정기적으로 업데이트해 왔습니다 [110, 111]. CBD를 위해, 새로운 버전인 CanMEDS 2015가 만들어졌으며, 이는 각 역량 영역(domain of competence, 예: 의사소통 기술)에 대한 발달적 이정표(developmental milestones)를 포함했습니다. 이는 의과대학 종료 시점부터 전문의 수준(specialist level)까지의 진척(progression)을 반영하는 짧은 진술(short statements) 형태입니다 [88]. 이정표들은 현장 기반 코칭 대화(workplace-based coaching conversations)를 위한 비계(scaffold)로 배치되었습니다(deployed) [119].

발달적 신뢰할 수 있는 전문 활동의 도입 (Introduction of developmental entrustable professional activities)

  • Karpinski와 Frank [120]가 기술한 바와 같이, Royal College는 학습을 조직하는 접근법(approach to organize learning)이자 평가를 위한 프레임워크(framework for assessment)로서 신뢰할 수 있는 전문 활동(entrustable professional activities, EPAs)을 선택했습니다. CBD 형태의 EPA(RCEPAs)는 해당 전문과목과 수련 단계(stage of training)에 맞춤화된 일련의 전문적 과업(professional tasks)을 나타냈습니다. 그것들은 명시적으로 발달적(explicitly developmental)이어서, 수련이 진행됨에 따라 RCEPA의 복잡성과 범위(complexity and scope)가 커졌습니다.
    • 수련 시작 단계의 RCEPA는 더 단순했고(예: "비뇨의학과 서비스로 환자 입원시키기"),
    • 수련 종료 단계의 RCEPA는 임상 의사의 능력에 근접한 능력(abilities approaching that of a practising clinician)을 반영했습니다(예: "수술 목록 조정, 조직 및 실행").
  • RCEPA는
    • 과업 기술(description of the task),
    • 과업 완수에 필수적인 2개 이상의 CanMEDS 역할(Roles)에서 가져온 8-12개의 이정표,
    • 관리감독 서열 점수(supervision ordinal score, 즉 O-Score [121]), 그리고
    • 필수적인 서술형 코멘트(narrative comment)를 작성하는 영역을 포함했습니다.
  • 이러한 EPA는 현장에서 빈번하게 직접 관찰(directly observed)되어야 했으며, 임상 환경에서 진척 모니터링(학습의 평가[assessment of learning])과 즉각적인 코칭(coaching in the moment, 학습을 위한 평가[assessment for learning])을 위한 프레임워크 역할을 했습니다 [122].
  • RCEPA는 완료되고, 기록되며(logged), 디지털 플랫폼에 집계되었습니다(aggregated). 따라서 EPA는 수련의 진척을 정의하고, 개별 수련생의 학습을 맞춤화(tailor)하며, 핵심 과업에 대한 현장 기반 교수(workplace based teaching)를 촉진하고, 프로그램식 평가(programmatic assessment)를 위한 데이터를 생성하는 역할을 했습니다.

새로운 수련 단계 (New stages of training)

  • 모든 졸업생이 안전하게 진료할 수 있는(practise safely) 모든 역량을 갖추도록 보장하는 프로그램 성과(program outcomes)에 초점을 맞추기 위해, CBD는 수련에 소요된 시간(time spent in training)이라는 조직화된 틀에서 순차적으로 성취되는 역량(competencies achieved sequentially)으로 이동했습니다 [25, 103]. 교육 시스템에서 전공의 연차(Postgraduate years, PGYs)는 공식적으로 4개의 정의된 수련 단계(stages of training)를 선호하여 대체되었습니다:
    • 전공의 전환기(Transition to Discipline), 기초기(Foundations), 핵심기(Core), 그리고 진료 전환기(Transition to Practice).
  • 각 단계는 이전의 경험과 성취 위에 구축되도록(build upon) 설계되었습니다. 단계들은 성취해야 할 사전 정의된 역량(predefined competencies), 학습 경험(예: 순환[rotations], 환자 만남의 유형, 시뮬레이션 세션), EPA, 기타 평가, 그리고 진급 기준(criteria for promotion)을 통합했습니다. 처음으로, PGME로의 진입과 진료(practice)로의 전환(transitions)을 위해 수련생을 준비시키는 데 특별한 주의가 기울여졌습니다.
  • 단계를 통한 진척(Progression)은 역량 위원회(Competence Committee)의 공식적인 권고(formal recommendation)를 필요로 했습니다. 새로운 표준(standards)은 프로그램들이 단계 간의 전환을 위해 수련생을 준비시키고, 그들이 모든 관련 역량을 습득했는지 확인하여, 미래의 순환에서의 효과성을 높이고 안전한 환자 진료(safe patient care)를 증진할 것을 요구했습니다. 이 단계들은 CBD 역량 연속체(Competence Continuum)에 묘사되어 있습니다(그림 2 참조).

그림 2. Competence by Design 역량 연속체 (The Competence by Design Competence Continuum). Copyright 2012. The Royal College of Physicians and Surgeons of Canada. 허가를 받아 전재함.

새로운 전문과목 특이적 표준 (New specialty-specific standards)

  • CanMEDS 2015 프레임워크는 모든 Royal College 전문과목 및 세부전문과목에 맞춤화된 새롭고 업데이트된 역량 세트의 템플릿(template)으로 사용되었습니다. 모든 분과(discipline)는 이러한 역량, 단계, RCEPA를 사용하여 교육과정과 평가를 위한 새로운 국가 청사진(national blueprint)을 만들었습니다 [123].
  • 그 후 분과들은 4가지 수련 단계에 기초한 그들의 새로운 맞춤형 PGME 설계를 보급했습니다(disseminated); 각 단계는 수련 경험 요건, 교수(instruction), 성취해야 할 역량, 그리고 관찰 및 기록되어야 할 EPA를 포함했습니다.
  • 이 단계들은 시간이나 EPA의 할당량(quotas)에 기초하지 않았습니다; 시간은 학습을 위한 자원(resource for learning)이었고, 현장 평가(workplace assessments)는 피드백을 주고받으며 진척의 증거(evidence of progress)를 문서화할 기회였습니다. 따라서 CBD는 각 전문과목의 수련 설계를 개조할(revamp) 세대적 기회(generational opportunity)를 제공했습니다.

교수 및 평가를 위한 새로운 프로그램 청사진 (New program blueprints for teaching and assessment)

  • CBD 국가 전문과목 표준은 캐나다 내 거의 1000개의 Royal College 수련 프로그램 모두에서 교수 및 평가를 위한 새로운 청사진(blueprints)으로 번역되었습니다. 이는 인증 기준(accreditation standard)으로 요구되었습니다. 지역 프로그램 위원회(Local program committees)는 이 기회를 사용하여 그들의 맥락(context)에서 수련을 다시 구상(reimagine)하고, 필수적인 순환과 교수에 시간을 배정하며(allocating time), 계획된 경험에 EPA와 기타 평가를 배정하도록 요청받았습니다.
  • 이는 역량 성취를 돕기 위한 최상의 경험을 재평가(reassess)하고 더 이상 필요하지 않은 경험을 재고(reconsider)할 기회를 제공했습니다. 이러한 방식으로 CBD는 전국의 모든 수련 프로그램의 갱신(renewal)을 촉진했습니다.

직접 관찰이 있는 현장 기반 평가 시스템 (Workplace-based assessment system with direct observation)

  • Competence by Design은 학습을 위한 평가(assessment for learning)와 학습의 평가(assessment of learning) 모두에 중점을 둔 새로운 현장 기반 평가 시스템(workplace-based assessment system)을 도입했습니다 [68, 69].
  • 4주간의 수련이 끝날 때마다 단일 지도전문의가 작성하는 단일 후향적(retrospective) 현장 기반 평가 대신, 프로그램들은 모든 수련생이 현장에서 EPA를 사용하여 빈번하게 관찰(frequently observed)되고 해당 EPA에 대해 즉각적인 코칭(coaching in the moment)을 받으며, 지도전문의의 인상(impressions)이 전자 포트폴리오(electronic portfolio)에 기록되도록 보장할 것을 요청받았습니다.
  • EPA는 다수의 평가자(multiple assessors)로부터 포착된 다수의 수행 미시 평가(multiple micro-assessments of performance)를 보장하여 학습자 진척에 대한 더 풍부하고 신뢰할 수 있는 결정을 알리는 데(inform) 사용되었습니다. 단일 전문과목에서의 첫해 구현 연구에서, 수련생당 기록된 관찰 횟수는 기관 전반에 걸쳐(across sites) 20회 미만의 전통적 평가에서 90-230회의 EPA로 증가했습니다 [124].

역량 바탕 코칭 모델 (Competency-based coaching model)

  • 전통적 수련에서 수련생에게 제공되는 유용한 피드백의 부재(lack of useful feedback)에 대한 우려를 해결하기 위해 [125], CBD의 EPA는 평가 프레임워크로만 사용되지 않았습니다. EPA는 또한 빈번한 직접 관찰(direct observations) [126]과 즉각적인 임상 코칭(clinical coaching in the moment) [127, 128]의 토대(foundation)였습니다. 이를 지원하기 위해, 이 컬렉션의 Richardson 등 [122]이 기술한 바와 같이 "RX-OCR" 코칭 모델이 출시되었습니다(rolled out).

성장 마인드셋 수련 (Training in a growth mindset)

  • 증가된 직접 관찰, 현장 기반 평가, 역량 지향 코칭 피드백의 도입은 새로운 CBD 시스템이 압도적으로(overwhelmingly) 평가에만 초점을 맞출 위험을 초래했습니다.
  • 대신, 새 시스템의 목표는 교수와 학습을 향상(enhance teaching and learning)시키는 것이었습니다 [101]. 따라서, CBD 조직자들은 Carol Dweck의 성장 마인드셋(growth mindset)에 대한 수련생 및 교수의 오리엔테이션을 명시적으로 포함했습니다 [129, 130]. 역량 바탕 교육에 대한 이 접근법은 학습에 대한 발달적 관점(developmental view)을 옹호합니다(advocates);
  • 모든 학습자는 역량을 향한 여정(journey to competence)에 있으며, 어떤 주어진 역량은 성취되었거나(achieved) 아직 성취되지 않은(not yet achieved) 상태입니다. CBD 하에서, 교수자들은 수련생이 EPA나 역량 영역을 성취했을 때뿐만 아니라 도중의(enroute) 진척 상황도 기록하도록 장려되었습니다.
  • 많은 관찰은 학습자 포트폴리오의 어떤 주어진 데이터 포인트도 "역량이라는 그림 속의 픽셀(pixel in a picture of competence)"이며, 각각은 고부담(high stakes)이 아니라는 것을 의미했습니다. 목표는 수련생과 교수자가 수련생의 능력에 대한 논의를 발달에 대한 "경과 기록(progress note)"으로 사용하고 학습자의 인격(character)에 대한 논평으로 사용하지 않는 것이었습니다. 이는 의학교육에 널리 퍼져 있는 고정 마인드셋(fixed mindset)으로부터의 뚜렷한 전환(distinct shift)이었습니다 [100, 122, 128].

역량 위원회 및 프로그램식 평가의 도입 (Introduction of competence committees and programmatic assessment)

  • 프로그램식 평가(Programmatic assessment)는 다양한 지도전문의(diversity of supervisors)들로부터 시간이 지남에 따라 수집된 광범위한 평가(spectrum of assessments, 주로 RCEPA이지만 수련 단계와 관련된 다양한 과제도 다룸)를 특정 수련 단계에 있는 수련생에 대한 종합적 평가(global assessment)로 통합하기 위해(synthesize) 포함되었습니다.
  • CBD 모델에서, 역량 위원회(Competence Committee)는 수련생 포트폴리오의 EPA 및 기타 집계된 수행 데이터(aggregated performance data)를 정기적으로 검토하고, 규정된 합의 과정(consensus process)을 사용하여 그들의 진척에 공식적인 상태(formal status, 예: "기대대로 진척 중[Progressing as Expected]")를 부여하는 헌신적인 교육자들로 구성된 공식적으로 임명된 그룹이었습니다.
  • 피드백과 교육적 처방(educational prescription)이 수련생에게 제공되어야 했습니다. 조기 교정(early remediation)이나 수련 과정의 가속화된 진척(accelerated progression)을 포함하여, 미래 수련의 수정(Modification) 또한 가능했습니다. 역량 위원회는 전체 전공의 프로그램 위원회(Residency Program Committee, RPC)에 보고했으며, RPC는 지역 프로그램 전반의 전반적인 정렬(overall alignment)을 보장하기 위해 모든 진급 권고(promotion recommendations)와 결정에 대해 책임을 지고 인지하고 있었습니다 [131-134].

전자 포트폴리오의 도입 (Introduction of electronic portfolios)

  • CBD는 디지털 수련생 포트폴리오(digital trainee portfolios)를 전공의 교육의 필수적인 요소(essential ingredient)로 만들었습니다 [135]. Royal College는 종이 서식(paper forms, 여전히 일부 프로그램에 존재함) 사용에서 벗어나 수련생 진척 데이터(예: EPA 관찰)의 증가를 관리하기 위해 더 정교한 전자 포트폴리오(electronic portfolios)의 사용을 장려하고자(incentivize) 했습니다 [78-80].
  • RCEPA의 디지털 작성은 효율적이고 안전한 데이터 포착(data capture)을 보장했습니다. 전자 포트폴리오는 수련생, 교수, 역량 위원회가 프로그램 요건 충족에 대한 수련생의 진척을 모니터링하는 데 사용할 수 있는 대시보드 뷰(dashboard views)를 허용했습니다 [136, 137].
  • 이 모든 것을 지원하기 위해, Royal College는 모든 인증된 프로그램에 무료 e포트폴리오를 투자하고 제공했습니다. 대학과 병원들도 그들이 선택한 다른 전자 포트폴리오를 구현할 선택권(option)이 있었습니다.

학습 분석 (Learning analytics)

  • CBD는 더 많은 평가 데이터 포인트의 가용성과 디지털 데이터 집계의 용이성을 통해 PGME 시스템을 위한 학습 분석(learning analytics)을 국가적으로 가능하게 했습니다. 학습 분석은 고등교육(higher education)에서는 널리 퍼져 있지만 [138], CBD 출시 이전 캐나다 PGME에서는 거의 사용되지 않았습니다(minimal use).
  • 학습 분석은 표준(standard) 대비 수련생의 진척을 보여주는 강력한 도구 세트입니다. 이 분석은 또한 교수의 행동(teacher behaviour), 순환의 효과성, 그리고 프로그램 전반에 대한 관점(views)을 제공할 수도 있습니다 [139]. 강력한 그래픽 학습 분석 대시보드(graphical learning analytics dashboard)는 CBD 하에서 역량 위원회를 위한 중요한 도구가 되었습니다 [81, 108].

자격 시험의 변화된 역할 (Changed role for certification examination)

  • 수십 년 동안, Royal College 자격 시험(certification examination)은 독립적 면허(independent licensure)와 자격 인정을 위한 단일하고, 고부담 외부 관문(high-stakes external gateway)으로서 수련의 마지막에 발생하는 PGME의 마지막 단계(final act)였습니다.
  • CBD 하에서, 이 시험은 수련의 핵심기(Core stage) 종료 시점으로 이동되었습니다 [140]. 이 조치는 학습의 강력한 동인(powerful driver of learning)인 시험 준비를 수련의 더 이른 단계로 이동시켰고, 진정한 진료 전환기(Transition to Practice stage)를 위한 시험 없는 기간(examination-free period)을 만들었습니다.
  • 일반적으로, 시험이 수련의 끝에서 핵심기(Core stage)의 끝으로 이동했을 때 응시자들은 그만큼 잘 수행했습니다(performed just as well). 시험은 역량으로 가는 수련생의 진척 포트폴리오에 있는 또 다른 주요한 증거물(exhibit)이 되었으며, 시험의 성공적인 완료는 여전히 자격 인정을 위한 요건이었습니다. CBD에서 시험의 역할은 이 컬렉션의 Bhanji 등 [141]에서 더 자세히 설명됩니다.

지속적 질 개선과 질 보장을 강조하는 새로운 인증 기준 (New accreditation standards emphasizing continuous quality improvement and quality assurance)

  • CBD 시스템의 출시를 지원하기 위해, Royal College 인증 시스템(accreditation system) 또한 성과(outcomes)에 더 초점을 맞추도록 갱신되었습니다. 인증 이해관계자 컨소시엄(CanRAC)의 일환으로, CBME 요소를 둘러싼 요건들을 포함하는 새로운 기준 세트가 만들어졌습니다 [142]. CBD에 정보를 제공하는 철학(philosophies)을 따라, 새로운 인증 시스템은 강조점을 질 보장(quality assurance, 기준 충족)에서 지속적 질 개선(continuous quality improvement, 프로그램 향상 전략을 보여주는 프로그램 보상)으로 이동시켰습니다 [106]. CBD를 위한 새로운 인증 시스템은 이 컬렉션의 동반 논문인 Dalseg 등 [143]에서 더 설명됩니다.

시간 가변적 자격 검증 (Time-variable credentialing)

  • 마지막으로, CBD는 규정된 임상 서비스에서 수련에 소요된 시간에 기초한 자격 검증(credentialing)으로부터의 이동을 표시했습니다(marked) [144]. 대신, Royal College는 수련생의 진료 준비도(readiness for practice)에 대한 가용한 모든 데이터에 기초하여 지역 프로그램 역량 위원회의 진급 결정을 수용하는 정책을 채택했습니다 [132].
  • 안전장치(safeguard)로서, 역량 위원회의 기능은 인증 방문의 일부로 검토되었습니다. CBD는 하이브리드 시간 가변적 접근법(hybrid time-variable approach)을 나타내지만, CBD 프로그램의 수련생들은 만약 그들이 모든 필수 역량과 수련 경험을 성취했다는 증거가 있다면 표준 수련 기간보다 일찍 졸업(graduate earlier)할 수 있었습니다.

 

고찰 (Discussion)

 

많은 국가들이 CBME 설계를 위한 작업을 시작했지만, PGME 시스템의 역량 바탕 교육으로의 국가적 규모의 변혁(national-scale transformation)을 기술하는 출판물은 현재까지 거의 없었습니다(little has been published to date). 이 논문에서, 우리는 CBD를 보건 전문직 교육(health professions education)에서 독특한 혁신(unique innovation)으로 기술했으며, PGME 창설 이래 캐나다 수련에서 가장 큰 변화였던 새로운 CBME 시스템의 동인(drivers), 개발(development), 그리고 설계(design)를 상술했습니다(elaborated). 모든 교육 프로그램이 지속적으로 진화하고 있을지 모르지만, 교육 시스템에서의 대규모 변혁(large-scale transformations)은 흔하지 않습니다 [145]. CBD 프로젝트는 기존 PGME 시스템에 대한 변혁적 변화이자 시간 가변적 CBME(time-variable CBME)의 적용을 모두 나타냅니다. CBD의 초기 구현으로부터 얻은 몇 가지 교훈(lessons learned)과 보건 전문직 교육에서 변화를 이끄는 사람들을 위한 시사점(implications)이 있습니다.

 

대규모 교육 변화에 대한 교훈 (Lessons learned about large-scale educational change)

대규모 변화는 시스템이 작동하는 방식을 다시 구상할 드문 기회를 제공합니다 (Large-scale change provides a rare opportunity to reimagine how a system works)

  • CBD 이니셔티브는 정책(policies)에서 철학(philosophies), 절차(procedures), 인증(accreditation)에서 평가(assessment)에 이르기까지 PGME 시스템의 모든 측면을 근본적으로 다시 구상(reimagine)할 기회가 되었습니다. 이는 전문직 교육에서 드문 현상입니다. 이를 통해 많은 오래된 우려(long-standing concerns)와 아이디어들이 이번 구현의 일부로 다루어질 수 있었습니다(예: 인증 리뷰의 디지털화). 관련된 사람들은 궁극적으로 미래의 졸업생과 그들의 환자를 위해 지속적 개선(continuous improvement)에 헌신했습니다. 그럼에도 불구하고, 근본(fundamentals)을 재검토할 기회는 그러한 기회를 추구하는 데 필요한 높은 수준의 노력(high degree of effort)과 균형을 이루어야 합니다.

"거대한 변화"를 지속하기 위해 조직의 변혁이 필요합니다 (Organizational transformation is needed to sustain “big change”)

  • CBD를 구현하는 과정에서, 성공하기 위해서는 참여하는 조직들 스스로가 변화해야 한다는 것이 깨달아졌습니다. 조직들은 정책, 절차, 그리고 인력(personnel)을 변경했습니다. 후자의 변화는 새로운 교육 과정(educational processes)에 헌신하는 개인들을 배치하기(put in place) 위해 필요했습니다. 근본적으로, CBD는 의사를 준비시키는 이 새로운 방식을 채택한 모든 사람들, 관련된 기관의 리더십을 포함하여, 그들의 정신 모형(mental models)을 변화시켰습니다 [146].

이해관계자와의 공동 생산은 필수적입니다 (Co-production with stakeholders is essential)

  • CBD의 구현은 변화의 진전을 이루기 위해(make progress in change) 수많은 이해관계자의 참여(engagement)를 필요로 했습니다. 수련생 조직이나 의과대학과 같은 이해관계자들은 어떠한 PGME 프로젝트의 영향도 가장 먼저 받는 최전선(front line)에 있었기 때문에, CBD를 형성하는 데 중요한 의견(critical input)을 제공했습니다. 파트너들과 CBD의 요소들을 공동 생산(Co-production)하는 것은, 비록 더 느릴지라도, 다양한 관점에서 최상의 가능한 설계를 얻기 위해 필수적이었습니다 [115].

적응형 프로그램 평가 전략은 필수적입니다 (An adaptive program evaluation strategy is essential)

  • 처음부터(From the outset), CBD는 세 가지 주요 활동 기둥(pillars of activity)을 가진 견고한 프로그램 평가 전략(program evaluation strategy)을 개발했습니다: 구현 준비도(readiness to implement), 구현의 충실도(fidelity of implementation), 그리고 성과(outcomes). PGME 시스템 전반에 걸친 지속적인 평가 연구는 교육 리더들에게 이슈, 우려, 강점, 그리고 지역적 차이(regional variations)를 신속하게 알려주었습니다(rapidly informed). 이는 그토록 크고 복잡한 변화 프로젝트의 성공에 절대적으로 결정적(critical)이었습니다 [118].

의학교육에서의 대규모 변화는 학문적 연구와 경력 변화로 이어질 수 있습니다 (Large-scale change in medical education can lead to scholarship and career changes)

  • 일화적으로(Anecdotally), CBD는 변혁의 의도치 않은 영향으로서 참여자들이 역할을 바꾸고 학문적 연구(scholarship)를 생산하도록 촉발했습니다(triggered). 수련생과 교수진은 교육 경력 트랙(education career track)에 관심을 갖게 되어, 치프 레지던트(대표 전공의), 프로그램 책임자(program directors), 또는 학자(scholars)가 되었습니다.

CBME 구현에 대한 교훈 (Lessons learned about CBME implementation)

CBD는 규모 있는 CBME 개념 증명입니다 (CBD is a CBME proof of concept at scale)

  • CBD는 CBME의 Van Melle 핵심 구성요소(Van Melle Core Components) [25]를 사용하도록 명시적으로 만들어졌습니다. CBME 운동에 대한 비판 중에는, 이 접근법이 근거 기반이나 실적(track record)이 없는 이론적(theoretical)인 것이라는 우려가 있었습니다 [84]. CBD는 CBME의 핵심 구성요소가 21세기 국가적 PGME 시스템의 기초로 사용될 수 있음을 입증함으로써 HPE의 담론(discourse)에 기여합니다.

변화의 "묶음"으로 CBME를 구현하는 것에는 이점이 있습니다 (There are benefits to implementing CBME as a “bundle” of changes)

  • International CBME Collaborators의 이전 작업에서, 많은 선구적인 CBME 설계들은 주로 역량 프레임워크나 프로그램식 평가에 초점을 맞추었습니다. 이것들은 Van Melle 핵심 구성요소 중 두 가지입니다. 대조적으로, CBD 이니셔티브는 모든 핵심 구성요소를 사용했으며, 이는 하나의 변혁적 시스템 변화로 "묶인(bundled)" 14개의 구현된 혁신으로 이어졌습니다 [147, 148]. 초기 프로그램 평가 결과들은 수련 프로그램 수준에서의 변화들과의 더 큰 정렬(alignment)이 CBD 논리 모형(Logic Model)의 바람직한 성과들과 더 나은 정렬을 만들어냈음을 시사했습니다 [118].

시간은 학습을 위한 자원이지, 수련 완료의 기준이 아닙니다 (Time is a resource for learning, not the criterion for completion of training)

  • PGME 시스템들은 수련에서의 시간을 다양한 방식으로 사용합니다. 일부는 규정된 학습 경험에서 정해진 주(weeks) 수를 요구하는 고정 시간 설계(fixed-time designs)를 가지고 있습니다. 소요된 시간(time spent)에 기초한 시스템들은 졸업생들이 안전한 진료를 위해 필요한 모든 역량을 성취하지 못한 채로 나갈 수 있는 잠재적 위험이 있다는 비판을 받아왔습니다. 대조적으로, 개방형 시간 시스템(open-time systems)은 비효율성과 장기화된 수련(prolonged training)으로 비판받아 왔습니다. CBD는 필수 역량의 성취를 가능하게 하는 학습 경험에 대한 가이드라인을 갖춘 시간-하이브리드 시스템(time-hybrid system)을 만들고자 했습니다.
  • 이 시스템에서, 시간은 수련을 위한 자원(resource)이지, 조직화된 틀(organizing framework)이 아닙니다. 따라서, 주어진 순환(rotations)은 요구되는 것이 아니라(not required) 권장되었으며(recommended), 역량의 성취는 시간에 기초하지 않았습니다. 모든 졸업생이 모든 필수 역량을 성취했다는 증거가 있도록 보장하면서, 프로그램들이 개별 수련생의 요구에 수련을 맞춤화(tailoring)하고 있는지 확인하기 위해 인증 방문에 질 관리(Quality controls)가 내재되었습니다 [144].

시간 변동성은 개별화된 학습 계획을 가능하게 했습니다 (Time variability enabled individualized learning plans)

  • CBD 설계는 개별화된 수련생 학습 계획(individualized trainee learning plans)을 허용했습니다. 역량 위원회는 수련생의 포트폴리오가 다음 단계로 진척하기 위해 필요하다고 나타내는 것에 기초하여 미래의 수련 경험을 고려하도록 장려되었습니다.
  • 대다수의 수련생에게, 이것은 수련의 조기 또는 지연 완료를 의미하지 않았습니다. 이것이 의미한 바는 역량 위원회가 프로그램 성과를 달성할 수 있도록 필요에 따라 수련생의 순환이나 기타 활동에 대한 변경을 권고(recommend changes)할 수 있었다는 것입니다. 그렇게 함으로써, 프로그램들은 임상 서비스의 요구와 수련생의 교육적 요구 사이의 균형(balanced)을 맞추었습니다. 이것이 구현된 정도(extent)는 다양했습니다 [134].

"발달적" EPA는 진척 결정을 촉진합니다 (“Developmental” EPAs facilitate progress decisions)

  • EPA를 사용하는 전 세계의 많은 보건 전문직 교육 프로그램들은 EPA를 졸업하는 수련생이 목표로 삼는(works toward) 과업으로 설계했습니다. CBD에서, Royal College는 명시적으로 초심자에서 전문가로 수련의 순서를 정하고(sequence) 학습자들이 그들의 발달의 각 단계에 진정으로 준비되도록 보장하기를 원했습니다. 이는 핵심 구성요소의 이론과 정렬되었고, 수련생들이 그들의 과업에 준비되도록 보장함으로써 환자 안전에 대한 우려를 해결했으며, 수련 수준에 맞는 특정 과업에 대한 직접 관찰(direct observation)과 코칭을 가능하게 했습니다. 학습자가 각 단계의 끝에서 수행할 수 있을 것으로 기대되는 과업을 정확히 지적함(pinpointing)으로써, 역량 위원회는 진급 결정을 안내할 기준 세트를 갖게 되었습니다 [120].

더 나은 피드백이 가능합니다 (Better feedback is possible)

  • CBD의 동인 중 하나는 수련생에게 유용하고 실천 가능한 피드백(actionable feedback)이 부족하다는 끊임없는 불만(perennial complaints)이었습니다 [62-67]. 이를 해결하기 위해 선택된 전략들에는 학습과 관찰의 초점으로서 EPA의 배치(deployment), 새로운 현장 코칭 모델, 성장 마인드셋에 대한 명시적 논의, 그리고 정기적인 직접 관찰 및 코칭 피드백에 대한 요건이 포함되었습니다. 초기 평가 연구들은 수련생들이 현장 기반 평가와 EPA 대화의 일환으로 더 빈번하고 더 실천 가능한 피드백을 보고했음을 보여주었습니다 [118].

프로그램식 평가는 주요 이점을 제공합니다 (Programmatic assessment offers key benefits)

  • CBD의 근본적인 기둥은 프로그램식 평가(programmatic assessment)의 배치였습니다. 이것의 사용은 PGME 평가가 주관적이고(subjective), 역량 발달에 대한 포괄적 관점이 부족하며, 너무 적은 지도전문의 및/또는 너무 적은 관찰에 기초하고 있다는 오래된 우려들을 해결하기 위한 것이었습니다.
  • 프로그램식 평가는 PGME 시스템 내 대부분의 프로그램에 있어 큰 변화였으며, 채택률(rates of adoption)은 다양했습니다. 평가에 대한 이 접근법이 충실하게(with fidelity) 채택된 프로그램들에서는, 지역 교육 리더들이 더 강력한 평가 의사결정, 개별 수련생에 대한 더 풍부한 데이터, 평가 결정에 대한 더 적은 이의제기(fewer appeals), 그리고 학습자에 대한 더 질 높은 피드백에 대해 높은 만족도를 보고했습니다. 프로그램식 평가가 수행되었을 때, 총괄 평가 결정(summative assessment decisions)은 현장 지도전문의에게서 역량 위원회로 이동되었습니다 [133, 134, 149, 150].

실시간, 저부담 현장 기반 평가가 가능합니다 (Real-time, low-stakes workplace-based assessment is possible)

  • 전 세계적으로, 견고한 CBME 설계를 지원하는 데 있어 주요한 난제는 역량을 향한 수련생 진척에 대한 유용한 현장 직접 관찰을 적절한 수(adequate number)만큼 확보하는 데 있습니다 [45, 126]. CBD를 구현하면서, Royal College는 모든 1000개 수련 기관의 지도전문의들에게 모든 수련생의 업무를 정기적으로 표본 추출(sample)하도록 요청했습니다. 지도전문의들이 작고 짧은 에피소드(small, brief episodes)로 직접 관찰을 수행하고 수련생에 대한 풍부하고 유용한 노트를 기록할 수 있다는 것이 발견되었습니다. 이것이 모든 환경에서 쉬운 것은 아니었지만, 일부 프로그램들은 더 많은 직접 관찰로의 이동을 실현했습니다(realize) [118, 150].

역량 위원회는 효과가 있습니다 (Competence Committees work)

  • CBD에서, 프로그램 리더들은 역량 위원회 구현에 대해 높은 만족도를 보고했습니다 [118, 133]. 그들은 개별 수련생들이 더 깊이 있고 풍부하게 논의되었고, 평가 결정이 더 견고했으며(robust), 기능적인 공식 역량 위원회를 만드는 과정이 다양한 환경 전반에 걸쳐 실행 가능(doable)했다고 보고했습니다. 이 경험은 PGME에서 역량 위원회의 사용에 대한 추가적인 지지를 제공합니다.

CBME는 평가의 형평성을 지지할 수 있습니다 (CBME may support equity in assessment)

  • 최근, 다수의 연구들이 다양한 참고문헌(Refs)에서 수련생 평가의 형평성(equity)에 대한 우려를 확인했습니다. 편애받거나(favoured) 우려 대상으로 표시된(flagged for concern) 수련생뿐만 아니라 모든 수련생이 다수의 지도전문의에 의해 직접 관찰되고 빈번하게 역량 위원회에서 논의되도록 요구함으로써, CBD 평가 시스템은 형평성을 향한 작은 발걸음을 내디뎠습니다.

PGME 전환의 함정들은 개선될 수 있습니다 (Pitfalls in PGME transitions can be ameliorated)

  • 다수의 이전 보고서들은 수련에서의 전환(transitions)이 학습자들에게 스트레스를 주고(stressful), 환자를 위험에 빠뜨릴 수 있으며, 이상적인 교육 설계가 아니라고 지적했습니다(flagged) [39-43, 102]. 의대생에서 PGME 수련생으로, 저년차에서 고년차 수련생으로, 그리고 고년차 수련생에서 진료(practice)로의 이러한 전환들은 끊임없는 난제(perennial challenges)입니다.
  • CBD는 의도적인 수련 순서(deliberate sequence of training)로서 단계(stages)를 사용함으로써 이러한 난제들을 해결하고자 명시적으로 계획했습니다.
    • 특히, 전공의 전환기(Transition to Discipline) 단계는 학습자를 해당 분과에 명시적으로 오리엔테이션하고 그 분과의 주니어 구성원으로서 학습자의 전문직 정체성 발달(professional identity development)을 증진했습니다.
    • 진료 전환기(Transition to Practice) 단계는 수련생이 독립적 진료의 현실(realities of independent practice)을 준비하면서 가장 책임 있는 의사(most responsible physician) 또는 외과 의사의 역할로 안전하게 행동할 수 있는 캡스톤 기회(capstone opportunity)를 제공했습니다.

학습 분석은 이점을 가진 강력한 도구 모음입니다 (Learning analytics is a powerful suite of tools with benefits)

  • 학습 분석은 교육 분야에 오랫동안 존재해 왔지만, CBD 하에서 프로그램식 평가를 채택한 것은 PGME 시스템 전반에 걸쳐 이 도구 모음의 최초의 전면적인 사용(whole-scale use)을 가능하게 했습니다. 학습 분석은 수련생들이 그들의 진척을 시각화하고, 역량 위원회가 데이터 기반 결정(data-driven decisions)을 내리며, 교수진이 피드백을 개선하고, 프로그램이 학습 환경에 대한 통찰력을 얻고, 기관이 이상점 프로그램(outlier programs)을 식별(flag)하도록 했습니다 [80, 81, 136-139, 151-154].

자격 시험은 여전히 역할을 가집니다 (Certification examinations still have a role)

  • CBD 하에서, Royal College 자격 시험은 유지되었으며 수련의 핵심기(Core stage) 이후의 공식적 평가가 되도록 이동되었습니다. 합격률은 전반적으로 변동이 없었습니다(unchanged). 교육적 설계 관점에서, 더 이른 자격 시험은 학습을 위한 강력한 동인이며, 역량 위원회를 위한 또 다른 핵심 데이터 포인트이고, 시험 완료 후 진료로의 전환에 초점을 맞출 수 있게 하는 것으로 많은 사람들에 의해 간주되었습니다 [141].

교훈: 대규모 CBME 구현에서의 함정 (Lessons learned: pitfalls in large-scale CBME implementation)

CBD의 구현(implementation)은 진행 중입니다(ongoing). 변화의 모든 단계(every step of the change)에서, CBME와 다른 변혁적 교육 변화(transformational education changes)를 고려하는(contemplating) 다른 이들에게 잠재적으로 중요한 시사점(implications)을 갖는 도전들(challenges)에 직면했습니다.

 

대규모 변화는 시스템에 스트레스를 줍니다 (Large-scale change stresses a system)

  • CBD는 국가 PGME 시스템에 14가지 혁신(innovations)을 가져왔습니다. 필연적으로(Inevitably), 일부 수련 기관(training sites)은 다른 곳보다 변화를 채택하기(adopt) 더 쉽다는 것을 알게 되었습니다. 수련 기관 전반의 인증 성취(accreditation achievements)에 기초하여, CBD 설계 팀은 새로운 설계가 1000개의 모든 수련 프로그램(training programs)에서 달성 가능할 것(achievable)이라고 가정했습니다(assumed).
  • 그러나, 일단 변화가 진행되자(underway), 일부 수련 기관들은 새로운 수련 체계(scheme)의 다양한 측면에서 어려움(difficulties)을 보고했습니다. 이러한 보고된 어려움 중 일부는 이전 수련 패러다임(previous training paradigm)의 기존 요건(existing requirements)이었습니다; CBD로의 변혁(transformation)은 PGME 시스템 내의 난제들에 새로운 빛을 비추었습니다(shed new light on).
    • 다수의 기관이 예상보다 CBD를 구현하는 데 더 큰 비용(greater cost)이 든다고 보고했습니다.
    • 전국적인 변동성(Variability)이 가장 큰 패턴이었으며, 일부 추정된 수련 특징(presumed training features)들은 CBD가 도착했을 때 항상 갖추어져 있지는 않았습니다(not always in place).

전문과목의 변동성은 유연한 접근법을 요구했습니다 (Specialty variability required flexible approaches)

  • 의학 분과들(Medical disciplines, 전문과목, 세부전문과목 등)은 그들만의 독특한 하위문화(distinct subcultures)를 가지고 있습니다. CBD가 출시되면서(rolled out), 분과들은 변화에 대한 반응성(responsiveness), 교육 개혁(educational reform)을 수행할 능력, 그리고 응집력(cohesiveness)에서 서로 다른 수준을 보였습니다. CBD 팀은 새로운 수련 접근법의 출시를 지원하기 위해 분과들과 개별적으로 협력했습니다. 임상적 현실(Clinical realities)(예: 코로나 팬데믹, 자원 스트레스 요인[resource stressors])은 교육 채택(education adoption)에 영향을 미치는 것으로 보였습니다 [116].

현장 기반 평가에 대한 요건은 웰니스 문제였습니다 (Requirements for workplace-based assessments were a wellness issue)

  • CBD 초기의 예상치 못한 전개(unexpected development) 중 하나는 새로운 프로그램식 평가 요건(programmatic assessment requirements)에 대한 수련생의 스트레스였습니다. 각 학습자의 포트폴리오를 채우기(populate) 위한 EPA 관찰과 관련된 가이드라인은 할당량(quotas)으로 인식되었으며(perceived), 전공의들은 종종 EPA 서식 완성을 위해 교수진의 참여(faculty engagement)를 시작해야 하는 책임을 부여받았습니다.
  • 이러한 구현 이슈들은 일부 수련 기관들이 예상치 못했던(not anticipated) 수련생와의 웰니스 문제(wellness issues)를 보고하는 것으로 이어졌습니다. 우리는 Dweck의 성장 마인드셋(growth mindset)과 학습자 중심 접근법(learner-centered approach)을 가르치는 것이 수련생들이 새로운 현장 기반 평가를 유익한 것(beneficial)으로 보는 데 도움이 되기를 바랐지만, 이것은 새로운 체계의 초기 몇 년 동안 분명히 보편적이지 않았습니다(not universal) [53, 98, 150, 155].

팬데믹 동안 대규모 변화를 구현하는 것은 예기치 못한 일이었습니다 (Implementing large-scale change during a pandemic was unanticipated)

  • CBD의 구현은 다년 프로젝트(multiyear project)로 계획되었으며, CBD 구현이 진행 중일 때 COVID-19 팬데믹이 시작되었습니다. 전 세계의 HPE와 마찬가지로, CBD 설계는 격심하게 영향을 받았습니다(drastically impacted) [156]. 특정 학습 경험(learning experiences)이 일정 기간 동안 중단되었을(shut down) 뿐만 아니라, 수련생과 교수자들은 수많은 COVID-19 환자를 치료하기 위해 재배치되었습니다(redeployed). 다행히도, CBD에 내재된 유연성(flexibility)은 수련생들이 대안적 활동(alternative activities)으로부터 역량 성취의 증거(evidence of achievement)를 사용하여 수련을 계속 진척(progress)할 수 있도록 허용했습니다.

전자 포트폴리오 기술은 문제가 많았습니다 (Electronic portfolio technology was problematic)

  • CBD가 구상되었을(conceived) 때, 캐나다와 같이 인구가 적은 국가는 Royal College가 개발하고 무료로 배포한(deployed for free) 국가적 e포트폴리오(national eportfolio)를 공유할 것이라고 가정되었습니다. 그러나, 어떤 소프트웨어 패키지도 수련 센터(training centres)의 모든 요구(needs)를 충족시키거나, 선호되는 워크플로(preferred workflows)를 충족시키거나, 모든 소프트웨어 환경(software environment)에서 배포 가능하지(deployable) 않다는 것이 곧 밝혀졌습니다.
  • 게다가, 수련생과 기관들은 학습자 프라이버시 우려(learner privacy concerns)를 제기했으며, 따라서 데이터 공유(data sharing)에 예상치 못한 장벽(barriers)이 있었습니다 [157]. 대신, 시간이 지남에 따라 전역에 걸쳐 수많은 지역 전자 포트폴리오(local electronic portfolios)가 사용되었으며 그 풍경(landscape)은 계속해서 빠르게 진화하고 있습니다.

성장 마인드셋은 PGME 전반에 걸쳐 구현하기 어렵습니다 (Growth mindset is difficult to implement across PGME)

  • 위에서 논의된 바와 같이, CBD의 혁신 중 하나는 PGME 시스템 전반에 걸쳐 교수, 학습 및 평가에 대한 Carol Dweck의 성장 마인드셋(growth mindset) 접근법의 채택을 장려하는 것이었습니다. CBD 초기에는 참여자들이 흥미를 느꼈지만(intrigued), 광범위한 채택(widespread adoption)은 쉽게 목격되지 않았습니다. 대신, 새로운 마인드셋을 수용하는 것(embracing)은 길고 느린 채택 곡선(adoption curve) 위에 있는 것으로 보이는 혁신이었습니다 [101].

EPA를 사용할 때 역량은 포섭될 수 있습니다 (Competencies can be subsumed when using EPAs)

  • CBD는 CanMEDS 역량과 EPA 모두를 이중 프레임워크(dual frameworks)로 사용할 것을 장려했습니다(promoted). 그러나, 구현 지원(supporting implementation)의 일환으로 EPA를 홍보할 때, 자문 위원회(advisory committees)의 교육자들은 EPA에 대한 지나친 강조(over-emphasis)에 대한 우려를 보고했습니다. 의도하지 않은 결과(unintended consequence)로서, CBD 이전보다 PGME에서 CanMEDS에 대한 강조가 줄어들었다는(less emphasis) 인식이 있었습니다.

 

PGME에서의 다른 CBME 구현 사례들과의 비교 (Comparisons to Other CBME Implementations in PGME)

International CBME Collaborators의 2021년 연구에서, 조사된(surveyed) 대다수의 CBME 프로그램들은 van Melle 핵심 구성요소 중 두 가지, 즉 역량 프레임워크(competence framework)와 프로그램식 평가(programmatic assessment)를 구현하는 데 공을 들였습니다 [158]. 그러나, 네 개의 주요 PGME 프로그램은 Competence by Design과 범위(scope) 및 규모(scale) 면에서 비교 가능했습니다(comparable):

  • 캐나다 가정의학회(College of Family Physicians of Canada)의 Triple-C 프로젝트 [27, 159, 160],
  • 미국의 ACGME 성과 프로젝트(Outcomes project) [22],
  • 호주 정형외과 협회(Australian Orthopaedic Association)의 AOA-21 교육과정 [161], 그리고
  • 네덜란드 의학 전문과목 협회(Dutch Association of Medical Specialties)의 개별화된 전공의 수련(Individualizing Postgraduate Medical Training) 프로젝트 [162].

이 모든 역량 바탕 PGME 이니셔티브들은 CBD에서와 같이 van Melle 핵심 구성요소를 구현하기 위한 그들만의 방법을 특징으로 합니다(feature). 이러한 이니셔티브들의 설계 특징(design features)에 대한 간단한 비교가 표 3에 표시되어 있습니다.

표 3. CBD와 다른 CBME 구현 사례의 비교 (Comparing CBD to Other CBME Implementations)

핵심 구성요소(CORE COMPONENT) COMPETENCE BY DESIGN(캐나다 왕립내과외과대학) TRIPLE-C(캐나다 가정의학회) OUTCOMES PROJECT(미국 ACGME) AOA 21(호주 정형외과 협회) INDIVIDUALIZING POSTGRADUATE MEDICAL TRAINING(네덜란드 의학 전문과목 협회)
졸업생을 위한 역량 프레임워크로서의 수련 성과

(Training outcomes organized as a competency framework for graduates)		 CanMEDS 프레임워크 CanMEDS-FM 프레임워크 ACGME 6가지 역량(Competencies) AOA 21 교육과정 프레임워크 CanMEDS 프레임워크
초심자에서 전문가로의 정의된 수련 진척

(Defined progression of training from novice to expert)		 수련의 단계(Stages) 수련 프로그램을 통한 진척(Progression) ACGME 이정표(Milestones) 수련의 단계(Stages) 전공의 연차(Postgraduate years) 및 EPA
학습자의 요구를 충족하기 위한 맞춤형 학습 경험

(Tailored learning experiences to meet the needs of learners)		 시간 가변적(Time-variable), 유연한 수련(flexible training) 프로그램 내에서의 맞춤화(Tailoring) 프로그램 내에서의 맞춤화(Tailoring) 시간 가변적, 유연한 수련 시간 가변적, 유연한 수련
역량 성취에 초점을 맞춘 교수

(Teaching focused on competency achievement)		 현장에서의 EPA 주도(EPA-driven), 직접 관찰, 그리고 코칭.

성장 마인드셋.		 가정의학 자격 인정을 위한 평가 목표(Assessment Objectives)에 의해 안내되는 교수 ACGME 이정표에 의해 안내되는 교수 단계별 특이적 교육과정(stage-specific curriculum)에 초점을 맞춘 교수 EPA에 초점을 맞춘 교수
프로그램식 평가

(Programmatic assessment)		 역량 위원회 리뷰를 포함하는 CBD 평가 프로그램.

다수의 e포트폴리오.		 전공의 프로그램 위원회가 검토하는 수련을 위한 지속적 성찰 평가(CRAFT)를 포함하는 Triple-C 평가 프로그램.

다수의 e포트폴리오.		 임상 역량 위원회(Clinical Competency Committee) 리뷰를 포함하는 이정표 기반 평가 프로그램.

다수의 e포트폴리오.		 지역 수련 위원회(Regional Training Committee) 리뷰를 포함하는 AOA-21 평가 프로그램.

국가적 e포트폴리오.		 임상 역량 위원회 리뷰를 포함하는 EPA 기반 평가 프로그램.

다수의 e포트폴리오.

 

이 모든 이니셔티브들은 대규모 변화를 PGME 시스템에 구현하는 데 있어 유사한 도전들(similar challenges)을 보고했습니다.

  • 이 이니셔티브들은 각각 주요한 변화 관리 노력(change management efforts)과 자원을 필요로 했습니다.
  • 이러한 변혁적 교육과정 변화(transformative curriculum changes) 하나하나는 구현을 위해 즉각적으로 교수개발(faculty development)에 대한 주요한 투자(major investments)를 필요로 했습니다 [163] (예: 네덜란드 교육과정만으로도 약 7000명의 임상 지도전문의에게 도달했습니다 [164]).
  • 그들 모두는 새로운 현장 기반 평가(workplace-based assessments)에 대한 이해관계자들의 우려를 보고했습니다 [52, 53, 150, 155, 165, 166]. 비록 네덜란드 시스템과 CBD만이 EPA의 사용을 요구했지만 말입니다.
  • 그들은 또한 시간이 지남에 따라 개선된 디지털 평가 포트폴리오 소프트웨어(digital assessment portfolio software)에 대한 초기 도전들을 공유했습니다. 모든 그룹은 우려하는 이해관계자들로부터의 피드백에 기초하여 평가 요건(assessment requirements)을 수정했습니다(revised).

공통적인 이점(benefits in common)들도 있었습니다.

  • 보고된 모든 곳에서 수련생을 위한 향상된 피드백 기회(enhanced feedback opportunities)가 있었습니다.
  • 이 모든 이니셔티브들은 역량에 대한 판단의 엄격성(rigour of judgments)을 증가시킨 수련생에 대한 역량 위원회 유형(competence committee-type)의 프로그램식 평가(programmatic assessment)를 성공적으로 배치했습니다(deployed) [77, 83, 133, 134, 149].
  • 시간 가변적(Time-variable), 수련생 맞춤형 수련(trainee-tailored training)은 네덜란드, AOA-21, 그리고 CBD에서 다양한 정도(varying degrees)로 달성되었으며, 동시에 서비스 제공(service provision)이 과도하게 영향을 받지 않도록(not overly impacted) 하는 방법을 찾았습니다. (시간 가변성은 Triple-C와 ACGME의 설계 요소는 아니었습니다.)
  • 전반적으로, 21세기를 위한 이 모든 주요한 역량 바탕 PGME 교육과정들은 성공적으로 배치되었고, 지속되었으며(sustained), 시간이 지남에 따라 진화했습니다(evolved) [93, 159, 160, 161, 162, 167, 168, 169].

한계점 (Limitations)

위에서 논의된 바와 같이, 이 논문은 당시 재직 중이던 Royal College 설계 및 구현 팀의 관점(perspective)에서 작성되었습니다. 이는 이 팀이 이용할 수 있었던 데이터를 기술합니다. 그러한 어떤 대규모 변혁(large-scale transformation)에서도, 다양한 이해관계자들로부터의 상이한 관점들(differing perspectives)은 필연적으로 존재합니다. 이것들은 종종 시간에 따라 다르고(vary over time), 해당 이슈(issues in question)에 따라 다르며, 관련된 감정의 강도(degree of intensity of emotion)에 따라 다릅니다. CBD도 예외는 아니었습니다(no exception). CBD가 진화함에 따라, 다른 PGME 이해관계자들과 논평가(commentators)들은 상이한 관점들을 가졌습니다. 이러한 각각의 관점들은 HPE의 변화 리더(change leaders)들을 위한 교훈(lessons)을 가지고 있습니다.

결론 (Conclusions)

Competence by Design은 국가 전공의 교육 시스템(national postgraduate medical education system)에 대한 주요한 변혁적 변화(transformational change)입니다. 14가지 혁신의 묶음(bundle of 14 innovations)인 CBD는 규모 있는(at scale) 역량 바탕(competency-based), 시간 가변적(time-variable), 성과 지향적(outcomes-oriented) 의학교육 구현의 사례(example)를 제공합니다. CBD는 졸업생이 제공하는 환자 진료(patient care)에 영향을 미칠 수 있는 20세기 수련 설계에 대한 반복적인 우려(recurring concerns)들을 다룹니다(addresses). CBME 구현에 관심이 있는 다른 이들은 CBD 설계와 경험으로부터 교훈을 얻을 수 있습니다(learn lessons).

 

 

'논문 읽기 (with AI)' 카테고리의 다른 글

설계에 의한 역량(CBD)에서의 코칭: 대규모 실행 지원을 위한 현장 코칭과 지속적인 코칭의 새로운 모델 (Perspect Med Educ. 2024)  (0) 2025.12.13
대규모 역량 바탕 의학 교육(Competency-Based Medical Education at Scale): 국가 전공의 교육 시스템 변혁을 위한 로드맵 (Perspect Med Educ. 2024)  (0) 2025.12.13
시간에 의한 역량에서 설계에 의한 역량으로: 국가적 변혁 이니셔티브로부터 얻은 교훈 (Perspect Med Educ. 2024)  (0) 2025.12.13
질적 데이터 분석을 지원하는 인공지능: 약속, 접근법, 함정 (Acad Med, 2025)  (0) 2025.12.09
주제 분석의 모범 사례를 향하여: 흔한 문제 피하기와 ‘아는 연구자(knowing researcher)’ 되기 (Int J Transgend Health. 2022)  (0) 2025.11.30

+ Recent posts

티스토리툴바