[프로그램 평가] 단거리 스프린트가 아닌 마라톤입니다: 역량 기반 의학교육 프로그램 실행에 대한 신속한 평가

출처: Hall, A. K., Rich, J., Dagnone, J. D., Weersink, K., Caudle, J., Sherbino, J., ... & Van Melle, E. (2020). It’sa marathon, not a sprint: rapid evaluation of competency-based medical education program implementation. Academic Medicine, 95(5), 786-793.

https://journals.lww.com/academicmedicine/abstract/2020/05000/it_s_a_marathon,_not_a_sprint__rapid_evaluation_of.35.aspx

 

의료 제공의 질에 대한 광범위한 우려는 졸업후 의학교육에서 "행동 촉구"와 역량 기반 의학교육(CBME)으로의 대규모 패러다임 전환을 촉발했습니다. CBME는 "의학교육 프로그램의 설계, 구현, 평가 및 평가에 있어 역량의 조직적 틀을 사용하는 결과 기반 접근법an outcomes-based approach to the design, implementation, assessment, and evaluation of medical education programs, using an organizing framework of competencies"으로 정의됩니다. 역량 프레임워크는 이미 전 세계 많은 교육 프로그램에 잘 통합되어 있지만, CBME의 완전한 통합 및 구현은 도전 과제입니다. 변혁적 혁신과 마찬가지로, 그것의 성공은 교육 리더들이 시간이 지남에 따라 가정, 행동, 과정 및 제품의 변화를 일으켜 프로그램의 문화를 의도적으로 변화시키는 노력에 달려 있습니다. 이러한 변화 노력의 규모 때문에 시스템은 원래 상태로 되돌아가려는 강한 경향이 있습니다. 따라서 변혁적 변화는 초기 구현 노력의 강점과 도전에 대해 체계적으로 평가(및 대응)하려는 노력이 필요합니다. 의학교육 리더들은 이것을 분명히 인식하고 있습니다: "CBME의 종단적, 반복적 과정의 평가가 필수적이며, 의학교육 개혁을 실행하는 모든 조직의 책임이다evaluation of CBME in a longitudinal, iterative process is essential and is a responsibility of all organizations implementing medical education reform"라고 관찰되었습니다.

 

캐나다 왕립 내과 및 외과 대학(Royal College)은 현재 Competence By Design (CBD)라는 특정 CBME 모델을 캐나다의 모든 67개 전문 및 하위 전문 졸업후 교육 프로그램에 걸쳐 구현하고 있습니다. 응급의학(EM)은 2018년 7월 1일부터 국가 차원에서 CBME를 구현할 예정이었습니다. 그러나 2015년, 퀸즈 대학교의 모든 졸업후 교육 프로그램이 2017년 7월 1일부터 유사한 CBME 모델을 동시에 구현하기로 결정했습니다. 따라서 퀸즈 대학교의 EM 졸업후 프로그램은 국가적으로 유래된 커리큘럼의 지역적 구현을 연구할 수 있는 이상적인 기회를 제공했으며, 이는 다음 해에 있을 전국적인 도입을 알리는 잠재력을 제공했습니다.

 

도전 과제는 CBME를 변혁적 변화 이니셔티브transformational change initiative로 평가할 수 있는 접근 방식을 찾는 것이었습니다. 이는 시간이 지남에 따라 원하는 방향으로 실질적인 변화가 발생하고 있는지 모니터링하고, 그렇지 않은 경우 필요한 수정 사항을 식별하는 접근 방식입니다. 프로그램 평가 분야에서 변혁 평가와 연구는 인권과 사회 정의 문제를 해결하는 데 초점을 맞춘 이니셔티브를 위해 특별히 개발된 방법론입니다. 우리의 지식에 따르면, 변혁적 프로그램 변화를 평가하는 데 초점을 맞춘 특정 방법은 없습니다. 그러나 신속한 평가는 "내부 운영 결과와 외부 환경 피드백을 함께 사용하여 이니셔티브의 전체 전략을 테스트하고 개선하는 상호 작용적이고 적응적인 관리 과정an interactive and adaptive management process in which internal operational results and external environmental feedback are used together in an iterative process to test and improve on an initiative’s overall strategy"입니다. 신속한 평가는 의도된 변화의 본질과 범위를 명확히 함으로써 혁신이 원하는 변화를 달성하고 있는지에 대한 심층적인 이해를 제공할 수 있습니다. 또한, 혁신이 의도한 대로 구현되고 있는지 여부, 즉 구현의 충실도를 이해함으로써 코스 수정을 필요로 하는 영역을 식별할 수 있습니다. 따라서 신속한 평가는 CBME를 변혁적 변화 이니셔티브로 평가하고 CBME 구현이 원하는 결과 달성과 어떻게 관련되는지를 이해할 수 있게 해줍니다.

 

이 논문에서는 퀸즈 대학교의 EM을 사례로 사용하여 프로그램 수준에서 변혁적 변화 이니셔티브로 CBME를 평가하기 위한 새로운 접근 방식으로 신속한 평가를 사용하는 방법을 설명합니다. 평가는 구현의 충실도를 측정하고 예상된 결과와 예상치 못한 결과를 모두 식별하는 데 중점을 두었습니다.

방법
Method

우리는 퀸즈 대학교 EM 프로그램에서 CBME를 구현한 경험을 탐구하기 위해 사례 연구 연구 방법론을 사용했습니다. Rapid Evaluation의 반복 주기를 사용하여 실행했습니다. 이전에 설명된 Rapid-Cycle Evaluation 접근 방식을 바탕으로, 우리의 Rapid Evaluation 접근 방식은 진화적 적응 과정에 참여할 수 있는 시기적절한 증거를 포착하고 제공하는 데 중점을 두었습니다. 이 모델에서는

• 평가자가 구현 단계에 적합한 맥락과 예상 결과를 포함한 변화의 성격에 대한 명확한 설명으로 시작합니다.
• 그 다음 실제 구현에 대한 정보를 수집합니다.
• 이 데이터는 혁신이 의도한 대로 구현되고 있는지 여부를 판단하고 예상된 결과와 예상치 못한 결과를 포착하기 위해 실제 구현 과정과 결과를 설명하는 데 사용될 수 있습니다.
• 피드백은 즉시 이해관계자에게 제공되며, 필요한 수정 사항이 식별되고 구현됩니다.
• 그런 다음 평가가 사전에 정해진 간격으로 반복되어 구현을 시기적절하게 지속적으로 모니터링할 수 있습니다.

 

 

주요 특징과 의도된 성과critical features and intended outcomes에 대한 명확한 설명을 작성하기 위해 우리는 핵심 구성 요소 프레임워크(CCF)를 사용했습니다. CCF는 CBME 프로그램의 기본 요소를 5가지 범주로 구성합니다: 결과 역량, 순차적 진행, 맞춤형 학습 경험, 역량 중심 교육, 프로그램 평가. CCF는 퀸즈 대학교 EM 교육 프로그램의 고유한 맥락에서 해석되어 CBME가 의도한 대로 구현될 경우의 명확한 설명과 단기 예상 결과를 생성했습니다.

 

데이터 수집을 시작하기 전에 우리는 퀸즈 대학교 보건 과학 및 부속 교육 병원 연구 윤리 위원회로부터 연구 승인을 받았습니다 (Emed-262-17). CBME 구현 후(사후 구현) 2번의 Rapid Evaluation 주기를 수행했습니다. 데이터는 구현 후 3개월(2017년 9월 21일-  10월 5일) 및 9개월(2018년 2월 26일 - 3월 9일)에 수집되었습니다. 주요 이해관계자(레지던트, 교수진, 학문적 고문, CBME 리드, 프로그램 디렉터[PD])의 포커스 그룹 인터뷰를 사용하여 최대 5명씩 각 그룹에서 데이터를 수집했습니다. 이러한 평가 간격을 선택한 이유는 이해관계자들이 사후 구현(3개월) 후 신속하게 참여하도록 하고, 두 번째 평가 주기(9개월) 전에 후속 적응을 인식할 수 있도록 하기 위함입니다. 표 1에는 참가자 그룹과 샘플 크기에 대한 요약이 제시되어 있습니다. 모든 잠재적 이해관계자 그룹이 대표되도록 하기 위해 참가자 그룹을 선택했으며, 각 그룹의 모든 잠재적 초점 그룹 참가자들에게 참여를 초대했습니다. 인터뷰와 초점 그룹은 프로그램 리더십이나 구현 과정에 참여하지 않은 우리 연구팀의 한 구성원(J.R.)이 진행했습니다. 3개월 인터뷰 질문은 프로그램에서의 역할과 관련된 강점과 도전을 탐구하고, 프로그램 구현에 대한 경험과 우려, 지속적인 프로그램 개발 및 구현을 정제하기 위한 제안을 탐구하는 데 중점을 두었습니다. 9개월 인터뷰 질문은 3개월 동안의 도출된 결과를 바탕으로 CCF와 매핑하여 CBME의 중요한 특징과 관련된 새로운 주제를 포착했습니다. 인터뷰 가이드는 보충 디지털 부록 1 및 2에 제공되어 있습니다(http://links.lww.com/ACADMED/A762).

 

 

각 이해관계자 그룹과의 한 차례 회의 후 포화 상태에 도달했습니다. 이해관계자 그룹 내외에서 새로운 통찰이 나오지 않았습니다. 이 시점에서 이론적 포화 상태는 연구팀이 다음 질문을 제기하고 답변하여 결정되었습니다: "CCF에 근거하여, 핵심 구성 요소와 관련된 새로운 주제를 설명할 충분한 데이터가 있는가?" 3개월 및 9개월 모두 교수진과의 두 번째 초점 그룹을 사용하여 새로운 주제를 논의하고 상충되는 통찰의 반증 증거를 확인했습니다. 참가자들의 허락을 받아 인터뷰는 오디오로 녹음되었고, 외부 전사 서비스에 의해 축어록으로 전사되었으며, 우리 연구팀의 한 구성원(J.R.)이 정확성을 확인했습니다. 데이터 수집 및 분석에 대한 전체 접근 방식은 CCF와 관련된 주제와 새로운 통찰이 나타날 수 있도록 유추적 접근 방식을 사용했습니다. 질적 연구 내에서 유추는 데이터 중심의 귀납적 분석과 이론 기반의 연역적 분석을 결합하여 인식된 결과와 그 선행 조건에 대한 그럴듯한 추론을 합니다. 우리는 NVivo 소프트웨어 버전 11.4.3(QSR International Ltd., Melbourne, Australia)을 사용하여 데이터 세트를 주석하고 코딩했습니다. 3개월 인터뷰의 주제 분석 후 기술 보고서가 생성되어 이메일을 통해 모든 지역 및 국가 이해관계자에게 즉시 배포되었습니다. 3개월 기술 보고서는 지역 이해관계자들에 의한 멤버 확인 데이터를 제공하고, 지역 및 국가의 지속적인 구현에 정보를 제공하기 위해 신속하게 정보를 확산시키는 두 가지 목적을 달성했습니다.

결과

이상적인 구현의 설명: 맥락, 변화 및 예상 결과
Description of ideal implementation: Context, changes, and expected outcomes

 

표 2에는 CCF를 사용하여 정의된 CBME 구현의 예상 결과 요약이 제시되어 있습니다. 퀸즈 대학교 EM 교육 프로그램은 왕립 대학에서 설명한 CBD 모델로 설계되었으며, 여기서 EM 의사 훈련은 의과대학에서 습득한 기술을 바탕으로 4단계의 순차적 훈련을 통해 특정 역량을 개발합니다. EM 전문 위원회에서 도출한 문서는 CBME와 관련된 프로그램을 정의하며, 신뢰할 수 있는 전문 활동(EPAs)과 그 구성 요소 이정표 및 EM에 필요한 훈련 경험을 포함합니다. ACGME가 역량을 조직하는 데 이정표를 사용하는 것과 달리, CBD에서는 각 단계별 EPAs에 구성 요소 이정표가 포함됩니다

Note that in contrast to the use of milestones to organize competency by the Accreditation Council for Graduate Medical Education (ACGME),26 in CBD, competence is defined by stage-specific EPAs each with component milestones.. 

 

이 EM 졸업후 프로그램은 캐나다 전역에 걸쳐 18개의 5년제 레지던트 훈련 프로그램 중 하나로, 매년 4명의 레지던트를 받습니다. 연구 기간 동안 35명의 정규 EM 교수진이 의사 그룹에서 근무하고 있었습니다.

 

 

프로그램은 PD, 보조 PD, CBME 리드에 의해 관리되었으며, 정규 행정 보조원이 지원했습니다. 다른 고유한 역할에는 소수의 레지던트 그룹과 함께 장기 코칭 역할을 수행하는 학문적 고문이 포함되었습니다. 또한 CBME 레지던트 리드는 레지던트 개발을 지원하고 프로그램 관리와 레지던트 간의 연결 역할을 했습니다. 구현 전략의 주요 프로세스는 목록 1에 설명되어 있습니다.

• 우리는 EM 레지던트들이 EPA 기반 전자 평가 양식을 사용하여 교대 근무당 1~2개의 평가를 받도록 요청했습니다.
• 모든 직장 기반 평가는 목적에 맞게 제작된 모바일 온라인 플랫폼(Elentra, Kingston, Ontario, Canada)을 사용하여 수행되고 추적되었습니다.
• 평가 양식에는 평가 중인 EPA의 상세 설명, 관련 이정표, 두 가지 신뢰 평가 척도 중 하나 및 필수 서술 피드백 상자가 포함되었습니다.
• 각 레지던트는 자신의 전자 대시보드를 분기별로 학문적 고문과 검토하여 진행 상황을 모니터링하고 개인 학습 계획(PLP)의 개발을 촉진했습니다.
• 학문적 고문 회의 직후, EM 역량 위원회는 모든 연수생의 평가를 검토하고 훈련 단계 내 및 단계 간 레지던트 진행에 대한 합의 결정을 내리기 위해 만났습니다.
• 의사 결정 프로세스는 왕립 대학 역량 위원회 지침과 ACGME에서 설명한 프로세스를 모델로 삼았습니다.
• 이 맥락에서 각 최전선의 EPA 기반 평가는 저위험 평가였지만, 이러한 저위험 평가의 총합 및 종합이 역량 위원회의 고위험 결정을 알리는 데 사용되었습니다.

 

 

실제 구현 및 결과적 적응의 측정
Measurement of actual implementation and resultant adaptations

3개월 및 9개월 데이터에서 도출된 주제와 결과적 프로그램 적응은 CCF에 따라 조직되고 표 2에 요약되었습니다. 다음 범주에는 중요한 발견을 추가로 설명하기 위한 인용 예시가 포함되어 있습니다.

결과 역량
Outcome competencies

초기 구현 전략은 CBME 원칙에 대한 이해관계자의 이해도에 변동을 가져왔습니다. 이해관계자들은 처음에 CBME에 대해 비판적인 입장을 취했습니다. 한 교수진은 "우리는 [훈련]을 교육학 용어로 훨씬 더 설명하고 정의하고 있지만, 결국에는 별로 달라지지 않을 것 같습니다"라고 설명했습니다. 추가적인 교수 개발 후, 비판적 입장은 CBME가 훈련을 개선할 것이라는 신중한 낙관주의로 전환되었습니다. 한 학문적 고문/역량 위원회 구성원은 CBME 구현을 전자 의료 기록 채택과 비교하며 "아마도 부서의 절반이 정말로 반대했습니다. ... 오늘날 그것을 보면 '우리는 어떻게 그것 없이 기능했을까?'라고 말할 것입니다"라고 설명했습니다.

순차적 진행
Sequenced progression

CBME에 대한 비판적 입장에 기여한 것은 신뢰entrustment의 개념과 개별 단계별 EPAs 및 이정표의 현장 평가에 대한 초기 불만이었습니다. 교수진은 복잡한 작업의 일부를 평가하기 위해 EPA를 선택하고, 신뢰 척도를 사용하여 평가하며, 개별 이정표의 성취 여부를 판단하는 것이 임상 요구를 관리하면서 매우 벅찼다고 보고했습니다. 전반적으로 단계별 EPA와 부분 작업의 신뢰에 대한 성격과 목적에 대한 공통된 정신 모델이 부족했습니다. 이 단계의 목표를 이해하는 교수진조차도 복잡한 작업의 일부를 기준으로 신뢰 결정을 내리는 것이 어렵다고 동의했습니다. 한 교수진은 "우리의 두뇌는 참석자에 대한 완벽한 성과를 기준으로 누군가를 평가하도록 프로그래밍되어 있으며, 건설적인 피드백은 레지던트가 다르게 해야 하거나 해야 할 일을 관련짓는 것입니다"라고 설명했습니다.

 

교수진 전체에서 개별 이정표 성취 여부를 결정하는 데 필요한 인지적 노력은 번거롭게 여겨졌습니다. 또한, 관찰된 개별 이정표 평가 결과는 레지던트의 PLP를 알리거나 역량 위원회 구성원이 공식적인 진행 결정을 내리는 데 거의 정보를 제공하지 않는 것으로 인식되었습니다. 결과적으로 많은 교수진이 직접 이정표 평가에서 벗어나게 되었고many faculty members disengaged from directly assessing milestones,, 프로그램 리더들(CBME 리드 및 PD)은 이정표를 평가의 선택적 구성 요소로 만들기로 결정했습니다.

맞춤형 학습 경험
Tailored learning experiences

3개월의 훈련 후, 주니어 레지던트들은 기존의 초기 비서비스 경험 접근 방식에서 변화한 초기에 EM에 몰입하는 것을 감사히 여겼습니다. 또한, 훈련 후반 단계에서의 로테이션 협상에 대해 낙관적이었으나, 훈련 경험의 맞춤화는 아직 인식하지 못했습니다. 레지던트들은 처음에는 PLP의 가치에 대해 엇갈린 견해를 가졌으며, PLP는 맞춤형 학습 경험의 중요한 촉진자로 여겨집니다.

• 주니어 레지던트들은 PLP가 직접 관찰 기회를 우선시하는 데 "매우 유용하다"고 생각했습니다. 그러나
• 상급 레지던트는 PLP를 "체크 박스; CBME를 하고 있음을 증명하기 위한 단순한 문서 작업"으로 여겼습니다. 그러나
• 프로그램 관리자 입장에서는 PLP가 향상된 학습 기회를 유도하는 데 가치를 지닌다고 인식되었으며, "이미 일부 사람들에게는 경로나 경로에 변화가 있었습니다"라고 말했습니다.

역량 중심 교육
Competency-focused instruction

교수진과 레지던트 모두 EPA와 이정표가 기준 참조 피드백을 장려하는 데 도움이 될 수 있음을 빠르게 인식했지만, 피드백이 발전적으로 건설적일 것이라는 보장은 없었습니다. 한 역량 위원회 구성원은 "건설적인 피드백을 주고받는 것은 누구에게나 편한 일이 아닙니다. 새로운 시스템을 구현한다고 해서 누구의 행동이 바뀌지는 않습니다"라고 설명했습니다. 이 견해는 프로그램 리더십에서도 공유되었으며, 한 참가자는 "피드백을 솔직하게 주고 솔직하게 받아들이는 문화를 만드는 것이 가장 큰 장애물입니다"라고 설명했습니다. 이는 건설적인 피드백 제공, 문서화 및 수용과 관련된 교수진 및 레지던트 개발 활동의 형태로 상당한 노력과 적응을 촉발했습니다.

 

9개월의 구현 후, 프로그램 이해관계자들은 리더십의 노력에도 불구하고 대부분의 교수진이 건설적인 피드백 제공 및 문서화를 회피한다고 동의했습니다. 한 EM 교수진은 "저는 목표 지향 피드백을 제공하려는 의욕이 있지만, 두뇌는 자연스럽게 전체적으로 생각하게 됩니다... 전반적인 인식을 부분 작업으로 전환하고, 과제의 매우 구체적인 부분을 정말로 생각해야 좋은 피드백을 줄 수 있습니다. 이는 쉽지 않으며, 저도 여전히 실패할 때가 있습니다"라고 설명했습니다.

프로그램 평가
Programmatic assessment

프로그램 평가는 형성 및 총괄 평가에 대한 중요한 보완적 역할과 책임을 가진 여러 이해관계자의 조정된 노력이 필요합니다. CBME 요구 사항은 처음에는 이전 시스템 요구 사항을 대체하기보다는 추가되는 것으로 인식되었습니다. 전자 포트폴리오 요약 보고 메커니즘이 개발 중이었지만, 레지던트와 교수진이 개별 성과 평가의 수와 결과를 수동으로 추적하는 "좌절frustrating"과 "일거리make-work" 작업으로 묘사되었습니다. 프로그램 리더들은 초기 역량 위원회 회의를 "많은 클릭, 대화는 적다"고 설명했습니다. 또한, CBME 리드와 학문적 고문이라는 두 가지 새로운 역할의 추가로 PD의 포트폴리오와 겹치게 되었고, 프로그램 변경 사항 및 레지던트 성과 정보를 누구에게 알려야 하는지에 대한 혼란이 발생했습니다. 이는 모든 이해관계자에 대한 역할 설명의 수정, 명확화 및 배포를 촉발했습니다.

 

평가 주기를 통해 이해관계자들은 신중하게 탐색하는 것에서 공동으로 평가 역할과 책임을 개발하고 개선하는 것으로 전환했습니다. 대부분의 혼란과 이후의 역할 수정은 학문적 고문의 역할과 역량 위원회의 의사 결정 과정에 중심을 두었습니다. 예를 들어, 한 학문적 고문은 "학문적 고문들은 코칭, 멘토링 및 평가의 혼합 모델을 가지고 있으며, 이들은 항상 잘 맞지 않습니다"라고 설명했습니다. 또한, 역량 위원회의 내부 작동에 대해 반성하도록 요청받았을 때, 구성원들은 "일반적으로 학습 과정입니다"라고 매우 명확히 설명했습니다.

논의
Discussion

우리는 Rapid Evaluation을 사용하여 개별 프로그램 수준에서 CBME의 구현 충실도를 조사하고 사후 구현 단기 결과를 평가하는 방법을 설명했습니다. 이론적으로 CBME 모델을 채택하는 것은 의미가 있지만, 퀸즈 대학교의 맥락에서는 운영상의 도전 과제가 성공적인 구현을 위협했습니다. 여러 이해관계자 그룹의 관점을 고려하고 초기 설계에 적응을 구현하면서, 우리는 몇 가지 중요한 교훈을 얻었습니다.

교훈 1: CBME의 실질적 구성 요소 구현은 "스프린트"
Lesson 1: Implementing the practical components of CBME is the “sprint”

CBME를 계획하고 구현하는 초기 단계에서는 구조에 중점을 두었습니다. CBME의 모든 실질적이고 기능적인 측면을 어떻게 마련할 것인가? 핵심 구성 요소를 지원하기 위한 구조를 갖추는 것이 최소한의 요구 사항이었습니다. 필수 구조에는 기술, 교육 지원, 프로그램 챔피언이 포함되었습니다. 전자 포트폴리오와 데이터 시각화, 평가 및 평가에 대한 교육적 전문 지식, CBME 구현에서의 기관 및 프로그램 수준 리더십이 변화를 구현하는 데 필요했습니다. 그러나 CBME가 "가동 중"이라고 해서 시스템이 즉시 기능을 발휘하거나 의도된 목표를 달성하는 것은 아니라는 것을 배웠습니다. 프로그램 평가를 지원하는 구조가 마련되었음에도 불구하고, 교수진이 건설적인 피드백을 문서화하는 것을 주저하는 바람에 우리의 평가 시스템은 제한되었습니다. 이러한 상황에서는 역량 위원회의 증거 기반 의사 결정이 약화될 수 있습니다. 지속적인 학습과 진행/승진 결정에 대한 지침은 그것이 이루어지는 증거의 품질만큼이나 중요합니다. 정직한 평가와 건설적인 피드백 제공의 도전 과제는 새로운 것이 아니며, CBME의 구현으로 사라질 것이라고 기대해서는 안 됩니다. 교수진 개발을 위한 고유한 전략, EM 부서의 전담 교수 평가자, 또는 시뮬레이션 설정에서의 더 빈번한 평가가 최전선 평가의 타당성과 신뢰성을 높이는 데 도움이 될 수 있습니다.

교훈 2: CBME의 핵심 구성 요소를 실현하는 것은 "마라톤"
Lesson 2: Realizing the core components of CBME is the “marathon”

변화는 어렵고, 변화를 지속하는 것은 더욱 어렵습니다. CBME 구현에서의 환원주의를 저지하는 데는 지속적인 노력이 필요합니다. 우리의 연구 결과는 개별 EPA와 이정표의 고립된 평가에서 "숲을 보지 못하고 나무만 보는" 위험이 있을 수 있음을 시사합니다. 이정표와 EPA가 관찰 가능한 성과 정보를 제공할 수 있더라도, 교수진과 레지던트들은 목표 지향적인 EPA 평가에만 집중하도록 요청받았을 때 전반적인 평가가 눈에 띄게 결여되어 있다고 인식했습니다. 장기간의 평가를 매개로 한 교대 종료 후의 "전반적으로 어떻게 진행되고 있는지"에 대한 토론이 이전보다 더 가치 있게 여겨졌습니다. 교수진이 개별 이정표와 EPA의 성취 여부를 판단하는 데 집중함에 따라, 우리는 전체적인 그림을 지원하는 증거를 위험에 빠뜨렸을 수 있습니다. 이 관찰이 EM-specific 교대 종료 글로벌 평가 의식, 또는 다른 맥락에서도 전이 가능한지 여부는 아직 결정되지 않았습니다. 예상되는 지연된 보상과 함께, 우리의 구현의 인식된 이점은 사후 구현 몇 년이 지나야 분명해질 수 있습니다. 교수진과 레지던트가 교육적 지원 없이 기준 참조 건설적 피드백을 제공하고 인식하며 실행하는 것을 기대하는 것은 비현실적입니다. 이러한 기술은 목표 지향적 교육, 연습 및 피드백을 통해 개발됩니다. 우리는 CBME가 프로그램의 학습 문화를 스스로 변화시키지 않을 것이며, 지속적인 교수진 및 레지던트 개발이 필요할 것이라는 것을 배웠습니다.

교훈 3: 지속적인 변화 식별, 모니터링 및 평가를 위한 Rapid Evaluation의 가치
Lesson 3: There is value in using Rapid Evaluation for identifying, monitoring, and assessing ongoing change

Rapid Evaluation 모델은 CBME 구현을 평가하기 위한 개발 접근 방식으로서 혁신을 문서화하고 지속적인 프로그램 개선을 지원하기 위한 실시간 증거를 생성하는 데 유용한 전략이었습니다. 또한, 우리의 프로그램 참가자들은 초점 그룹에서 CBME에 대한 경험을 논의할 기회를 가치 있게 여겼으며, 그들의 피드백이 지속적인 변화에 어떻게 반영되고 있는지에 대한 업데이트를 받는 것에 관심을 보였습니다. 프로그램 이해관계자들이 현장에서 (작동하지 않는) 것에 대해 의견을 공유할 기회를 가질 때, 그들은 지속적인 프로그램 개선 과정의 참가자로서 점점 더 투자하게 됩니다. 이 모멘텀은 이해관계자들의 변화 지속에 대한 열정이 사라지기 시작하는 사후 구현 시기에 사기를 저하시키는 것을 완화하는 데 매우 중요했습니다.

한계
Limitations

이 연구에는 몇 가지 한계가 있습니다. 첫 번째 한계는 이 연구가 진행된 맥락이 독특할 수 있다는 점입니다. 이 프로그램은 모든 레지던트 프로그램에서 CBME를 동시에 구현하는 조직 내에 위치하고 있기 때문입니다. 또한, 이 연구는 하나의 전문 분야, 한 기관에만 초점을 맞추었습니다. 따라서 우리의 연구 결과는 전이 가능성이 제한될 수 있습니다. 또 다른 한계는 데이터 수집이 주로 인터뷰에 기반을 두고 있어 직접 관찰이 아니라는 점입니다. 따라서 보고된 내용과 실제로 수행된 내용 사이에 차이가 있을 수 있습니다. 또한, 연구팀의 한 구성원이 인터뷰를 진행하고 데이터를 분석했지만, 여러 차례의 데이터 수집과 참가자들과의 멤버 확인 데이터를 통해 결과의 신뢰성을 높였습니다. 마지막으로, Rapid Evaluation은 지속적인 데이터 수집에 중점을 두기 때문에 자원 집약적이며, 다른 프로그램들이 이 접근 방식을 채택하는 데 어려움을 겪을 수 있습니다.

결론
Conclusions

Rapid Evaluation을 통해 프로그램 수준에서 CBME를 구현하는 경험을 탐구한 결과, 구현 충실도, 사후 구현 초기 결과, CBME 운영의 성공과 도전에 대한 중요한 초기 통찰을 제공했습니다. Rapid Evaluation을 사용하여 사후 구현 지속적인 변화를 식별, 모니터링 및 평가하는 데 큰 가치가 있었으며, 이해관계자들의 변화에 대한 저항을 완화하고 변화 지속에 대한 열정을 불러일으키는 중요한 이점을 제공했습니다. CBME의 핵심 실질적 구성 요소를 구현하는 것은 스프린트로 인식되었지만, CBME의 원칙을 실현하고 졸업후 훈련의 문화를 변화시키는 것은 분명히 마라톤입니다. 이 장기 목표는 지속적인 노력이 필요하며, 교수진 및 레지던트의 지속적인 개발을 포함하여 심층 시스템 변화로의 진화적 적응 과정에서의 지속적인 노력이 필요합니다.