[프로그램 평가] 준비, 설정, 실행! 역량 기반 의학교육 시행 준비도 평가하기

출처: Cheung, W. J., Hall, A. K., Skutovich, A., Brzezina, S., Dalseg, T. R., Oswald, A., ... & Frank, J. R. (2022). Ready, set, go! Evaluating readiness to implement competency-based medical education. Medical Teacher, 44(8), 886-892.

https://www.informahealthcare.com/doi/full/10.1080/0142159X.2022.2041585

서론

캐나다는 현재 Competence by Design(CBD)라는 전문 레지던트 교육에 대한 주요 변화 이니셔티브를 진행 중이다(RCPSC 2021). CBD는 역량 기반 의학교육(CBME)의 운영 모델로, 캐나다 의사들이 지역 보건 요구를 충족하는 데 필요한 역량을 갖추고 졸업할 수 있도록 설계되었다. 이는 레지던트 교육의 학습 및 평가를 개선하여 환자 치료를 향상시키는 것을 목표로 한다(RCPSC 2014). CBME의 구현은 고정된 시간, 변동 결과 모델에서 시간은 전문의에게 요구되는 명확한 교육 결과를 달성하기 위한 자원으로 간주되는 모델로의 패러다임 전환을 나타낸다(Frank et al. 2010). CBD는 캐나다의 전문 의학 시스템 전반에 걸쳐 단계적으로 시행되고 있으며, 매년 새로운 분야의 코호트가 시작된다. 주요 변화 이니셔티브와 마찬가지로, 레지던트 교육 프로그램이 CBD를 효과적으로 시작할 수 있도록 상당한 양의 이해관계자 시간과 자원이 투자되었다(Caverzagie et al. 2017).

 

CBD의 국가 전문별 기준national specialty-specific standards이 개발되었지만, 각 레지던트 교육 프로그램은 이러한 새로운 기준을 충족하기 위해 지역 프로세스를 적응시킬 자유와 책임이 주어졌다. 따라서 CBD의 구현에서 각 교육 프로그램은 조직 변화의 주요 단위로 간주될 수 있다. 현재 프로그램 수준에서 CBD의 성공적인 구현에 기여하는 요소가 무엇인지, 또는 프로그램이 CBD를 구현할 준비 상태를 어떻게 인식하는지는 알려져 있지 않다. 구현과 결과 간의 연관성을 명확히 하기 위해(Durlak and DuPre 2008), 프로그램 준비 상태를 더 잘 파악하는 것이 유익할 것이다.

 

주요 변화 이니셔티브는 조직이 변화에 대한 충분한 준비 상태를 확립하지 못했기 때문에 종종 실패한다(Kotter 1996). 변화에 대한 준비 상태는 조직이 혁신을 구현할 심리적 준비와 행동적 준비의 정도를 말한다(Weiner, Amick, et al. 2008; Drzensky et al. 2012). 심리적 및 행동적 준비 상태는 이해관계자의 신념, 태도 및 의도뿐만 아니라 지식, 기술, 조직 자원 및 리더십을 포함한 다양한 사회문화적 구성 요소를 포함한다(Armenakis et al. 1993; Foster-Fishman et al. 2007). 조직 단위는 이러한 중재자의 패턴 또는 변동성에 따라 혁신을 구현할 준비 상태가 다를 수 있으며, 이는 구현 성공에 영향을 미칠 수 있다(Drzensky et al. 2012). 조직 준비 상태organizational readiness가 높으면 이해관계자는 변화를 시작하고 노력하며, 도전에 직면했을 때 인내심을 발휘하고 협력적으로 일할 가능성이 높아진다(Weiner, Lewis, et al. 2009). 따라서 조직 준비 상태는 CBD와 같은 혁신의 성공적인 구현에 필수적이며, 원하는 하위 결과의 중요한 매개체이다(Drzensky et al. 2012). 조직 준비 상태의 평가는 용량 구축 전략 및 특정 자원 및 인프라 요구 사항을 식별하는 데 도움을 줄 수 있다(Goodman et al. 1996).

 

이 연구의 목적은 2019년에 CBD를 구현한 캐나다 레지던트 프로그램 코호트의 준비 상태를 평가하는 것이다. 프로그램 준비 상태를 조사하기 위해 R = MC2 프레임워크가 사용되었다(Scaccia et al. 2015). 이 프레임워크에서 조직 준비 상태는 혁신을 구현할 동기, 조직의 일반 역량, 특정 혁신에 필요한 역량the motivation to implement an innovation, the general capacities of an organization, and the innovation-specific capacities required for a particular innovation을 포함한다. 각 구성 요소는 체계적으로 평가할 수 있는 일련의 중재자를 나타내며, 이후 형성 방식으로 활용될 수 있다. 이 프레임워크를 사용하여 자가 보고 설문 조사를 통해 프로그램의 준비 상태를 평가했다.

자료 및 방법

참가자

 

2019년 캐나다 로열 칼리지 CBD 도입 분야의 프로그램 디렉터가 연구에 참여하도록 모집되었다. 2019년 7월에 12개의 분야가 CBD를 시작했다: 해부 병리학, 심장 수술, 중환자 의학, 위장병학, 일반 내과, 일반 병리학, 노인 의학, 내과, 신경 외과, 산부인과, 방사선 종양학, 및 류마티스학. 이 연구는 퀸즈 대학교 연구 윤리 위원회(EMED-296-19)의 승인을 받았다.

 

연구 설계

 

이 연구의 목적은 많은 프로그램과 기관 전반에서 준비 상태를 폭넓게 평가하는 것이었다. 따라서 온라인 설문 조사 설계를 선택했다. 설문 조사는 Survey Gizmo(미국 콜로라도주 루이빌)를 통해 진행되었다. 참가자는 2019년 6월 초에 이메일로 연락을 받았으며, 2019년 7월 1일 CBD 구현 날짜 전에 간단한 온라인 설문 조사를 완료하도록 요청받았다. 설문 조사는 5주 동안 진행되었으며, 참가자는 2주 및 4주에 두 번의 알림 이메일을 받았다.

 

설문 조사 설계는 R = MC2 프레임워크(Scaccia et al. 2015)에 의해 알려졌다. 설문 조사 질문은 각 구성 요소 내에서의 구성을 포착하기 위해 구현 및 조직 준비 상태 문헌 검토에서 생성되었다: 동기, 일반 역량, 혁신 특정 역량motivation, general capacity, and innovation-specific capacity(보충 온라인 자료).

 

다운로드

• 동기는 혁신에 대한 신념과 혁신에 대한 지원과 관련이 있다(Weiner, Amick, et al. 2008; Scaccia et al. 2015). 설문 조사 질문은 CBD 구현이 필요한 변화로 인식되는지, 관리 가능한 변화로 인식되는지, 그리고 CBD로 전환하는 것이 프로그램의 최우선 과제인지에 대한 인식을 포함한 조직 동기의 중재자를 다루었다.
• 일반 역량은 혁신이 도입될 조직의 맥락, 문화, 현재 인프라 및 프로세스와 관련이 있다(Flaspohler et al. 2008; Wandersman et al. 2008; Scaccia et al. 2015). 설문 조사 질문은 조직 문헌에서 인정되는 혁신을 구현할 수 있는 프로그램 속성에 대한 데이터를 수집하도록 설계되었다(Flaspohler et al. 2008). 질문은 프로그램 리더십의 지원, 변화에 대한 이해관계자의 수용성, 조직 변화에 대한 이전 경험 및 프로그램 내에서 변화를 구현하기 위한 지원 인력의 적절성을 다루었다. 각 일반 역량 및 동기 진술은 '강하게 동의하지 않는다'부터 '강하게 동의한다'까지 5점 리커트 척도로 측정되었다.
• 혁신 특정 역량은 특정 혁신을 구현하는 데 중요한 인적 자원, 기술 전문 지식 및 핵심 인프라를 다룬다(Flaspohler et al. 2008). 혁신 특정 역량을 측정하기 위해, CBD 구현 전 과업 중 가장 자주 언급되는 것을 샘플링했다. 연구팀 구성원들은 초기 구현 항목 목록을 검토하고 추가 항목을 추가하도록 요청받았으며, 새로운 아이디어가 생성되지 않을 때까지 검토가 계속되었다. 일련의 1시간 회의를 통해 팀은 중복 항목을 검토하여 중요한 준비 과제가 누락되지 않도록 했다. 연구팀 구성원 간 합의는 세 번의 회의 후에 이루어졌다. 참가자는 각 과제가 프로그램 내에서 완료되었는지(예, 아니오, 잘 모름)를 표시하도록 요청받았다.

 

데이터 분석

 

기술 통계는 Microsoft Excel for Windows 2010(Microsoft Corporation, Redman, Washington, USA)을 사용하여 계산되었다. 일반 역량 및 동기 진술에 대해서는 '강하게 동의하지 않는다'와 '동의하지 않는다', '강하게 동의한다'와 '동의한다' 응답을 결합하여 각 진술에 대해 동의, 중립 또는 반대 의견을 가진 응답자의 비율을 결정했다.

 

전체 구현 준비 점수를 결정하기 위해, 일반 역량 및 동기 응답은 '강하게 동의하지 않는다'=1에서 '강하게 동의한다'=5로 코딩되고, 혁신 특정 역량 항목에 대한 응답은 0 또는 1로 코딩되었다(0=과제 미완료 또는 잘 모름, 1=과제 완료). 각 구성 요소 내 항목에 대한 점수를 합산한 후 최대 가능 점수로 나누고 100을 곱하여 각 구성 요소에 대한 백분율 점수를 산출했다. 이후 각 구성 요소의 백분율 점수를 합산하여 3으로 나누어 100점 만점의 전체 준비 점수를 계산했다.

 

단일 분산 분석을 실시하여 분야 간 전체 준비 점수를 비교했으며, 전체 준비 점수를 종속 변수로, 분야를 독립 변수로 설정했다. 각 준비 구성 요소 간의 연관성을 확인하기 위해, 각 구성 요소의 백분율 점수를 사용하여 이변량 상관 분석을 실시했다.

결과

설문 조사 응답률은 42%(n = 79)였으며, 2019년 CBD 도입 분야의 모든 분야가 대표되었다. 전체 준비 상태의 평균 점수는 74%(표준 편차 = 12.5, 범위 30%-98%)였다. 일반 역량과 동기 구성 요소의 평균 백분율 점수는 각각 76%(표준 편차 = 12.4, 범위 50%-100%)와 72%(표준 편차 = 13.3, 범위 33%-100%)였다. 프로그램은 혁신 특정 역량 과제의 평균 71%(표준 편차 = 18.9, 범위 3%-100%)를 완료했다. 분야 간 전체 준비 상태 점수에는 유의미한 차이가 없었다(F(11) = 1.006, p = .451). 모든 준비 상태 구성 요소 간에 양의 상관관계가 발견되었다(일반 역량과 동기, r = .726, p < .001; 일반 역량과 혁신 특정 역량, r = .472, p < .001; 동기와 혁신 특정 역량, r = .518, p < .001).

일반 역량과 동기

개별 일반 역량 항목을 살펴보면, 프로그램의 94%가 부서 리더가 변화를 지지한다고 동의했으며, 75%는 부서/구성원들이 변화에 수용적이라고 동의했다. 그러나 프로그램의 이전 변화 경험과 충분한 지원 인력이 있다고 동의한 프로그램은 각각 59%와 57%로 적었다. 동기를 다루는 항목에 대해서는 응답자의 74%가 CBD의 성공적인 시작이 프로그램의 우선순위라고 동의했지만, 58%만이 CBD가 올바른 방향으로 나아가는 것이라고 동의했으며, 53%는 CBD 구현이 관리 가능한 과제라고 동의했다. 응답에 대한 세부적인 분석은 그림 1에서 볼 수 있다.

 

 

혁신 특정 역량

각 준비 과제를 완료한 프로그램의 비율은 그림 2에서 볼 수 있다. 커리큘럼 계획에 대해 프로그램의 90%가 학습 경험을 역량과 연결하는 문서를 작성했지만, 절반 미만(42%)이 비서비스 프로그램과의 평가 획득 과정을 검토했다. 프로그램은 또한 학습 경험과 신뢰할 수 있는 전문 활동(EPA) 관찰을 연결하는 문서를 가지고 있는 경우가 많았으며(94%), 전자 포트폴리오를 구축한 경우도 많았다(91%). 그러나 평가 및 승진 결정을 반영하도록 프로그램 정책을 업데이트한 경우는 적었다(53%). 거의 모든 프로그램(96%)이 역량 위원회 구성원을 지정했지만, 적은 수(58%)가 역량 위원회 프로세스를 설명하는 문서를 작성했다. 교수 개발 측면에서 대부분의 프로그램(86%)이 교수진에게 EPA 관찰 방법에 대한 교육을 제공했지만, 절반 미만의 프로그램(43%)이 비서비스 교수진과의 협력을 했다. 대부분의 프로그램(81%)이 레지던트에게 학습자로서의 변화된 역할을 안내했지만, 적은 수의 프로그램(62%)이 코칭 모델에 대해 레지던트를 안내했다.

 

 

논의

우리의 연구는 2019년 캐나다 CBD 도입 분야를 대표하는 79개 프로그램을 대상으로 한 설문 조사를 통해 전체 준비 상태의 이질성을 보여주었으며, 결과는 추가적인 사전 구현 지원 및 개입이 유익할 수 있는 특정 영역을 강조했다. R = MC2 프레임워크 구성 요소 간의 양의 상관관계는 구성 요소가 상호작용하며 구성 요소 간 상호작용 과정이 발생할 수 있음을 시사하지만, 이러한 상관관계의 중간 강도는 각 구성 요소가 전체 준비 상태의 독특한 측면을 측정한다는 개념을 지지한다.

일반 역량과 동기
General capacity and motivation

조직의 일반 역량과 동기에 기여하는 요인(조직 분위기, 태도, 역량, 변화에 대한 헌신 등)은 혁신 특정 역량을 다루기 전에 변화를 구현하기 위한 기초가 된다(Castañeda et al. 2012). 일반 역량과 동기가 혁신 특정 역량 항목의 완료를 유도할 수 있으므로, 프로그램이 이러한 영역에서 어려움을 겪는 곳을 강조하기 위해 프로그램의 점수를 조사하는 것이 중요하다. 동기의 평균 준비 점수는 일반 역량의 평균 준비 점수보다 약간 낮았다. 특히, 더 적은 프로그램이 CBD가 올바른 방향으로 나아가는 것이라고 동의했고, 전환이 관리 가능한 과제라고 동의했다. 동기 점수에서 관찰된 차이는 구현 프로그램 내 이해관계자 간의 지지 정도의 변동성을 반영할 수 있다. 유사한 프로그램을 대상으로 한 사후 구현 평가 연구(RCPSC 2019a)는 이미 CBD를 구현한 프로그램이 문화 변화 및 지지 부족과 계속해서 어려움을 겪고 있으며, 이는 부분적으로 CBD의 이유와 결과에 대한 지식 부족 때문이라고 밝혔다. Hall et al. ( 2019)는 CBME로의 전환을 준비하는 데 중요한 단계는 '왜 우리가 변하는가?'라는 질문에 답하는 것이라고 제안하며, Castañeda et al. ( 2012)는 커뮤니티 구성원이 프로그램의 존재를 알고 있는지 여부와 새로운 중재가 해결하는 문제의 가치를 인식하는지 여부에 따라 준비 수준이 달라질 수 있음을 보여주었다. 따라서 지도자와 이해관계자 간의 전반적인 동기 부족은 구현의 성공 부족의 주요 원인이 될 수 있다. 프로그램이 CBD 구현 준비 상태를 높이기 위해, 모든 이해관계자(학습자, 교수진, 프로그램 리더십 포함)가 CBD의 근거와 추진력을 이해하도록 보장하는 데 초점을 맞추는 것이 중요할 수 있다. 초기 CBME 구현자는 지지를 촉진하기 위해 포괄적인 이해관계자 중심의 구현 전략의 필수성을 강조했다(Hall et al. 2020).

 

교육자가 제기한 우려와 문헌에 보고된 바에 따르면, CBME와 같은 대규모 교육 개혁을 구현하는 데 따른 행정 요구가 증가할 가능성이 있다(Hawkins et al. 2015). 우리 연구에서 거의 4분의 1의 프로그램이 CBD를 구현할 충분한 지원 인력이 없다고 밝혔다. 더 자세한 평가 시스템, 새로운 인프라 및 절차 조정, 지속적인 교수 개발 요구 사항의 문서화는 압도적으로 느껴졌다(Talbot 2004; Aagaard et al. 2013; Ferguson et al. 2017; Nousiainen et al. 2017). 그러나 응답자의 절반 이상은 CBD 구현을 관리 가능한 과제로 인식했다. 이러한 인식의 변동성은 단순히 프로그램 간 자원 격차 때문인지(RCPSC 2019b) 아니면 참여자의 자아 효능감에 영향을 미칠 수 있는 다른 요인 때문인지는 명확하지 않다. 인식된 것이든 실제이든, 행정적 역량의 부족은 새로운 평가 시스템 및 프로세스와 같은 CBME에 필요한 중요한 인프라를 구축하는 데 어려움을 초래할 수 있으며, 이는 성공적인 변화를 구현할 프로그램의 일반 역량에 영향을 미칠 수 있다.

혁신 특정 역량
Innovation-specific capacity

가장 자주 완료된 혁신 특정 과제 중 하나는 평가를 기록하고 문서화하며, 평가 데이터를 표시하여 진행 결정을 알리는 전자 포트폴리오의 구축이었다. CBME 구현 평가에서 Hall et al. ( 2020)는 전자 포트폴리오를 CBME 구현의 초기 '스프린트'에서 구축해야 할 중요한 인프라 항목으로 설명했다. 마찬가지로, Sonnenberg et al. ( 2017)은 전자 포트폴리오 플랫폼을 선택하는 방법에 대한 지침을 제공하여 CBME에서의 중요성을 인정했다. 사회적-물질적 관점에서 전자 포트폴리오는 학습 및 평가 활동이 이루어지는 중요한 직장 기술로 볼 수 있으며, 평가 피드백 제공 및 문서화, 역량 진행 추적, 역량 위원회 심의의 중심 허브 역할을 포함한다(Fenwick 2014). 따라서 기능적이고 충분히 유능한 전자 포트폴리오가 없으면 프로그램이 CBD 구현에 어려움을 겪을 가능성이 있다.

 

특히, 적은 프로그램이 교수진과 레지던트에게 전자 포트폴리오를 안내했다고 밝혔다. 효과적인 안내는 레지던트가 학습자 주도 모델 및 평가 시스템을 성공적으로 탐색할 수 있도록 하기 위해 필요하다. 레지던트 안내는 전환 기간 동안 그들의 참여, 권한 부여 및 공동 생산에 중요한 자극이 될 수 있다(Dagnone et al. 2020). 또한, 효과적인 레지던트 안내는 다른 이해관계자의 참여를 촉진하는 파급 효과를 가질 수 있다. 두 개의 캐나다 CBD 평가 연구 결과는 많은 프로그램에서 레지던트가 CBD의 기본 요소 및 원리에 대한 순간의 교수 개발을 제공함으로써 교수진의 참여를 촉진했다고 나타났다(RCPSC 2019a, 2020).

 

다른 혁신 특정 역량 과제와 관련하여, 우리는 프로그램이 문서 준비 및 역량 위원회 구성원 선택과 같은 행정 과제를 완료할 가능성이 높았으나, 역량 위원회 프로세스 및 절차 수립과 평가 워크플로우 변경과 같은 '현장' 구현 과제를 완료할 가능성은 낮았다. 복잡한 환경에서 대규모로 구현하는 것은 어려우며(Greenhalgh and Papoutsi 2018), 문헌에서는 전체 구현에 앞서 규모에 맞는 접근 방식을 적용하는 사전 구현 작업이 성공과 지속 가능성에 중요하다는 인식이 증가하고 있다(Chambers et al. 2013; Barker et al. 2016). 파일럿 또는 소프트 런치는 초기 변화 장벽을 극복하기 위한 동력을 개발하는 중요한 수단이 될 수 있다(Boscherini et al. 2010). 또한, 파일럿은 예상치 못한 문제와 추가 자원 요구 영역을 식별하면서 지속적인 개발을 위한 인프라를 구축하는 데 유리할 수 있다(Kempster et al. 2014). 우리 연구에서 관찰된 프로그램 간의 차이는 응답자 간의 가변적인 규모의 구현 또는 파일럿의 정도를 반영할 수 있다. CBD의 선택된 요소를 조기에 도입하면 일부 프로그램이 일반 역량 또는 동기와 관련된 문제를 해결하고, 전체 도입 전에 교수진과 레지던트의 참여를 촉진할 수 있었을 것이다.

 

우리 연구에서 적은 프로그램이 비서비스 프로그램 및 교수진과 협력했다. 레지던트는 주니어 연도 동안 거의 50%의 임상 경험을 비서비스 순환에서 보낼 수 있다. 따라서 비서비스 프로그램의 교수진과 레지던트는 레지던트 교육에서 주요 이해관계자를 대표한다. 그들의 참여 정도는 CBD 구현과 그로 인한 레지던트 경험에 중요한 영향을 미칠 수 있다(Railer et al. 2020). 비서비스 협력이 부족하다는 것은 다른 CBD 구현 평가 연구에서도 지적되었다. 로열 칼리지 CBD 프로그램 평가 운영 팀(RCPSC 2019a)은 많은 프로그램이 사후 구현 첫 2년 내에 비서비스 교수진을 참여시키지 않았음을 보여주었고, 퀘벡 의학 레지던트 연맹은 레지던트가 비서비스 순환 중 평가를 받기 어려움을 겪었다고 밝혔다(Fédération des Médecins Résidents du Québec 2019). 비서비스 참여가 여전히 장벽으로 남아 있다는 우리의 발견은 CBD 구현에만 국한되지 않는다. 변화 관리 이론은 초기 구현 동안 유한한 자원과 노력이 외부 이해관계자(예: 비서비스 교수진 및 레지던트)를 배제하고 내부 이해관계자를 참여시키는 데 집중된다고 제안한다(Hueske and Guenther 2015). 프로그램이 적응하고 더 많은 분야가 시작됨에 따라, 비서비스 이해관계자의 참여는 덜 어려울 수 있다.

연구 제한점 및 향후 연구

이 연구는 몇 가지 제한점이 있다. 이 연구에 참여한 것은 자발적이었으며, 설문 조사를 선택한 참가자는 CBD에 대해 긍정적이거나 부정적인 강한 감정을 가지고 있었을 수 있다. 따라서 결과는 2019년 CBD 도입 프로그램 전체 인구의 경험을 대표하지 않을 수 있다. 사회적 바람직성 편향도 결과에 영향을 미쳤을 수 있다. 이 설문 조사는 캐나다 로열 칼리지 의사 및 외과 의사 이메일 주소에서 CBD 도입 한 달 전에 배포되었다. 이 조직은 프로그램 인증을 담당하므로, 응답자는 준비 상태를 과장 보고했을 수 있다. 마지막으로, 설문 조사에는 응답을 추가 설명하는 서술적 의견 옵션이 포함되지 않았다. 향후 질적 연구는 CBD 준비 상태의 도전 과제와 인식된 장벽을 보다 완전하게 특징화하는 추가 통찰력을 제공할 수 있다. 마지막으로, 우리의 연구 결과는 준비 상태 요인을 설명하지만, 성공적인 구현을 측정하거나 사전 구현과 사후 구현 데이터를 연결하지 않는다. 향후 연구는 준비 상태 중재자가 후속 구현 및 하위 결과에 미치는 영향을 평가하고, 준비 상태가 시간에 따라 그리고 목표 중재에 대한 응답으로 어떻게 변하는지 모니터링해야 한다.

결론

조직 준비 상태는 CBD와 같은 혁신의 성공적인 구현에 중요하며, 하위 결과의 중요한 매개체이다. 우리는 R = MC2 조직 준비 상태 프레임워크를 사용하여 CBD를 구현하는 프로그램 디렉터의 설문 조사를 통해 2019년 도입 분야의 CBD 구현 준비 상태를 평가했다. 우리의 연구는 프로그램이 CBD를 구현할 준비 상태를 최적화하는 데 도움이 될 수 있는 프레임워크의 각 구성 요소 내 중요한 영역을 강조한다. 여기에는 이해관계자가 변화의 근거와 추진력을 이해하도록 보장하는 것, 이해관계자에게 CBD의 정의 개념과 프로세스를 안내하는 것, 비서비스 교수진과 레지던트와 같은 외부 이해관계자를 초기 전환에서 참여시키는 것, 그리고 전체 구현 전에 새로운 프로세스와 절차를 파일럿하여 중요한 인프라를 구축하고 추가 자원 요구 사항을 식별하는 것이 포함된다.