[프로그램 평가] 캐나다의 CBME 전환기 역량 위원회 구현: 국가 충실도 중심 평가

출처: Cheung, W. J., Wagner, N., Frank, J. R., Oswald, A., Van Melle, E., Skutovich, A., ... & Hall, A. K. (2022). Implementation of competence committees during the transition to CBME in Canada: A national fidelity-focused evaluation. Medical Teacher, 44(7), 781-789.
https://www.tandfonline.com/doi/full/10.1080/0142159X.2022.2041191

서론

대학원 교육 프로그램은 레지던트를 독립적인 실습을 위해 준비시키고, 그들이 필요한 역량을 안전하게 달성했는지를 판단해야 합니다. 이전에는 레지던트 프로그램 디렉터가 레지던트의 진행 상황을 모니터링하는 책임을 가지고 있었지만, 역량 기반 의학교육(CBME)에서는 이제 레지던트의 진행 및 승진 결정이 역량 위원회(CC)의 그룹 의사결정 과정을 통해 이루어지는 경우가 많습니다(RCPSC 2017). CC는 다양한 출처의 성과 데이터를 검토하고 종합하여 레지던트의 훈련 진행 상황과 궁극적인 독립 실습 준비 상태를 결정하는 임무를 맡고 있습니다. 결과적으로, CC는 유능한 졸업생을 보장함으로써 의학의 '사회적 계약social contract'을 유지하는 평가 시스템의 중요한 구성 요소입니다(Cruess and Cruess 2004; Hauer et al. 2015).

 

레지던트 훈련에서 CC를 설립하고 운영하는 데 필요한 자원과 모범 사례에 대한 상당한 양의 문헌이 존재합니다(Beeson et al. 2013; French et al. 2014; Ketteler et al. 2014; Promes and Wagner 2014; Donato et al. 2016; Kinnear et al. 2018; Ekpenyong and Becker 2021). Competence by Design(CBD)의 구현을 지원하기 위해 캐나다 전문 모델의 CBME를 통해 Royal College of Physicians and Surgeons of Canada(Royal College)는 이러한 모범 사례를 CC 구조와 기능에 대한 지침으로 종합했습니다(RCPSC 2018a, 2018b, 2020a). 이러한 지침은 CC 구현을 위한 최소 요구 사항과 프로그램 크기, 기능 및 지역 맥락의 변동성을 고려한 유연성 기회를 설명합니다.

 

캐나다와 전 세계에서 더 많은 프로그램이 CBME를 구현함에 따라 CC에 대한 문헌이 증가하고 있습니다.

• 지역 CC 구현 접근법과 적응이 보고되었으며(Ketteler et al. 2014; Acai et al. 2021), 평가 데이터의 증가와 CC에 의한 데이터 활용과 관련된 문제도 논의되었습니다(Chan, Oswald, et al. 2021; Chan, Sebok‐Syer, et al. 2021; Thoma, Ellaway, et al. 2021).
• CC가 의사 결정을 내리는 방식, 이러한 결정에 영향을 미치는 요인, CC 의사 결정의 영향 및 결과를 이해하는 데도 많은 관심이 집중되었습니다(Silber et al. 2004; Hauer et al. 2015; Friedman et al. 2016; Hauer et al. 2016; Chahine et al. 2017; Dickey et al. 2017; Pack et al. 2019, 2020).

이러한 조사는 CC 관행을 발전시키기 위해 필요하지만, CC 구현의 충실도fidelity of CC implementation(예정된 대로 CC가 구현된 정도)를 평가하는 기초 연구는 부족합니다. Van Melle et al. ( 2021)에 의해 강조된 바와 같이, 결과 평가에는 구현 충실도의 측정이 포함되어야 합니다. 구현 충실도에 대한 데이터가 없으면 특정 결과의 원인과 이를 구현 요인, 이론 또는 설계의 부족과 연관짓는 것이 어렵습니다(Varpio et al. 2012). 미국에서의 CC 구현 충실도에 대한 초기 문헌이 존재하지만(Doty et al. 2015; Ekpenyong et al. 2017), 다른 관할 구역에서 CC가 어떻게 임무를 운영했는지는 거의 알려져 있지 않습니다.

 

따라서 이 연구의 목적은 CBME로의 전환 기간 동안 캐나다 전문 레지던트 훈련 프로그램에서 CC 구현의 충실도를 평가하고, 구현 계획 모델과 실제 구현을 비교하여 적응을 촉진하고 추가 결과 연구의 기반을 제공하는 것이었습니다.

자료 및 방법
Materials and methods

연구 설계

이 연구는 레지던트 훈련 프로그램 전반에서 CC 구현의 충실도를 평가하기 위한 캐나다 CC 의장을 대상으로 한 온라인 횡단 설문 조사였습니다.

설정 및 맥락

Royal College의 CBME 모델에서 훈련은 4단계의 진보적인 단계four progressive stages로 조직됩니다. 각 단계의 훈련에는 다음 단계로 승진하기 전에 달성해야 하는 결과가 정의되어 있습니다. 이러한 결과는 CBD 맥락에서 평가의 기본 단위를 형성하는 Entrustable Professional Activities(EPAs) 및 CanMEDS 이정표로 작성됩니다.

 

EPAs는 충분한 역량이 입증된 후 수행할 수 있는 업무이며, 이정표는 해당 업무에 필요한 기술을 나타냅니다(RCPSC 2021). 각 전문 위원회는 CC 의사 결정을 안내하기 위해 성공적인 관찰의 맥락 다양성과 수에 대한 국가 지침을 개발했습니다(Sherbino et al. 2020). 이러한 지침은 EPA 달성에 대한 CC 결정을 알리는 데 사용되었지만, 엄격한 기준으로 설계된 것은 아닙니다(RCPSC 2020a).

설문 조사 설계 및 내용

캐나다 맥락에서 CC 구현은 Royal College가 발행한 지침 문서에 의해 알려졌습니다(RCPSC 2018a, 2018b, 2020a). 연구 저자는 이러한 문서를 사용하여 설문 조사 질문을 개발했습니다. 구체적으로, 모델 구현을 나타내는 CC의 구조와 기능의 주요 요소가 식별되었고(Supplemental Online Material 1), 이는 참가자 인구 통계, CC 구성원, 레지던트 프로그램 위원회(RPC)와의 관계, 데이터 출처, 데이터 검토 과정 및 의사 결정 과정을 다루는 25개 질문의 기초를 형성했습니다. 설문 조사는 세 명의 CBD 기관 책임자(각 대학에서 CBD 구현을 주도하는 개인)에게 파일럿 테스트되었습니다. 명확성과 이해를 위해 몇 가지 문구가 수정되었습니다. 최종 설문 조사는 보충 온라인 자료 2에 제공되어 있습니다.

참가자 및 샘플링

온라인 설문 조사 링크가 포함된 모집 이메일은 2019년 11월 13일 Royal College를 통해 모든 알려진 CC 의장에게 배포되었습니다. 연구 당시 CC 의장의 완전한 목록이 존재하지 않았기 때문에 프로그램 디렉터에게도 별도의 이메일이 발송되어 해당 프로그램의 CC 의장에게 설문 조사를 배포하도록 요청했습니다. CBD를 구현한 프로그램(2017년에 두 개 분야, 2018년에 여섯 개 분야, 2019년에 열두 개 분야)의 CC 의장만 설문 조사를 완료하도록 요청받았습니다. 두 번의 알림 이메일이 2주 및 4주 후에 발송되었으며, 설문 조사는 6주 후에 종료되었습니다.

데이터 분석

간단한 기술 통계를 사용하여 설문 조사 결과를 보고했으며, 비율, 평균 및 표준 편차를 포함했습니다. 스피어만 순위 상관 분석을 통해 프로그램 크기와 CC 구성원 수 및 회의 빈도 간의 관계를 탐색했습니다. 통계적 유의성은 p≤.05로 간주했습니다. 모든 분석은 IBM SPSS 버전 25(IBM Corp, Armonk, NY)를 사용하여 수행했습니다. 이 연구는 오타와 건강 과학 네트워크 연구 윤리 위원회의 프로그램 평가 활동으로 연구 윤리 위원회 면제를 받았습니다.

결과

응답자 인구 통계

설문 조사에 응답할 자격이 있는 293개 프로그램 중 113개 프로그램이 응답을 완료했으며, 응답률은 39%였습니다. 설문 조사에 참여할 자격이 있는 모든 20개 분야가 대표되었고(표 1), 각 지리적 지역(주)에서의 응답이 포함되었습니다.

 

 

위원회 규모
Committee size

위원회 구성원 수는 3명에서 20명까지 다양했으며, 응답자의 대부분(55%)은 위원회가 4~6명으로 구성되어 있다고 답했습니다. 스피어만 순위 상관 분석 결과, 프로그램 내 레지던트 수와 CC 구성원 수 사이에 유의미하고 중간 정도의 양의 상관관계가 있는 것으로 나타났습니다 [rs(103) = 0.6, p < .01] (그림 1).

 

 

위원회 구성원
Committee membership

남성과 여성 응답자 비율은 동일했으며, 임상 경험은 1년에서 34년까지 크게 다양했습니다. 113명의 응답자 중 29명(26%)이 초기 경력(0-5년), 28명(25%)이 중기 경력(6-10년), 55명(49%)이 선임 의사(>10년)로 확인되었습니다.

 

대부분의 응답자(93%)는 CC와 RPC 간에 일부 구성원 중복이 있다고 밝혔지만, 구성원이 정확히 동일한 경우는 매우 드물었습니다(2%). 또한, 응답자의 94%는 프로그램 디렉터program director가 CC에 참석한다고 보고했지만, 역할은 다양했습니다: CC 의장도 아니고 투표 회원도 아님(48%), 투표 회원이지만 의장이 아님(44%), 의장이자 투표 회원(6%), 의장이지만 투표 회원이 아님(2%).

 

다른 CC 구성원과 관련해서는, 응답자의 83%가 프로그램 관리자program administrator도 CC에 참석하지만, 일반적으로 투표 회원이 아니라고 밝혔습니다. 대부분의 프로그램(80%)에는 레지던트 대표가 없었지만, 있는 경우는 선임(비-CBD)senior (non-CBD) 레지던트 또는 관련 하위 전문 분야의 레지던트였습니다. 약 3분의 1(30%)의 프로그램에는 위원회에 관련 전문 분야의 외부 의사가 포함되었고, 소수(12%)의 프로그램에는 외부 비의사 구성원이 포함되었습니다. 외부 구성원은 교육, 심리학, 의학 물리학 및 법학 등 분야의 PhD 연구자나 간호, 언어 병리학, 사회 복지 등의 분야의 보건 전문가를 포함했습니다.

회의 빈도
Frequency of meetings

연간 회의 수는 2회에서 12회까지 다양했으며, 응답자는 대부분 연간 최소 4회 회의를 개최했습니다. 스피어만 순위 상관 분석 결과, 프로그램 내 레지던트 수와 회의 빈도 사이에 약하지만 유의미한 양의 상관관계가 있는 것으로 나타났습니다 [rs(107) = 0.23, p = .02].

위원회 과정
Committee processes

보고된 CC 검토 과정은 그림 2에 제시되어 있습니다. 응답자의 대다수(72%)는 개별 CC 구성원이 회의 전에 레지던트 평가 데이터를 1차 검토하고 이 데이터를 CC에 종합적으로 요약하여 제시한 후, 회의 중에 일부 그룹 데이터 검토가 이루어진다고 보고했습니다(그림 2). 이러한 보고된 검토 과정은 프로그램 크기와 상관없이 대체로 동일했습니다. 검토 후, 대다수의 응답자(75%)는 합의에 기반한 그룹 결정을 내렸다고 보고했으며, 24%는 위원회가 투표를 했고, 1%는 다른 전략(예: 의장이 결정)을 사용했다고 밝혔습니다.

 

 

위원회 구현 진행 상황
Committee implementation progress

설문 조사 당시, 92%는 위원회 운영 규정을 확립했으며, 75%는 의사 결정 과정 및 절차를 설명하는 문서를 보유하고 있었고, 86%는 전자 플랫폼을 사용하고 있었습니다(Supplemental Online Material 3).

국가 신뢰할 수 있는 전문 활동(EPA) 지침 준수
Adherence to national entrustable professional activity (EPA) guidelines

그림 3은 응답자가 보고한 국가 EPA 권장 사항national EPA recommendations 준수를 보여주며, 설문 조사 응답자의 대다수(53%)는 CC가 평가 지침assessment guidelines을 엄격히 따르지만 예외를 허용한다고 밝혔습니다. 이러한 결과는 도입 날짜나 프로그램 크기에 의해 영향을 받지 않는 것으로 보였습니다. EPA 외에도 51%의 CC는 이정표 달성을 보고했으며, 49%는 이정표를 추적하지 않았습니다.

 

 

데이터 가중치
Weighing data

응답자의 대다수는 전문직업성에 대한 문서화된 우려, EPA 내러티브 코멘트, 및 EPA 신뢰도 점수가 레지던트 진행 및 승진 결정을 내리는 데 매우 중요하다고 밝혔습니다(그림 4). EPA 맥락 변수, 회전 평가 끝, 다중 출처 피드백, 시뮬레이션 데이터, 로그북 및 기타 직장 기반 평가(WBA)는 중간 정도로 중요했습니다. 레지던트 자아 성찰, 동료가 제공한 비공식 정보, 프로그램 디렉터 및 CC 구성원의 관점은 혼합된 응답을 받았으며, 대부분의 응답자는 덜 중요하다고 밝혔습니다.

 

 

논의

이 연구는 CBME로의 초기 전환 기간 동안 캐나다 전문 훈련 프로그램에서 CC 구현의 충실도를 평가하는 것을 목표로 했습니다. 전국적으로 실제 CC 구현과 의도된 CC 구현 간의 일치성을 보여주는 많은 공통 경향이 식별되었지만, 지역 적응을 반영할 수 있는 이질성이 관찰되었습니다. 이는 프로그램이 CBME로 전환하는 동안 직면한 다양한 문제를 설명하는 데 도움이 될 수 있습니다. 논의는 세 가지 주요 영역에 초점을 맞출 것입니다: 구성원, 프로세스 및 절차, 데이터 해석. 이러한 영역은 CBD 맥락에서 CC의 기본 기대와 요소를 반영하며, 따라서 CC 구현의 충실도를 조사하는 초점이 됩니다.

구성원
Membership

CBME 프로그램의 평가에서 생성되는 방대한 데이터와 함께, CC의 검토 및 해석과 관련된 상당한 업무량이 발생합니다. 최근 캐나다의 CBME 구현 준비 프로그램에 대한 설문 조사에 따르면, 거의 4분의 1이 인적 자원의 부족을 우려하고 있음을 보고했습니다(RCPSC 2020b). 우리는 프로그램 크기와 CC 구성원 수 사이에 중간 정도의 양의 상관관계를 관찰했습니다. 이는 대규모 프로그램이 일반적으로 CC 업무를 더 많은 구성원에게 분배할 수 있음을 시사합니다. 그러나 40명 미만의 레지던트가 있는 프로그램에서는 CC 구성원 대 레지던트 비율에서 상당한 변동성이 관찰되었습니다(그림 1). CC 크기의 변동성은 구성원 모집의 어려움을 반영할 수 있으며, 일부 CC가 무거운 구성원 업무량으로 어려움을 겪는 이유를 부분적으로 설명할 수 있습니다. 최적의 CC 구성원 대 레지던트 비율을 결정하는 것이 이상적일 수 있지만, 이는 프로그램 및 기관에 따라 데이터 추출, 분석 및 시각화를 용이하게 하는 가용 기술과 같은 요인에 의해 중재될 수 있으므로 어려울 수 있습니다(Thoma et al. 2020).

 

우리는 또한 구성원이 누구인지와 그들의 역할에 변동성을 관찰했습니다. 대다수의 프로그램에서 프로그램 디렉터가 CC 구성원으로 포함되었지만, 8%는 프로그램 디렉터가 CC 의장 역할을 수행했다고 밝혔습니다. 이는 Royal College의 지침에서 이러한 이중 역할을 권장하지 않는다는 점에서 주목할 만합니다(RCPSC 2018a). 연구에 따르면 그룹 의장 또는 리더는 의사 결정에 특히 영향력을 행사할 수 있으며 그룹 심의 결과의 주요 중재자가 될 수 있습니다(Stasson et al. 1997; van Ginkel and van Knippenberg 2009; Chahine et al. 2017). 프로그램 디렉터와 CC 의장의 역할을 분리하면 단일 개인에게 부과되는 업무량을 줄일 뿐만 아니라 잠재적인 이해 상충을 완화하는 데 도움이 될 수 있습니다(Chan, Oswald, et al. 2021; Chan, Sebok‐Syer, et al. 2021). 그러나 다른 규제 기관(예: Accreditation Council for Graduate Medical Education(ACGME))은 프로그램 디렉터가 CC 의장을 맡는 것을 권장하지 않습니다(Andolsek et al. 2020). 소규모 프로그램은 소수의 교직원으로 두 역할을 모두 채우기가 더 어려울 수 있지만, 우리의 데이터는 CC에서 프로그램 디렉터 역할과 프로그램 크기 간에 명확한 관계가 없음을 시사합니다. 프로그램 자원의 할당 또는 부족이 프로그램이 프로그램 디렉터와 CC 의장으로서 별도의 교직원을 모집하고 훈련할 수 있는지 여부를 결정하는 요인이 될 수 있습니다(RCPSC 2019; Ekpenyong and Becker 2021). 또한, 이 변동성에 기여하는 사이트 및 사람별 사회문화적 요인(관계, 보고 구조, 기관 정책 등)이 있을 수 있습니다.

 

우리 연구에서 42%의 위원회는 프로그램 외부 구성원을 포함했으며, 20%는 레지던트 대표를 포함했습니다. '외부' CC 구성원을 포함하는 것은 Royal College가 권장하는 옵션이지만, 프로그램은 이러한 구성원을 CC에 포함하는 것의 장단점을 신중하게 고려해야 합니다. 모집 및 일정 조정이 어렵지만, 프로그램 외부 구성원은 위원회 기능에 대한 '외부인'의 관점을 제공하고, 그룹에 새로운 아이디어를 도입하며, 그룹 사고의 영향을 완화하고, 내부 구성원에게 명확하지 않을 수 있는 시스템 편향에 대한 프로세스 점검을 제공할 수 있습니다(Hauer et al. 2016; Kinnear et al. 2018). 또한, CC에 레지던트 대표를 포함하면 CBME 구현에 대한 참여를 촉진하고 CC 의사 결정 과정 및 절차에 대한 투명성을 높일 수 있습니다(Cheung et al. 2020; Dagnone et al. 2020). 동시에, 레지던트는 항상 기밀이 유지되고 잠재적인 동료 간 이해 상충 문제가 해결된다는 확신을 가져야 합니다.

 

전반적으로, CC 크기, 구성원 대 레지던트 비율, 프로그램 디렉터의 참여 및 역할, 외부 또는 레지던트 대표의 존재 여부에서 관찰된 변동성은 놀랄 일이 아닙니다. CC의 최적 기능 특성에 대해 많은 문헌이 존재하지만, 맥락에 따라 최적의 참가자 특성을 뒷받침하는 증거는 거의 없습니다. 앞으로 나아가면서, 다양한 CC 구성원 구성의 영향이 후속 CC 기능에 미치는 영향을 이해하기 위해 더 많은 연구가 필요합니다.

CC 프로세스 및 절차
CC processes and procedures

구조화되고 체계적인 그룹 의사 결정 절차는 정보 공유를 촉진하고 그룹 의사 결정의 질을 향상시킵니다(Lu et al. 2012; Hauer et al. 2016). CC 과정의 중요한 측면은 다른 곳에서 설명되었습니다(Kinnear et al. 2018; Cheung et al. 2020). 우리 연구에서, 대다수의 응답자는 CC 검토 과정 및 의사 결정 절차를 설명하는 공식 문서를 보유하고 있었지만, 25%의 프로그램은 CBD 구현 이후 시간이 경과했음에도 불구하고 이러한 문서가 없었습니다. '프로세스 및 절차' 문서가 없다고 해서 CC가 구조화된 형식을 사용하지 않는다는 의미는 아니지만, 명확한 문서화는 투명하고 공정한 심의 과정을 촉진하고 관련 이해관계자에게 CC 결과의 신뢰성을 높일 수 있습니다(Donato et al. 2016).

 

Royal College는 주요 검토자가 레지던트 평가 데이터를 자세히 검토한 후, 레지던트의 진행 상황에 대한 종합 보고서를 위원회에 제시하는 과정을 권장합니다primary reviewer completes a detailed review of the resident’s assessment data and then presents their synthesis of the resident’s progress to the committee for discussion(RCPSC 2018a). 우리 연구의 대다수 프로그램은 이러한 권장 사항과 일치했지만, 17%는 CC 회의에서 성과 데이터performance data를 검토하지 않는다고 보고했습니다. 이는 검토 과정의 견고성을 의심하게 합니다: 위원회가 단순히 주요 검토자의 종합 보고서에 의존했는가? 데이터 해석이 심의되지 않았는가? 그룹 의사 결정에 관한 문헌은 구성원 간의 정보 공유가 의사 결정 결과를 개선하고 CC 검토 과정에서 편향과 선호를 완화하는 데 도움이 된다고 제안합니다(Michaelsen et al. 1989; Tindale and Kameda 2000; Klocke 2007; Hauer et al. 2016). CC 회의 중에 레지던트 포트폴리오의 평가 데이터 및 서술 정보assessment data and narrative information를 공유하면 주요 검토자의 구두 종합에만 의존하지 않고 정보 공유의 양과 질을 모두 증가시킬 수 있으며, 학습자 성과 패턴의 변화를 더 잘 특징지을 수 있습니다(Dennis 1996; Battistone et al. 2002; Xiao and Eastmure 2014). 결과적으로, 성과 데이터 검토가 제한된limited performance data review 프로그램은 충분히 정보에 입각한 결정을 내리지 못하여 CBME 프로그램에서 CC 충실도의 중요한 특징 중 하나를 위태롭게 할 수 있습니다. 이 발견은 CC의 회의에서 공유 데이터의 유용성에 관한 추가 교수 개발을 자극해야 합니다.

데이터 해석 및 영향
Interpretation and impact of data

우리 연구에서 CC는 평가 프로그램 내 여러 출처에서 데이터를 통합했습니다(그림 4). 이전 연구들은 연수생의 진행 및 승진에 문서화된 프로페셔널리즘 우려의 중요성을 강조했습니다(Hodges et al. 2011; Odorizzi et al. 2020). 예상대로, 우리 연구에서도 이러한 우려가 CC에 의해 중시되었습니다. 또한, 대다수의 응답자가 EPA 신뢰도 점수EPA entrustment scores가 의사 결정에 '매우 중요하다'고 표시했지만, 프로그램이 국가 EPA 지침을 준수하는 데는 변동성이 관찰되었습니다. 이러한 새로운 EPA에 대한 실증적 타당성 증거가 CBD 설계 당시 존재하지 않았기 때문에, 전문 위원회는 각 EPA에 대한 성공적인 관찰 횟수를 결정하기 위해 전문가 합의에 의존했습니다(Bhanji et al. 2020; Sherbino et al. 2020). 경우에 따라 이는 이상주의보다 실용성에 더 중점을 두었거나, 결과적인 업무량과 평가 부담에 대한 두려움에 영향을 받았을 수 있습니다. 이를 염두에 두고, CC는 이러한 권장 사항을 준수할 의무를 덜 느낄 수 있으며, 권장 사항이 프로그램이 해당 전문 위원회에 피드백을 제공함에 따라 진화할 것이라고 예상합니다.

 

EPA 지침은 주로 수치 점수에 초점을 맞추지만, 정량적 데이터만으로는 역량 판단에 필요한 연수생 성과의 중요한 맥락 세부 사항을 포착하지 못할 수 있습니다(Schuwirth and van der Vleuten 2006; Ginsburg et al. 2010; Cook et al. 2016). 따라서, 우리 연구의 CC는 EPA 댓글EPA comments에 기록된 데이터를 높이 평가하는 것으로 보입니다. 서술 데이터는 맥락이 풍부하고 성과를 구별할 수 있는 보완 데이터를 제공할 수 있습니다(Govaerts and van der Vleuten 2013; Ginsburg et al. 2017; Hatala et al. 2017). 그러나 이러한 데이터를 검토하는 것은 시간이 많이 걸릴 수 있습니다. 의료 학습 분석 및 기계 학습과 같은 새로운 기술은 텍스트 마이닝 및 자연어 처리 기술을 통해 이러한 질적 평가 데이터를 해석하는 데 도움을 줄 수 있습니다(Zhang et al. 2012). 이 기술은 아직 주류가 아니지만, 연구는 CC의 임무를 지원하는 데 어떻게 사용할 수 있는지 검토하기 시작했습니다(Chan et al. 2018; Thoma, Ellaway, et al. 2021). 추가 연구는 CBME 평가 데이터의 방대한 양을 처리하고 CC가 데이터 기반 결정을 내리는 데 지원할 수 있도록 데이터 관리 시스템 및 데이터 시각화 방법을 활용하는 방법을 계속 검토하고 있습니다(Thoma et al. 2020; Thoma, Caretta-Weyer, et al. 2021).

 

마지막으로, 우리 연구에서 CC는 의장 및 프로그램 디렉터의 관점, CC 구성원이 제시한 일화적 정보의 상대적 중요성 the relative importance of perspectives from the chair and program director, as well as anecdotal information presented by CC members  에 대하여 다양한 반응을 보였습니다. Pack et al. ( 2019)은 이러한 유형의 비공식 데이터를 '문제가 있는 증거problematic evidence'로 지칭하며, 신뢰성이 부족하다고 설명합니다. 이러한 데이터는 본질적으로 주관적이며 해석하기 어려우나, 그럼에도 불구하고 CC 그룹 심의에서 중요한 역할을 할 수 있으며 문서화된 평가 데이터의 격차를 메우는 데 가치를 지닐 수 있습니다(Schumacher and Kinnear 2020; Tam et al. 2020). 레지던트 교육 프로그램이 유능한 졸업생을 보장함으로써 의학의 '사회적 계약'을 유지하려면, CC는 이러한 데이터를 체계적으로 수집하고 방어적으로 해석하는 방법을 고민해야 합니다. 추가 연구는 이 데이터를 진행 결정을 알리는 데 최적으로 활용하는 방법에 대한 지침을 제공해야 합니다.

제한점
Limitations

연구 당시 완전한 연락처 목록이 존재하지 않았기 때문에 프로그램 디렉터가 해당 CC 의장에게 설문 도구를 배포하도록 부분적으로 의존했습니다. 두 번의 알림 이메일이 발송되었지만, 일부 CC 의장이 설문 조사를 받지 못했을 가능성이 있습니다. 또한, 설문 조사 응답자는 전국 CBME 전환 및 CC 구현에 대한 참여도와 투자에서 비응답자와 차이가 있을 수 있어 비응답 편향이 발생할 수 있습니다. 자기 보고 및 사회적 바람직성 편향도 결과에 영향을 미쳤을 수 있습니다. 설문 조사는 Royal College 이메일 주소에서 배포되었으며, 이는 참가자가 실제 관행을 반영하기보다는 호의적으로 인식되는 방식으로 응답하도록 영향을 미쳤을 수 있습니다. 마지막으로, 이 연구는 캐나다 CBME 맥락에서 수행되었으며, 결과가 다른 환경에 전이되지 않을 수 있습니다.

결론
Conclusion

CC는 CBME 내에서 졸업 의사의 역량을 보장하는 평가 시스템의 중요한 구성 요소입니다. 이 전국적 설문 조사는 캐나다의 전문 훈련 프로그램 전반에서 의도된 CC 구현과 실제 CC 구현 간의 일반적인 일치성을 시사합니다. 구성원 구성, 위원회 프로세스 및 절차, 데이터 해석에서 관찰된 이질성은 지역 적응을 반영할 수 있지만, CBME로의 전환 과정에서 프로그램이 직면한 다양한 문제를 설명하는 데 도움이 될 수 있습니다. 이 연구는 교육 리더에게 CBME의 더 큰 평가 및 변환을 알리는 데 도움이 될 중요한 충실도 데이터를 제공합니다.