[학생평가] 입학부터 면허 취득까지: 다중 센터 학부 의학교육 협력의 교육 데이터 연관성

Chahine, S., Bartman, I., Kulasegaram, K., Archibald, D., Wang, P., Wilson, C., ... & Grierson, L. (2024). From admissions to licensure: education data associations from a multi-centre undergraduate medical education collaboration. Advances in Health Sciences Education, 1-23.

https://link.springer.com/article/10.1007/s10459-024-10326-2

 

소개

의사가 높은 수준의 역량을 갖추도록 훈련받는 것은 필수적입니다. 하지만 이 목표를 달성하기 위한 다양한 접근 방식이 있습니다. 실제로 캐나다의 각 의과대학은 다른 교육기관과 차별화되는 고유한 특성에 자부심을 가지고 있습니다. 엄격한 인증 제약 조건 속에서도 각 학교의 입학 절차, 교육 정책, 커리큘럼 및 평가 관행은 서로 어우러져 독특한 교육 문화를 형성합니다. 이러한 문화는 의료 학습자가 미래의 직업적 책임을 개념화하는 방법과 궁극적으로 환자와 지역사회에 의료 서비스를 제공하는 방법을 형성합니다.

• 단일 교육기관을 대상으로 한 연구에서 입학 기준, 절차 및 시스템과 의료 교육 중 하위 성과 간에 의미 있는 연관성이 입증되었습니다(Barber 외, 2022; Donnon 외, 2007; Dore 외, 2017; Eva 외, 2009; Reiter 외, 2007).
• 유사한 연구에서도 의료 교육 성과와 면허 시험 성적 간의 연관성이 입증되었습니다(Casey 등, 2016; Deng 등, 2015; Gohara 등, 2011; Kimbrough 등, 2018).
• 이러한 유형의 연구는 교육과 면허 시험의 성과 및 실습 효과 측정 간의 의미 있는 연관성을 보여주는 상호 보완적인 연구에 비추어 고려할 때 그 가치가 분명해집니다(예: Asch 등, 2009; De Champlain 등, 2020; Tamblyn 등, 2007).

그러나 여러 교육 기관에서 수집하고 집계한 교육 결과 데이터를 연결하고 분석한 연구는 소수에 불과합니다(예: Grierson 외., 2017; Santen 외., 2021). 이러한 격차로 인해 의학교육의 리더들은 보고된 관계가 고유한 학습 맥락 내에서 일반화할 수 있는 관련성이 어느 정도인지에 대해 불확실성을 갖게 되었습니다. 이러한 간극을 메우기 위해 저희는 후향적 학습자 수준의 행정 교육 데이터를 집계하고 연결하여 입학 및 프로그램 내 평가 시스템의 일반화 가능한 특징과 면허 시험의 성과 사이의 주요 연관성을 파악하는 다기관 연구를 수행했습니다. 궁극적인 목표는 학생의 성공을 지원하는 교육 개선을 가능하게 하는 증거를 개발하는 것이었습니다.

 

 

배경

교육 데이터를 활용하여 교육 관행에 대한 새로운 인사이트를 창출하고 교육에 대한 개념적 모델을 발전시켜야 한다는 요구가 증가하고 있습니다(Chahine 외., 2018; Phillips 외., 2022; Janssen 외., 2022). 이는 특히 캐나다 의학교육의 맥락에서 두드러지는데, 국가 차원의 커리큘럼 개혁(Tannenbaum 외, 2011; 캐나다 가정의학회, 2009; Frank 외, 2010; Fowler 외, 2022)으로 인해 임상 성과에 대한 교육 활동의 가치에 대한 조사가 강화되고 있습니다. 입학, 커리큘럼 평가, 면허 취득을 목적으로 행정적으로 수집된 데이터를 사용한 이전의 독립적 조사는 교육적, 전문적, 환자 결과와 관련하여 교육 효과를 평가하는 데 효과적인 것으로 나타났습니다(Grierson 외., 2017; Tamblyn 외., 2007). 또한 이러한 연구를 통해 전문성의 사회적, 심리적 특성에 대한 이론 중심의 조사가 가능해졌습니다(Asch et al., 2014). 이에 따라 여러 학계 및 전문 기관에서는 이러한 유형의 연구를 보다 체계적이고 지속적이며 실현 가능하고 지속 가능하게 만들기 위해 데이터 인프라를 구축할 것을 촉구했습니다(Grierson et al., 2022).

 

의과대학 입학 정책, 커리큘럼, 평가 관행의 질이 의학교육의 전반적인 질에 영향을 미치고, 이는 다시 면허 및 인증 시험에서 수련생의 성과에 영향을 미치며, 궁극적으로 의과대학 졸업생이 제공하는 의료 서비스의 질에 영향을 미친다는 것이 핵심 아이디어입니다. 예를 들어, 의학교육의 커리큘럼 개선이 의료 서비스 제공과 환자 치료 결과를 개선할 것이라는 가정 하에 역량 기반 의학교육(CBME)으로의 교육 전환이 이루어지고 있습니다(Frank et al., 2010; Holmboe & Batalden, 2015). 많은 사람들은 CBME가 공언한 목표를 달성할 수 있을 것이라는 가정에 의문을 제기합니다(Klamen et al., 2016; Whitehead & Kuper, 2017). 보다 낙관적인 입장에서는 이러한 개혁이 시행되기 전과 후에 증거를 수집하여(Salim & White, 2018) 변화가 의도한 방향으로 우리를 이끌고 있는지 판단할 것을 권장합니다. 그러나 교육 원칙의 변화가 실제 의료 서비스의 개선으로 이어진다는 것을 증명하는 일련의 증거는 경험적으로 평가하기 어렵습니다.

 

이 연구는 이 문제를 해결하기 위한 핵심적인 단계입니다. 이 프로젝트는 온타리오주의 6개 의과대학(맥마스터 대학교, 노던 온타리오 의과대학, 퀸즈 대학교, 오타와 대학교, 토론토 대학교, 웨스턴 대학교)의 의학교육 연구자들과 캐나다 의학위원회(MCC)가 협력하여 진행하고 있습니다. 우리는 함께 의과대학 입학부터 학부 교육, 면허 취득의 첫 단계에 이르는 의학교육 초기에 일반화 가능한 데이터 연관성을 밝히는 것을 목표로 합니다. 2020년까지 캐나다에서 의사가 의술을 펼치려면 두 번의 면허 시험을 성공적으로 마쳐야 했습니다. 2021년부터는 신규 의사는 의학 지식과 임상 의사 결정에 중점을 둔 첫 번째 MCC 자격 시험(MCCQE1)만 이수하면 의사 면허를 취득할 수 있습니다(캐나다 의료 위원회, 2023). 특히, 수많은 단일 기관 연구에서 교육 데이터와 면허 취득 결과 간의 의미 있는 관계를 문서화했습니다(Violato & Donnon, 2005; Eva 외, 2012; Barber 외, 2018; Dore 외, 2017; Gullo 외, 2015; Coumarbatch 외, 2010). 문헌에서도 면허 시험 성과와 향후 처방 역량, 적극적인 건강 옹호 행동, 진단 오류율 사이의 관계를 강조하고 있다는 점을 고려할 때(Tamblyn 외, 2007; Wenghofer 외, 2009; Kawasumi 외, 2011), 교육 연속성의 이 부분에 대한 보다 강력한 이해를 개발하는 것은 분명 가치가 있습니다. 따라서

• 우리의 첫 번째 목표는 온타리오주 6개 의과대학에서 공통적으로 사용되는 입학 및 평가 변수를 파악하는 것이었으며, 이 변수는 MCCQE1에서 더 높은 성과와 유의미한 연관성을 보였습니다.
• 두 번째 목표는 각 의과대학에 고유한 입학 및 평가 변수를 파악하는 것이었는데, 이 역시 MCCQE1에서의 성공과 유의미한 연관성이 있었습니다.
• 중요한 점은 두 경우 모두 모든 관련 입학 및 평가 데이터에 비추어 하나의 입학 및 평가 변수의 연관 가치를 고려한다는 것입니다.

 

연구 방법

연구 샘플

2015년, 2016년, 2017년에 맥마스터 대학교, 북부 온타리오 의과 대학, 퀸즈 대학교, 오타와 대학교, 토론토 대학교, 웨스턴 대학교에 위치한 의과대학을 졸업하고 2018년 이전에 MCCQE1에 도전한 학습자를 대상으로 포괄적인 정의 변수 세트를 추출했습니다. 이 포함 기준은 모든 MCCQE1 데이터가 동일한 테스트 청사진에서 생성되도록 보장했습니다.

데이터 조화

6개 학교가 각각 독립적인 입학 과정과 평가를 운영했기 때문에 데이터를 대조하기 전에 상호 운용 가능한 데이터 표현을 개발해야 했습니다. 이 프로세스는 6개 학교의 데이터를 인구 통계 정보, 입학 메트릭, 코스 성과 메트릭, 객관적인 구조화된 임상 시험 메트릭, 임상실습 성과 메트릭의 다섯 가지 범주로 정리하는 것으로 시작되었습니다. 각 범주 내에서 팀 전체의 합의를 도출하는 반복적인 프로세스를 통해 관련 변수를 정의했습니다. 궁극적으로 각 학교에서 가져온 데이터가 변수가 나타내려는 측정 구조를 적절히 반영하고 있으며, 따라서 수집된 데이터 세트 내에서 유사하다는 데 동의를 구했습니다. 그런 다음 필요한 경우 각 학교에서 정의된 각 변수를 구성하는 데이터를 변환하여 비슷한 척도로 표현할 수 있도록 했습니다. 두 번째 범주화 과정에서는 각 변수에 공통 또는 고유라는 라벨을 붙이는 것으로 마무리했습니다. 변수가 각 학교의 독립적인 데이터 세트에 존재하는 경우 공통으로 표시했습니다. 변수가 독립 데이터 세트 중 5개 이하에 존재하는 경우 고유한 것으로 표시했습니다. 모든 학교에서 실현되지 않은 변수는 더 큰 데이터 집합에서 기관 식별을 방지하기 위해 대부분의 참여 기관과 관련이 있더라도 고유한 것으로 간주했습니다. 예를 들어, 의과대학 입학시험(MCAT)은 대부분의 참여 기관에서 입학 도구로 사용되지만, 오타와 대학교에서는 사용되지 않습니다. 따라서 이 변수가 공통 변수의 기관 간 데이터 정렬에 포함되었다면, 더 큰 데이터 집합에서 MCAT 변수가 없는 것으로 특징지어지는 관찰을 확인하여 오타와 대학교와 특별히 관련된 데이터를 쉽게 파악할 수 있었을 것입니다.

 

데이터 정의

인구통계학적 정보 범주에 정의된 공통 변수는 연령(나이), 성별(성별), 세후 1인 당 전국 지역 소득 5분위(QNATIPPE), 지리적 상태(지리적 상태) 등입니다.

• 나이는 연도(연속형 변수)로 코딩되었으며 의대 입학 당시의 나이를 반영했습니다.
• 성별은 남성 또는 여성(범주형 변수)으로 코딩되었으며, 성별에 관한 입학 프롬프트에 제공된 자가 보고 답변을 반영했습니다. 응답이 법적 성별, 출생 시 부여된 성별 또는 성별에 대한 신고를 반영하는지 여부는 확인할 수 없었습니다.
• QNATIPPE는 지원 자료에 보고된 중등학교 재학 당시의 거주지 우편번호(범주형)를 기반으로 하며 캐나다 통계청의 우편번호 변환 파일(캐나다 통계청)을 통해 도출되었습니다. 이웃 5분위는 사회경제적 지위의 대리 척도로 이해됩니다.
• 지리적 상태는 온타리오주, 캐나다 내 다른 지역 또는 캐나다 외 지역(범주형) 중 의과 대학에 합격한 출신 지역을 반영했습니다.
• 인구통계학적 정보 범주 내에 정의된 고유 변수는 없었습니다.

입학 지표 범주에 정의된 공통 변수에는 학부 학점 평균(GPA), 대학원 학위 여부(Graduate Degree), 입학 면접 점수(Interview), 기존 또는 공동 MD-PhD 학습 과정(Study Stream) 입학 여부가 포함되었습니다.

• GPA는 각 학교가 수집한 각 학교의 입학 주기 동안 평가한 학부 학점 평균을 4점 만점으로 환산하여 반영했습니다(연속).
• 대학원 학위는 입학 당시 입학자의 석사 또는 박사 학위 보유 여부를 반영했습니다(범주형).
• 면접 변수는 각 학교에서 적용한 여러 미니 면접, 패널 면접 또는 복합 면접 방식에 대한 최종 점수의 변화를 반영했습니다(연속형).
• 입학 지표 범주의 고유 변수에는 의과대학 입학시험(MCAT, 연속형), 컴퓨터 기반 개인 특성 샘플링 상황 판단 테스트(CASPer, 연속형) 점수, 영어 또는 프랑스어 언어 흐름(범주형)을 통해 도출된 최종 및 하위 섹션 점수가 포함되었습니다.

코스 성과 지표 범주에

• 정의된 유일한 공통 변수는 생의학 지식(생의학 지식)과 관련된 성과 평가에서 도출되었습니다. 여기에는 6개 교육기관 각각에서 해부학 및 생의학 시스템 학습에 대한 누적 및 변형된 평가가 반영되었습니다(연속).
• 코스 성과 지표 범주에 정의된 유일한 고유 변수는 전문 역량(전문 지식) 평가에서 도출되었으며, 여기에는 환자 및 전문가 간 의사소통, 협업, 전문적 행동에 대한 평가가 포함되었습니다(연속). 6개 학교의 커리큘럼 모두 전문 역량 개발 및 평가를 고려하고 있지만, 광범위한 프로그램에 통합되어 있는 특성으로 인해 일부 협력 기관에서는 전문 지식 구성 요소를 구체적이고 독점적으로 반영하는 평가를 정확하게 분리하기 어려웠기 때문에 고유 범주에 포함시켰습니다.

 

객관적 구조화 임상시험(OSCE) 지표 범주에 정의된

• 공통 변수에는 실습 전 최종 OSCE(OSCE1; 연속)와 실습 후 최종 OSCE(OSCE2; 연속)의 성적이 포함되었습니다.
• 모든 참여 학교가 두 번의 OSCE를 실시하지만, 일부 학교는 그 이상을 실시하기도 합니다. 따라서 OSCE 카테고리의 고유 변수에는 이 카테고리 내에서 공통으로 정의된 점수(연속형)보다 더 많은 OSCE의 점수가 포함되었습니다.

 

공통 임상실습 성과 점수(임상실습)는 각 학교의 6개 핵심 임상실습 로테이션의 평가에서 도출되었습니다: 가정의학과, 내과, 산부인과(OBGYN), 소아과, 정신과, 외과. 두 가지 방법을 사용하여 공통된 클럭십 점수를 생성했습니다.

• 첫 번째 방법은 학교 간에 일관된 지표를 설정하기 위해 임상실습 점수를 3점 범주형 변수로 변환하는 것이었습니다. 연속 데이터가 있는 학교의 경우, 임상실습 점수를 z 점수로 변환하여 각 임상실습 내 최하위 분위의 점수를 "-1", 2~9번째 분위의 점수를 "0", 최상위 분위의 점수를 "1"로 코딩했습니다. 범주형 데이터를 사용한 경우 "불합격", "합격", "우수" 레이블은 각각 "-1", "0", "1"로 코딩되었습니다. 그 결과, 각 학교는 6개의 임상실습 각각에 대해 공통된 범주형 척도를 사용했습니다.
• 두 번째 방법은 특정 과목 전문 분야에서 누락된 데이터 블록으로 인해 필요했습니다. 이는 각 전문과목에 대한 임상실습 점수를 활용하는 데 문제가 있었습니다. 그 결과, 우리는 각 학습자에 대한 종합적인 지표를 생성하기로 결정하고 여러 전문 과목의 점수를 반영하기로 했습니다. 먼저, 크론바흐 알파 및 탐색적 요인 분석(EFA)을 사용하여 심리측정 특성을 평가했습니다. 신뢰도 분석 결과 0.67의 만족스러운 알파 값이 나왔고, 최대 가능성 추정을 사용한 EFA 결과 1요인 솔루션이 도출되었습니다. 그 후, 임상실습 성과를 나타내는 단일 세타 점수를 생성하기 위해 부분 신용 라쉬 모델(Mair, & Hatzinger, 2007)을 사용했습니다. 이 접근 방식을 통해 핵심 전문 분야 전반의 난이도 변화를 유지할 수 있었습니다. 최근 다양한 데이터 소스로 작업할 때 데이터 조합 및 집계에 대한 유사한 접근 방식이 사용되었습니다(Norcini et al., 2023). 세타 점수는 0은 평균 성능을 나타내고, 낮은 값은 낮은 성능을 나타내며, 높은 값은 연속적인 척도에서 높은 성능을 나타내는 z-점수와 유사하게 해석할 수 있습니다. 이 점수는 eRM R 패키지를 사용하여 생성되었습니다(Mair, & Hatzinger, 2007; R Core Team, 2022).

 

이 연구를 위해 정의된 유일한 종속 변수는 MCCQE1 최종 성과(연속)였습니다. 이 데이터는 2015~2017년 시험 관리 기간 동안 생성되었습니다. 시험은 50점에서 950점 사이의 척도로 채점되었습니다. 시험 합격을 위한 최소 점수는 427점으로 설정되었습니다.

 

표 1은 코딩 구조, 수행된 데이터 변환, 협력 학교 간 고유 변수의 분포 등 모든 공통 및 고유 변수에 대한 자세한 정보를 제공합니다.

 

표 1 공통 및 고유 변수의 특성 및 코딩 시스템.a

 

 

연구 데이터 관리

포함할 공통 변수에 합의한 후, 데이터 세트에 대한 표준 조직 구조(예: 표준 변수 이름, 순서)를 설정했습니다. 각 학교의 데이터 세트는 이 구조에 따라 정리된 다음 온타리오 의사 연구 센터(OPRC, 이전의 온타리오 의사 인적 자원 데이터 센터(OPHRDC))로 전달되어 모든 데이터를 안전하고 윤리적으로 연구 가능한 데이터 세트에 통합하는 작업을 관리했습니다. OPRC는 최첨단 데이터 관리 기술로 운영되며, 주 보건 인적 자원 계획을 지원하기 위해 의과대학과 온타리오주 보건장기요양부(MOHLTC) 간의 정기적인 데이터 교환을 중재하는 장기적인 데이터 공유 계약에 따라 운영되고 있습니다. OPRC는 운영위원회로부터 이 프로젝트에 대한 승인을 받았으며, 운영위원회는 MOHTLC, 온타리오 의과대학협의회(COFM), 온타리오 대학협의회(COU) 모두의 전략적 임무에 부응하는 역할을 담당합니다. 이러한 이유로 OPRC는 이 연구를 위한 신뢰할 수 있는 데이터 시설로서 이상적으로 적합하다고 판단되었습니다. 연구 데이터 관리와 연구 연구 제정에 대한 감독은 이 연구의 목적을 위해 특별히 구성된 연구 및 데이터 거버넌스 위원회에서 담당했습니다. 이 위원회는 COFM과 온타리오 의대생 협회(OMSA)의 대표로 구성되었습니다.

 

OPRC는 6개 의과대학과 MCC의 데이터를 연결하여 분석 가능한 7개의 데이터 세트를 만들었습니다.

• 기본 데이터 세트에는 6개 학교 모두의 공통 변수가 포함되었으며, 각 학생 관찰 수준에서 공통 변수를 MCCQE1 데이터와 일치시켰습니다. 그런 다음 이 데이터 세트는 연구팀에 반환되기 전에 학생과 학교 수준에서 비식별화되었습니다. 이 데이터 세트는 첫 번째 목표(즉, 6개 온타리오 의과대학에서 공통적으로 사용하는 입학 및 평가 변수가 MCCQE1의 성공과 유의미한 관련이 있는지 확인하기 위해)를 뒷받침하기 위해 분석되었습니다.
• 6개의 보조 데이터 세트도 생성되었습니다. 이러한 데이터 세트는 각 참여 학교가 제공한 개별 데이터 세트와 MCCQE1 데이터를 연결했습니다. 따라서 이러한 데이터 세트에는 각 학교의 공통 변수는 물론 학교별 고유 변수도 포함되었습니다. 이러한 데이터 세트는 해당 참여 기관에 반환되기 전에 학생 수준에서 비식별 처리되었습니다. 이러한 데이터 세트는 두 번째 목표(즉, 각 의과대학 고유의 입학 및 평가 변수가 MCCQE의 성공과 유의미한 관련이 있는지를 파악하는 것1)를 지원하기 위해 분석되었습니다.

 

분석 전략

첫 번째 목표와 두 번째 목표를 모두 지원하기 위해 계층적 선형 회귀를 사용했습니다. 모든 경우에 모델 구축 과정의 여러 단계에서 변수의 중요도에 따라 변수를 유지하거나 제거하는 수동 단계적 접근 방식이 사용되었습니다. 두 목표 모두에 대한 최종 모델은 최소한의 변수를 사용하여 가장 많은 분산을 설명하기 위해 유지되었습니다. 통계적 유의성은 모든 모델에 대해 알파 수준 0.05로 설정되었습니다.

 

첫 번째 목표에 대한 최종 모델은 시간이 지남에 따라 의대생들의 궤적과 일치하는 방식으로 데이터 도입을 반영하는 단계를 개발하여 점진적으로 구축되었습니다.

• 1단계는 인구통계학적 정보 범주의 공통 변수로만 구성되었습니다.
• 2단계에서는 1단계에서 통계적으로 유의미한 변수를 유지하면서 입학 지표 카테고리의 공통 변수를 추가했습니다.
• 마찬가지로 3단계에서는 2단계에서 통계적으로 유의미한 변수를 유지하면서 코스 성과 지표 카테고리의 공통 변수를 추가했습니다.
• 4단계에서는 3단계에서 유지한 공통 OSCE 지표 변수를 모델에 도입했습니다.
• 마지막으로 5단계에서는 4단계의 유의미한 변수를 유지한 채로 임상실습 성과 범주에서 공통 변수를 추가했습니다.
• 최종 모델이 결과에 제시되었습니다. 분석은 IB에서 수행했으며 SC에서 검증했습니다.

두 번째 목표를 달성하기 위해 한 연구자(SC)가 공통 모델 구축 구문을 개발하고 다른 연구자(KK)가 검증했습니다. 이 구문은 각 참여 기관의 관련 연구자들과 공유되어 공통 및 고유 변수의 학교별 데이터 세트에 적용되었습니다. 이러한 방식으로 두 번째 목표를 지원하기 위해 6개의 독립적인 최종 모델이 구축되었습니다. 이 모델들은 위에서 설명한 것과 동일한 프로세스로 구축되었지만, 5가지 단계의 각 학교별 고유 변수와 MCCQE1 결과 사이의 잠재적 연관성도 고려했습니다. 독립적인 데이터 세트 분석의 일관성을 지원하기 위해 각 기관에 소속된 조사자들은 반복적인 화상 회의 '데이터 파티'를 통해 모든 분석을 감독했으며, 이는 프로그램 평가에서 주요 이해관계자 간의 데이터 검토 및 토론을 촉진하기 위해 일반적으로 사용되는 방식입니다(Adams & Neville, 2020). 여러 사이트에 걸친 분석은 SPSS(미국 IBM) 소프트웨어 버전 26 또는 28을 사용하여 수행되었습니다.

 

윤리 승인

윤리 승인은 각 참여 기관의 관련 연구윤리위원회에서 받았습니다(해밀턴 통합 연구윤리위원회 프로젝트 ID # 4652, 로렌시안 REB # 6,017,122, 레이크헤드 REB # 1,467,011, 퀸스대학교 윤리위원회 # 6,024,231, 오타와 보건과학 네트워크 연구윤리위원회 ID # 20,180,669-01 H 및 브루에르 연구윤리위원회 프로토콜 # M16-18-058, 토론토 대학교 REB #00039173, 웨스턴 대학교 REB # 110,837). MCC는 캐나다 Advarra로부터 윤리적 승인을 받았습니다(IRB Pro0030825, 2018년 12월 5일).

 

결과

통합된 데이터 세트에 대한 전반적인 설명 통계는 표 2에 나와 있습니다. 데이터 세트에는 의과대학 4년간의 개별 의대생을 나타내는 2727개의 행이 포함되어 있으며, 평균 또는 백분율과 표준편차는 표 2에 나와 있습니다.

 

표 2 통합된 데이터 집합의 기술 통계

 

 

목표 1: 공통 변수 분석

앞서 설명한 대로 모델 구축 과정은 의과대학 지원부터 수료까지 의과대학의 여러 단계를 대표하는 다섯 가지 주요 단계를 포함하며, 각 단계마다 중요도에 따라 변수를 추가하고 제거합니다. 최종적으로 개발된 모델의 표본 규모는 2637명이었습니다.

• 첫 번째 단계에서는 입학 연령(나이)과 성별이 MCCQE1 점수와 유의미한 연관성을 보였으며(F(2,2634) = 26.86, p <0.001), 분산 중 2%를 설명했습니다.
• 두 번째 단계에서는 유의미한 변수가 유지되지 않았습니다.
• 생의학 지식을 추가한 세 번째 단계(F(3,2633) = 227.60, p <0.001)는 첫 번째 단계(Δ F(1,2633) = 616.52, p = <0.001)보다 작지만 유의미한 개선을 보였으며 전체적으로 분산의 21%를 설명했습니다.
• 네 번째 단계(F(4,2632) = 181.05, p <0.001)는 OSCE2 성능을 유지했으며 세 번째 단계(Δ F(1,2632) = 33.08, p <0.001)에서 유의미한 개선을 보였고 설명 분산이 1% 추가되었습니다.
• 다섯 번째 단계(F(5,2631) = 244.79, p <0.001)에는 임상실습 세타 점수가 포함되었으며 세 번째 단계(Δ F(1,2631) = 392.14, p <0.001)에서 유의미한 개선을 보였고 10% 더 많은 변이를 설명했습니다.
• 전체적으로 이 최종 모델은 분산의 32%를 설명했습니다.
  • 최종 모델의 각 단계에서 유지된 변수는 표 3에 나와 있습니다. MCCQE1의 성과와 관련된 최종 변수 목록에는 다음이 포함됩니다: 연령, 성별, 생의학 지식, OSCE2 및 임상실습 세타 점수가 포함됩니다.

 

표 3 최종 모델의 계층적 회귀 추정치

 

목표 2: 학교별 분석

각 학교에서 사용한 모델 구축 프로세스는 통합된 데이터 세트에 사용된 5가지 주요 단계를 반영하고 고유한 변수를 추가했습니다. 6개 학교와 통합된 데이터 세트의 최종 단계에서 유지된 변수는 표 4에 나와 있습니다. 최종 모델(즉, 5단계)의 결과는 아래에 설명되어 있으며 부록 1에 제시되어 있습니다. 각 학교에 대한 설명은 부록 1에 나와 있습니다.

 

표 4 최종 모델의 유지 변수

 

맥마스터 대학교

• 맥마스터 대학교 데이터로 개발된 최종 모델에는 270개의 샘플 크기가 포함되었습니다. 첫 번째 또는 두 번째 단계에서는 유의미한 변수가 없었습니다. 세 번째 단계에서는 분산량의 25%를 설명했으며, MCCQE1 점수와 유의미한 관련이 있는 생의학 지식이 포함되었습니다(F(1,268) = 90.64, p <0.001). 4단계(F(2,267) = 57.66, p <0.001)에서는 3단계의 모델(Δ F(1,267) = 18.67, p <0.001)보다 유의미한 개선을 보인 공통 변수(OSCE 2)를 추가하여 5% 더 많은 분산을 설명했습니다(Δ F(1,267) = 18.67, p <0.001). 마지막으로 5단계(F(5,264) = 36.08, p <0.001)에서는 진료과목 변수(외과, 산부인과, 내과)가 추가되어 4단계 모델(Δ F(3,264) = 15.45, p <0.001)보다 유의미한 개선을 보였으며 11% 더 많은 변이를 설명했습니다. 전체적으로 이 최종 모델은 분산도의 41%를 설명했습니다.
• 맥마스터 대학교의 MCCQE1 성과와 관련된 최종 변수 목록에는 다음이 포함됩니다: 생물 의학 지식, OSCE2 및 세 가지 임상 실습 점수(외과, 산부인과, 내과).

 

노던 온타리오 의과 대학

 

• NOSM University 데이터를 사용한 최종 모델의 표본 크기는 178명이었습니다. 첫 번째 단계에서는 15.3%의 분산을 설명했으며, 하나의 공통 변수(나이)와 NOSM U에 고유한 두 개의 변수를 포함했습니다: 소수자 신분(비원주민 또는 비프랑코폰 대 기타로 코드화) 및 농촌 배경(예 대 아니오)이 그것입니다. 이는 MCCQE1 점수를 유의미하게 예측했습니다(F(6,156) = 5.87, p <0.001). 두 번째 단계에서는 나이와 소수 민족 그룹을 유의미한 예측 인자로 유지하고 GPA를 추가했습니다. 이 모델은 분산의 15.8%를 설명했습니다(F(8,169) = 5.15, p <0.001). 첫 번째 단계에서의 변화는 유의미했습니다(ΔF(5,169) = 2.30, p = 0.047). 3단계(F(5,173) = 21.05, p <0.001)에서는 공통 변수(생의학 지식) 1개와 고유 변수(보건의료 임상 기술 1년차 성과) 1개가 추가되어 GPA만 유지되었습니다. 3단계는 2단계(ΔF(2,173) = 28.95, p <0.001)에서 유의미한 개선을 보였으며, 분산 중 36.0%를 설명했습니다. 4단계(F(5,170) = 21.93, p <0.001)에서는 3단계의 모든 변수를 유지하고 하나의 공통 변수(OSCE-2 z-점수)를 추가했습니다. 4단계는 3단계보다 크게 개선되었습니다(ΔF(2,170) = 4.83, p = 0.009). 설명 분산은 37.4%로 약간 증가했습니다. 마지막으로 5단계(F(10,167) = 17.64, p <0.001)에서는 4단계의 모든 변수를 유지하고 두 개의 공통 임상실습 변수(정신과 및 내과)를 추가했습니다. 5단계는 4단계보다 유의미한 개선을 보였습니다(ΔF(6,167) = 6.80, p <0.001). 이 최종 모델은 분산의 49%를 설명했습니다.
• NOSM에서 MCCQE1의 성과와 관련된 최종 변수 목록에는 다음이 포함됩니다: GPA, 생물의학 지식, 보건학 1학년 임상 기술, OSCE2 및 두 개의 임상실습 점수, 정신과 및 내과.

 

퀸즈 대학교

 

• 퀸즈 대학교 데이터로 개발된 최종 모델의 표본 크기는 283명이었습니다. 첫 번째 단계에서는 최종 모델 내에 유지된 변수가 없었습니다. 두 번째 단계에서는 고유 변수(MCAT 총점)가 MCCQE1 점수와 유의미한 연관성을 보였으며(F(1,281) = 21.17, p <0.001), 분산 중 7%를 설명했습니다. 공통 변수(생의학 지식)를 포함한 세 번째 단계(F(2,280) = 46.12, p <0.001)는 두 번째 단계(Δ F(1,280) = 66.16, p <0.001)보다 작지만 유의미한 개선을 보였으며, 분산의 25%를 설명했습니다(Δ F(1,280) = 66.16, p <0.001). 네 번째 단계에서는 유의미한 변수가 없었습니다. 다섯 번째 단계(F(6,276) = 49.60, p <0.001)에는 진료과목(정신과, 산부인과, 내과, 소아과) 변수가 포함되었습니다. 이는 세 번째 단계(Δ F(4,276) = 38.87, p <0.001)에서 유의미한 개선을 보였으며 27% 더 많은 변수를 설명했습니다. 전체적으로 이 최종 모델은 52%의 분산을 설명했습니다.
• 퀸즈 대학교의 MCCQE1 성적과 관련된 최종 변수 목록에는 다음이 포함됩니다: MCAT 총점, 생의학 지식, 정신과, 산부인과, 내과, 소아과 등 4개의 임상시험 점수.

 

오타와 대학교

 

• 오타와 대학교 데이터로 개발된 최종 모델의 표본 크기는 458명이었습니다. 첫 번째 단계에서는 분산 중 3%가 공통 변수(성별)로 설명되었으며, 이는 MCCQE1 점수와 유의미한 관련이 있었습니다(F(1,456) = 13.82, p <0.001). 두 번째 단계에서는 입학 변수가 유지되지 않았습니다. 세 번째 단계(F(2,455) = 235.10, p <0.001)에서는 공통 변수(생의학 지식)가 포함되었으며, 첫 번째/두 번째 단계(Δ F(1,455) = 442.99, p = <0.001)보다 유의미한 개선이 있었고 전체 설명 분산은 51%로 나타났습니다. 네 번째 단계(F(4,453) = 145.499, p <0.001)에는 두 개의 공통 변수(OSCE1, OSCE2)가 포함되었습니다. 이는 세 번째 단계(Δ F(2,453) = 28.00, p <0.001)에서 유의미한 개선을 보였으며 5.4% 더 많은 변동을 설명했습니다. 다섯 번째 단계(F(10,447) = 68.81, p <0.001)에는 진료과목(외과, 의학, 소아과) 변수가 포함되었습니다. 이 단계는 네 번째 단계(Δ F(6,447) = 8.30, p <0.001)에서 상당한 개선을 보였으며 4.4%의 분산을 더 설명했습니다. 전체적으로 이 최종 모델은 분산의 60%를 설명했습니다.
• 오타와 대학교의 MCCQE1 성과와 관련된 최종 변수 목록에는 다음이 포함됩니다: 성별, 생의학 지식, OSCE1, OSCE2 및 세 가지 임상실습 점수, 외과, 내과, 소아과.

 

토론토 대학교

 

• 최종적으로 개발된 모델에는 699명의 표본 크기가 포함되었습니다.
  • 첫 번째 단계에서는 성별, 나이, 지리적 지위라는 고유 변수가 MCCQE1에 대해 유의미한 것으로 나타났습니다(F(1,693) = 11.638, p <0.001). 이 변수는 분산량의 3%를 설명했습니다.
  • 2단계에서는 나이와 지리적 상태는 더 이상 유의하지 않았지만 성별은 MCAT VR, MCAT BS와 함께 유의했으며 1단계에서 유의미한 개선을 보였습니다(Δ F(8,662) = 9.9, p = 0.001). 총 13.8%의 분산이 설명되었습니다(F(3, 692) = 9.5, p <0.001).
  • 세 번째 단계에서는 MCAT VR과 BS가 유의미했지만 성별이 모델에서 제외되었습니다. 또한 공통 변수인 생물의학 성적은 유의미했고 고유 변수인 지역사회 건강 결정 요인과 의학의 예술 및 과학Determinants of Community Health and the Art and Science of Medicine은 유의미했습니다. 이는 2단계에서 유의미한 변화였습니다(Δ F(6,685) = 40.10, p = 001). 3단계의 변수는 총 분산 중 34.3%를 설명했습니다(F(4,691) = 34.091, p <0.001).
  • 네 번째 단계에서는 OSCE를 추가했지만 유의미한 변수는 발견되지 않았습니다.
  • 다섯 번째 단계의 임상실습 변수로 미술과 과학 및 MCAT BS가 모델에서 제외되었습니다. 산부인과, 의학, 외과, 마취과, 응급실 클레임십은 모두 유의했으며(Δ F(6,683) = 21.56, p = 0.001) 최종 분산 설명력은 46%(F(9,685) = 41.60, p <0.001)로 유의미한 변화를 가져왔습니다.
• 토론토 대학교의 MCCQE1 성적과 관련된 최종 변수 목록에는 다음이 포함됩니다: MCAT VR, 생의학 지식, Doc1, 그리고 다음 진료과목이 포함됩니다: 외과, 산부인과, 내과, 마취과, 응급의학과.

 

웨스턴 대학교

 

• 웨스턴 대학교 데이터로 개발된 최종 모델의 표본 크기는 466명이었습니다. 첫 번째 단계에서는 인구통계학적 변수를 유지하지 않았습니다. 두 번째 단계에서는 0.8%의 분산을 설명했습니다. 여기에는 MCAT 시험 하위 점수(MCAT 언어 추론)를 반영하는 고유한 변수가 포함되었으며, 이는 MCCQE1 점수와 유의미한 연관성을 보였습니다(F(1,464) = 3.80, p = 0.05). 세 번째 단계(F(2,463) = 214.04, p <0.001)에는 공통 변수(생의학 지식)가 포함되었으며 두 번째 단계(Δ F(1,463) = 420.83, p <0.001)보다 유의미한 개선이 나타났습니다(Δ F(1,463) = 420.83, p <0.001). 이 단계에서는 전체 설명 분산에 대해 47.8%의 추정치를 생성했습니다. 네 번째 단계(F(4,461) = 115.87, p <0.001)에는 공통 변수(OSCE 1, OSCE 2)가 포함되었습니다. 이는 두 번째 단계(Δ F(2,462) = 9.68, p <0.001)에서 유의미한 개선을 보였으며 2.1% 더 많은 분산을 설명했습니다. 다섯 번째 단계에서는 유지된 변수가 없었기 때문에 이 최종 모델은 4단계에서 유지된 변수를 나타내며 분산의 50%를 설명했습니다.
• 웨스턴 대학교의 MCCQE1 성적과 관련된 최종 변수 목록은 다음과 같습니다: MCAT 언어 추론, 생물 의학 지식, OSCE1 및 OSCE2.

 

토론

연구 목표는 두 가지 주요 측면을 포함했습니다. 첫째, 온타리오주 6개 의과대학에서 공통적으로 사용하는 입학 및 평가 변수 중 MCCQE1에서 더 높은 성과와 유의미한 연관성을 보이는 변수를 파악하고, 둘째, 6개 의과대학 고유의 입학 및 평가 변수 중 MCCQE1에서 성공과 유의미한 연관성을 보이는 변수를 파악하는 것이었습니다. 결과 섹션에서는 주로 최종 모델에 초점을 맞추고 있지만, 처음에는 유의미했던 특정 변수가 도입되면서 MCCQE1과 밀접하게 연관된 더 근접한 변수에 의해 가려졌다는 점을 인정하는 것이 중요합니다.

 

개발된 모든 모델의 각 단계에서 유지된 변수에는 나이와 성별이 포함되었습니다. 이 변수들은 MCCQE1 결과와 유의미한 연관성을 보였는데, 의과대학 지원자 중 나이가 어리고 여성이라고 밝힌 지원자가 시험에서 더 좋은 성적을 거둘 가능성이 높았습니다. 다른 의사 자격 시험에서도 비슷한 연령 효과가 발견되었습니다(예: Gauer & Jackson, 2018; Grierson et al., 2017). 특히, 이러한 효과의 원인은 아직 밝혀지지 않았습니다. 나이가 많은 학생일수록 가족, 재정, 사회적 책임이 커서 시험 준비에 사용할 수 있는 시간과 에너지가 줄어들 가능성이 높다는 추측이 제기되고 있습니다. 이전 연구에서도 여학생이 남학생보다 학력 인증 시험에서 더 우수한 성적을 거두는 경우가 많지만(Cuddy 외, 2007, 2011; Grierson 외, 2017; Swygert 외, 2012), 개별 학교(맥마스터, 퀸즈, 웨스턴)에서는 유의미한 관계가 나타나지 않았습니다(참고: Gauer 외, 2018; Rubright 외, 2019). 따라서 전체 데이터 수집에서 중요한 요소와 학교 수준에서 가변적인 요소를 모두 고려해야 합니다. 이러한 변수가 유의미한지 여부는 개별 학교 수준에서 고려하는 것이 중요하며, 다른 변수(예: 임상실습)와 비교할 때 이러한 변수의 상대적 효과는 미미하다는 점에 유의해야 합니다.

 

모델 구축 과정에서 입학 변수는 처음에는 유의미한 것으로 나타났지만, 최종 단계에서 전체 모델에 대한 상대적 효과는 감소했습니다. 그러나 이것이 입학 변수가 무의미하다는 것을 의미하지는 않습니다. 실제로 입학 변수는 주목할 만한 연관성을 보이며 상당한 강점을 보였습니다. 그럼에도 불구하고 모델의 후반 단계에서 더 밀접하게 연관된 변수를 포함할수록 더 강한 연관성을 보였습니다. 입학 변수가 유지된 경우, 입학 시험(예: MCAT)을 반영하는 고유한 변수가 되는 경향이 있었습니다. MCAT, 특히 언어 추론 영역이 면허 시험의 성과와 관련이 있다는 것은 문헌에 잘 기록되어 있습니다(Barber 외, 2018; Donnon 외, 2007; Gauer 외, 2018; Gullo 외, 2015; Hanson 외, 2022; Raman 외, 2019). 본 연구는 이미 의과대학에 입학한 학생들만을 대상으로 하였기 때문에 입학 변수의 부족은 부분적으로 범위 제한에 기인한 것으로 생각되며, 따라서 입학한 개인에 대한 전체 변수의 규모가 제한될 수 있습니다. 이 문제는 다른 의료 전문직 연구에서도 입학 후 성과 효과를 추정할 때 한계로 지적된 바 있습니다.

 

일반적으로 의과대학 첫 2년 동안 실시되는 학교 수준 평가school level assessments에 대한 논의에서도 MCCQE1과 연관성이 있는 것으로 나타났습니다. 이는 공통 변수에 대한 기관 간 분석뿐만 아니라 학교별 분석의 맥락에서도 일관되게 나타났습니다. 연구(Barber 외, 2018; Kleshinski 외, 2009; White 외, 2009)에 따르면 이는 성과와 위험을 고려할 때 중요한 것으로 나타났습니다. 현 단계에서는 MCCQE1에서 평가되는 내용 간에 강력한 연관성이 있을 것으로 추측할 수 있습니다. 또한 인증 과정이 면허 시험의 성과와 강력한 연관성 및 모든 학교에서의 일관성 유지에 중요한 역할을 할 수 있다고 생각합니다. 주목할 만한 점은 보완적인 고유 전문 역량 변수unique professional competence variable는 MCCQE1과 관련이 없었다는 것입니다. 그러나 이는 전문 역량이 중요하지 않다는 뜻이 아니라 MCCQE1의 초점이 지식 기반 평가의 내용과 더 일치할 가능성이 높다는 의미입니다.

 

현 단계에서 저희의 결과는 Hecker, & Violato(2009)의 연구 결과와 일치하며 주로 인용된 연구를 뒷받침합니다. 이 연구에서는 커리큘럼 변수와 미국 의사 면허 시험(USMLE) 점수 사이의 연관성을 발견했습니다. 우리의 연구 결과와 유사하게 이러한 연관성은 결과에 더 근접한 성과와 비교할 때 본질적으로 더 작은 경향이 있었습니다. 그러나 Hecker & Violato(2009)의 연구와 이 백서에서 제시된 연구 사이에는 몇 가지 차이점이 있습니다. 그들은 USMLE의 세 단계를 복합적으로 조사했지만, 우리는 MCCQE1과의 연관성만 조사했습니다. 보다 면밀한 비교를 위해서는 1단계 점수를 결과로, 학부 성적을 독립 변수로 하여 조사하는 것이 좋습니다. 여기서 강조해야 할 것은 평가의 근접성과 연관성의 강도입니다. Hecker & Violato(2009)는 1,2단계와 3단계 간에 매우 높은 상관관계를 발견하여 초기 단계의 결과가 다음 단계의 결과에 대한 강력한 예측 인자임을 시사했습니다.

 

이 연구에서도 마찬가지로 4단계와 5단계(OSCE1[2개 학교에서만 실시], OSCE2 및 임상실습)에 포함되고 MCCQE1에 가깝게 실시되는 경향이 있는 성과 및 작업장 기반 평가는 MCCQE1과 매우 강한 연관성을 보였습니다. 어떤 경우에는 이러한 변수가 분산 설명의 20% 이상을 차지하기도 했습니다. 이러한 평가는 MCCQE1의 향후 성과를 예측할 수 있는 강력한 지표입니다. 이러한 결과는 이러한 변수와 미국 의사 면허 시험(USMLE) 및 MCCQE1 간의 연관성을 보여준 연구 결과와 일치합니다(Escudero, 2011; Monteiro et al., 2017). 성과, 직장 기반, 생의학 지식performance, workplace-based, and biomedical knowledge이 MCCQE1에 미치는 영향의 대부분을 차지한다는 점은 주목할 만합니다. 이러한 결과 패턴은 학교 평가가 생물 의학 및 임상 실습 내용에 주로 초점을 맞추고 있는 MCCQE1에 잘 부합한다는 것을 시사합니다. 이처럼 중요한 주장을 하고 있지만, 학교 수준에서 이러한 관련 효과에는 차이가 존재합니다. 일부 학교는 OSCE 성과와 더 밀접한 관련이 있는 반면, 다른 학교는 임상실습 평가와 더 밀접한 관련이 있습니다. 따라서 이러한 결과와 과정은 현지 평가의 질을 개선한다는 관점에서 고려되어야 합니다. 이는 특히 MCCQE 파트 2의 취소로 인해 학교 수준의 OSCE에 덜 노력했을 수 있는 학교에게 의미 있는 결과일 수 있습니다. 또한 이 결과는 각 학교에서 제공할 수 있는 독특한 교육법과 관련하여 고려되어야 합니다.

 

전반적으로 이 연구의 목적은 면허 시험에서의 성과가 양질의 진료와 관련이 있다는 가정 하에, 양질의 환자 진료에 기여하는 연관성을 더 잘 이해하는 것이었습니다. 포괄적인 범위의 임상실습 변수와 몇 가지 고유 변수를 포함한 개별 학교 분석을 고려했을 때, 이러한 변수가 총체적으로 MCCQE1 결과의 평균 ∼51%를 설명하는 것으로 나타났습니다. 이는 기관 간 데이터를 대조하여 분석한 결과의 분산이 약 32%인 것과 비슷한 수준입니다. 설명되는 분산 비율의 차이는 고유 변수가 포함되었기 때문일 수도 있지만, 표본 크기의 영향도 있을 수 있습니다. 데이터의 양이 많은 대규모 데이터 집합일수록 극단값의 영향을 완화하는 경향이 있는 반면, 소규모(학교 수준) 데이터일수록 극단값이 더 뚜렷하게 나타날 수 있습니다. 이러한 현상은 종종 문헌에서 '작은 수의 법칙'(Tversky, & Kahneman, 1971)이라고도 하는데, 이는 작은 데이터 세트에서는 효과가 과대평가되는 경향이 있는 반면, 세분화된 전체 데이터를 검토할 때는 과소평가가 발생할 수 있음을 시사합니다. (맥니쉬와 스테이플턴, 2016; 오스본, 2000) 안타깝게도 윤리 및 데이터 공유 계약으로 인해 학교 수준의 클러스터링 효과를 설명할 수 있는 다단계 모델 접근법을 사용할 수 있는 집계된 데이터 세트에서 학교를 식별할 수 없었습니다. 현재로서는 이 연구에서 확인된 변수로 전체 변수의 약 32%를 최소한으로 설명할 수 있습니다. 그러나 개별 학교는 더 많은 분산을 설명할 수 있는 잠재력을 가지고 있으며, 더 많은 수의 질 높은 평가를 통해 학교 수준과 전체에서 이 분산의 더 많은 부분을 설명할 수 있습니다.

 

이러한 결과의 중요성과 캐나다를 기반으로 한 이 연구가 극소수의 다기관 연구 중 하나라는 점을 고려할 때, 몇 가지 제한 사항을 고려하는 것이 중요합니다. 이 연구의 주요 목표는 학교 수준의 데이터와 면허 시험 성적과의 연관성에 대한 이해를 높인다는 공통의 목표를 향해 진전을 시작하는 것이었습니다. 초기의 열의에도 불구하고 의과대학에서 여러 기관의 교육 연구를 촉진할 수 있는 확립된 절차적 요소가 부족하다는 사실을 금방 알게 되었습니다. 따라서 공동 작업의 상당 부분은 이 공동 목표를 위해 그룹이 공동으로 작업할 수 있도록 프로세스, 절차, 정책 및 데이터 공유 계약을 수립하는 것이었습니다. 그러나 이 백서는 학교가 실제로 여러 지역의 교육적 노력을 지원하기 위해 협력하고 교육 데이터를 공유할 수 있다는 가능성을 입증하고 문서화했습니다.

 

결과가 대부분 긍정적이긴 하지만, 7개 기관이 협력하고 조직화하는 과정이 간단치 않았다는 점에 유의해야 합니다. 우리 그룹은 스페인 바르셀로나에서 열린 2016년 유럽 의학교육협회(AMEE) 컨퍼런스에서 이러한 논의를 시작했습니다. 초기 아이디어를 성공적으로 모으고(Chahine 외, 2018 참조), 보조금을 확보하고, 주요 지식 동원 활동(dataconnection.ca)에 참여했지만, 데이터를 공유하는 과정은 간단하지 않았습니다. 각 기관의 법률 자문과 허가를 받아야 했고, 포괄적인 데이터 거버넌스 문서와 조직을 만들어야 하는 등 강도 높은 과정이 필요했습니다. 하지만 시간이 많이 걸렸음에도 불구하고 관련된 모든 사람이 이 작업의 중요성을 중요하게 생각했으며, 주로 데이터 보호 확인, 기관의 독립성 유지, 예상 가능한 결과 예측에 중점을 두었다는 점을 강조할 필요가 있습니다. 현재 보건 전문가 교육에서 데이터 공유 및 빅 데이터에 대한 유용한 합의문이 마련되어 지침이 될 수 있다는 점은 주목할 가치가 있습니다(Kulasegaram 외., 2024).

 

협업 절차를 수립한 후, 학교 간 공통성이 부족하다는 기술적 한계에 부딪혔습니다. 인구통계학적 변수와 입학 변수는 일관성을 보였지만, 개별 학교 수준의 학교 평가와 교육 데이터에서는 상당한 변동성이 관찰되었습니다. 이러한 편차는 특히 의과대학의 첫 2년 동안 일반적으로 제공되는 과목에서 두드러졌습니다. 학교들 간의 광범위한 논의와 협력 끝에 저희는 생물의학 지식을 나타내는 변수를 만들기로 결정했습니다. 그러나 이러한 수준의 감소는 개별 과목의 전반적인 영향을 최소화했을 수 있습니다. 이는 임상실습 전 변수의 수를 단 하나로 줄였기 때문에 상당한 제약이 되었습니다. 이 연구의 목적에는 부합했지만, 입학 전과 임상실습 과정 사이에 더 많은 데이터 포인트가 있었다면 분산이 설명하는 비율을 높일 수 있었을 것입니다. 하지만 학교 간의 다양성을 고려할 때, 이는 제한적이기는 하지만 데이터를 확보하기 위한 최선의 접근 방식이었습니다. 또한 개별 학교 데이터 시스템에서 평가가 캡처되는 방식 때문에 전문 및 임상 기술에 중점을 둔 과정을 설명할 수 없었습니다. 작업장 기반 평가는 약간의 개선을 보였으며 이 영역에서 몇 가지 공통점을 확인했습니다. 그럼에도 불구하고 이러한 평가를 공통 회귀 모델에 통합하려면 상당한 데이터 조작이 필요했습니다. 이 연구 결과를 발표하면서 해석의 타당성에 대한 잠재적 타협 가능성을 인정합니다. 따라서 우리는 각 학교가 코스 기반, 성과 기반 및 직장 학부 의학교육 데이터와 관련된 데이터를 보고하기 위한 공통 프레임워크를 개발하는 데 협력할 것을 강력히 촉구합니다.

 

공통 프레임워크가 있으면 여러 기관의 교육 연구를 용이하게 할 뿐만 아니라 학교 간 중재 또는 새로운 프로그램의 효과를 연구하는 데도 도움이 될 것입니다. 이 협업은 빅 데이터의 개념(Chahine 외., 2018)을 중심으로 개별 데이터 세트를 훨씬 더 큰 통합 데이터 세트로 조정하는 것을 목표로 합니다. 장기적인 목표는 교육 데이터와 의료 시스템 데이터를 통합하는 것이지만, 이번 연구는 잠재적 가능성의 극히 일부에 불과합니다. 이러한 연구 결과의 직접적인 시사점 외에도, 연구 과정(Grierson 외, 2022)은 교육 학술활동 지원에서 기관 간 데이터 공유의 과제와 장점에 대한 귀중한 통찰력을 제공했습니다. 그러나 개별 학교 시스템 간의 연계 부족으로 인해 근본적인 수준에서 상당한 장애물에 부딪혔습니다. 의학교육에서 빅데이터에 대한 논의가 10년 이상 지속되어 왔음에도 불구하고(Arora, 2018; Ellaway 외, 2014, 2019; Murdoch & Detsky, 2013; Pusic 외, 2015) 3년간의 의과대학 성과와 의학 시험 점수를 아우르는 데이터 세트를 만들려는 시도는 완벽하지 않았습니다. 이론적으로는 대규모 교육 데이터 세트를 생성할 수 있어야 하지만, 이러한 목표를 달성하기 위해서는 아직 커뮤니티로서 갈 길이 멀었습니다. 개별 학교의 자율성과 개성을 존중하면서 동시에 호환 가능한 데이터 세트를 구축하고 공통 보고 프레임워크를 구현하는 기술적 측면을 촉진하는 데 상당한 노력을 기울이지 않는다면 의대는 데이터와 정보를 활용하여 품질을 향상시키는 다른 산업에 뒤처질 위험이 있습니다.

 

결론

 

데이터는 교육 관행을 혁신할 수 있는 엄청난 잠재력을 가지고 있습니다. 이번 연구는 면허 시험에 영향을 미치는 요인을 일반화할 수 있는 가능성을 엿볼 수 있게 해줍니다. 협업과 데이터 연계를 통해 라이선스 성과를 예측하는 데 있어 교육 데이터의 누적 효과를 탐색할 수 있었습니다. 하지만 이 결과를 통해 부족한 점도 발견할 수 있었습니다. 특히, 사전 교육 효과가 유의미한 평가 데이터가 부족했습니다. 이러한 결핍은 평가 데이터가 부족해서라기보다는 총체적인 목적을 위해 고품질의 평가 데이터를 확장하는 데 어려움이 있기 때문입니다. 의과대학 프로그램에서 기술이 발전함에 따라 평가의 규모를 조정하는 것은 실행 가능한 옵션이 되었습니다. 이 백서는 결과뿐만 아니라 그 과정을 개괄적으로 설명하는 데 있어서도 가이드 역할을 할 수 있습니다. 이 백서는 학교가 협력하여 교육을 혁신하는 데 활용할 수 있는 대규모의 다중 기관 데이터 세트를 만들 수 있는 잠재력을 강조합니다.