모든 길이 역량으로 이어질 수 있을까요? 면허 시험 점수에 미치는 학교 수준의 영향 (Adv Health Sci Educ Theory Pract. 2025)

Meded. 2025. 4. 5. 17:12

2025. 4. 5. 17:12

🎓 의대 어디 나왔냐고요? 면허시험 성적엔 큰 영향 없어요!

“어느 의과대학을 다녔느냐”가 의사 면허시험 성적에 얼마나 영향을 줄까요?
이 질문은 오랫동안 의학교육계에서 제기되어온 이슈인데요,
최근 캐나다 온타리오주의 6개 의대 데이터를 분석한 대규모 연구가 흥미로운 답을 내놨어요. 📊

연구진은 총 1,700여 명의 학생 데이터를 분석해 의대 소속, 입학 성적, 임상실습 성과, OSCE 점수, 그리고 가정의학 전공 여부까지 다양한 변수를 살펴봤어요.

결과는?
✅ **면허시험 성적(MCCQE1, MCCQE2)**에 가장 큰 영향을 준 건
👉 개인의 임상실습 성과와 기존 학업 성적이었어요.
✅ 어느 의대를 나왔는지(학교 소속)는 성적에 미치는 영향이 매우 작았고,
전체 점수 분산의 4% 미만만 설명했어요.
✅ MCCQE2에서는 가정의학 레지던시 여부가 성적에 의미 있는 영향을 줬다는 점도 흥미롭죠.

이 연구는 의학교육자들에게 이런 메시지를 줍니다:

“의대 교육은 서로 다를 수 있지만, 결과적으로 학생 개개인의 준비가 더 중요하다.”
“그러니 교육과정을 지역사회나 학생 맞춤형으로 자유롭게 구성해도 괜찮다!”

물론 이 결과가 의대 간의 모든 차이가 무의미하다는 뜻은 아니에요.
숨은 교육과정이나 문화적 차이는 아직 더 깊은 연구가 필요한 영역이니까요. 🤔

하지만 하나는 분명해요—
📌 학생 스스로의 노력과 성장이 결국 면허시험 성과를 만든다!

서론 (Introduction)

의학교육의 질을 이해하고 향상시키기 위해서는 교육 실천이 향후 학습 성과에 미치는 영향을 살펴보는 것이 도움이 될 수 있다. 예를 들어, **평가(assessment)**의 모범 사례(best practices)는 **어떤 형태의 학습자 평가(student appraisal)**가 **향후 중요한 성과(performance)**와 어떻게 연관되어 있는지를 연구함으로써 탐색된다. 이러한 연구는 **평가의 타당성(validity of assessments)**에 대한 근거를 제공하며, 의과대학이 **위험군 학습자(at-risk learners)**를 식별하고 **교육과정에 대한 정보에 기반한 결정(curriculum decisions)**을 내리는 데 도움을 준다.

대표적인 사례로는 **면허시험 결과(licensing outcomes)**에 관한 연구들이 있다. 캐나다(Canadian) 맥락에서, 의과대학 입학(admissions) 정보(Eva et al., 2012)와 평가 자료(assessment data) (예: Blake et al., 1996)는 캐나다의사자격시험(MCCQE1 및 MCCQE2) 성과와 긍정적인 상관관계를 보였으며, 이는 다시 **향후 의사로서의 진료 행태(physician practice behaviours)**와 **환자 불만(patient complaints)**을 예측하는 데 유의미한 것으로 나타났다(De Champlain et al., 2021; Wenghofer & Boulet, 2022; Tamblyn et al., 2007).

의학교육에서 지속적으로 제기되는 질문 중 하나는 다음과 같다:

"향후 학습 성과(future learning outcomes)는 학습자 개인의 능력(trainee’s own abilities)과 교육 프로그램 및 학습 환경(training program and learning environment)의 영향 중 어느 것과 더 관련이 있는가?"

이 질문은, 자신의 **적성(aptitudes)**과 **교육 기회(educational opportunities)**가 어떻게 미래를 형성하는지를 알고자 하는 학습자들에게 매우 중요하다. 또한, 의학교육 리더와 교육자들에게는 이 질문이 교육과정 자원 배분(curriculum resourcing), 학습 지원(learning support), **선발 시스템(selection systems)**에 관한 정책 결정을 안내하는 데 중요한 역할을 한다. 리더들은 또한 더 나은 학습 성과를 보이는 학교나 프로그램의 특성을 벤치마킹하고자 할 수 있다.

그러나 이런 중요한 질문들은 쉽게 답할 수 없다. 왜냐하면 어느 의과대학에 진학하느냐에 따라 교육 경험이 크게 달라질 수 있으며, 그 폭은 측정하기 어렵기 때문이다.

같은 인증(accreditation) 및 규제 체계(regulatory regimes) 하에 운영되더라도, 학교 간 **교육 실천(educational practices)**은 상당히 다를 수 있다.
**공통 역량 프레임워크(competency frameworks)**는 훈련 기간(length of training), 입학 기준(admissions criteria), 기관의 사회적 책무(social accountability mandates) 등 중요한 차이점들을 가릴 수 있다.
더 나아가, 각 학교는 문제 중심 학습(problem-based learning) 대 전통적 강의 중심 교수법(traditional didactic instruction), 프로그램 기반 평가(programmatic assessment) 대 총괄 평가(summative assessment) 등 **서로 다른 교육 패러다임(educational paradigms)**을 채택할 수 있다.

이러한 교육과정(curricula), 평가(assessment) 및 기타 실천의 차이는 지역 교육 문화(local educational culture), 이해관계자의 책무(stakeholder accountability), 이용 가능한 자원(available resources) 등에 따라 형성된다. 이와 같은 **다양성(variability)**은 분명히 학습자의 경험에 영향을 미치지만, 그 다양성이 향후 성과에 어떤 영향을 미치는지는 아직 명확하지 않다.

학부 교육기관의 영향에 대한 연구들

학부 수준의 의학교육 기관이 향후 성과에 미치는 영향을 개인의 성취와 비교하여 명시적으로 분석한 연구는 극히 드물다.
이는 무엇보다도 공통되면서도 엄밀한 비교 지표를 찾는 데 따르는 방법론적 어려움(methodological challenges) 때문이며, 또 하나는 이 질문이 정치적으로 민감한 성격을 띠고 있기(politically sensitive) 때문이다.

No dean or educational leader wants to be seen as graduating learners who perform worse than those from other institutions.
→ 어느 학장이나 교육 리더도 자교 졸업생이 타 학교 출신보다 성과가 낮다고 평가받는 상황을 원치 않기 때문이다.

그럼에도 불구하고 몇 가지 주목할 만한 **참고 지점(reference points)**이 있다.

Hecker와 Violato는 2008년과 2009년, 미국 내 116개 의과대학의 9,000명 이상의 학생 데이터를 분석한 대규모 연구에서, **정규 교육과정 접근법(formal curricular approaches)**이 미국의사자격시험(USMLE) 성과에 어떤 영향을 미쳤는지를 조사했다.
이들의 연구는 **교육과정 간의 차이가 시험 성과에 미치는 영향은 매우 미미하였으며, 설명력은 1% 미만(< 1% of the variance)**이었다고 결론지었다(Kumar et al., 2003도 같은 결론).

최근에는 교육과정 구조 이외의 요인들, 예를 들어

교수-학생 비율(faculty-student ratios),
연구비 수주(grant funding),
졸업생 집단의 사전 학업 성과(prior academic performance) 등을 포함한 USMLE 데이터 분석이 수행되고 있다.

이러한 연구들은 다음과 같은 의미 있는 영향 요인을 확인하였다 (Burk-Rafel et al., 2019; Ghaffari et al., 2019):

의과대학 그 자체(medical school),
표준화된 입학시험 성과(standardized admissions tests),
1인당 교수 연구비 수주(per capita faculty grant capture) 등.

영국의 경우, McManus 등(2020)은 다음과 같은 요소들이 학교마다 **미래의 진로 선택(future career choices)**에 크게 상이한 영향을 미친다는 점을 밝혔다:

전문과목 교수법(specialist teaching),
입학 기준(admissions),
교육과정 구조(curriculum structure),
학업 및 전문성 차원의 어려움(academic and professional difficulty) 등
(관련 연구: Wakeford et al., 1993).

이와 같은 **학교별 차이(school-based differences)**는 영국 내 다른 연구들에서도 반복적으로 확인되었으며, 예를 들어:

**Ellis et al. (2021), Brennan et al. (2022)**는 의과대학의 평가 성과가 외과 분야의 *전문의 자격시험 성과(specialty certification examination performance)*를 예측함을 보고했다.
입학시험 성과(admissions performance) 자체만으로도 전문과 시험 결과를 의미 있게 예측할 수 있음이 드러났다(Ellis et al., 2022).

의과대학 간 성과 차이의 원인

의과대학 간 성과 차이에 대한 원인은 여전히 논쟁의 대상이다. 다음과 같은 다양한 요인이 제시된다:

교육과정의 차이(curricular differences) (Koh et al., 2008),
입학 시스템의 질(quality of admissions processes) (Patterson et al., 2016, 2018),
또는 각 학교가 끌어들이는 학생군의 특성(contextual factors, e.g., the nature of trainees attracted by different schools) 등.

이러한 **격차(disparity)**는 다음 사실을 부각시킨다:

"의과대학이 학습 성과에 미치는 영향을 다룰 때, 그 복잡성을 간과해서는 안 된다."

오직 하나의 독립 변수(예: 소속 의과대학, 또는 교육과정 유형)에만 초점을 맞추면, **면허시험 성과(licensing performance)**처럼 상대적으로 잘 알려진 결과가 어떻게 다양한 방식으로 영향을 받을 수 있는지를 가릴 수 있다.

대규모 국가 연구조차도, 의과대학 내에서의 학생 성취(achievement) 및 **성과(performance)**에 대한 세부 자료 부족으로 인해 제한된다.

교육과정 선택이 면허시험 성과에 미치는 영향

면허시험 성과에 영향을 미치는 요인은 다양하나, 이는 대개 **학생 개인의 차이(individual student variance)**로 이해되며, 그럼에도 불구하고 **학교 차원의 교육과정 선택(curriculum choices at the school level)**에 의해 간접적으로 영향을 받을 수 있다(Jeyaraju et al., 2023).

예를 들어,

**평가 체계(program of assessment)**가 학습자를 어떻게 준비시키는지,
해당 평가가 면허시험 기대치와 얼마나 정렬되어 있는지는 핵심 요인이다.

그러나 이전 연구들은 종종 다음과 같은 이유로 인해 이러한 요인을 드러내지 못했다:

**의과대학 내 평가 실천(assessment practices)**과
**평가 성과(performance)**에 대한 데이터 부족(lack of data) (Jeyaraju et al., 2023; Blake et al., 1996).

교육 선택(educational choices)이 면허시험에 어떤 영향을 미치는지를 철저히 검토하기 위해서는, 단순히 대규모 데이터뿐 아니라,

**학교 단위의 세부 변수(detailed school-level variables)**를 여러 기관 간에 비교 가능한 방식으로 확보해야 한다.

현재 연구 (The current study)

대부분의 의과대학 교육 실천을 다룬 연구는 단일 기관의 데이터를 기반으로 한다. 이러한 연구들은 강력한 내적 타당성을 지니지만, **여러 기관 간의 교육 연속선(training continuum)**을 아우르는 **데이터 공유(collaborative data sharing)**는

**일반화 가능성(generalizability)**과 **연구의 영향력(impact)**을 높이는 데 기여할 수 있다.

**다기관 분석(multi-institution analyses)**을 통해

**프로그램 내에서의 평가 도구와 학생 성과(student performance)**가
**면허시험 성과(licensing outcomes)**를 어떻게 예측하는지를 밝히는 연구는,
**더 넓은 실천 영역을 안내할 수 있는 귀중한 통찰(insights)**을 제공할 수 있다.

이러한 접근은 최근 의학교육 분야에서 점점 더 중요해지고 있으며,

데이터 공유의 필요성에 대한 요구 증가(data sharing calls) (Chahine et al., 2018; Ellaway et al., 2014; Grierson et al., 2023; Kulasegaram et al., 2024)
그리고 그 적용 사례(application examples) (Jerant et al., 2019; Grierson et al., 2017)들이 등장하고 있다.

👉 이와 같은 연구 접근은 분석의 통계적 파워를 높이고,
**학교 간 차이 또는 유사성(school differences or similarities)**이 **모범 사례(best practices)**를 어떻게 형성하는지를 보다 깊이 이해할 수 있게 해준다.

이 연구는 **온타리오 주의 6개 의과대학에서 수집한 데이터를 분석한 다기관 연구(multi-institution study)**로,
의과대학 간 차이가 캐나다 온타리오 지역 의대생의 면허시험 성과에 어떤 영향을 미치는지를 규명하고자 하였다.

이 연구는 **Ontario Medical Schools Outcomes Research Consortium (OMSORC)**에서 수행한 또 다른 연구와 연계되어 있으며, OMSORC는 다음의 여섯 개 의대(MD 프로그램)가 참여하는 협업체이다:

McMaster University
Northern Ontario School of Medicine
Queen’s University
University of Ottawa
University of Toronto
Western University

그리고

Medical Council of Canada (MCC)
**Canadian Resident Matching Service (CaRMS)**도 파트너로 참여하였다 (Chahine et al., 2024).

이 다면적 연구는 다음을 규명하고자 하였다:

**세 개 학년(cohorts)**에 걸쳐
여섯 학교의 학습자들을 대상으로
MCCQE1 및 MCCQE2 성과를 예측하는
**공통 및 고유 요인(common and unique predictors)**을 분석.

왜 면허시험(MCCQE1 & MCCQE2)이 중요한가?

면허시험은 학습자가 독립적인 진료를 시작할 수 있는지를 결정짓는 핵심 자료이다.
따라서, **의과대학의 교육과정(curriculum)**은 이 고위험(high-stakes) 시험을 충분히 준비시킬 수 있어야 한다.

또한, MCCQE1 및 MCCQE2 성과는 다음과 같은 **임상 현장 기반 결과(in-practice outcomes)**와도 상관관계가 있음이 입증되었다:

처방 패턴(prescription patterns) (Tamblyn et al., 2007)
환자 불만(patient complaints) (De Champlain et al., 2020; Wenghofer et al., 2022)
입원율(hospitalization rates) (Norcini et al., 2023)
예방의학 실천(preventive medicine practices) (Tamblyn et al., 2007)

👉 이 결과는 타 국가의 연구들과도 일치하며, **면허시험과 인증시험의 타당도(validity evidence)**를 뒷받침한다 (예: Norcini et al., 2014).

이 연구의 독창성

다른 나라(예: UKMED)에서는 오랫동안 훨씬 더 큰 규모의 데이터셋을 기반으로 유사한 질문을 다루어 왔다.
그러나 이 연구는 다수의 캐나다 의학교육 기관에서 수집한 다양한 평가 지표와 성과 간의 연관성을 분석했다는 점에서 **독창적(novel)**이다.

"이 정도의 범위와 깊이(depth and breadth)로 데이터가 공유된 사례는 지금까지 없었다."

여러 기관의 데이터를 결합함으로써:

훨씬 더 큰 데이터셋을 기반으로
모범 사례(best practices) 도출,
의학교육 프로그램에 대한 인사이트 제공이라는 목적을 달성할 수 있었다.

이 연구는 의과대학 입학부터 졸업, 그리고 그 이후까지의 정보를 포함한 캐나다형 다기관 데이터 공유 협업의 실현 사례로,

빅데이터 기반 연구의 가능성을 제시하는 동시에,
이 접근이 지닌 다양한 제약 요인도 부각시킨다.

예:

학습자 개인 정보 보호(confidentiality),
참여 기관의 평판 및 평가 보안 보호(reputation and assessment security) 등이 그것이다.

👉 그럼에도 불구하고, 이 연구는 상대적으로 작은 규모임에도 불구하고,
의학교육에서 "큰 질문(big questions)"에 답하기 위한 데이터 공유 문화 변화의 중요한 성취라고 할 수 있다.

이 논문의 위치

이 논문은 OMSORC의 첫 번째 연구(Chahine et al., 2024)를 기반으로 한다.
당시 연구는 여섯 개 MD 프로그램 전체에 걸쳐 MCCQE1 성과의 공통 및 고유 예측 요인을 규명했다.

이번 **2차 데이터 분석(secondary data analysis)**은 그 연구를 기반으로

**의과대학 소속(school membership)**이 면허시험 성과에 미치는 영향을 다른 예측 요인과 비교하여 정량적으로 분석하였다.

방법 (Methods)

연구 설계

본 연구는 **OMSORC의 주요 연구 프로젝트의 일환으로 수행된 2차 자료 분석 연구(secondary data analysis)**이다.

연구 대상 (Population)

이 연구의 대상은 다음 여섯 개 **온타리오 주 의과대학(Ontario medical schools)**의

**2015년, 2016년, 2017년 졸업 학년(cohorts)**으로서,
그 해당 연도에 MCCQE1을 처음으로 응시한 졸업생들이다.

참여 대학:

McMaster University
Northern Ontario School of Medicine
Queen’s University
University of Ottawa
University of Toronto
Western University

이들 중 일부는 MCCQE2에도 응시하였으며, 해당 응시자들도 별도로 분석에 포함되었다.

데이터셋 구축을 위해 다음과 같은 절차가 적용되었다:

**학교 소속을 비식별화 및 블라인딩(blinding)**한 후,
**각 학교에서 무작위로 유사한 수의 학생들(equal random samples)**을 추출하여
분석에 사용될 데이터셋을 구성하였다.

총 표본 수

MCCQE1: n = 1,112

MCCQE2: n = 616

👉 이렇게 무작위 하위 집단을 추출한 이유는 학교 간 졸업생 수 차이로 인해 학교 식별이 가능해지는 것을 방지하기 위해서였다.

예측 변수 (Predictors)

본 연구에서 사용된 **잠재적 예측 변수(potential predictors)**는 Table 1에 제시되어 있으며,
이들 변수는 모든 학교에서 공통적으로 확보 가능한 변수였다.

일부 변수는 **학교 간 동일한 척도로 표현되도록 변환(transformed)**되었으며,
변수 및 변환 과정에 대한 상세한 설명은 Chahine 외(2024)의 논문(동호 출간)에서 제공된다.

변수의 세 가지 범주 (Three classes of variables)

사회인구통계학적 변수 (Sociodemographic variables)
- 예: 나이(age), 성별(sex), 고등학교 시기 거주지의 소득 분위수(neighbourhood income quintile)
입학 성과 (Admissions performance)
- 예: 학부 GPA (undergraduate GPA)
평가 성과 (Assessment performance)
- 예:
  - 기초의학 교육 기간 동안의 집계 성적(aggregated biomedical knowledge grades)
  - 객관적 구조화 임상평가(Objective Structured Clinical Examination, OSCE) 결과
  - 6개 공통 임상실습 과목에 대한 집계 성적(aggregated clerkship grades)

공통 임상실습 과목 6개:
외과(Surgery), 정신과(Psychiatry), 소아과(Pediatrics), 가정의학(Family Medicine), 산부인과(Obstetrics and Gynecology), 내과(Medicine)

이미 **공통 척도에 기반하거나 범주형(categorical)**으로 되어 있는 변수는 변환하지 않음.
하지만 다음과 같은 **성적 관련 지표(grade metrics)**는 **각 학교 내 분포 기준으로 Z 점수화(z-scored)**하였다:
- 기초의학 성적,
- 사전 임상(pre-clerkship) 성적,
- OSCE 점수 등

임상실습 성적의 변환 (Clerkship Grade Transformation)

**임상실습 성적(clerkship grades)**은 학교마다 기록 및 보고 방식이 다르기 때문에 **집계와 변환에 있어 고유한 도전 과제(unique challenge)**를 제시했다. 이를 해결하기 위해,

**부분 점수 Rasch 모형(partial-credit Rasch model)**을 활용하여
**학습자의 능력 추정치(person ability estimates, theta scores)**를 산출하였다 (Mair & Hatzinger, 2007).

이 점수는 다음과 같은 특징을 가진다:

여섯 개 공통 임상실습 과목 전체의 성과를 기반으로 하며,
평균 수준의 학생에게는 theta = 0을 부여하고,
이보다 높은 성과는 양의 theta로 나타난다.
모든 변환은 각 학교 내에서 수행됨.

MCCQE2 분석을 위한 추가 예측 변수

MCCQE2 분석 시에는 두 가지 추가 예측 변수가 포함되었다:

MCCQE1 총점(total score)
가정의학 레지던시에 매칭 여부(if matched to a family medicine residency)

후자는 MCCQE2가 전반적(generalist) 성격의 평가이기 때문에,
일반 진료(generalist training) 여부가 성과와 관련이 있을 수 있다는 가정 하에 포함되었다.

결과 지표 (Outcome Measures)

이 분석에서 설정한 **두 가지 주요 결과 지표(primary outcome measures)**는 다음과 같다:

MCCQE1 성과 (MCCQE1 performance)
MCCQE2 성과 (MCCQE2 performance)

▷ MCCQE1

MCCQE1은 **지식과 그 응용 능력의 전산화 평가(computerized assessment of knowledge and its application)**로,
다음 두 파트로 구성된다:
- 객관식 문항(Multiple Choice Questions, MCQs)
- 임상 의사결정 문항(Clinical Decision Making, CDM questions)
이 시험은 일반적으로 **의과대학 교육(MD training)**이 거의 끝나갈 무렵 응시하지만,
경우에 따라 더 나중에 응시하는 것도 가능하다.

▷ MCCQE2

MCCQE2는 **레지던트 1년차(postgraduate year 1)**에 시행되는 **객관적 구조화 임상평가(OSCE)**로,
**면허 취득의 마지막 단계(final stage of licensing)**이다.
본 연구에서 모든 참여자가 MCCQE2를 완료한 것은 아니었기 때문에,
분석 시 표본 수가 50% 이상 감소하였다.
참고: MCCQE2는 **2020년 이후 폐지(discontinued)**되었다.

▷ 점수 기반 성과 분석 (Why analyze performance scores?)

본 연구에서는 합격/불합격(pass/fail) 여부가 아니라 **점수(performance score)**를 분석하였다.
그 이유는 다음과 같다:

(a) _점수의 선형 변화(linear score change)_는 향후 임상성과와의 관련성이 이미 입증되어 있음.
(b) _점수 기반 분석_은 **더 넓은 결과값 범위(range)**를 제공하여 통계적으로 유리함.

👉 이는 기존의 MCC 시험 성과를 결과 지표로 사용한 연구들과 일치하는 접근이다.

분석 방법 (Analytic Approach)

▷ 모델링 전략

MCCQE1과 MCCQE2 각각에 대해 **별도의 회귀 모델(separate models)**을 구축하였다.
초기에는 **다층 모형(multi-level model)**을 적용하여
학교 및 학년(cohort) 수준의 군집 효과(clustering)가 MCC 시험 성과를 예측하는 데 얼마나 영향을 주는지를 살펴보았다.

▷ 모형 선택 기준

**사전 결정(a priori)**된 기준:
- **군내 상관계수(Intraclass Coefficient, ICC)**가 5% 미만인 경우,
  → 일반 선형 회귀(ordinary least squares, OLS) 회귀로 전환 가능.
- 반대로, 학교나 학년의 효과가 유의미한 경우,
  → 해당 변수를 **랜덤 절편(random intercepts)**으로 포함한 다층 분석을 유지.

▷ 단계별 회귀 모델 구성 (Stepwise Model Building)

회귀 모형은 **변수의 세 가지 범주(classes)**를 순차적으로 추가하는 방식으로 구성하였다:

사회인구통계학적 변수 (Sociodemographic variables)
입학 성과 변수 (Admissions performance variables)
평가 성과 변수 (Assessment performance variables)
- 학업 경험 순서에 따라 다음과 같이 순차적으로 포함됨:
  - 기초의학 성적(biomedical performance)
  - OSCE 점수 (preclinical 및 clinical OSCE scores, 함께 입력)
  - 임상실습 집계 점수(aggregate clerkship score)
학교 소속(school membership) 변수는 마지막 단계에 추가하였다.

▷ 모형 평가

각 단계마다 다음을 평가하였다:

설명력 변화 (변화된 R² 값; R² change)
개별 예측 변수의 통계적 유의성 (significance of individual predictors)
→ 유의수준 α = 0.05로 설정

결과 (Results)

최종 분석에서 사용된 표본은 다음과 같다:

MCCQE1: 1,097명
MCCQE2: 616명

각 의과대학은 **178명에서 186명 사이의 학생 관측값(student observations)**으로 대표되었으며,
결측값이 있는 예측 변수는 목록별 제외(listwise exclusion) 방식으로 처리되었다.

▷ 군집 효과에 대한 초기 분석

**학교 단위의 군집 효과(clustering by school)**를 검토한 다층 모형(multi-level model) 결과:
- MCCQE1과 MCCQE2 모두에서 ICC < 3%
  → 이에 따라, OLS 회귀(ordinary least squares regression) 분석으로 전환.
Table 2: 모든 학교의 결과 변수 평균 및 표준편차
Table 3: 예측 변수에 대한 기술통계 및 빈도

MCCQE1 분석 결과

▷ Step 1: 사회인구통계학적 변수만 포함

유의한 변수(significant predictors):
- 입학 시 나이(Age at admissions): t = 4.47, B = -0.142, p < 0.0001
- 성별(Sex): t = 2.34, B = 0.072, p < 0.019
전체 모델:
- F(4,1045) = 7.5, p < 0.0001
- 설명력: R² = 2.8%

▷ Step 2: 입학 성과(admissions performance) 변수 추가

설명력: R² = 3.1% (소폭 증가)
모델 변화: F(4,1016) = 1.03, p < 0.39 → 유의하지 않음
입학 성과 변수들은 유의한 예측 인자가 아님
Age와 Sex는 여전히 유의함

▷ Step 3: Biomedical Knowledge 변수 추가

설명력 대폭 증가: R² = 22.8%
F 변화 유의함: F(1,1015) = 259.1, p < 0.001
Biomedical Knowledge: t = 16.16, B = 0.446, p < 0.0001

▷ Step 4: OSCE 점수 추가

설명력 소폭 증가: R² = 23.3%
F 변화: F(2,1004) = 2.817, p < 0.06 → 유의하지 않음
OSCE2만 유의함: t = 2.025, B = 0.06, p < 0.043

▷ Step 5: Clerkship Score 추가

설명력 크게 증가: R² = 35% (12.4% 증가)
F 변화 유의함: F(1,1003) = 193.05, p < 0.001
이 단계에서는 OSCE2는 유의하지 않게 되었고, Clerkship Score만 유의: t = 13.98, B = 0.386, p < 0.0001

▷ Step 6: 학교 소속(School membership) 추가

설명력 3.8% 증가 → 최종 R² = 38.5%
F 변화 유의함: F(5,998) = 13.68, p < 0.01

▷ 최종 모델

유의한 변수들만 포함한 모델(Final model with significant variables only)
- F(9,1087) = 75.74, p < 0.001
- Adjusted R² = 35%
가장 큰 예측 효과: Biomedical Knowledge, Clerkship Score
학교 소속도 유의한 예측 인자였지만,
- 다른 요인들을 통제한 후에도 MCCQE1 점수의 분산 중 4% 미만만 설명함
- 학교 간 점수 차이는 모두 유의하지 않았고, 차이의 크기 또한 작았음

MCCQE2 분석 결과

예측 변수가 MCCQE1보다 훨씬 적었음

사회인구통계학적 변수 및 입학 성과 변수: → 모두 MCCQE2와 유의한 상관 없음
성과 변수 중 유의한 것: OSCE2, Clerkship Score → 이 두 변수는 함께 8.7%의 분산 설명

▷ MCCQE1 점수 및 가정의학 레지던시 매칭 여부 추가

설명력 14% 증가
F 변화 유의함: F(2,601) = 55.7, p < 0.0001
MCCQE1 점수: MCCQE2 점수 예측에 유의함
가정의학 레지던시에 있는 경우: → MCCQE2 점수가 평균적으로 30점 더 높음

▷ 학교 소속 추가

추가 설명력 2%
F 변화 유의함: F(5,596) = 3.67, p < 0.0001

▷ MCCQE2 최종 모델

F(9,596) = 22.4, p < 0.0001 → 전체 모델은 통계적으로 유의함

논의 (Discussion)

“교육기관(training institutions)이 학습자의 준비도와 성과에 어떤 영향을 미치는가” 하는 질문은 의학교육에서 오랜 역사를 지닌 주제이다. 이번 **다기관 연구(multi-institution study)**에서는 **면허시험에 응시한 학습자가 속한 학부 의과대학(MD Program)**이 성과에 어떤 영향을 미치는지를, 다른 **잠재적 예측 변수(predictors)**들을 통제한 상태에서 분석하였다.

▷ 주요 발견 요약

**학교 소속(school membership)**은 **MCCQE1 및 MCCQE2 모두에서 유의한 분산(variance)**을 설명했지만,
→ 그 기여도는 상대적으로 작았다.
가장 중요한 예측 변수는 **임상실습 성과(clerkship performance)**였으며,
→ 이는 **캐나다 면허시험의 설계 의도 및 청사진(blueprint)**과 일치한다.

특히 MCCQE2에서는

가정의학(Family Medicine) 레지던시 프로그램에 참여한 것이 점수에 긍정적인 영향을 미쳤다.
→ 이는 **가정의학의 전반적 성격(generalist nature)**이
**MCCQE2의 전반적 평가 청사진(generalist blueprint)**과 잘 부합되기 때문일 수 있다.

👉 이 점은 졸업 1년 후 시행되는 평가인 MCCQE2에서
학교와 성과 간에 작지만 유의미한 관계가 존재하는 이유도 설명해준다.

▷ 연구 강점

온타리오 주 6개 의과대학의 대표 표본(subsample)을 통합하였으며,
**다수의 공통 예측 변수(common predictors)**에 접근 가능했다.

👉 이러한 조건 속에서도 학교 소속의 효과가 작았다는 점은,

**개인 차원의 준비(performance preparation)**가 더욱 중요하며
학교 간 차이는 상대적으로 작은 역할을 한다는 점을 안심시켜주는 결과라고 할 수 있다.

해석 및 설명

1. 학생들의 철저한 시험 준비

가장 단순하면서도 유력한 설명은,
→ 모든 학교의 학생들이 고위험(high-stakes) 시험을 철저히 준비한다는 점이다.
이는 캐나다에서의 낮은 시험 실패율과도 일치한다 (MCC, 2017a; 2017b).

즉, 교육과정 간 차이가 존재하더라도,
**정규 교육 외의 준비 과정(outside of formal education)**이 핵심 요인이 될 수 있다는 것.

2. 캐나다 교육 시스템의 구조적 유사성

**모든 의과대학은 동일한 인증 기준(accreditation standards)**을 따르며,
교육과정도 유사한 수준의 내용과 질을 갖추고 있다고 기대할 수 있다.
공통 임상실습(clerkship rotations),
역량 기반 교육(competency standards) 등은 학교 간 유사성을 뒷받침한다.
실제로 많은 학교가 면허시험의 청사진을 기준으로
**교육과정 및 평가 결정(curricular and assessment decisions)**을 내리고 있다.

3. 방법론적 고려사항

MCC 시험이 **학교 간 차이를 감지할 수 있을 만큼 민감(sensitive)**하지 않을 수도 있다.
애초에 면허시험은 학교 평가를 위한 도구로 설계된 것이 아님.

그럼에도 불구하고, Tamblyn et al. (2007) 등의 연구에서 밝혔듯
→ *면허시험 점수의 선형 변화(linear score change)*는 임상성과와 입학 정책 변화에 민감하게 반응하기 때문에,

여전히 **이 연구 질문에 적절한 결과 변수(outcome measures)**로 간주될 수 있다.

의의 및 문헌과의 연계

본 연구의 접근 및 결과는 의학교육 전반에 국한되지 않으며,
캐나다 맥락에서 해당 주제를 다룬 최초의 연구 중 하나이며,
북미(North America)에서 학부 의학교육이 면허시험에 미치는 영향을 다룬 최신 분석이다.

👉 우리의 결과는 다음과 일치한다:

학교 및 교육과정 차이가 면허시험 예측에 미치는 영향을 평가한 기존 연구들
→ 특히 **Hecker & Violato (2008, 2009)**의 대규모 연구

“Postgraduate 교육 프로그램의 경우에는 다른 결과가 나올 수 있지만(Asch et al., 2012),
적어도 학부 수준에서는 면허시험에 미치는 영향이 크지 않을 수 있다.”

본 연구 결과는 또한 **Chahine et al. (2024)**의 대규모 분석과도 일치하며,
→ **개인 성과(individual performance)**가 MCCQE1의 가장 강력한 예측 요인임을 확인했다.
그 연구는 각 학교 내에서 MCCQE1 예측 요인의 패턴과 수가 다름을 보여주었고,
→ **학교별 고유한 예측 요인(unique predictors)**이 존재함도 시사했다.

논의 (계속)

이 연구 결과는 교육과정을 혁신하거나 변경하고자 하는 교육 프로그램에게 안도감을 줄 수 있는 메시지를 제공한다.
앞서 제시한 여러 이유들로 인해,

학생들은 자신의 능력과 준비도에 따라 면허시험에서 성공할 가능성이 높다.

즉, 학교는 개인의 준비 노력을 지속적으로 지원하는 동시에,

학생, 교수진, 지역사회의 요구에 부응할 수 있는 **교육과정 접근법(curricular approaches)**을 자유롭게 모색할 수 있다.

이 연구에 포함된 학교들은 서로 **매우 다른 교육과정 구조와 교육 철학(curricular structures and philosophies)**을 가지고 있으며,

언어(language),
농촌 보건(rural health),
건강 형평성(health equity) 등
**사회적 책무(social accountability)**에 대응하는 방식에서도 차이를 보인다.

이러한 차이는 각 학교의 **선발 방식(selection)**과 **교육과정 운영(curricula operationalization)**에 영향을 주며,
학교 정체성의 일부로 기능한다 (Ellaway et al., 2018).

예를 들어,

**Northern Ontario School of Medicine (NOSM)**은
→ 북부 및 농촌 지역 보건에 특화된 사회적 책무를 가지며,
→ 선발 및 교육 전반에 이러한 목적이 반영된다 (NOSM, 2018).
반면, University of Toronto는
→ **지리적 책무(geographic mandate)**를 가지지 않는다.

그럼에도 불구하고,

이러한 차이들이 졸업생의 면허시험 성과에 미치는 실제 영향은 매우 작았다.

▷ 의대 진학을 준비하는 학생들에게 주는 시사점

이러한 결과는 의학교육 리더에게는 희망적인 소식이지만,

*“차이를 탐지하지 못했다(we failed to detect a difference)”*는 것이
*“차이가 존재하지 않는다(absence of a difference)”*는 뜻은 아니다.

실제로,

학교마다 고유한 임상 교육기관 및 문화적 차이가 존재한다.
Ginsburg et al. (2016), Martimianakis et al. (2020) 등은
→ **특유의 하위문화(subcultures)**와 **숨은 교육과정(hidden curriculum)**이
→ 학습자의 인식과 실천에 영향을 준다는 점을 강조해왔다.

이러한 요소들은

정량화하기 어려우며,
본 연구와 같이 설정된 **결과 지표(outcome measures)**로는 탐지되기조차 어렵다.
그러나 이들은 미래 의사의 형성과정에 있어 핵심적 요소이다 (Martimianakis & Muzzin, 2015).

따라서,

학교마다 고유한 교육과정이 존재하지만,
이번 연구는
*“학생 간 차이는 개별 요인(individual factors)에 기인하며, 소속 기관 자체에 의한 것은 아니다”*라는
**공통된 기준(common standard)**이 유지되고 있음을 시사한다.

제한점 (Limitations)

본 연구에는 다음과 같은 여러 제한점이 존재한다:

전체 학교의 전체 데이터를 분석할 수 없었다.
- 그렇게 할 경우, 각 학교가 다시 식별될(re-identification) 위험이 존재하며,
- 이는 학교 간 비교를 피하고 연구 참여를 독려하기 위한 협약을 위반하는 것이다 (Grierson et al., 2023).
MCCQE2 분석 시, 표본 수가 50% 이상 감소했다.
- 이는 **모수 추정(parameter estimates)**의 **안정성(stability)**에 영향을 줄 수 있다.
- 그럼에도 불구하고, 분석은 일반적으로 수용 가능한 표본 크기 기준을 충족했으며,
  → 유의미한 예측 변수를 탐지할 수 있었다.
공통 예측 변수를 만들기 위한 데이터 변환 과정에서,
- 학교 간 고유하고 중요한 차이점이 손실되었을 가능성이 있다.
- 예: Biomedical Performance는 집계 및 변환된 변수로,
  - 어떤 내용을, 어떻게 평가하는지는 학교마다 다를 수 있다.
  - 이 차이는 학교의 특징을 반영하는 중요한 요인일 수 있음.
→ 이 문제는 **Chahine et al. (2024)**의 대규모 분석에서
→ 학교 소속과 관계없이 Biomedical 성과가 일관된 예측력을 보였다는 결과로 어느 정도 완화된다.
중요하다고 알려진 변수들이 누락되었다.
- 예: 사회경제적 지위(SES), 인종 및 민족(race and ethnicity)
- 이 변수들은 **UKMED 분석(Eliss, 2022b)**에서 유의미한 예측 인자로 확인되었다.
- 그러나 이러한 변수 수집은 제도적으로 어려운 과제이며 (Grierson et al., 2022),
  → 학교 수준의 차이를 정확히 이해하기 위해 필요할 수 있음.
본 연구는 캐나다의 한 지역 내 학부 의학교육 프로그램에 초점을 맞추었으며,
- 다른 국가 또는 교육문화에서는 일반화에 신중을 기할 필요가 있다.

특히 전공의 교육 환경(postgraduate training environments) 간의 차이 비교에 대해서도 유사한 신중함이 요구된다.

결론 (Conclusions)

본 연구는 **다기관 데이터 공유 과정(multi-institution data sharing)**을 통해 수행되었으며,
→ **기관 차이(institutional differences)**를 탐색할 기회를 제공했다.

**적절한 보호 장치가 마련된 협력적 데이터 공유(collaborative data sharing with safeguards)**는
→ 중요한 질문들에 답할 수 있는 강력한 도구이다.

이번 연구는

**면허시험이라는 고위험 평가(high-stakes assessments)**에 있어
학교 소속이 성과에 어떤 영향을 미치는가라는
상대적으로 논쟁적이고 영향력 있는 주제를 다룬 것이다.

▷ 주요 결론 요약

의과대학 소속은 성과 분산에 있어 작은 기여만 했다.
**가장 큰 예측 변수는 임상 교육 기간 중의 기존 성과(prior performance in clinical training)**였다.

👉 이는 다음을 시사한다:

기관 간 차이는 면허시험 성과 예측에 있어 작은 역할만 하며,
개인 수준의 학업 성과가 더 중요하다는 것.

▷ 향후 방향

데이터 과학(data science) 기반의 접근과
다기관 협업 데이터 공유 모델을 지속적으로 활용한다면,
→ 학부 의학교육 이후의 다양한 **하류 성과(outcomes downstream)**에 영향을 미치는
다른 요인들에 대한 이해가 더욱 심화될 수 있다.
또한, 빅데이터 방법론 및 기술의 혁신은
→ 이러한 협업이 지속 가능하도록 만들 것이다.

Kulasegaram, K., Archibald, D., Bartman, I., Chahine, S., Kirpalani, A., Wilson, C., ... & Grierson, L. (2024). Can all roads lead to competency? School levels effects in Licensing examinations scores. Advances in Health Sciences Education, 1-16.

'논문 읽기 (with AI)' 카테고리의 다른 글

의학교육의 품질 보증: WFME 글로벌 표준의 사용 및 분석을 통해 얻은 교훈 (Med Teach, 2019) (0)	2025.04.07
의학 교육에서 학습 분석을 사용할 때의 윤리적 고려 사항: 비판적 검토 (Adv Health Sci Educ Theory Pract. 2025) (2)	2025.04.07
보건 전문직 교육에서의 데이터 과학: 약속과 과제 (Adv Health Sci Educ Theory Pract. 2025) (0)	2025.04.05
'데이터 과학'은 과학인가요? (Adv Health Sci Educ Theory Pract. 2025) (0)	2025.04.05
의과 대학 성적 - “충분히 좋다”는 것만으로 충분할까요? (NEJM, 2025) (0)	2025.04.05

의대에서 교육하고 있습니다.