Learner Assessment and Program Evaluation: Supporting Precision Education
🧠 정밀 교육(Precision Education)이 바꾸는 의학교육의 미래
– AMA-NYU 데이터랩과 중간·시스템 수준 평가의 새로운 시도
👋 의학교육을 평가하고 개선하는 일, 생각보다 훨씬 복잡합니다.
학생 개인의 역량만 보면 될 것 같지만, 실제로는 교육과정 전체, 수련 환경, 의료시스템, 사회적 요구까지… 복잡하게 얽혀 있죠.
이번에 소개할 논문은 바로 그 복잡성(complexity)을 해결하고자 하는 움직임,
즉 정밀 교육(Precision Education, PE)의 가능성을 실험한 AMA-NYU Precision Education Data Lab의 활동을 다룬 연구입니다.
🔍 PE(Precision Education)란 무엇인가요?
정밀 교육은 학습자 개인의 필요와 맥락에 맞는 교육 개입을 데이터 기반으로 제공하려는 새로운 접근이에요.
"Precision education is a systematic approach that integrates longitudinal data and analytics to drive precise educational interventions that address each individual learner’s needs and goals in a continuous, timely, and cyclical fashion."
→ “정밀 교육은 종단적 데이터(longitudinal data)와 분석(analytics)을 통합하여, 개별 학습자의 필요와 목표를 정확하게 반영한 교육 개입을 지속적·순환적으로 제공하는 체계적 접근입니다.”
🧪 AMA-NYU 데이터랩은 어떤 일을 했을까요?
AMA와 NYU는 2019년에 ChangeMedEd 컨소시엄을 위해 협력하여,
전국 37개 의과대학의 교육 데이터를 모아 분석하고, 그 결과를 학교별 맞춤형 리포트로 제공했어요.
그중 하나가 바로 Graduate Profile Report입니다.
"The AMA Graduate Profile is an individualized, confidential, meso-level report for ChangeMedEd Consortium medical schools."
→ “AMA Graduate Profile은 개별화되고 비공개로 제공되는 중간 수준 보고서로, 각 의과대학에 졸업생들의 진료 패턴과 질 지표를 제공합니다.”
💊 전공의 평가와 오피오이드 처방의 관계?
가장 흥미로운 분석은 바로 전공의 수련 중 평가 데이터와 졸업 후 오피오이드 처방 패턴을 연결한 거였어요. 예를 들어,
- 전공의 수련 시기의 Milestone 평가 점수,
- 그 전공의가 졸업 후 얼마나 자주 오피오이드를 처방하는지
이 둘 사이의 관계를 다층 분석(multilevel modeling)으로 추적했죠.
"Opioid prescription patterns of primary care doctors were stratified by residency program."
→ “일차 진료 의사들의 오피오이드 처방 패턴은 수련받은 레지던시 프로그램에 따라 층화되었습니다.”
🔧 프로그램 평가와 학습자 평가, 왜 동시에 다뤄야 할까요?
이 연구에서 강조하는 핵심 메시지는 분명합니다.
학생 평가(learner assessment)와 프로그램 평가(program evaluation)는 별개가 아니라 연결되어야 한다는 점이에요.
"We view the dual systems of learner assessment and program evaluation as the foundation for continuous improvement cycles of competency development."
→ “학습자 평가와 프로그램 평가의 이중 시스템은 역량 개발을 위한 지속적 개선 주기의 토대로 보아야 합니다.”
📢 그래서 우리는 어떤 행동을 해야 할까요?
연구진은 말합니다. 이제는 단순히 학생 점수를 관리하는 시대는 끝났고,
그 데이터를 기반으로 실질적인 교육 혁신을 만들어야 할 때라고요.
"We call for a national cross-organizational data-sharing effort to ensure an equitable, effective, and scalable system of evidence-informed system-level change."
→ “형평성 있고 효과적이며 확장 가능한 교육 시스템을 구축하기 위해, 국가 차원의 조직 간 데이터 공유 체계를 촉구합니다.”
✨ 마무리하며: 진짜 변화를 만들려면?
정밀 교육은 단순히 더 ‘개인화된 교육’을 말하는 게 아닙니다.
데이터를 통해 교육과 진료의 연계를 명확히 하고, 사회 전체의 건강 형평성(health equity)에 기여하려는 방향성이에요.
이제 의학교육의 미래는,
🩺 학생 개인 → 교육 프로그램 → 환자 결과로 이어지는 데이터 기반 선순환 시스템 위에 놓여야 할지도 모릅니다.
정밀 교육(Precision Education, PE)은 “개별 학습자의 욕구와 목표를 충족시키기 위한 정밀한 교육 개입을 지속적이고, 시의적절하며, 순환적인 방식으로 설계하기 위해 종단적 자료(longitudinal data)와 분석(analytics)을 통합하는 체계적인 접근법(systematic approach)”이다¹. 이 틀을 바탕으로, Desai 외²는 정밀 교육의 비전을 확장하여, PE가 학습자 평가(learner assessments) 및 프로그램 평가(program evaluations)를 포함한 다양한 출처로부터 수집된 대량의 데이터에 의존함을 설명하였다. 강력한 PE 분석은 계획(planning) – 학습(learning) – 평가(assessing) – 조정(adjusting)의 지속적 순환(cycles)을 통해 교육 연속체에 다시 통합된다. 이러한 순환은 학습자의 역량(competence)과 적응적 전문성(adaptive expertise)³을 촉진하며, 개인 수준(micro), 프로그램 수준(meso), 시스템 수준(macro)에서 발생한다⁴˒⁵.
이 보완호(supplement)의 여러 논문에서는 개인 수준의 정밀 교육을 다루고 있으며²˒⁶, 본 논문에서는 학습자 평가와 프로그램 평가 간의 상호작용에 초점을 맞추고 있다. 우리는 의료 전문직의 사회적 계약(social contract)을 존중하기 위해서는 후자인 프로그램 평가가 필수적이라고 주장한다. 아래에 제시하는 환자 결과(patient outcomes) 중심의 연구 사례들은 다수 수준(multi-level)의 PE 순환이 이를 뒷받침할 수 있음을 보여준다. 마지막으로, 본 논문은 중간(meso) 및 시스템(macro) 수준의 정밀 교육 발전을 위해 조직 간 협력과 국가 수준의 데이터 공유를 촉구하며 마무리된다.
학습자 평가와 프로그램 평가: PE를 위한 데이터 시너지(Data Synergies)
PE의 관점에서 보면, 서로 연결된 3가지 수준의 데이터 집계와 분석 구조가 드러난다. 즉, 학습자(미시, micro)는 프로그램(중간, meso)에 내포되고, 이는 다시 조직(거시, macro) 안에 위치한다(그림 1 참조). PE에서는 학습자 평가 데이터(micro)가 평가 도구의 타당도(validity evidence)를 제공하고, 프로그램 평가(meso)는 교육 효과성에 대한 증거를 제공한다. 만약 프로그램 평가가 없다면, 이론적으로 유망한 교육 접근이나 방법, 도구가 있더라도 이를 발전시키는 데 어려움이 생긴다. 예를 들어, 준거참조평가(criterion-referenced assessment)에서는 프로그램에 따라 상당한 변동성이 발생한다. 최근의 한 연구는 응급의학과 가정의학 전공의 평가에서 개별 학습자보다는 프로그램이 변동성에 더 큰 영향을 미쳤다는 사실을 보여주었다⁷. 따라서, 만약 학습자의 평가 결과를 프로그램 평가 없이 해석한다면, 교육자는 훈련 방식이나 긍정적 학습 결과, 향후 진료의 질에 대해 잘못된 결론을 내릴 위험이 있다.
다양한 유형의 충분한 데이터를 기준과 비교하여 인사이트를 도출하고 질 향상을 위한 개입 순환(QI cycles)으로 이어질 수 있는 시스템이 갖추어질 경우, 프로그램 평가 시스템은 중간 수준(meso-level)의 PE 순환을 촉진할 수 있다⁸. 예를 들어, 의과대학 전 과정에서 기초의학의 중요성을 강화하기 위해 미국 내 약 20개 의과대학은 USMLE Step 1 시험 시점을 임상실습 이후로 변경하였다. 이 프로그램적 변화에 대한 평가는 National Board of Medical Examiners(NBME)와 협력하여 수행되었으며, Step 1 합격 점수, 합격률, Step 2 합격률, 과목별 시험 점수를 분석하고 개별 학교에 피드백을 제공하였다⁹⁻¹¹. 프로그램 평가는 또한 평등 기반 구조(equity-based structures), 과정, 언어의 비판적 분석을 통해 필요한 변화를 밝혀내며, 평가에서의 편향(bias)에 대한 증거를 포함한다¹². 나아가, 프로그램 평가 시스템은 환자 결과 중심의 연구를 의학교육과 연결함으로써, 보장된 역량(guaranteed competence), 공익 증진(public good), 책무성(accountability)을 실현하고자 하는 의학의 사회적 계약 이행의 핵심 메커니즘으로 작용한다¹³.
프로그램 평가: 의학의 사회적 계약을 이행하기 위한 필수 메커니즘
의료 전문직의 사회 계약(social contract)은 공중 보건의 향상(public health betterment)을 포함한다¹⁴⁻¹⁷. 이 계약은 의과대학과 수련 프로그램이 미래의 환자와 지역사회의 요구를 충족시킬 준비가 된 의대생과 전공의를 양성할 책임이 있음을 명시한다. 이러한 목표 달성 여부를 판단하기 위해, 프로그램 평가자는 의학교육 프로그램과 졸업생의 이후 진료 양상(care patterns) 사이의 관계를 조사한다. 예를 들어,
- Asch 외¹⁸는 산부인과 레지던시 프로그램과 졸업 후 감독 없이 진료하는 의사들의 산모 합병증률 사이의 연관성을 발견했다.
- Bansal 외¹⁹는 일반외과 수련 프로그램과 졸업생의 부작용 발생률(합병증, 장기 입원 등) 사이의 유사한 연관성을 보고하였다.
- Chen 외²⁰는 지출이 많은(high-spending) 지역에서의 레지던시 훈련이 일반내과 및 가정의학 졸업생의 실제 진료에서 더 높은 지출로 이어진다는 사실을 밝혔으며, 이는 지출이 적은 시스템 안에서 일할 때조차 마찬가지였다.
- 다른 연구들에서는 수련 당시의 처방 패턴²¹, 진료 강도²², 근무 시간²³, 교육과정 구조²⁴에 따라 이후 실무에서의 의사 성과가 다르게 나타남을 보여주었다.
수련 과정에서 형성된 행동은 감독 없는 독립 진료로 논리적으로 이어진다. 그러나, 수련 중에 형성된 진료 패턴은 매우 강한 지속성을 보이며, 앞서 언급된 다수의 연구는 이러한 패턴이 10년 이상 유지됨을 보여준다. 이 같은 결과는, 프로그램 평가가 졸업생이 변화하는 환자 및 지역사회의 요구를 따뜻하고 정의롭게 충족시킬 수 있도록 준비시키는 교육의 평가를 중심에 두는 새로운 평가 시대를 열기 위한 핵심적 수단임을 강조한다⁶.
시의적절하고 실행 가능한 통찰(actionable, timely insights)은 프로그램 평가를 통해 도출될 수 있으며, 이는 프로그램 수준의 개입과 조정 순환(adjustment cycles)을 유도하여 훈련 과정을 개선하고, 비효율적이거나 바람직하지 않은 교육 및 진료 관행을 수정, 감소 또는 제거할 수 있다. 그러나, 환자 결과(patient outcomes)에 초점을 둔 연구 결과를 학습자 평가 및 프로그램 평가 체계에 통합하는 시도는 아직 드물며, 이에 대해서는 아래에서 소개할 몇 가지 유망한 국가 단위의 노력(national efforts)만이 존재한다.
프로그램 평가를 위한 국가 단위 보고서
여러 국가 차원의 노력들은 중간 수준(meso-level)의 유용하고 시의적절한 보고서를 개발하여, 의학교육 리더들이 개별 프로그램의 산출물(outputs)과 성과(outcomes)를 교육 사명, 목표, 동료 기관과 비교할 수 있도록 지원하고자 한다. Association of American Medical Colleges (AAMC)의 Missions Management Tool²⁵은 의과대학에 다음과 같은 기관의 핵심 사명 지표에 관련된 맞춤형 집계 데이터 테이블을 제공한다: 학생의 교육 만족도, 평균 부채, 연구 진로 추구 여부, 그리고 의료 인력 구성에의 기여(전공 분야, 일차의료, 교수진 다양성 등). 이 도구는 다른 의과대학과 백분위 기준(percentile-based)으로 벤치마킹을 제공한다. 또한, AAMC의 Graduation Questionnaire²⁶는 졸업 예정 의대생들의 피드백을 수집하고, 이를 개별 프로그램과 동료 학교들과 비교할 수 있는 벤치마킹 수단으로 활용된다. 최근 AAMC는 Resident Readiness Project²⁷를 시작하였는데, 이 프로젝트는 전공의 프로그램 디렉터들이 현재 수련 중인 졸업생의 수행능력(performance)에 대한 피드백을 의과대학에 제공하도록 요청한다.
전공과 수준의 거시 보고서(macro reports)에는 Accreditation Council for Graduate Medical Education (ACGME)의 연례 Milestone National Report가 있다. 이 보고서에 포함된 예측 확률 값(predictive probability values)은 특정 수련 시점의 전공의의 Milestone 평가가 졸업 시점에서 권장 목표 수준(Level 4)에 도달하지 못할 가능성(likelihood)을 전공과별로 추정할 수 있도록 한다²⁸˒²⁹.
중간 및 거시 수준에서 프로그램 평가에 유용한 보고서 요약은 보조 디지털 부록 1(Supplemental Digital Appendix 1)에서 확인할 수 있다.
이러한 프로그램 및 기관 수준의 중간(meso) 및 거시(macro) 데이터 분석 사례들은 매우 유망하지만, 새로운 혹은 기존의 평가 데이터를 견고한 프로그램 평가와 더 능동적이고 의도적으로 연계하려는 노력에는 여전히 큰 잠재력이 존재한다. 미시(micro)–중간(meso)–거시(macro) 분석의 통합, 기관 간 협력, 데이터 공유를 통해 교육 시스템의 모든 계층이 혜택을 누릴 수 있다. 특히, 수련 중이거나 이후의 진료 지표(patient care measures)와 프로그램 평가를 의도적으로 연결하고, 교육적 개입에 대한 자동화된 피드백(feedback) 및 피드포워드(feedforward) 순환을 개발한다면, 프로그램 평가 노력과 중간 수준 정밀 교육(meso-level PE) 간의 정교한 연결고리가 형성될 수 있다³⁰⁻³².
예를 들어, 특정 질환에 기반한 제공자 귀속 품질 지표(condition-specific provider-attributable quality measures)를 수련 중이나 감독 없는 초기 진료 시기(early unsupervised practice)에 여러 프로그램에서 확장 가능(scalable)한 방식으로 수집하면, 의미 있는 환자 결과에 기반한 벤치마킹이 가능해지며, 이는 목표 지향적 개입이 필요한 특정 교육 영역을 식별하는 데 도움이 된다³³.
전통적 사일로(Silo)를 넘어: AMA-NYU 정밀 교육 데이터 랩
2019년, 미국의사협회(American Medical Association, AMA) 의학교육 부서와 뉴욕대학교(NYU) Grossman School of Medicine의 의학교육혁신연구소(Institute for Innovations in Medical Education)는 AMA의 ChangeMedEd 컨소시엄(구 Accelerating Change in Medical Education Consortium)을 위해 교육 데이터 웨어하우스와 분석 엔진을 구축하기 위한 공식 파트너십을 체결했다³³. 이 노력은 학부 의학교육(UME), 전공의 교육(GME), 지속 전문직 개발(CPD)이라는 전통적 교육 단계의 경계를 넘어서 협력하는 것을 목표로 한다. AMA의 재정 지원으로 운영되는 AMA-NYU Precision Education Data Lab(이하 Data Lab)은 빅데이터 정보학을 중앙 집중화하여 37개 ChangeMedEd 컨소시엄 의과대학이 자교의 프로그램 인사이트에 접근할 수 있도록 지원한다. 다기관 운영위원회(steering committee)를 통해 Data Lab은 의료 인력(workforce), 임상 노출(clinical exposure), 진료의 질(quality of care)과 관련된 연구 질문을 탐구한다.
학습자 수준(micro) 및 프로그램 수준(meso)의 데이터를 어떻게 접근·집계·공유했는지를 보여주는 사례로, 본 파트너십의 두 가지 활용 사례를 제시한다: (1) Graduate Profile 보고서와 (2) ACGME와의 확대된 협력.
AMA Graduate Profile 보고서
AMA Graduate Profile은 ChangeMedEd 컨소시엄 의과대학을 위한 개별화된(confidential), 프로그램 수준(meso-level)의 보고서로, 40년 이상의 데이터를 기반으로 하여 졸업생들의 임상 진료 패턴과 진료 질 지표를 해당 의과대학에 제공한다³⁴. AMA Physician Masterfile, Medicare Physician Compare, Medicare Part D Prescriber and Drug, Dartmouth Atlas, HRSA Data Warehouse, Robert Graham Center의 사회경제 데이터, NPPES Registry 등 다양한 공개 데이터 출처를 연계하여, 약 75만 명의 미국 의대 졸업생(micro-data)과 그들이 수행한 약 10억 건의 메디케어 진료 및 47억 건의 Part D 처방 기록을 포함한다.
예를 들어, 의과대학은 자교 졸업생의 오피오이드(opioid) 처방 패턴을 전체 학교와 비교할 수 있으며, 처방률(prescribing rate)과 처방량(volume)을 기준으로 비교 분석할 수 있다(그림 2A 참조). 이때 처방률은 해당 의과대학 또는 연계 수련 프로그램의 교육 '각인(imprint)'³⁵에 따라 층화 분석된다(그림 2B 참조). 또한, 보고서는 자교 졸업생이 의료 자원이 부족한 지역에서 진료할 가능성이 높은 전문과를 식별할 수 있는 분석도 포함한다. 이러한 통계 분석은 국가 수준의 벤치마크와의 차이를 평가할 수 있게 하여, 고차원의 의사 결정과 프로그램 개선 전략 수립에 실질적인 기초 자료를 제공한다.
분석 접근법은 예측적(causal)이라기보다는 상관 기반의 데이터 인텔리전스(correlational data intelligence)에 가깝다. 이 파트너십의 책임자들은 각 기관의 주요 결정권자들이 이 데이터를 프로그램 개선(meso) 또는 조직 차원의 구조 및 프로세스 변화(macro)에 활용할 것을 권장한다. 예를 들어, 한 프로그램에서는 졸업생의 처방 패턴 데이터를 분석한 후, 이를 바탕으로 약리학 커리큘럼을 전면 재설계하여 목표한 처방 표준에 부합하도록 조정하였다. 다른 기관들도 이러한 데이터 기반 트렌드를 자교의 교육 사명과의 정렬도 평가에 활용하고 있다. 이와 같은 공동 연구 노력은 여전히 탐색적(exploratory)이며, 매년 각 학교와 협력하여 데이터의 활용성과 해석력을 높이는 방향으로 발전 중이다.
ACGME와의 협력 확대: Milestone과 프로그램 수준 성과
AMA는 Milestone과 프로그램 수준 성과 간의 의미 있는 시너지 가능성을 확인하고, Data Lab과 ACGME 간의 기존 관계를 기반으로 협력을 확대하였다. 이를 통해 전문성 공유, 데이터 공유, 공동 연구 질문 도출, 의학교육 전 주기에서의 분석 확장이 이루어졌다.
이 공동 연구팀은 전공의 교육 중 평가된 역량(Milestone ratings)이 의료 인력 결과(workforce outcomes), 진료 패턴, 진료 질 지표와 어떻게 연결되는지를 탐색한다. 이전에 Kendrick 외³⁶가 수행한 연구에서는, 일반외과 전공의의 졸업 시 Milestone 평가와 초기 진료에서의 위험 보정 사망률 또는 합병증률 간에 유의한 관계가 없었으나, 다른 전문과에서는 Milestone 평가 결과 간 변동성이 더 크게 나타났다.
Data Lab은 내과 및 가정의학 졸업생을 중심으로, 프로그램 수준의 평균 Milestone 평가 및 패턴이 이후 오피오이드 처방 양상과 어떤 관계가 있는지 분석하였다. 이 연구에는 402개 내과 프로그램과 440개 가정의학 프로그램의 26,000명의 졸업생에 대한 15만 건 이상의 Milestone 평가와, 이들이 초기 독립 진료 시기에 발행한 1천만 건 이상의 Medicare Part D 오피오이드 처방 데이터가 포함되었다(그림 3 참조). 연구팀은 훈련생의 진로가 교차(crossed)되거나 계층적으로 내포(nested)되어 있는 구조를 반영하는 다층 모델(multilevel models)을 구축하여, 훈련이 졸업생 진료 양상에 미치는 영향에 대해 보다 정밀한 정보를 의료기관에 환류할 수 있도록 하였다.
이러한 데이터는 전략적 프로그램 계획, 교육 질 향상(QI), 기관의 비전·사명·목표와의 정렬 검토 등에 유용하게 활용될 수 있다. 또한, 이 연구는 다양한 기관에서 프로그램 평가와 학습자 평가 시스템이 어떻게 연동될 수 있는지를 보여주는 대표 사례로, 향후 Milestone의 타당성(validity evidence)을 ACGME 평가위원회(Review Committees)에 제공하는 데 기여할 것이다.
프로그램 및 시스템 수준에서의 정밀 교육(PE) 과제 대응
중간(meso) 및 거시(macro) 수준의 정밀 교육 시스템을 구축하는 일은 복잡하며, 지속적인 혁신이 요구된다. 지금까지 수행된 연구와 데이터 분석이 지닌 주요 한계 중 하나는 그 접근 방식과 범위가 고립적이라는 점이다. 대부분의 연구는 단일 기관, 특정 전문과, 혹은 특정 조직 내에 고립되어(siloed) 수행되어 왔으며, 이로 인해 데이터 공유 및 효과적인 개선 사례의 확산이 제한된다. 그 결과, 협력의 장벽과 유망한 실천 사례의 확장 어려움은 의학교육을 전환하는 데 필요한 풍부한 교육적 해법의 개발을 더욱 어렵게 만든다.
AMA-NYU 데이터 랩의 성과는 하나의 모델로서 가능성을 보여주지만, 다른 모델과 협력적 노력 또한 필요하다. 해당 데이터 랩의 다기관 및 시스템 수준의 작업은 재정, 인프라, 인력 측면에서 많은 자원을 요구하며, 각 데이터 출처에 대해 면밀히 고려했음에도 불구하고, 이질적인 데이터 유형의 통합 및 유지 관리, 결측치 문제, 공개 데이터의 본질적 한계 등은 여전히 도전과제로 남아 있다. 따라서 기존 및 새로운 평가 데이터 중에서 견고하고 유의미한 데이터를 의도적으로 선별하여 사용하는 일이 탄탄한 프로그램 평가 주기를 위해 반드시 요구된다.
정밀 교육 시스템이 교육 연속체 전반에서 성공적으로 작동하려면, 데이터를 정확히 검증하고, 통합하며, 분석하고, 기관 간 비교(benchmarking)가 가능해야 한다. AMA-NYU 데이터 랩의 실천 공동체 접근법(community of practice approach)은 분석과 인력 측면에서 규모의 경제를 실현하고 있으나, 현재 이 모델을 복제할 수 있는 기관이나 조직은 극히 드물며, 이는 보다 폭넓고 중앙화된 협력체계 구축의 필요성을 부각시킨다.
또한, 다양한 이해관계자의 요구를 충족시킬 수 있는 정밀하고, 시의적이며, 실행 가능하고, 개인화된 인사이트를 대규모로 생성하는 것은 여전히 매우 도전적인 과제로 남아 있다. 예를 들어 Graduate Profile 보고서의 분석 결과는 가설 도출 수준의 자료이며, 이를 각 기관이 자율적으로 탐색하고, 시간과 자원을 투자하며, 정책 우선순위에 따라 실행해야 한다. 또한 교육과정 개편의 효과가 나타나는 데 수년이 걸리는 경우도 많아, 더 근접한 결과 지표(proximal outcome measures)의 필요성이 제기된다.
마지막으로, 정밀 교육 시스템은 학습자, 프로그램, 보건의료 시스템, 전문과에 대한 방대한 고품질의 다양한 데이터를 기관 간에 공유하는 데 기반하며, 이는 윤리적이고 공정한 원칙과 기준에 따라 이루어져야 한다². 이러한 데이터 프레임워크는 데이터의 수집, 획득, 저장, 분석 목적, 거버넌스, 프라이버시, 상호운용성, 지적 재산권, 법적·윤리적 고려사항에 관한 원칙과 기준을 포함한다³⁷. 이는 복잡하고, 무겁고, 때로는 논쟁의 여지가 있는 사안들로, 기관 구조나 수익, 전통적 접근 방식에 직접적인 영향을 미칠 수 있다.
그럼에도 불구하고, 이러한 데이터 및 분석의 조화(harmonization)는 다음 세대의 학습하는 보건의료 시스템(learning health systems)³⁸˒³⁹을 가능하게 하는 필수 요소이며, 학습자 평가, 프로그램 평가, 환자 결과를 보다 통합적으로 연결하여 사회적 요구를 충족하는 의료 인력 양성이라는 목적을 달성하는 데 기여할 수 있다.
행동 촉구: A Call to Action
AMA-NYU 데이터 랩과 기타 조직의 노력은 정밀 교육(PE) 순환을 견인하는 프로그램 및 조직 수준의 인사이트 생성 작업을 가속화하고 있다. 이러한 시도는 여전히 새로운 영역에 속하며, 의료의 사회적 계약(social contract)을 이행하고자 하는 중심축 역할을 하고 있다.
효과적인 학습 및 역량 습득(competency attainment)에 대한 근거를 수집하는 일은 복잡하며, 이와 관련된 프로그램 평가는 다음을 포함한다:
- 형성평가(formative)와 총괄평가(summative)의 정렬 여부,
- 평가의 편향성,
- 다양한 지표들의 조정과 보정,
- 표준 진료 준비 수준,
- 장기적 변화를 위한 형평성과 확장 가능성.
이러한 분석이 결여될 경우, 학습자 평가 데이터는 불완전한 정보로 남게 되며, 역량 결과는 여전히 가변적이고 신뢰하기 어려운 상태로 유지되어, 결과적으로 환자 진료의 질 역시 일관되지 않게 지속될 수 있다.
우리는 학습자 평가와 프로그램 평가라는 이중 시스템이 역량 개발의 지속적 개선 순환(cycles of continuous improvement)을 위한 토대이며, 이는 사회와 보건의료 인력의 요구, 특히 건강의 사회적 결정 요인(social drivers of health)과 건강 형평성(health equity)을 반영하여 의학교육의 변혁을 이끌어갈 수 있다고 본다.
많은 연구자들이 보건의료 전문직 교육을 개선하고, 교육과 환자 결과(patient outcomes)를 연결해야 한다고 촉구해왔다⁴⁰. 이러한 요구는 결국 사회적 요구를 충족하기 위한 교육체계로 이어져야 한다⁴¹˒⁴². 이러한 긴급성을 기반으로, 우리는 형평성 있고, 효과적이며, 확장 가능한 근거 기반 시스템 변화(evidence-informed system-level change)를 위한 국가 단위의 조직 간 데이터 공유 노력을 촉구한다.
진정한 국가적 PE 인프라는 데이터 공유, 분석, 개입, 결과 연구가 다수 수준(micro–meso–macro)에서 이루어질 수 있도록 하는 틀과 메커니즘, 원칙, 기준을 제공함으로써, 더욱 고품질이고 공정한 진료를 제공할 수 있는 보건의료 시스템으로 전환하는 데 기여할 것이다.
이러한 촉구를 실현하기 위해서는 중앙 조직의 체계적 운영과 재정 지원이 필수적이다. 우리는 AMA의 ChangeMedEd Initiative³³, 그리고 최근 10년간 약 8천만 달러를 지원한 Wellcome Leap SAVE 프로그램⁴³과 같은 민간 기관의 지속적인 노력을 지지한다. 그러나 이와 같은 간헐적인 기회성 자금 제공에서 벗어나, 보건의료 전문직 교육 혁신을 위한 안정적이고 지속가능한 재원으로 전환하는 것이 필수적이다.
Institute of Medicine(IOM)의 보고서에서도 권고했듯이, 현재 연간 약 200억 달러에 달하는 전공의 교육(GME) 관련 연방 지원금을 개혁하여, 그 일부를 “전환 기금(transformation fund)”으로 운영한다면, 이는 GME 자금을 성과 기반으로 연계하는 강력한 수단이 될 것이다⁴². 상대적으로 작은 조정만으로도 상당한 지원 효과를 거둘 수 있으며, 국가의학도서관(National Library of Medicine)에 상응하는 국가 보건의료교육연구소, 또는 Cancer Moonshot Initiative나 Human Genome Project(HGP)와 유사한 정밀 교육을 위한 국가 전략도 이 과정을 촉진할 수 있다.
HGP의 25주년을 맞아, 프로젝트 리더들은 PE의 국가 확장에 영감을 줄 수 있는 6가지 교훈을 다음과 같이 제시하였다⁴⁴:
- 파트너십을 포용하라(embrace partnerships)
- 데이터 공유를 극대화하라(maximize data sharing)
- 데이터 분석을 사전에 계획하라(plan for data analysis)
- 기술 개발을 우선시하라(prioritize technology development)
- 과학적 진보의 사회적 함의를 다루어라(address societal implications of advances)
- 대담하되 유연하라(be audacious yet flexible)
📊 그림 3. 중간 수준(Meso-level) 예시 2: 학습자 평가 데이터와 졸업 후 처방 패턴의 연계
이 그림은 전공의 수련 중 평가 자료와 졸업 후 오피오이드(opioid) 처방 패턴 간의 관계를 분석함으로써, 평가의 타당도(validity)와 프로그램 평가의 중요성을 뒷받침하는 사례를 보여준다.
(A)
- 집계된 평가 자료(Aggregated assessments) →
- 졸업 후 처방 패턴(Prescribing patterns) →
- 프로그램 공변량(Program covariates), 진료 환경 공변량(Practice covariates), 환자 공변량(Patient covariates)
🔎 설명: 전공의 수련 중 평가 결과와 그 이후의 처방 양상 간의 관계를 분석함에 있어, 프로그램, 진료 환경, 환자 특성과 같은 공변량을 통제하여 평가하였다.
(B)
- 오피오이드 처방(Opioid prescriptions) →
- 일차 진료 의사(Primary care doctors) →
- 수련 프로그램(Residency programs) →
- 하위 사분위수(Bottom quartile rate) ↔ 상위 사분위수(Top quartile rate)
🔎 설명: 일차 진료 의사의 오피오이드 처방 패턴은 수련을 받은 프로그램에 따라 층화(stratification)되며, 이는 수련 배경이 진료 패턴에 미치는 영향을 보여준다.
(C)
- 교차 및 계층 구조 분석(Crossed & nested analysis structure)
- 의과대학(Medical schools)
- 수련 프로그램(Residency programs)
- 진료 그룹(Practice groups)
→
- 다층 분석 모델 및 기계 학습(Multilevel models & machine learning)
→ - 비공개 맞춤형 보고서 제공(Confidential reporting to programs, accreditors)
🔎 설명: 설명적 통계 분석과 다층 모델을 통해 개인, 교육 프로그램, 진료 환경의 영향을 통합적으로 분석하며, 교육 프로그램에는 비공개 맞춤형 보고서가, 인증 기관에는 평가의 타당도 증거가 제공될 수 있다.
📌 전체 캡션 번역:
그림 3. 중간 수준 예시 2: 학습자 평가 데이터를 졸업생의 이후 처방 패턴과 연계하여 분석함으로써, 평가에 대한 추가적인 타당도 증거를 제공하고, 프로그램 평가의 중요성을 뒷받침할 수 있다.
(A) 수련 중 평가와 이후 처방 패턴 간의 관계를, 프로그램, 진료, 환자 수준의 공변량을 통제한 상태에서 분석하였다.
(B) 일차 진료 의사의 오피오이드 처방 양상은 수련 받은 프로그램에 따라 층화되었다.
(C) 교차 및 계층 구조를 고려한 다층 분석과 기계 학습을 통해, 개인, 교육 프로그램, 진료 환경의 영향을 통합적으로 파악하며, 이를 통해 맞춤형 보고서가 교육기관에 제공되고, 인증 기관은 평가 도구의 타당도에 대한 잠재적 증거를 얻게 된다.
'논문 읽기 (with AI)' 카테고리의 다른 글
| 원칙 중심 평가: 지속적인 전문성 개발 평가의 유망한 사례 (J Contin Educ Health Prof. 2023) (0) | 2025.05.11 |
|---|---|
| 보건 전문직의 프로그램 평가 교육 혁신적인 접근 방식 원칙(Acad Med. 2023) (0) | 2025.05.11 |
| 과학자 또는 과학에 박제된 사람? 북미 의학교육의 과학 담론 (Med Educ. 2013) (1) | 2025.05.06 |
| 플렉스너의 재조명: 의학교육에서 기초과학의 역할과 가치(Acad Med. 2010) (0) | 2025.05.06 |
| 보건 전문직 교육 평가에서의 인공 지능: AMEE Guide No. 178 (Med Teach. 2025) (0) | 2025.05.03 |