정밀 교육의 현주소 조망: 실제 현장 사례를 통한 통찰 (Acad Med. 2024)

Acad Med. 2024 Apr 1;99(4S Suppl 1):S71-S76. doi: 10.1097/ACM.0000000000005606. Epub 2023 Dec 18.

Navigating the Landscape of Precision Education: Insights From On-the-Ground Initiatives

Brian T Garibaldi, McKenzie M Hollon, Glenn E Woodworth, Abigail Ford Winkel, Sanjay V Desai

 

 

의학 교육의 혁신, 정밀 교육(Precision Education)이 온다! 🏥🎓

안녕하세요! 오늘은 의학 교육 분야에서 정말 핫한 키워드인 '정밀 교육(Precision Education, PE)'에 대한 흥미로운 논문을 소개해드리려고 해요. 환자에게 딱 맞는 치료를 제공하는 '정밀 의료'처럼, 교육도 이제 학습자 개개인에게 딱 맞춘 '정밀 교육'의 시대로 가고 있답니다. 오늘 함께 살펴볼 논문은 "Navigating the Landscape of Precision Education: Insights From On-the-Ground Initiatives" 입니다.

이 논문에서는 실제 현장에서 이루어지고 있는 세 가지 흥미로운 프로젝트를 통해 정밀 교육이 어떻게 구현되고 있는지 보여주고 있어요. 자, 그럼 함께 살펴볼까요? 🔍

---

💡 정밀 교육(PE)이란 무엇일까요?

연구진은 정밀 교육의 목표를 아주 명쾌하게 정의하고 있습니다.

"올바른 학습자에게 올바른 시간에 올바른 교육적 개입을 효율적으로 제공하는 것"

“the efficient delivery of the right educational intervention to the right learner at the right time.”

 

과거에는 모든 전공의에게 똑같은 교육을 제공했다면, 이제는 데이터 과학(Data Science)과 기술(Technology)을 활용해 개인의 강점과 약점을 파악하고 맞춤형 교육을 제공하겠다는 것이죠. 이 논문에서는 PE 수명주기(PE Lifecycle)라는 개념을 사용해요.

1. 데이터를 모으고 (Inputs)
2. 분석해서 통찰을 얻고 (Insights)
3. 개입하고 (Interventions)
4. 성과를 확인하는 (Outcomes) 이 과정이 계속 반복되면서 교육이 발전한다는 것이죠.

그럼 실제 사례 3가지를 보러 가실까요?

---

1️⃣ 전공의 교육 연구실 (GEL): 데이터로 보는 수련 환경 📊

첫 번째 사례는 내과 전공의들을 대상으로 한 GEL(Graduate Medical Education Laboratory) 프로젝트입니다.

• 무엇을 했나?: 전공의들에게 실시간 위치 추적 서비스(RTLS) 배지를 달게 했어요. 그리고 웰니스 설문조사와 신체 검진 평가(APECS) 데이터를 모았죠.
• 무엇을 발견했나?: 놀랍게도 인턴들이 환자 방에 머무르는 시간은 전체의 13.4% 밖에 안 됐다고 해요! 침상 옆 회진(Bedside rounds)을 늘려야 한다는 통찰을 얻었죠.
• 핵심 포인트: 위치 데이터, 전자 건강 기록(EHR) 데이터, 그리고 임상 기술 평가를 연결해서 전공의가 '어디서 무엇을 하는지', 그리고 그것이 '실력과 소진(Burnout)'에 어떤 영향을 주는지 분석했습니다.

2️⃣ 전공의 전환 이점 프로그램 (TRA): 코칭으로 잇는 다리 🌉

두 번째는 의대생에서 전공의로 넘어가는 힘든 시기를 돕는 TRA(Transition to Residency Advantage) 프로그램입니다. NYU에서 진행되었어요.

• 무엇을 했나?: 의대 시절의 포트폴리오를 전공의 프로그램에 넘겨주는 "따뜻한 인계(Warm Handoff)"를 도입했어요. 그리고 전문 코치와 정기적으로 만나 목표를 설정하게 했죠.
• 무엇을 발견했나?: 코칭을 받은 전공의들은 그렇지 않은 그룹보다 직업적 성취감(Professional Fulfillment)과 회복탄력성(Resilience)이 더 높았습니다.
• 핵심 포인트: 여기서는 AI보다는 사람 간의 상호작용(Human Analytics)에 집중했습니다. 단순히 지식만 채우는 게 아니라, 자기 주도적으로 성장하는 법을 가르친 거죠.

3️⃣ 교육 공학을 위한 마취 연구 그룹 (TARGET): AI가 추천하는 맞춤형 공부 📱

세 번째는 마취과 전공의를 위한 TARGET 프로젝트입니다.

• 무엇을 했나?: 퀴즈 결과, EHR 기록, 평가 데이터 등을 모아 "학습자의 디지털 표현(Digital Representation)"을 만들었어요.
• 어떻게 작동하나?: 만약 제가 '당뇨병 환자' 수술 경험이 부족하다면? 시스템이 알아서 제 스마트폰 앱으로 당뇨병 환자 관리에 대한 논문이나 강의 영상을 띄워줍니다! 넷플릭스 추천 알고리즘이랑 비슷하죠?
• 핵심 포인트: 자연어 처리(NLP)와 같은 AI 기술을 활용해 학습자의 부족한 부분, 즉 근접 발달 영역(Zone of Proximal Development)을 정확히 타격해서 교육 콘텐츠를 제공합니다.

---

🧐 정리하며: 기술보다 중요한 것은?

이 논문은 정밀 교육의 화려한 기술만을 이야기하지 않습니다. 연구진은 기술 도입 시 발생할 수 있는 데이터 프라이버시, AI의 편향(Bias) 문제를 신중하게 다뤄야 한다고 경고해요. 마지막으로 연구진이 강조한, 우리가 꼭 기억해야 할 핵심 메시지를 공유하며 글을 마칩니다. 교육의 혁신은 결국 환자를 위한 것이니까요.

"PE 이니셔티브는 교육적 개입이 학습자에게 공평하게 제공되고, 그러한 개입의 하류에서 제공되는 의료 서비스가 환자에게 공평하게 제공되도록 보장해야 합니다."

“PE initiatives need to ensure that educational interventions are delivered equitably to learners and that health care delivered downstream from those interventions is provided equitably to patients.”

---

오늘의 포스팅 요약:

• 정밀 교육(PE)은 데이터와 기술로 '딱 맞는 교육'을 제공하는 것!
• GEL: 위치 추적 등으로 수련 환경 분석
• TRA: 의대-전공의 전환기 코칭 및 멘토링
• TARGET: AI 기반의 개인 맞춤형 콘텐츠 추천
• 주의점: 기술도 좋지만, 윤리와 공평성(Equity)을 잊지 말자!

---

 

정밀 교육(Precision Education, PE)의 목표는 “올바른 학습자에게 올바른 시간에 올바른 교육적 개입을 효율적으로 제공하는 것(the efficient delivery of the right educational intervention to the right learner at the right time)”입니다. 개별 학습자의 강점과 약점에 맞춰 학습 기회를 조정(tailoring)한다는 아이디어는 새로운 것이 아닙니다. 그러나 수련생의 경험에 대한 방대한 양의 정보를 제공하는 데이터 과학(data science)과 기술의 발전은 의학 교육을 위한 새로운 접근 방식을 촉발했습니다.

• 예를 들어, 전공의 프로그램(residency programs)은 전자 건강 기록(electronic health record, EHR)에 있는 데이터를 사용하여 전공의의 임상 경험을 추적하고 역량(competency)을 파악할 수 있습니다.

이러한 발전은 개별화된 학습(individualized learning)을 지원하는 시스템을 구축하게 하며, 이는 학습자, 더 나아가 환자를 위한 성과(outcomes)를 극대화하려는 의도를 가집니다. 동시에, PE는 데이터의 수집과 해석, 그리고 개별 수련생과 교육 프로그램에 유의미한 통찰(meaningful insights)을 가장 잘 전달하는 방법과 관련하여 독특한 과제들을 제시합니다.

 

PE 이니셔티브는 개인 및 프로그램 수준에서 의학 교육의 연속체(continuum) 전반에 걸쳐 가치를 더할 수 있습니다. 이니셔티브를 개발하고 평가할 때, 본 Academic Medicine 보충호에서 Desai 등이 기술한 PE 수명주기(PE lifecycle)를 고려하는 것이 도움이 됩니다. 이 주기는

• 입력을 수집하고(gathering inputs),
• 분석(analytics)을 사용하여 통찰을 생성하고(generate insights),
• 개입(interventions)을 계획 및 실행하고,
• 성과(outcomes)를 학습 및 평가하며,
• 학습한 교훈을 사용하여 주기를 수정하는 반복적인 과정(iterative process)입니다.

우리는 의학 교육 연속체의 서로 다른 지점에서 발생하며 다양한 전문 분야의 학습자가 참여하는 3가지 PE 이니셔티브를 설명할 것입니다. PE 주기를 사용하여, 우리는 공통된 주제와 학습한 교훈을 도출하여 PE의 도전 과제와 잠재력을 보여줄 것입니다.

PE 이니셔티브 1: 전공의 교육 연구실 (PE Initiative 1: The Graduate Medical Education Laboratory (GEL))

배경 (Background)

졸업 후 의학 수련생(Graduate medical trainees)들은 현대 병원에서 환자와 직접 접촉하는 시간이 12%에 불과합니다. 이는 임상 기술(clinical skills)의 저하, 의료 오류(medical errors)의 증가, 의료 제공자 사이의 소진(burnout) 증가와 동시에 발생했습니다. 전공의 교육 연구실(The Graduate Medical Education Laboratory, GEL)은 졸업 후 의학 수련생(즉, 전공의, 그림 1 참조)의 임상 기술과 직업적 성취감(professional fulfillment)을 향상시키기 위해 헌신하는 4개 내과 전공의 프로그램(존스 홉킨스 병원, 존스 홉킨스 베이뷰 의료 센터, 스탠포드 대학교, 앨라배마 대학교 버밍엄)의 네트워크입니다. GEL의 목표는 다음과 같습니다:

 

그림 1: 전공의 교육 연구실(GEL) 프로그램에 적용된 정밀 교육(PE) 주기는 입력(inputs)에서 시작하여 시계 방향으로 각 단계를 따라가는 것으로 가장 잘 볼 수 있습니다. 실시간 위치 추적 서비스(RTLS) 배지 데이터와 웰니스(wellness) 및 임상 기술에 대한 종단적 평가(longitudinal assessments)와 같은 입력은 개별 학습자와 전공의 프로그램 모두에 대한 통찰을 제공합니다. 이러한 통찰은 임상 기술과 직업적 성취감을 향상시키기 위해 설계된 개입(interventions)으로 이어질 수 있습니다. 개입에서 얻은 교훈은 다시 PE 주기로 피드백될 수 있습니다.

• 측정(Measure). 학습 환경, 임상 기술, 직업적 성취감을 설명하는 포괄적이고, 종단적이며, 확장 가능한 데이터 지표 세트를 구현합니다.
• 연관(Associate). 학습 환경의 요소들을 전공의의 웰니스 및 임상 기술과 연결하는 모델을 생성합니다.
• 개입(Intervene). 전공의의 웰니스와 임상 기술을 향상시키기 위한 개입을 개발, 실행 및 평가합니다.

입력 (Inputs)

참여하는 GEL 전공의들은 3초마다 적외선 신호를 방출하는 실시간 위치 추적 서비스(RTLS) 배지를 착용합니다. 이를 통해 기존의 시간-동작 연구(time-in-motion studies)보다 몇 자리수(orders of magnitude) 더 높은 규모로 업무 흐름(workflow)에 대한 정보를 수집할 수 있습니다. 예를 들어, i-Compare 연구는 시간-동작 설계를 사용하여 약 2,200시간의 전공의 위치 데이터를 수집한 반면, GEL RTLS 연구에서는 거의 100,000시간을 수집했습니다. RTLS 데이터는 웰니스, 소진(burnout), 회복탄력성(resiliency)에 대한 월간 설문조사와 연결하여, 특정 활동 패턴(activity signatures)이 개인 및 프로그램 수준에서 더 높은 성취감이나 증가된 소진과 연관되어 있는지 확인할 수 있습니다.

 

RTLS 및 웰니스 데이터는 임상 기술의 지표와도 연결될 수 있습니다. 임상 기술, 특히 신체 검진 기술(physical exam skills)에 대한 직접 관찰은 학부 의학 교육 과정에서는 드물며 전공의 수련 기간에는 더욱 드뭅니다. 3개의 GEL 현장에서는 수련생들이 실제 소견을 가진 실제 환자를 만나는 형성 평가 활동인 신체 검진 및 의사소통 기술 평가(Assessment of Physical Exam and Communication Skills, APECS)를 도입했습니다. 수련생들은 7개 임상 영역에 걸쳐 평가를 받고, 임상 기술을 향상시키기 위해 교수진으로부터 실시간 실습 피드백(hands-on, real-time feedback)을 받습니다.

 

각 GEL 전공의가 매일 EHR에서 보내는 시간과 다양한 활동(예: 기록 작성, 처방 입력)에 소비하는 시간의 내역이 전향적으로 수집됩니다. 이 데이터는 RTLS, 웰니스, 임상 기술 데이터와 연결되어 특정 EHR 패턴(EHR signatures)이 특정 성과와 연관되어 있는지 파악할 수 있습니다.

통찰 (Insights)

견고한 데이터는 개인 및 프로그램 수준 모두에서 통찰을 제공합니다. 존스 홉킨스 병원에서 수행된 44명의 인턴을 대상으로 한 RTLS 연구에서, 인턴들은 시간의 13.4%만을 환자 병실에서 보냈습니다. 또한 침상 옆(bedside)에서 보내는 시간에 있어 전공의 간 상당한 편차(8.8%에서 18.8%까지)가 있었습니다. 전체 근무일과 비교했을 때, 침상 옆 시간은 오전 회진 중 일부 임상 서비스(특히 치프 레지던트 및 종양학 서비스)에서는 더 높았지만 중환자실(intensive care unit) 및 세부 전문 분야 서비스에서는 더 낮았습니다. 이는 침상 회진(bedside rounds)이 의사들이 병원에서 환자와 시간을 보내는 방식을 혁신할 수 있는 영역임을 시사합니다. 개인 및 서비스 수준의 변동성을 이해하는 것은 환자와 함께하는 시간이 직업적 성취감과 임상 기술에 어떤 영향을 미치는지 조명해 줄 수 있습니다.

 

200명 이상의 내과 인턴들이 APECS에 참여했습니다. APECS 중에 관찰된 신체 검진 기술은 정확한 신체 징후 및 진단을 식별하는 것과 유의미한 상관관계가 있었습니다. 말기 간 질환을 앓고 있는 동일한 환자를 검진한 29명의 인턴 중 절반 이상이 신체 검진 기술에서 "개선 필요(needs improvement)" 점수를 받았으며, 대부분이 간비대(hepatomegaly)와 비장비대(splenomegaly)를 인지하지 못했습니다. 이러한 데이터는 개인 및 전공의 프로그램 수준에서 특정 신체 검진 기술을 향상시킬 수 있는 기회를 강조합니다.

개입 (Interventions)

졸업 후 의학 수련 환경의 구성 요소를 임상 기술 및 웰니스와 연결하는 모델에서 얻은 통찰은 전공의 프로그램 및 개별 학습 활동에 정보를 제공할 수 있습니다. 예를 들어,

• 침상 옆 시간을 늘리기 위해 오전 회진을 수정하고 이것이 임상 기술과 소진에 미치는 영향을 측정하는 것을 상상해 볼 수 있습니다.
• 몇 가지 개입은 이미 진행 중입니다.
  • 매년 전공의들은 APECS 교수진과 개별적으로 만나 자신의 성과를 검토합니다. 그들은 함께 개별화된 학습 계획(individualized learning plan)을 개발하며, 여기에는 임상 기술을 향상시키기 위한 실제 환자 만남이 포함됩니다.
  • APECS 데이터에 대응하여, 실제 자원봉사 환자를 활용한 1시간짜리 위장관계 신체 검진 워크숍이 GEL 현장 중 한 곳의 외래 커리큘럼에 추가되었습니다.

성과 (Outcomes)

교육 환경의 특정 구성 요소를 임상 기술 및 직업적 성취감과 연결하는 강력한 모델을 개발하기에는 아직 충분한 데이터가 없지만, 다수의 중요한 도구들(예: RTLS, APECS, EHR 데이터, 웰니스 설문조사)이 배치되었습니다. 형성적 임상 기술 평가 프로그램(formative clinical skills assessment program)의 실행은 참여 현장에서 현장 진료 초음파(point-of-care ultrasound)를 포함한 침상 옆 임상 검진에 대한 관심을 새롭게 불러일으켰습니다.

과제 (Challenges)

GEL 입력 중 일부는 수련생의 적극적인 참여를 필요로 합니다. 이로 인해 설문조사, RTLS 배지, EHR 데이터를 동시에 보유한 수련생의 수가 제한되었습니다. APECS는 자원 집약적(resource intensive)이며 종단적 데이터를 제공하지 않아, 서로 다른 개입이 임상 기술에 미치는 영향을 평가하는 능력을 제한합니다. 또한 서로 다른 의료 시스템 전반에 걸쳐 EHR 척도를 표준화하는 것도 어려웠습니다.

PE 이니셔티브 2: 전공의 전환 이점 프로그램 (PE Initiative 2: The Transition to Residency Advantage (TRA) Program)

배경 (Background)

의과대학에서 전공의 과정(residency)으로의 전환은 학습자의 발전과 안녕(well-being)을 위협하는 힘든 시기입니다. 수련생들이 점차 다양해짐에 따라, 천편일률적인 접근 방식(one-size-fits-all approach)은 학습 요구의 폭넓은 편차를 지원할 수 없습니다. 의과대학은 학생의 성과에 대한 풍부한 포트폴리오를 수집하지만, 선발 과정 중이나 그 이후에 졸업 후 수련 프로그램(graduate training programs)에 제공되는 정보는 거의 없습니다. NYU의 전공의 전환 이점(Transition to Residency Advantage, TRA) 프로그램은 전공의 과정으로의 전환을 개선하기 위해 코칭(coaching)에 기반을 둔 PE 접근 방식을 사용합니다(즉, 브리지 코칭; 그림 2 참조).

 

그림 2: NYU 전공의 전환 이점(TRA) 프로그램에 적용된 정밀 교육(PE) 주기는 입력에서 시작하여 시계 방향으로 각 단계를 따라가는 것으로 가장 잘 볼 수 있습니다. 초기 코칭 미팅에서, 의과대학은 졸업하는 수련생에 대한 심층적인 데이터를 그들의 새로운 전공의 프로그램에 제공합니다. 이는 개별 학습자에 대한 통찰로 이어지며, 이는 개인화된 학습 목표가 설정되는 지속적인 코칭 미팅의 실질적인 내용을 구성합니다(inform). 개별 수련생의 진척도는 학습 포트폴리오와 종단적 미팅을 통해 추적되며, 이는 다시 PE 주기에 추가적인 입력으로 제공됩니다.

입력 (Inputs)

TRA는 의과대학이 학습자를 새로운 전공의 프로그램에 대면으로 소개하는 것으로 시작합니다. 이 “따뜻한 인계(warm handoff)”는 TRA 모델의 첫 번째 입력이며 환자를 새로운 의료 제공자에게 의뢰하는 선호되는 방식을 반영합니다. 인계 과정 동안, TRA는 학습자의 의과대학 포트폴리오를 전공의 프로그램에 제공합니다. 학습자와 GME 코치 간의 지속적인 미팅은 코칭 상호작용의 성격과 실질적 내용을 알리는 추가적인 입력을 제공합니다. 입력에는 순환 근무 성과 평가, 임상 역량 마일스톤(milestone) 평가, 학생에 의한 교육 평가, 목표 설정에 대한 성찰 연습 등의 데이터가 포함됩니다.

통찰 (Insights)

코치는 수련 첫해 동안 분기별로 학습자와 만납니다. 미팅은 학습자의 의제(agenda)에 기반하여 반구조화(semistructured)되어 있으며, 학습자가 목표를 설정하고 전문성 개발의 발판(scaffold)을 마련하도록 돕는 것을 목표로 합니다. 코치와 수련생은 수련생에 대한 평가와 객관적인 데이터를 봅니다. 이러한 미팅에서 얻은 통찰은 학습 및 개발 우선순위에 대한 선택에 정보를 제공합니다. 전공의들은 이전 미팅에서 설정한 목표와 공식 및 비공식 절차를 통해 수집된 피드백에 비추어 자신의 수련 경험을 성찰합니다.

개입 (Interventions)

TRA는 매칭 데이(match day)부터 전공의 초기 과정까지 이어져 전공의의 자기 주도성(self-direction)과 직업적 자율성을 강화합니다. 참가자들은 자체 개발한 웹 기반 기술 애플리케이션을 사용하여 미팅 일정을 잡고 추적하며, 학습 목표에 대해 소통하고, 코칭 도구에 접근하며, 학습 포트폴리오를 사용함으로써 코칭 만남을 지원합니다. 미팅 중에 코치는 학습자가 자신의 우선순위, 흥미, 과거 경험에 기반하여 목표를 개발하도록 유도합니다. 목표는 종종 지식 및 기술 구축, 연구, 경력 계획, 성찰적 실천(reflective practice), 안녕(well-being)에 초점을 맞춥니다.

 

코치들은 코칭의 기초, 신규 인턴의 필요, 코칭 프로그램의 실질적인 측면, 그룹 코칭 기술 시험에 초점을 맞춘 9회 세션의 워크숍 시리즈에 참여합니다. 코치들은 월간 실천 공동체(community of practice) 모임에 참여하여 코칭 시나리오를 고려하고 학습자의 어려움에 반응하는 최적의 방법을 논의합니다.

성과 (Outcomes)

각 개별 학습자에 대한 성과는 학부 의학 교육에서 전공의 과정으로 전환하는 동안의 수행 능력입니다. 진척도는 각 후속 코칭 미팅에서 검토되며, 이 데이터는 새로운 통찰과 목표를 알리는 입력으로서 PE 주기로 다시 들어갑니다.

 

TRA 파일럿에는 내과, 산부인과, 응급의학과, 정형외과, 병리과의 인턴 96명이 포함되었습니다. 졸업하는 의대생들은 현실적이고 달성 가능한 목표를 설정하는 능력을 보여주었지만, 해당 목표에 도달하기 위한 전략은 덜 발달되어 있었습니다. 코칭을 받은 전공의들은 지식, 기술, 안녕, 직업 정체성과 관련된 다양한 영역에서 구체적인 목표를 설정하는 능력이 향상되었음을 보여주었습니다. 코칭을 경험한 44명의 2년 차 전공의와 그렇지 않은 전년도의 44명 전공의를 비교했을 때, 코칭 그룹은 더 큰 직업적 성취감, 회복탄력성, 경력 자기 효능감(career self-efficacy)을 보고했으며, 목표를 설정할 시간이 있고 프로그램의 지원을 받고 있다는 느낌을 지지했습니다. 코칭에 참여한 전공의들은 역량을 증명하기보다는 학습 지향적인(oriented toward learning) 목표를 설정할 가능성이 더 높았으며 목표 설정에 대한 장벽을 더 적게 보고했습니다. 코칭은 전공의들이 자기 주도적 학습(self-directed learning)을 인식하는 방식의 변화를 지원할 수 있으며, 이는 PE에 대한 참여를 보장하는 필수 요소입니다.

 

전공의 전환 과정을 통한 코칭은 직업적 성장과 개발을 위한 명시적인 커리큘럼에 정보를 제공할 잠재력이 있습니다. 코칭 경험은 학습자의 참여, 코치와 학습자 간의 관계, 코칭을 지원하기 위해 마련된 구조에 의해 강하게 영향을 받습니다. 코칭은 다양한 유형의 목표 전반에 걸친 학습의 통합을 허용하며, 긴급한 임상 업무에 집중해야 하는 GME(졸업 후 의학 교육)의 압박과는 대조적으로 성찰을 위한 공간을 만듭니다. 이는 전문성 개발이 임상 기술 외에도 팀워크 기술, 시간 관리, 일과 삶의 통합(work-life integration), 스트레스가 많은 경험 처리 및 기타 영역을 포괄한다는 생각을 표준화합니다.

과제 (Challenges)

TRA 참가자들이 직면한 한 가지 과제는 학습에 대한 성찰과 미래 학습에 대한 계획이 전공의 과정의 핵심 업무(core work)로 간주되지 않는다는 점입니다. TRA의 향후 반복(iterations)에서는 임상 기술과 직업적 성취감을 향상시키기 위해 학습에 대한 성찰의 가치를 강조함으로써 이 문제를 명시적으로 다룰 것입니다.

PE 이니셔티브 3: 교육 공학을 위한 마취 연구 그룹 (PE Initiative 3: The Anesthesia Research Group for Educational Technology (TARGET))

배경 (Background)

교육 공학을 위한 마취 연구 그룹(The Anesthesia Research Group for Educational Technology, TARGET)은 마취과 전공의에게 개별화된 교육을 제공하기 위한 자동화 도구를 개발하는 것을 목표로 하는 다기관 컨소시엄입니다. TARGET 팀은 Triola와 Burk-Rafel이 제시한 P4 프레임워크에 기반하여 이 PE 플랫폼의 개념적 설계를 공식화했으며, 여기에는 능동성(proactivity), 개인화(personalization), 참여(participation), 성과의 예측(prediction of outcomes) 원칙이 포함됩니다. 이 프레임워크는 PE 주기를 사용하여 실행됩니다(그림 3 참조).

 

그림 3: 교육 공학을 위한 마취 연구 그룹(TARGET) 프로그램에 적용된 PE 주기는 입력에서 시작하여 시계 방향으로 각 단계를 따라가는 것으로 가장 잘 볼 수 있습니다. 퀴즈 뱅크, 전자 건강 기록(EHR), 프로그램 평가에서 개별 학습자에 대한 정보를 수집하여 지속적으로 업데이트되는 학습자의 디지털 표현(digital representation)을 생성합니다. 그런 다음 우선순위 지정 모델(prioritization model)이 학습자의 경험과 지식을 향상시킬 콘텐츠를 선택합니다. 업데이트된 데이터는 학습자의 디지털 표현을 정교화(refines)하며, 이는 학습자의 자신감, 기술 및 실무 준비를 향상시킬 수 있는 추가적인 개인화된 콘텐츠로 이어집니다.

입력 (Inputs)

TARGET 도구의 첫 번째 구성 요소는 (1) 현재 지식, (2) 핵심 기술 및 행동에 대한 역량, (3) 임상 경험을 포착하는 학습자의 디지털 표현(digital representation of the learner)이 될 것입니다. 모델의 지식 부분은 미국 마취과 위원회(American Board of Anesthesiology)의 콘텐츠 개요에 기반합니다. 주요 지식 입력은 마취과 전공의들 사이에서 많이 활용되는 학습 도구인 퀴즈 뱅크 문항에 대한 학습자 수행 능력입니다. 위임 가능한 전문 활동(entrustable professional activities, EPAs), 절차적 기술, 비기술적 기술(nontechnical skill) 평가를 통합한 작업장 기반 평가 도구(workplace-based assessment tool)의 데이터가 학습자의 기술 및 행동에 대한 정보를 제공하는 데 활용될 것입니다. 학습자의 임상 경험에 대한 데이터는 순환 근무 일정과 예정된 환자 만남(encounters)으로 나타낼 것입니다. 또한 임상 경험을 나타내기 위해 현재 시술명(current procedure technology, CPT) 코드와 국제 질병 분류(International Classification of Diseases, ICD) 코드를 포함한 EHR의 데이터를 사용할 것입니다. 학습자가 수련에 참여함에 따라 모델은 다양한 소스에서 데이터를 수집하고 학습자의 현재 상태에 대한 업데이트된 표현을 제공할 것입니다.

통찰 (Insights)

학습자의 표현을 생성하고 유지 관리하려면 위의 각 입력이 정기적인 간격으로 업데이트되어야 하며, 이는 능동성(proactivity) 및 개인화(personalization)라는 정밀 교육 원칙과 일치하는 관행입니다. 데이터 포인트의 집계는 시스템이 학습자가 상당한 경험과 높은 수준의 역량을 가진 영역뿐만 아니라 역량이 낮고 경험이 적은 영역을 정확히 찾아낼 수(pinpoint) 있게 해줍니다. 이 정보는 개별 학습자와 전공의 프로그램에 귀중한 통찰을 제공할 수 있습니다.

개입 (Interventions)

학습자 모델이 개발되면, TARGET 앱은 특정 영역의 지식과 역량을 향상시키기 위해 개인화된 콘텐츠를 제공합니다. TARGET은 저널 논문, 강의, 슬라이드 세트, 비디오, 팟캐스트, 개요를 포함하여 2,000개 이상의 큐레이팅된 교육 콘텐츠 항목이 있는 콘텐츠 데이터베이스를 구축했습니다. 콘텐츠 데이터베이스의 각 노드는 학습자 모델의 해당 노드에 매핑되어 있어, 특정 학습 요구가 식별되면 해당 영역에 콘텐츠를 타겟팅할 수 있습니다. 콘텐츠 데이터베이스는 새로운 콘텐츠로 업데이트될 수 있으며, 이는 능동성(proactivity) 원칙과 일치하는 접근 방식입니다. 초기 콘텐츠 항목 및 매핑은 PubMed의 논문으로 훈련된 오픈 소스 모델인 자연어 처리(NLP) 모델(prtiamdeka/s-PubMedBert-MS-MARCO)을 사용하여 임베딩되었습니다. 가중치 규칙 기반 우선순위 지정 알고리즘(weighted rules-based prioritization algorithm)은 학습자가 이미 본 콘텐츠, 절차나 의학적 진단에 대한 학습자의 이전 경험, 그리고 현재 역량 수준을 활용하여 목록의 우선순위를 정합니다.

• 예를 들어, 학습자가 당뇨병 환자를 만나고 이것이 시스템으로 하여금 당뇨병 환자의 수술 중 관리에 대한 논문을 추천하도록 유도하는 경우, 학습자가 이미 유사한 만남을 상당히 많이 가졌다면 우선순위 알고리즘은 이 콘텐츠의 표시 순위를 낮출 것입니다.

이를 통해 우선순위 엔진은 학습자의 근접 발달 영역(zone of proximal development)—역량이 가장 낮거나 경험이 가장 적은 영역—내에 있는 콘텐츠를 제안할 수 있습니다.

 

콘텐츠는 모바일 스마트폰 애플리케이션을 통해 학습자에게 제공됩니다. 앱 내에서 학습자는 제안된 콘텐츠를 보고 개인 라이브러리에 추가할 수 있습니다. 학습자가 콘텐츠 추천을 받을 때마다 유용성과 품질에 대한 실시간 피드백을 제공할 수 있습니다. 이 기능은 참여(participation)라는 PE 원칙을 TARGET 도구에 추가로 통합합니다.

성과 (Outcomes)

TARGET 프로젝트는 아직 개발 초기 단계에 있습니다. 학습자 성과에는 수련 효율성의 향상과 궁극적으로 실무 준비(preparation for practice)의 향상이 포함되기를 희망합니다. 다른 성과로는 빈도가 낮고 위험이 높은 케이스에 대한 수련생의 자신감 증가, 시뮬레이션 성과 향상, ACGME 설문조사 결과 개선, 시험 점수 향상 등이 있을 수 있습니다. 궁극적으로 더 효율적이고 목표 지향적인 교육은 더 나은 환자 성과와 유해 사례 감소로 이어질 수 있습니다.

과제 (Challenges)

TARGET은 여러 기관의 정보를 학습자 데이터의 국가 저장소(national repository)로 수집할 것입니다. 이 과정에는 새로운 기관이 EHR 데이터를 추출하여 저장소로 보내는 데 활용할 수 있는 소프트웨어 라이브러리 개발이 포함됩니다. 과제에는 의료 시스템과의 통합 및 데이터 개인정보 보호 우려, 특히 EHR 정보를 공유할 때의 문제가 포함됩니다. 조사를 위한 한 가지 우선순위는 학습자 모델의 타당성(validity)을 평가하는 것입니다. 모델을 사용하여 식별된 수련생의 학습 격차를 전통적인 방법(예: 임상 역량 위원회)으로 식별된 것과 비교함으로써 준거 관련 공존 타당도(criterion-related concurrent validity)를 평가할 것입니다.

고찰 (Discussion)

위의 예시들은 개별 학습자뿐만 아니라 프로그램 수준의 학습 환경에 영향을 미칠 수 있는 PE의 잠재력을 보여줍니다. 프로그램들은 임상 역량에 집중할 수 있지만 웰니스, 회복탄력성, 목표 설정과 같은 다른 의미 있는 성과로도 확장할 수 있습니다. PE 이니셔티브는 의학 수련의 모든 단계에 있는 학습자를 포함할 수 있으며, 한 단계에서 다음 단계로의 전환을 개선하는 메커니즘을 제공하여 보다 연속적인 교육 여정을 가능하게 합니다. 입력을 분석하여 통찰을 이끌어내고, 개입을 개발하며, 성과를 측정하는 PE 주기(PE cycle)는 특정 이니셔티브를 개발하고 평가하기 위한 프레임워크를 제공합니다.

 

3가지 프로그램은 형성적 평가와 총괄적 평가 모두를 제공하기 위해 PE 프로세스에서 사용될 수 있는 잠재적 입력 및 분석의 엄청난 범위를 보여줍니다. 설명된 여러 이니셔티브는 종종 최소한의 능동적 관여만으로(예: RTLS 추적 배지 데이터, 환자 일정 데이터, EHR 데이터 등) 학습자에 대한 실시간의 풍부한 데이터를 수집합니다. 이는 현재 교육 환경의 주요 과제 중 하나를 해결합니다; 환자 진료의 긴급성은 종종 평가, 자기 성찰, 미래 학습 계획에 대한 수련생의 참여를 무색하게 만듭니다. GEL과 TARGET 프로그램이 통찰을 이끌어내기 위해 증강 지능(augmented intelligence, AI)을 배치하는 반면, TRA 프로그램은 개별 목표와 개입을 개발하기 위해 디지털 분석과 인간 분석(human analytics) 모두에 의존합니다. 통찰과 개입은 또한 다른 그룹을 포함할 수 있습니다. 우리 예시의 타겟 청중에는 개별 수련생, 교수 지도자(faculty preceptors), 전공의 프로그램이 포함됩니다. 규모가 확대되면, 이 프로세스는 의과대학이나 의료 시스템의 관행에도 정보를 제공할 수 있습니다. GEL 프로그램의 임상 기술 데이터나 TARGET의 임상 노출 데이터에서 식별된 주제는 프로그램 또는 기관 수준에서 격차를 해결하기 위한 훈련을 개발하는 데 사용될 수 있습니다.

 

PE 이니셔티브에는 몇 가지 핵심 과제가 있습니다.

• 학습자와 수련 환경에 대한 대량의 데이터를 수집, 조직 및 분석하는 것은 의과대학 학장실이나 전공의 프로그램의 일반적인 범위를 넘어서는 엄청난 과정일 수 있습니다.
• PE 이니셔티브가 평가를 위한 데이터 수집 프로세스를 개선하는 반면, 통찰을 생성하기 위해 관련 데이터 포인트를 식별하고 적절한 분석 방법을 선택하기 위해서는 AI 전문가를 포함한 데이터 과학자와의 파트너십이 필요합니다.
• 이는 AI의 성장하는 역량을 활용할 기회를 제시하지만, 기계 학습 알고리즘을 사용할 때 도입될 수 있는 잠재적 편향(potential biases)에 대한 인식 또한 요구합니다. AI를 통해 도출된 개입이나 모델은 또한 더 전통적인 방법에 대해 검증될 필요가 있습니다.

PE 시스템이 여러 의료 기관의 학습자, 그리고 잠재적으로 환자에 대한 데이터를 활용하려고 시도할 때 데이터 표준화, 보안, 거버넌스(governance), 개인정보 보호를 둘러싼 여러 문제가 있습니다. 이러한 구조적 문제 중 일부는 공통 데이터 원칙 및 표준을 사용하여 개선될 수 있습니다.

• 예를 들어, 국가 COVID 코호트 협력(National COVID Cohort Collaborative, N3C)은 관찰 의료 성과 파트너십(Observational Medical Outcomes Partnership, OMOP)과 같은 공통 데이터 모델을 사용하여 수십 개의 학술 의료 시스템의 데이터를 결합해 COVID-19에 대한 질문에 답했습니다.

PE를 위한 새로운 사용 사례(use cases)는 학습자 및 환자 데이터와 관련하여 보안 및 개인정보 보호에 대한 논의를 필요로 할 것입니다.

 

임상 행동 및 기술의 종단적 변화를 추적하기 위해 EHR 데이터를 사용할 수 있는 엄청난 잠재력이 있지만, EHR은 그러한 속성을 포착하도록 설계되지 않았다는 점에 유의하는 것이 중요합니다. EHR은 또한 의사소통 및 공감과 같은 임상 기술을 식별할 수 없으며, 이는 전반적인 역량을 판단하는 유일한 지표로서의 사용을 제한합니다. APECS와 같은 평가를 포함한 직접 관찰은 임상 기술 및 행동에 대한 풍부한 데이터를 제공할 수 있지만 자원 집약적이며 규모에 맞게 실행하기 어렵습니다. 이는 지속적인 개선을 위해 종단적 입력을 필요로 하는 PE 주기에서의 유용성을 제한합니다. PE 이니셔티브는 잠재력을 달성하기 위해 기술과 전통적인 교육적 개입 사이의 적절한 균형을 찾아야 합니다. 현재 우리가 대면 평가에 의존하고 있는 속성을 평가하기 위해 EHR 데이터를 사용하는 방법에 대한 연구는 PE의 영향력을 높이기 위한 필수적인 단계입니다.

 

자기 성찰, 설문조사, 지식 평가에 대한 학습자 참여와 같은 다른 잠재적 PE 주기 입력들은 환자 진료 문제가 “더 부드러운(softer)” 기술 및 활동보다 우선시되는 의학 수련의 분주한 본질에 희생될 수 있습니다. PE 이니셔티브는 참가자들에게 잠재적 이점을 인식시키고, 학습자 기술 및 환자 성과에 영향을 미치기 위해 PE 주기로 피드백될 활동에 참여하도록 인센티브를 제공하기 위해 참가자들을 직접 관여시켜야 합니다.

 

마지막으로, 윤리적 개발을 보장하고, 규모에 따른 효용을 극대화하며, 잠재적 편향으로부터 보호하기 위해 PE 혁신을 위한 원칙과 표준에 대한 합의를 개발할 필요가 있습니다. 이는 학습자에 대한 통찰을 도출하기 위해 AI를 사용하는 PE 이니셔티브에 확실히 적용되지만, 인간 분석에 의존하는 이니셔티브에도 적용됩니다. Academic Medicine의 이 보충호에서 Schumacher와 동료들이 개요를 서술한 바와 같이, 공평한 환자 진료(equitable patient care)에 초점을 맞추고 교육적 개입 및 평가를 환자 성과와 더 명시적으로 연결해야 할 긴급한 필요성이 있습니다. PE 이니셔티브는 교육적 개입이 학습자에게 공평하게 제공되고, 그러한 개입의 하류(downstream)에서 제공되는 의료 서비스가 환자에게 공평하게 제공되도록 보장해야 합니다.

 

PE는 의학 교육 및 의료 서비스 제공을 변화시킬 잠재력이 있습니다. PE 이니셔티브를 개발하고 평가하기 위해 공통 프레임워크를 사용하여 지속적인 혁신을 지원하는 것은 그 영향에 대한 더 명확한 이해로 이어지고, 잠재적 위험을 완화하는 데 도움이 되며, PE의 영향을 극대화하기 위해 성공적인 관행을 배치할 수 있게 할 것입니다.

 

 

Figure 1: 전공의 교육 연구실 (GEL)

Legend 번역

그림 1: 전공의 교육 연구실(GEL) 프로그램에 적용된 정밀 교육(PE) 주기는 입력(inputs)에서 시작하여 시계 방향으로 각 단계를 따라가는 것으로 가장 잘 볼 수 있습니다. 실시간 위치 추적 서비스(RTLS) 배지 데이터와 웰니스(wellness) 및 임상 기술에 대한 종단적 평가(longitudinal assessments)와 같은 입력은 개별 학습자와 전공의 프로그램 모두에 대한 통찰을 제공합니다. 이러한 통찰은 임상 기술과 직업적 성취감을 향상시키기 위해 설계된 개입(interventions)으로 이어질 수 있습니다. 개입에서 얻은 교훈은 다시 PE 주기로 피드백될 수 있습니다.

Figure 설명

이 그림은 GEL 프로그램이 어떻게 데이터를 수집하고 활용하여 전공의 교육을 개선하는지 순환 구조로 보여줍니다.

• 입력 (Inputs):
  • 전공의의 위치와 업무 흐름에 대한 RTLS 데이터.
  • 임상 기술 평가(Clinical skills assessments).
  • 소진(burnout), 회복탄력성(resiliency), 웰니스에 대한 설문조사.
• 통찰 (Insights):
  • 입력된 데이터를 분석(Analytics)하여 수련 환경, 임상 기술, 웰니스 사이의 연관성에 대한 일반적인 주제를 도출합니다.
• 개입 (Interventions):
  • 도출된 통찰을 바탕으로 기획(Planning) 단계를 거쳐, 임상 기술이나 웰니스의 특정 측면을 향상시키기 위해 설계된 검증 가능한 가설(Testable hypotheses)을 수립하고 실행합니다.
• 성과 (Outcomes):
  • 학습 및 평가(Learning & Assessing)를 통해 임상 기술, 소진, 회복탄력성, 웰니스에 미치는 영향을 확인합니다. 이 결과는 조정(Adjusting) 단계를 거쳐 다시 새로운 입력 데이터로 순환됩니다.

---

 

 

Figure 2: 전공의 전환 이점 프로그램 (TRA)

Legend 번역

그림 2: NYU 전공의 전환 이점(TRA) 프로그램에 적용된 정밀 교육(PE) 주기는 입력에서 시작하여 시계 방향으로 각 단계를 따라가는 것으로 가장 잘 볼 수 있습니다. 초기 코칭 미팅에서, 의과대학은 졸업하는 수련생에 대한 심층적인 데이터를 그들의 새로운 전공의 프로그램에 제공합니다. 이는 개별 학습자에 대한 통찰로 이어지며, 이는 개인화된 학습 목표가 설정되는 지속적인 코칭 미팅의 실질적인 내용을 구성합니다(inform). 개별 수련생의 진척도는 학습 포트폴리오와 종단적 미팅을 통해 추적되며, 이는 다시 PE 주기에 추가적인 입력으로 제공됩니다.

Figure 설명

이 그림은 TRA 프로그램이 의과대학에서 전공의 과정으로 넘어가는 전환기(transition)를 어떻게 코칭(coaching)을 통해 지원하는지 보여줍니다.

• 입력 (Inputs):
  • 학습자가 주도하여(Learner-directed) 의과대학(UME) 포트폴리오를 GME 코치와 공유.
  • 학습자가 주도하여 전공의 수련 경험을 공유.
• 통찰 (Insights):
  • 분석(Analytics)을 통해 초기 포트폴리오와 진행 중인 전공의 경험으로부터 현재 진척도(current progress)에 대한 통찰을 도출합니다.
• 개입 (Interventions):
  • 기획(Planning)을 거쳐 분기별 반구조화된 미팅(Quarterly semi-structured meetings)을 진행합니다. 여기서 우선순위와 가치에 대한 성찰, 강점 식별, 목표 구체화(refining goals), 미래 구상이 이루어집니다.
• 성과 (Outcomes):
  • 학습 및 평가(Learning & Assessing)를 통해 전환 과정을 통과하는 전공의의 전반적인 진척도를 확인합니다. 여기에는 향상된 회복탄력성(resilience), 직업적 성취감(professional fulfillment), 경력 자기 효능감(career self-efficacy)이 포함됩니다.

---

 

Figure 3: 교육 공학을 위한 마취 연구 그룹 (TARGET)

Legend 번역

그림 3: 교육 공학을 위한 마취 연구 그룹(TARGET) 프로그램에 적용된 PE 주기는 입력에서 시작하여 시계 방향으로 각 단계를 따라가는 것으로 가장 잘 볼 수 있습니다. 퀴즈 뱅크, 전자 건강 기록(EHR), 프로그램 평가에서 개별 학습자에 대한 정보를 수집하여 지속적으로 업데이트되는 학습자의 디지털 표현(digital representation)을 생성합니다. 그런 다음 우선순위 지정 모델(prioritization model)이 학습자의 경험과 지식을 향상시킬 콘텐츠를 선택합니다. 업데이트된 데이터는 학습자의 디지털 표현을 정교화(refines)하며, 이는 학습자의 자신감, 기술 및 실무 준비를 향상시킬 수 있는 추가적인 개인화된 콘텐츠로 이어집니다.

Figure 설명

이 그림은 TARGET 프로그램이 기술(technology)과 데이터 분석을 활용하여 마취과 전공의에게 자동화되고 개인화된 교육을 제공하는 과정을 보여줍니다.

• 입력 (Inputs):
  • 평가, 퀴즈 뱅크, 순환 근무 일정(rotation schedules), EHR로부터 수집된 정보.
• 통찰 (Insights):
  • 분석(Analytics)을 통해 입력 데이터로부터 학습자의 표현(Representation of learner)을 개발합니다. (학습자의 지식 및 역량 상태를 디지털로 모델링함)
• 개입 (Interventions):
  • 전달(Delivery) 시스템을 통해 스마트폰 앱으로 학습자에게 개별화된 교육 콘텐츠(Individualized educational content)를 제공합니다.
• 성과 (Outcomes):
  • 학습 및 평가(Learning & Assessing)를 거쳐 시험 점수 향상, 시뮬레이션 수행 능력 향상, 대면 평가 점수 향상 등의 결과를 도출합니다. 이 데이터는 다시 조정(Adjusting)되어 학습자 모델을 업데이트하는 데 쓰입니다.