델파이 연구를 활용한 캐나다 인공지능 의료 커리큘럼 개발 (NPJ Digit Med. 2024)

Meded 2025. 4. 12. 12:22

2025. 4. 12. 12:22

NPJ Digit Med. 2024 Nov 18;7(1):323. doi: 10.1038/s41746-024-01307-1.

Developing a Canadian artificial intelligence medical curriculum using a Delphi study

Rohit Singla # 1 2, Nikola Pupic # 3, Seyed-Aryan Ghaffarizadeh # 3, Caroline Kim 3, Ricky Hu 4, Bruce B Forster 4 5, Ilker Hacihaliloglu 4 5

🧠 의대생을 위한 AI 교육, 어디까지 가르쳐야 할까?

– 캐나다 전문가 106명이 만든 의학 AI 교육의 핵심 리스트

요즘 의료 인공지능(AI)에 대한 관심, 정말 뜨겁죠?
AI가 판독을 돕고, 문서를 대신 써주고, 예후까지 예측해주는 세상인데…
정작 의대에서는 이걸 어떻게, 얼마나 가르쳐야 할지 막막하다는 목소리가 많습니다.

그래서 캐나다 연구진이 나섰습니다!
캐나다 전역의 AI, 의학교육, 임상의 전문가 106명을 대상으로 델파이 방법(Delphi method)을 써서
의대생을 위한 AI 교육 커리큘럼을 직접 정리한 연구가 나왔어요.
👇 핵심 내용을 함께 살펴볼게요!

🔍 연구 목적: “AI, 뭘 가르쳐야 하지?”

연구팀은 이렇게 말합니다:

"This curriculum aims to equip the next generation of healthcare providers with the competencies required to integrate AI into their clinical workflows confidently."
“이 커리큘럼은 차세대 의료인이 AI를 임상 업무에 자신 있게 통합할 수 있는 역량을 갖추도록 돕는 데 목적이 있다.”

📋 방법: 전문가 106명이 107개 항목 평가

델파이 방식으로 3라운드에 걸쳐 설문
총 107개의 학습 요소를 주제별로 제시
포함(inclusion) 기준: 70% 이상이 4점 또는 5점
제외(exclusion) 기준: 70% 이상이 1점 또는 2점
나머지는 "합의 미도달(no consensus)"

🧭 6개 핵심 주제

연구진은 AI 교육 내용을 다음 **6가지 주제(Core Themes)**로 나눴습니다:

주제 예시	학습 내용
🧑‍⚖️ 윤리(Ethics)	AI 편향(bias), 형평성(equity), 데이터 프라이버시
⚖️ 법률(Legal)	지적 재산권, 데이터 거버넌스
📚 이론(Theory)	통계, 머신러닝 종류, AI의 효과 평가
🛠 응용(Application)	데이터 해석, 모델 평가, 알고리즘 선택
🤝 협업(Collaboration)	데이터 과학자와의 팀워크, 환자 중심 설계
🗣 의사소통(Communication)	공감적 대화, 결과 설명, 환자 대상 설명 자료

✅ 포함된 항목 (총 82개, 77%)

합의에 따라 **가장 많이 포함된 주제는 ‘윤리’와 ‘의사소통’**이었습니다.
예를 들어…

"Explain the importance of data privacy in the context of using AI with healthcare data."
“의료 데이터에 AI를 적용하는 맥락에서 데이터 프라이버시의 중요성을 설명할 수 있어야 한다.”

또한, ‘이론’과 ‘응용’ 영역에서도 AI의 신뢰성 평가, 의사결정에 활용, 오류 해석(error analysis) 같은
임상 활용을 위한 기초적 역량이 포함되었습니다.

❌ 제외된 항목들 (총 20개)

너무 기술적이거나 의대생 수준에서 과도한 프로그래밍 능력을 요구하는 항목들은 제외되었어요.

예를 들어:

"Use TensorFlow to build and train deep learning models."
“TensorFlow를 이용해 딥러닝 모델을 구축하고 학습시키는 것” → ❌ 제외

🤔 합의되지 못한 항목들

70% 기준을 넘지 못한 애매한 항목들도 있었어요.
대표적으로 이런 것들:

"List the key issues surrounding the intellectual property of AI." (지적재산권 쟁점 열거) → 54% 찬성
"Train AI models using appropriate techniques and algorithms." (AI 모델을 적절히 학습시키기) → 69% 찬성
"Use Keras to build and train deep learning models." → 69% 제외 찬성

이들은 앞으로 교육 수요와 기술 변화에 따라 포함될 수도 있겠죠.

🔗 전문가의 평가 기준은?

흥미롭게도 M.D. vs Ph.D. 간 평가 차이는 거의 없었다고 해요!
→ "This similarity may be attributed to a broad consensus on core elements that are important..."
→ “이러한 유사성은 핵심 요소에 대한 폭넓은 공감대 때문일 수 있다.”

🧩 실제 교육에 어떻게 녹일까?

논문은 다음과 같은 현실적 접근법을 제안해요:

AI 윤리, 프라이버시는 생명윤리 강의에 통합
AI 관련 통계 개념은 생물통계(biostatistics) 수업에서 함께 다루기
AI 적용 사례는 PBL/CBL 세션에 포함
임상실습 중 AI 도구(초음파 가이드, 디지털 스크라이브 등) 사용해보기
게스트 강사 초빙, AI 프로젝트 참여 유도 등

"There is little room for a drastic overhaul of UGME... but integration is feasible."
“UGME에서 급격한 교육과정 개편은 어렵지만, 기존 수업 속 통합은 가능하다.”

✨ 정리하자면…

✅ 윤리·의사소통 중심의 기초적 AI 이해는 필수

❌ 딥러닝 코딩, 벡터화, TensorFlow 등은 의대생에겐 과도

📦 기존 수업 안에서 자연스럽게 통합하는 방식이 유효

👩‍⚕️ 미래 의사는 AI를 직접 만들기보다, 잘 해석하고, 비판적으로 사용할 수 있어야 함

이제 우리 의대에서도,
“AI 교육, 어디까지 가르쳐야 할까?”에 대해
좀 더 구체적인 방향을 이야기할 수 있게 된 것 같죠?

서론 (Introduction)

의료 분야에서 인공지능(Artificial Intelligence, AI)의 통합은 진단의 정확성 향상, 위험도 계층화, 치료 효율성 개선 등의 측면에서 변혁적 변화를 일으키고 있다¹,². AI 기술은 방대한 임상 영역에서 효과성을 입증받았으며, 예를 들어 임상의의 문서화 업무 부담을 줄이거나, 방사선 영상 해석을 향상시키고, 수술 중 실시간 가이던스를 지원하며, 공중보건의 위험 계층화를 가능하게 하는 등의 활용 사례가 보고되어 왔다²,³.

그러나 이러한 기술적 진보에도 불구하고, 의학교육에서 AI를 커리큘럼에 반영하려는 노력은 여전히 미진하다⁴. 현재까지 의료 AI의 실용적 측면과 윤리적 측면을 균형 있게 다루는 체계적인 프로그램은 드물다³,⁴,⁵,⁶,⁷,⁸,⁹,¹⁰. 반면, AI의 혁신은 앞으로의 임상 실천에 커다란 영향을 미칠 것으로 예견되면서, 현재와 미래의 의사들에게 AI 기술을 교육해야 한다는 필요성이 점점 커지고 있다¹,⁵,¹¹.

여러 조사에 따르면, AI 리터러시 교육에 대한 지지는 매우 높은 편이다. 예를 들어, 영국 의사의 **81%**⁴, 캐나다 의과대학생의 **63%**¹²가 AI 교육의 필요성을 인식하고 있으며, 터키의 의대생들 중 93.8%는 AI의 지식, 적용, 윤리 영역에 대한 체계적인 교육을 지지한다¹³. 이러한 데이터는 의대생들이 향후 임상 현장에서 AI 도구를 효과적으로 활용하기 위해 필수적인 리터러시 역량이 부족함을 시사한다⁵,⁸. 이에 따라, 기술적 이해와 인간 중심의 진료 간의 균형을 맞출 수 있는 **학제간 접근 방식(interdisciplinary approach)**이 필요하다¹⁴.

이러한 접근은 AI 기술의 이해(understanding), 적용(application), 그리고 **비판적 분석(critical analysis)**을 포함해야 하며, 이는 교육 목표와 학습 성과를 설계할 때 흔히 사용하는 인지 영역의 위계 분류인 Bloom의 교육 목표 분류 체계(Bloom’s Taxonomy)―지식(knowledge), 이해(comprehension), 적용(application), 분석(analysis), 종합(synthesis), 평가(evaluation)―와 정렬될 수 있어야 한다³,⁸,¹⁵. 현재까지 **의과대학생을 위한 핵심 AI 역량(Core AI Competencies)**은 명확히 규정되지 않았지만, 다양한 가이드라인과 주제 제안들은 존재한다⁹,¹⁰.

의학교육은 그 자체로도 이미 매우 밀도 높은 훈련과정이기 때문에, AI 개념의 도입은 학생과 교수진 모두에게 부담이 되지 않도록 신중하게 설계되어야 한다¹³,¹⁶. 따라서, AI 교육은 기존의 의학 교육과 통합되되, 경쟁 관계가 아니라 상호보완적이어야 하며, 반드시 필수 의학 지식을 대체하지 않고 강화해야 한다⁴,¹³. **의학적 역량(Medical competency)**은 임상의의 핵심 역량이며, AI는 이를 보완해야지 방해해서는 안 된다.

이 연구는 **델파이 방법(Delphi method)**을 활용하여, 의과대학생을 위한 필수 커리큘럼 요소들을 도출하고자 한다. 이 방법은 반복적 라운드를 통해 전문가 의견을 정제함으로써, 현재와 미래 보건의료의 요구를 반영하는 포괄적이고 타당한 커리큘럼을 구축하는 데 유용하다¹⁷. 본 연구는 임상, 기술, 교육 분야의 전문가들로부터 다양한 관점을 수렴함으로써³,⁸,¹¹, 교육적 공백을 메우고자 한다. AI에 대해 의과대학생이 무엇을 알아야 하는지에 대한 질문에 답함으로써, 이 커리큘럼은 차세대 의료인들이 자신 있게 AI를 임상에 통합할 수 있도록 필수 역량을 갖추는 데 목적을 두고 있다⁵,⁷,¹¹,¹³,¹⁴,¹⁶.

결과 (Results)

표 1은 본 연구에 참여한 **18명의 캐나다 전문가(subject matter experts)**의 인구통계학적 특성을 보여준다. 참여자 중 남성은 10명, 여성은 8명이었다. 학력에 있어서는, **8명이 석사 학위(Master’s degree)**를, 12명이 박사 학위(Ph.D.), **10명이 의학 학위(MD 또는 이에 준하는 학위)**를 보유하고 있었다. 이들의 임상 전문분야는 심장학(Cardiology), 진단방사선학(Diagnostic Radiology), 일반내과(General Internal Medicine), 신경학(Neurology), 정신의학(Psychiatry), 비뇨기과학(Urologic Sciences) 등을 포함한다.

표 1. 캐나다 주제전문가의 인구통계학적 특성
(Table 1. Demographics of Canadian subject matter experts)
전체 크기 표 보기 (Full size table)

표 2는 AI 커리큘럼에 포함되도록 선정된 학습 요소들을 보여준다.

표 2. 핵심 주제별 및 합의 도달 라운드별로 정리된 학습 요소들
(Table 2. Learning elements selected for inclusion, organized by core theme and round in which consensus was achieved)

윤리(Ethics) 주제에서는, 데이터 공유와 관련된 규제 이슈 식별, 데이터 프라이버시의 중요성 설명 등의 **11개 요소가 1라운드에서 합의(consensus)**에 도달하였다.
법률(Legal) 주제에서는 11개 요소가 1라운드와 2라운드에서 합의되었으며, 이에는 데이터 거버넌스(data governance), 비밀 유지(confidentiality), **책임 문제(liability concerns)**와 같은 주제가 포함된다.

이론(Theory) 주제에서는, 총 29개 요소가 세 차례 라운드에 걸쳐 선정되었다. 이들 요소는 통계 개념 이해, 기계 학습 유형의 구분, AI의 보건의료 경제적 영향 평가 등 다양한 주제들을 포괄한다.
활용(Application) 주제에서는, 11개 요소가 세 라운드 모두에 걸쳐 합의되었으며, 데이터 분석, AI 근거를 임상 의사결정에 통합, AI 모델 검증과 같은 실제적 기술에 초점이 맞춰져 있다.
협업(Collaboration) 주제에서는 제안된 7개 요소 전부가 1라운드에서 합의되었다. 이 항목들은 AI 중심 동료와의 관계 유지 전략, 공동 의사결정(shared decision-making), 의료현장에서의 AI 학습 기회 탐색 등을 강조한다.
의사소통(Communication) 주제에서도 제안된 7개 요소 모두가 1라운드에서 합의되었으며, 동료 및 환자와의 효과적인 의사소통 전략, 공감적 커뮤니케이션 기술, AI 관련 이견 조정 등이 포함된다.
마지막으로, 질 향상(Quality Improvement) 주제는 6개 요소로 구성되었으며, 이들 모두 1라운드에서 합의되었다. 이 항목들은 환자 피드백 평가, AI 개선안 제시, 현존하는 AI 적용 분석, 그리고 사용자 중심 설계(user-centered design) 원칙을 적용하여 AI 사용자 경험을 향상시키는 데 초점을 맞추고 있다.

그림 1은 다양한 주제별로 선정된 학습 목표의 분포를 시각적으로 요약한 것이다.

그림 1. AI 보건의료 합의에서 주제별 항목 분포
(Fig. 1: Distribution of items by thematic priority in AI healthcare consensus)

이 그림은 전문가 합의에 기반하여 주요 주제를 순위화한 것으로, 전체적으로 합의된 항목 수에 대한 각 주제의 비중을 반영한다. 피라미드 구조는 주제 간 우선순위의 위계를 시각적으로 강조하며, '이론(Theory)'은 최상단에 위치하여 가장 높은 비중을 차지함을 보여주고, 반면 '질 향상(Quality Improvement)'은 가장 넓은 기반을 차지하여 기초적이지만 상대적으로 덜 우선시된 주제임을 시사한다.

표 3은 AI 커리큘럼에서 제외된 학습 요소들을 나열하고 있다.

이론(Theory) 주제에서는, 2라운드에서 총 4개의 요소가 제외되었는데, 이들은 컴퓨터 구조, 하드웨어 구성 요소, 하드웨어 성능에 대한 영향, 기초 프로그래밍 개념 등을 포함한다.
응용(Application) 주제에서는 총 9개 요소가 제외되었다. 2라운드에서는 AI 모델 프로그래밍, 경사하강법(gradient descent), 정규화 기법(regularization techniques), 역전파(backpropagation), 커널을 활용한 데이터 변환(data transformation with kernels), 이상 탐지(anomaly detection), 벡터화를 통한 코드 최적화(code optimization with vectorization), TensorFlow 활용 등이 제외되었으며, **3라운드에서는 비지도 학습의 클러스터링 기법(clustering techniques for unsupervised learning)**이 제외되었다.

표 3. 핵심 주제별 및 합의 도달 라운드별로 정리된 제외 학습 요소들
(Table 3. Learning elements selected for exclusion, organized by core theme and round in which consensus was achieved)
전체 크기 표 보기 (Full size table)

표 4는 합의에 도달하지 못한 학습 요소들을 보여준다.

법률(Legal) 주제에서는, 지식재산권(intellectual property) 및 **저작권 관리(copyright management)**에 해당하는 항목들(L12–L14)이 합의에 도달하지 못했다.
이론(Theory) 주제에서는 **프로그래밍 언어, 딥러닝의 유형 및 모델(T33–T35)**에 대한 항목들에 대해 합의가 이루어지지 않았다.
응용(Application) 주제에서는 데이터 표준화, AI 모델의 개발 및 학습, 차원 축소 기법(dimensionality reduction techniques), Keras 활용, 하이퍼파라미터 튜닝(hyperparameter tuning) (A21–A26) 등에 대해 합의가 이루어지지 않았다.

표 4. 핵심 주제별로 정리된, 합의에 도달하지 못한 학습 요소들
(Table 4. Learning elements for which no consensus was achieved, organized by core theme)

현직 의사(M.D.)와 박사(Ph.D.) 연구자 간 비교 분석

1라운드에서 전공 배경(M.D. vs. Ph.D.)에 따라 커리큘럼 요소에 대한 평가가 달랐는지 비교 분석이 수행되었다. 총 107개의 커리큘럼 요소 중, 단 3개 요소에서만 통계적으로 유의한 차이가 확인되었다. **현직 의사들은 법률 요소(L6)**에 더 강한 지지를 보였으며, 반면 **연구자들은 응용 요소(A1과 A24)**에 더 강한 지지를 나타냈다. 이외의 모든 요소에서는 p < 0.05 수준에서 유의미한 차이를 보이지 않았다.

기관별 영향 분석 (Leave-one-institution-out analysis)

1라운드와 3라운드에서는 브리티시컬럼비아대학교(UBC) 소속 위원을 제외했을 경우, 포함된 항목과 미합의 항목의 수에 상당한 영향이 있는 것으로 나타났다. 2라운드에서는 UBC 소속 위원을 제외했을 때, 제외 항목의 비율이 증가하고, 포함 항목은 다소 감소하였으며, 미합의 항목의 수도 줄어드는 경향을 보였다. 반면, 다른 기관 소속 인원을 제외했을 경우에는, 세 라운드 모두에서 포함·제외·미합의 항목에 미치는 영향이 상대적으로 미미했다. **자세한 결과는 보조 자료(Supplementary Table 1)**에 정리되어 있다.

논의 (Discussion)

전체적으로 **제안된 AI 커리큘럼 요소 중 77% (n = 82)**가 의과대학생이 AI를 숙련되게 활용하기 위해 반드시 알아야 할 중요한 내용으로 간주되었으며, 이 중 **77% (n = 63)**는 1라운드에서 이미 합의에 도달한 요소들이었다. 주제별로 살펴보면, **비기술적 요소(non-technical elements)**들은 1라운드에서 빠르게 합의에 도달하였다. 특히 윤리(Ethics)(11/11), 의사소통(Communication)(7/7), 협업(Collaboration)(7/7), 질 향상(Quality Improvement)(6/6) 항목은 모두 만장일치로 채택되었다.

이러한 결과는 미래의 의사들이 AI를 안전하게 활용하여 환자 진료를 향상시키고, 제공하는 진료의 투명성을 확보하기 위해 필요한 이해 수준을 보여준다. 더불어, 이러한 넓은 주제들(윤리, 협업, 소통, 질 향상)은 이미 캐나다의 의과대학 교육과정(UGME) 내에 존재하며 가르쳐지고 있는 내용이므로, 새로운 교육과정을 대체하는 것이 아니라 기존의 틀 안에 통합할 수 있는 여지를 보여준다.

한편, 기술적 주제인 ‘이론(Theory)’과 ‘응용(Application)’은 상대적으로 덜 포함되었다. 구체적으로, 이론 요소 36개 중 21개, 응용 요소 26개 중 단 3개만이 포함되었다. 이들 포함된 요소는 주로 AI의 유효성 검증, 강점 및 한계에 대한 이해에 초점을 두고 있으며, 이는 미래의 의사들이 AI를 적절하고 신중하게 사용하는 데 도움을 주는 방향일 것이다.

한 전문가의 의견에 따르면, 의과대학생들이 정량적 데이터의 한계를 이해하는 것이 중요하며, *“방대한 양의 정량 데이터는 의사-환자 간 소통 및 관계와 같은 질적 데이터를 폄하하는 데 사용되어서는 안 된다”*고 경고하였다. 이와 같은 관점에서, AI 모델을 비판적으로 평가할 수 있는 훈련은 **무작위 대조군 연구(randomized controlled trials)**를 해석하듯이 임상 맥락에서 AI의 적절성을 판단하는 데 필수적이다.

특히 1라운드에서 가장 적은 수의 요소가 포함된 ‘응용(Application)’ 주제에 대해서는, 오늘날 의사들이 일상적으로 사용하는 지식의 복잡성과 기술성 증가가 주요 원인이라고 판단된다. 한 전문가는, 의과대학생의 역할은 프로그래밍이 아니라 의학 지식 전달에 있다고 강조했다. 또 다른 전문가는 다음과 같이 덧붙였다: “임상의는 데이터 수집, 정제, 전처리, 그리고 AI 모델 훈련에 책임을 져서는 안 된다. 이러한 책임은 환자 진료라는 임상의 본연의 역할에서 벗어나는 것이다.” 즉, 프로그래밍과 딥러닝 기술은 공학자(engineer)의 영역이며, 의사는 AI를 검증하고 결과를 해석하는 역할에 초점을 두어야 한다.

물론 향후에는 일부 의사들이 AI 혁신과 통합을 더 적극적으로 주도할 필요성이 생길 수 있지만, 대다수의 임상의는 AI를 일상 진료에 활용하는 사용자(user)로서 기능할 것이다⁸,¹⁸. 이러한 이유로 인해, 특정 데이터 과학 기법의 제외, 지식재산권 등 법률적 이슈에 대한 미합의가 발생했음을 설명할 수 있다.

**전문가 그룹 간 평가 차이에 대한 분석(M.D. vs. Ph.D.)**과 관련하여, 학력 배경에 따른 전반적인 평가 차이는 존재하지 않는 것으로 나타났으며, 총 3개의 비교를 제외하고는 통계적으로 유의미하지 않았다. 이러한 유사성은, 핵심 교육 요소에 대한 폭넓은 공감대에서 비롯된 것으로 보이며, 이는 의사(M.D.)와 박사(Ph.D.) 각각의 상호보완적인 전문성이 교육과정 설계에 기여함을 보여준다. 또한, 의료 분야에 일정 부분 노출된 Ph.D. 연구자들을 선정함으로써, 중첩되면서도 서로 다른 시각이 조화를 이루도록 구성하였다. 이 결과는, 임상 경험을 가진 의사들과 연구 경험이 풍부한 박사 연구자들 양쪽의 의견이 균형 잡힌 커리큘럼 구성에 필수적임을 시사한다.

Leave-one-institution-out 분석에서는, UBC 소속 전문가가 포함되었는지 여부에 따라 포함·제외·미합의 항목에서 차이가 발생하였다. 이는 특정 기관의 전문가 수가 많을 경우 결과에 영향을 미칠 수 있음을 시사한다. 그러나 표본 수의 제한으로 인해 모든 전문가의 데이터를 분석에 포함할 수밖에 없었으며, 이로 인해 이번 연구에서 도출된 커리큘럼 요소의 일반화 가능성(generalizability)에 일정한 한계가 존재할 수 있다. 이에 대한 내용은 **이후 제한점(paragraph on limitations)**에서도 다룰 예정이다.

현재까지 정식으로 확립된 AI 커리큘럼은 UGME(학부 의학교육) 수준에서 존재하지 않지만, 이를 보완하려는 다양한 노력들이 커리큘럼 외부에서 이루어지고 있다. 예를 들어, Lindqwister 등은 방사선과 전공의를 대상으로 한 AI 커리큘럼을 제시하였으며, 이는 AI의 강점과 한계(T9), **규제 이슈(E1)**에 대한 요소들과 연계되며, 기술적 교육과 윤리적 교육 사이의 균형을 반영한다¹⁹. Hu 등은 캐나다 의과대학생들을 위한 워크숍과 프로젝트 피드백 중심의 AI 교육과정을 시행하였으며, 이는 임상 의사결정에 AI 모델을 적용하는 법(A2), 편향을 완화하는 전략 개발(E8) 등의 본 연구 결과와 연결된다⁹. Krive 등은 4학년 의과대학생을 위한 4주짜리 모듈형 AI 선택과정을 개발하였으며, 이는 온라인으로 진행되었고, AI 연구 및 기술의 비판적 평가(A7, A13), AI 도구로부터의 임상 결과 해석(A11), 편향을 완화하는 전략(E8), 환자에게 결과를 전달하는 의사소통 기술(COM3) 등의 요소와 일치한다²⁰.

이와 같이 본 연구는 의학교육자들과 향후 연구자들이 활용할 수 있는 이론적 토대를 제공한다. UGME는 전반적으로 일반의(generalist) 양성을 위한 교육과정으로, 생리학, 해부학, 병리학, 진단학, 치료학, 임상 의사결정, 협진, 상담 등의 영역을 포괄한다. 따라서 기존 UGME의 구조를 급격히 재구성하는 것은 현실적으로 어렵다. 그럼에도 불구하고, 토론토대학교(University of Toronto)의 UGME는 기본적인 AI 개념들을 소개하며, 기계학습, AI의 보건의료 역할, 잠재적 활용 사례, 윤리적 문제 등을 다루고 있다. 이는 AI 교육이 UGME에 효과적으로 통합될 수 있음을 보여주는 사례이며, 핵심적인 AI 리터러시와 의학 내 AI의 중요성을 강조한다.

결과적으로 본 연구는, 어떤 요소들이 교육되어야 하며, 어떤 요소들이 제외되어야 하는지에 대한 전문가들의 미묘하고 정교한 견해를 반영하며, 의학교육에 AI를 효과적으로 통합하기 위한 방향성을 제시하고 있다.

**델파이 방법(Delphi method)**은 전문가의 의견에 기반한 견고하고 반복적인 프레임워크를 제공하여, 의과대학생의 실제적 요구에 맞는 교육과정을 구성하는 데 매우 효과적이었다¹⁷. 본 연구는 다양한 의학교육 분야에서 전문가 의견을 활용하여 커리큘럼을 개발하거나 개정한 선행 연구들을 기반으로 하였으며²¹,²²,²³,²⁴,²⁵, 이들 연구의 구조를 참고함으로써 우리의 과정이 충분히 철저하게 이루어졌음을 보장하였다.

UGME(학부 의학교육) 교육과정의 구조를 살펴볼 때, 기존 커리큘럼에 큰 영향을 주지 않으면서도 AI 교육을 포함시킬 수 있는 다양한 방안들이 존재한다. 한 가지 접근법은 현재의 생물통계학(biostatistics) 교육과정 내에 AI 관련 문헌을 통합하는 것이다. 이를 통해 학생들은 AI 관련 문헌과 도구를 비판적으로 평가하고 검증하는 방법을 배우게 되며, 동시에 AI 주제와 신기술에 대한 노출도 증가시킬 수 있다.

또한, **AI를 교수자 주도형의 사례 기반 학습(case-based learning, CBL)**이나 문제 기반 학습(problem-based learning, PBL) 세션에 통합하면, 학생들이 다양한 AI 도구와 그 영향력에 대해 탐구할 수 있는 기회를 제공할 수 있다²⁶–³⁰. 이 세션에서는 예를 들어, AI 기록보조 도구(AI scribes), 임상 의사결정에서의 AI 활용, AI 관련 정책, AI 기반의 최신 연구 등 윤리적 주제도 함께 토론할 수 있다. 예를 들어, **책임 있는 의료용 머신러닝 프레임워크(responsible healthcare machine learning framework)**를 기반으로, 문제 설정부터 예상되는 실제 적용(deployment)까지의 시뮬레이션 과정을 소그룹에서 탐색하는 것도 가능하다¹⁴.

더 나아가, 임상 실습 중 실제 의료 현장에서 사용되는 AI 도구를 직접 활용해보는 실습 세션을 제공하는 것도 효과적이다. 예를 들어, AI를 활용한 Point-of-care 초음파 가이드¹³¹, AI 기반 디지털 기록보조 도구¹³² 등을 학생들이 체험함으로써, 기술적 역량을 키우고, AI 도구의 장점과 위험성을 스스로 이해할 수 있는 기회를 제공할 수 있다. AI 및 의료 분야에 종사하는 전문가를 초청하여, 의과대학생들이 꼭 알아야 할 AI의 핵심 개념과 현재 연구 동향에 대해 강의하는 것도 학습 경험을 풍부하게 만들 수 있다.

또한, 타 과목의 임상실습처럼 연 1회 실시하는 AI 윤리 혹은 기본 지식 모듈을 도입하면, 학생들이 빠르게 변화하는 AI 분야에 지속적으로 업데이트될 수 있는 기회가 생긴다. 여기에 더해, 의과대학 4년 동안 최소한 한 번은 AI 관련 연구 프로젝트에 참여하도록 유도하면, 학생들이 해당 주제에 대한 깊은 이해를 형성할 수 있을 것이다.

마지막으로, AI 교육과정의 통합은 유연하게 이루어져야 하며, 각 교육기관의 교육 프레임워크와 자원에 따라 적절히 조정될 필요가 있음을 인지하는 것이 중요하다.

각 포함된 학습 요소는, **AFMC(Association of Faculties of Medicine of Canada)의 EPA(Entrustable Professional Activities)**와 CanMEDS 역할에 **매핑(mapping)**되어, 의료 AI 교육의 중요성을 강조하였다. 이들 요소는 거의 모든 EPA와 CanMEDS 역할을 포괄하며, 이는 **AI 지식이 여러 졸업 역량(exit competencies)**과 부합하며, 의과대학 교육과정에의 통합을 정당화할 수 있는 근거가 됨을 보여준다. 대안적으로는, 기존 역량 지표들이 개정되는 과정에서, 본 연구에서 제시된 AI 교육 요소들을 반영한 구체적인 역량(competency)을 신설하는 방식도 고려될 수 있다. **AI 교육에 대한 국가 차원의 승인(national endorsement)**과 표준화된 교육과정 개발이 병행된다면, 캐나다 전역의 의과대학들이 AI 교육을 UGME 과정에 통합하도록 유도할 수 있으며, 향후 보건의료 전문가의 지식 수준을 향상시키는 데 기여할 것이다. 이러한 목표를 위한 **초기 제안 사항으로서, 각 학습 목표와 실행 전략 간의 매핑은 보조자료 2(Supplementary Table 2)**에 제시되어 있다.

**본 연구는 몇 가지 제한점(limitations)**을 가진다. 먼저, **비확률 목적 표집(non-probability purposive sampling)**을 사용했기 때문에 **선택 편향(selection bias)**이 우려되었다. 우리는 캐나다 전역의 다양한 전문가 106명을 대상으로 모집을 시도했으나, 응답하지 않은 경우들이 결과에 영향을 미쳤을 가능성이 있다. 이러한 표집 방식은 **체계적 편향(systemic bias)**을 초래할 수 있으며, 특히 AI 교육이 활발히 이루어지고 있는 특정 지역이나 기관의 관점이 과도하게 반영되었을 가능성이 있다.

실제로 본 연구에서는 UBC(University of British Columbia) 소속 전문가가 가장 많이 참여하였으며(이는 본 연구가 UBC 주도로 수행되었기 때문으로 보인다), 반면 Atlantic 지역, Quebec, Prairie 지역에서는 응답률이 낮았다. 그 결과, UBC 소속 인원의 수가 커리큘럼 요소의 포함·제외·미합의 여부에 통계적으로 유의미한 영향을 미쳤다. 이러한 제한점은, **무작위 표집(random sampling)**을 사용하거나, 표본 구성을 보다 전국적이고 국제적으로 확장하는 방식으로 보완할 수 있었다. 또한, 의과대학이 없는 기관이더라도 보건 관련 프로그램이 있는 기관을 포함시키는 것도 고려될 수 있었다.

표본 수를 확대하였다면, **지역 간 응답의 이질성(heterogeneity of responses)**을 보다 면밀히 분석할 수 있었을 것이며, 이는 **보조자료 1(Supplementary Table 1)**에서 일부 확인되었다. 이번 연구는 총 18명의 응답자에 기반하였기 때문에, 모든 관점이 충분히 반영되었는지는 불확실하다. 각 라운드에서 이탈(dropout)한 이유는 명확히 조사되지 않았으나, 시간 부족, 관심 부족, 우선순위 충돌, 또는 주제에 대한 흥미 부족 등이 포함되었을 수 있다.

또한, 전문가 포함 기준을 M.D.와 Ph.D.로 한정한 점도 관점의 다양성 측면에서 제약이 되었을 수 있다. 앞으로는 산업계 전문가나 비대학 소속이지만 의료 AI 교육에 전문성을 가진 인물들까지 포함함으로써, 보다 넓은 시각을 수렴할 수 있을 것이다.

방법 (Methods)

교육 요소 선정(Curricular element selection)

연구팀은 **체계적 문헌고찰(systematic review)**에 대한 사전 주제분석을 통해, 의과대학 커리큘럼에 AI를 성공적으로 통합하기 위한 6가지 핵심 원칙을 도출한 바 있다⁸. 이 원칙들은 다음의 주제별로 분류되며: 윤리(ethics), 이론과 응용(theory and application), 의사소통(communication), 협업(collaboration), 질 향상(quality improvement), 그리고 **인식과 태도(perception and attitude)**이다. 각 범주에 대한 개요는 다음과 같다:

(a) 윤리: 데이터 공유 규제, 프라이버시, 형평성 등을 강조하며, 환자의 권리를 존중하는 방향을 지향한다.
(b) 이론과 (c) 응용: 통계학부터 고급 머신러닝까지 기술적 역량을 포괄한다.
(d) 의사소통: 보건의료 전문가와 환자 모두가 AI 도구를 이해하고 활용할 수 있도록 돕는다.
(e) 협업: AI 활용에 있어 다학제적 팀워크와 공동 의사결정, 지속적인 학습의 중요성을 강조한다.
(f) 질 향상: AI 도구를 지속적으로 분석하고 개선해 나가는 과정을 의미한다⁶,³³–³⁷.

이러한 각각의 원칙은 AI를 환자 진료에 신중하게 통합할 수 있는 의사 양성을 위한 전체론적(holistic) 교육과정의 구성 요소로 기능한다.

커리큘럼 요소 개발을 위해, **두 명의 연구자(AG, NP)**는 기존 주제 분석에서 수집된 요소들을 기반으로 하여, **Bloom의 교육 목표 분류 체계(Bloom’s Taxonomy)**를 참고하여 총 107개의 새로운 교육 요소를 설계하였다. 이후, **제3의 연구자(RS)**가 이 요소들을 검토하여 기존 문헌과의 반복적 토론 및 검증을 거쳐 최종 합의에 도달하였다. 이 과정은 **보조자료 2(Supplementary Table 2)**에 상세히 제시되어 있으며, 각 학습 목표와 이를 기반으로 한 원 연구 간의 매핑 정보도 포함되어 있다.

또한, 전문가 패널은 각 섹션 말미에 자유 서술(open-text) 형식으로 의견이나 우려 사항을 제출할 수 있도록 구성되었다.

전문가 패널 선정(Subject matter expert panel selection)

본 연구에서는 의학교육 및 AI와 관련된 다양한 분야의 전문가 106명을 모집하기 위해 목적 표집(purposive sampling)을 사용하였다³⁸. 세 명의 저자(AG, CK, NP)는 먼저 캐나다 전역의 주요 의과대학(https://www.afmc.ca/about/#faculties)에 소속된 대학교들을 기준으로, 의학, 과학, 공학 등 각 단과대학의 교수진 및 전공, 관련 학회, 연구 클러스터, 특수 관심 그룹 등을 체계적으로 조사하여 전문가 후보군 목록을 작성하였다.

**과대표집(overrepresentation)**을 방지하기 위해, 서로 다른 대학, 연구 클러스터, 관심 그룹 출신의 전문가들을 선정하는 데 특별한 주의를 기울였으며, 이후 또 다른 저자(RS)가 이 명단을 검토하여 최종적으로 선정 기준을 충족하는 전문가들을 확정하였다. 선정 과정에서는 교수진 웹페이지, 학과 프로필 등 공개된 최신 정보를 활용하였다.

최종 패널은 지리적·제도적 다양성을 반영하였으며, 의학박사(M.D.)부터 인공지능 관련 박사(Ph.D.)에 이르는 다양한 학위와 경력을 보유한 전문가들로 구성되었다. 표집 전략은 교육 배경, 의학 전문분야, 지리적 분포, 기관 유형의 다양성 확보를 목표로 하였으며, 캐나다 내 의료 AI 전문성의 지역 간 격차도 일부 반영되었다. 이는 모든 학교가 AI 관련 인프라를 보유하고 있지 않기 때문이다.

전문가 선정 기준은 엄격하고 다면적이었으며, 다음 7가지 기준 중 최소 4가지를 충족해야 참여 자격이 주어졌다:

(a) 의학 또는 관련 분야 박사 학위(M.D. 또는 Ph.D.) 보유 및 의료 혹은 컴퓨터과학 분야 종사,
(b) 의과학 교육에 참여,
(c) 의과대학 교육과정 개발 참여,
(d) 의학교육에 대한 전문성 보유,
(e) AI와 의료 융합 분야의 리더십 보유,
(f) 해당 분야의 주요 논문 게재,
(g) AI와 의료 융합 분야의 대규모 연구팀 또는 부서 관리 경험.

모든 선정된 전문가들은 연구 참여에 대한 서면 동의(informed consent)를 제공하였으며, 본 연구는 브리티시컬럼비아대학교(UBC) 연구윤리위원회(Research Ethics Board)의 승인을 받았다 (IRB 번호: H22-01695).

합의 절차 (Consensus Process)

이 **델파이 연구(Delphi study)**는 의학교육을 위한 핵심 AI 커리큘럼 요소를 도출하기 위해, **구조화된 합의 절차와 다차례의 설문(rounds of questionnaires)**을 활용하였다¹⁹. 1차 설문에서는 총 107개 교육 요소가 포함되었으며, **Qualtrics 플랫폼(Seattle, WA, USA)**을 통해 배포되어, 참여자의 익명성과 반복적 피드백의 제공이 보장되었다.

그림 2에서 설명된 것처럼, 2023년 10월부터 2024년 5월까지 총 106명의 전문가가 이메일을 통해 연구에 초대되었다. 1차 라운드에서는 익명화된 인구통계 데이터를 제공하고, 각 커리큘럼 요소에 대해 **5점 리커트 척도(5-point Likert scale)**로 평가하였다.

**70% 이상이 ‘4점’ 또는 ‘5점’**으로 평가한 항목은 포함 대상으로 간주,
**70% 이상이 ‘1점’ 또는 ‘2점’**으로 평가한 항목은 제외 대상으로 간주하였다.

이러한 70% 기준은 기존의 커리큘럼 개발을 위한 델파이 연구들에 근거한 것이다²¹–²⁵. 전문가들은 각 섹션 말미의 **의견란(comments section)**을 통해, 누락된 역량 요소 제안이나 개인 의견도 제출할 수 있었다.

그림 2. 본 델파이 연구에서 주제별 포함 및 제외 과정을 세 라운드에 걸쳐 도식화한 그림
(Fig. 2. This figure illustrates the inclusion and exclusion process of themes in a Delphi study conducted in three rounds)

2차 라운드에서는, 1차에서 합의에 도달하지 못한 항목들과 새롭게 제안된 항목을 재평가하였다. 이때, 이전 라운드의 피드백 및 평가자 간 일치도(interrater agreement) 점수가 제공되어, 전문가들이 보다 정교한 결정을 내릴 수 있도록 하였다. **이 라운드부터는 단순화된 2점 척도(2-point scale)**를 사용하였다.

3차 라운드에서는, 여전히 합의에 도달하지 못한 항목에 대해 최종 결정을 내리는 과정이 이루어졌으며, 동일한 2점 척도가 유지되었다. 이와 같은 절차를 통해, 전문가 합의 기반의 엄밀한 평가 과정이 구현되었다.

모든 포함된 항목은 이후, 캐나다 의과대학협회(AFMC)의 위임가능 직무(Entrustable Professional Activities, EPAs) 중 하나 이상에 매핑되었다. EPA는 감독 없이 학습자에게 맡길 수 있는 전문 직무를 의미한다³⁹. 더불어, 모든 항목은 CanMEDS 역할에도 함께 매핑되었으며, 이는 환자의 요구를 충족시키기 위해 의사가 갖추어야 할 역량을 구조화한 프레임워크이다
(출처: www.royalcollege.ca/en/canmeds/canmeds-framework).

데이터 및 통계 분석 (Data and Statistical Analysis)

1차 라운드에서는, 각 커리큘럼 요소에 대한 5점 리커트 척도 점수의 평균값이 계산되었고, 찬성(4점 또는 5점), 중립(3점), **반대(1점 또는 2점)**로 분류한 뒤, 각 범주에서 가장 높은 득표율을 전체 응답 수로 나누어 퍼센트 합의율(percent agreement)을 산출하였다.

2차 및 3차 라운드에서는, 남은 각 요소에 대해 2점 척도로 응답을 받고, 찬반 중 더 많은 응답 수를 전체 응답 수로 나누어 퍼센트 합의율을 계산하였다. 이 퍼센트 합의율은 다음 라운드에서 전문가들에게 피드백으로 제공되어, 합의에 이르지 못한 항목에 대한 판단에 도움을 주었다.

또한, 각 교육 요소에 대해 **정규성(normality)**과 분산의 동질성(homogeneity) 검정을 시행하였고, M.D.와 비M.D. 전문가 간 평균 평가 점수를 비교하기 위해, 독립표본 t검정(unpaired t-test) 또는 Mann–Whitney 검정 중 적절한 통계 검정을 선택하여 사용하였다.

Leave-one-institution-out 분석도 수행되었으며, 각 라운드에서 포함·제외·미합의 항목 비율이 특정 기관의 참여 여부에 따라 유의미하게 달라지는지 여부를 분석하였다.