FUTURE-AI: international consensus guideline for trustworthy and deployable artificial intelligence in healthcare

🧠 의료 AI, 이제는 '신뢰'가 핵심입니다: FUTURE-AI 가이드라인이란?

AI가 의료 분야에서 진단과 예측, 환자 분류까지 정말 많은 일을 할 수 있게 되면서,
이제는 “기술이 가능한가?”보다 “그 기술을 믿을 수 있나?”가 더 중요한 질문이 되었어요.

바로 이런 이유에서 국제 전문가들이 모여 만든 게 바로 👉 FUTURE-AI 프레임워크입니다.
AI가 기술적으로도 탄탄하고, 임상적으로도 안전하며, 윤리적·사회적으로도 책임감 있게 작동할 수 있는 기준을
전 세계 117명의 전문가가 모여 2년에 걸쳐 만든 거죠.

🔍 FUTURE-AI란?

FUTURE-AI는 6가지 핵심 원칙으로 구성돼 있어요:

1. 공정성 (Fairness)
2. 보편성 (Universality)
3. 추적가능성 (Traceability)
4. 사용가능성 (Usability)
5. 견고성 (Robustness)
6. 설명가능성 (Explainability)

"To increase adoption in the real world, it is essential that AI tools are trusted and accepted by patients, clinicians, health organisations, and authorities."
→ “현실 세계에서 AI 도구가 채택되기 위해서는 환자, 의사, 의료기관, 규제기관의 신뢰와 수용이 필수적이다.”

🌍 각 원칙이 말하는 건 뭘까?

✅ 공정성 (Fairness)

AI는 모든 사람에게 동등하게 작동해야 해요. 성별, 연령, 인종, 사회경제적 배경과 관계없이 말이죠.
예를 들어 “대표성 있는 데이터로 학습시키기”가 핵심 전략 중 하나예요.

✅ 보편성 (Universality)

한 병원에서만 잘 작동하면 안 되겠죠? 다양한 환경과 사용자에게도 일반화될 수 있어야 해요.
그래서 “외부 데이터로도 검증하고”, “다양한 기준에 맞춘 평가”가 필요해요.

✅ 추적가능성 (Traceability)

AI가 왜 그런 결정을 내렸는지, 어떻게 개발됐는지, 투명하게 추적할 수 있어야 해요.

"AI traceability will also enable continuous auditing of AI models..."
→ “AI 추적 체계는 모델의 **지속적인 감사(auditing)**를 가능하게 해준다.”

✅ 사용가능성 (Usability)

의사나 간호사, 환자들이 쉽게 쓸 수 있어야 의미가 있죠.
“사용자 교육”이나 “인간-AI 상호작용 설계” 같은 부분이 여기에 포함돼요.

✅ 견고성 (Robustness)

데이터가 살짝 달라져도 AI가 무너지지 않도록 만드는 게 핵심이에요.

"Healthcare AI tools should be designed and developed to be robust against real world variations..."
→ “의료 AI 도구는 현실 세계의 데이터 변이에 견딜 수 있도록 설계되어야 한다.”

✅ 설명가능성 (Explainability)

결과만 딱 보여주는 AI는 불안하죠?
왜 그런 판단을 내렸는지 설명해 줄 수 있어야 의사도, 환자도 신뢰할 수 있어요.

💬 여기에 더해지는 7가지 ‘일반 권고사항’

이 6가지 원칙을 뒷받침하기 위해 다음과 같은 7가지 공통 권고도 함께 제시되었어요.

1. 지속적인 이해관계자 참여
2. 철저한 데이터 보호
3. AI 리스크 관리 전략 수립
4. 적절한 평가 계획 수립
5. 관련 규제 준수
6. 분야별 윤리 쟁점 고려
7. 사회·환경적 영향까지 고려 → 예: 탄소발자국 감소 전략 필요

“AI developers should consider strategies to reduce the carbon footprint of the AI tool.”
→ “AI 개발자는 해당 도구의 **탄소 발자국(carbon footprint)**을 줄일 수 있는 전략을 고려해야 한다.”

🛠 어떻게 적용할 수 있을까?

FUTURE-AI는 단지 이론만 말하지 않아요. 설계 → 개발 → 검증 → 배포까지 AI의 생애주기를 단계별로 정리해, 어떻게 실제로 적용할 수 있을지까지 안내해 줍니다. 이 부분은 Figure 3에서 시각적으로 아주 잘 설명되어 있어요. 👇

📌 마무리하며

의료 분야에서 AI는 이제 선택이 아닌 필수지만, ‘신뢰할 수 있는 AI’를 만드는 건 결코 자동으로 되지 않아요.
FUTURE-AI는 그 신뢰의 기준을 마련해 주는 강력한 로드맵이에요.

"This paper addresses an important gap in the field of healthcare AI by delivering the first structured and holistic guideline for trustworthy and ethical AI in healthcare."
→ “이 논문은 의료 AI에서 신뢰 가능하고 윤리적인 개발을 위한 최초의 구조화된 가이드라인을 제시함으로써 중요한 공백을 메운다.”

서론 (Introduction)

보건의료 분야에서는 자기학습(self-learn) 능력을 가진 알고리즘, 즉 **인공지능(Artificial Intelligence, AI)**과 데이터 상호작용을 이용해 질병 진단, 예후, 치료 반응 또는 생존율 예측, 환자 분류(patient stratification) 등을 위한 컴퓨터 기반 모델이 점점 더 많이 개발되고 있다¹. 하지만 상당한 기술적 진보에도 불구하고, AI 기술의 실제 임상 현장 적용과 채택은 여전히 제한적이다. 최근 몇 년간, 보건의료 AI와 관련된 기술적, 임상적, 윤리적, 사회적 위험성에 대한 우려가 제기되었다² ³. 특히 기존 연구들은 보건의료 분야의 AI 도구들이 오류와 환자 위해(harm), 편향성 및 건강 형평성 악화, 투명성과 책임성 부족, 데이터 프라이버시 및 보안 침해 등의 문제에 취약하다는 점을 보여주었다⁴⁻⁸.

현실 세계에서의 채택을 높이기 위해서는 AI 도구가 환자, 임상의, 의료기관, 규제 당국 등에게 신뢰를 받아야 하며 수용되어야 한다. 그러나 보건의료 AI 도구가 신뢰받을 수 있도록 어떻게 설계, 개발, 평가, 배포되어야 하는지에 대한 명확하고 널리 수용되는 가이드라인은 부재한 상황이다. '신뢰할 수 있는(trustworthy)' AI란 기술적으로 견고하고, 임상적으로 안전하며, 윤리적으로 정당하고, 법적으로도 적합한 것을 의미한다(용어 정의는 부록 표 1 참고)⁹. 실질적인 영향을 전 세계적으로 미치기 위해서는, 이러한 책임 있는 AI를 위한 가이드라인이 국제적이고 학제 간 전문가들의 폭넓은 합의를 통해 도출되어야 한다.

다른 분야에서는 국제적 합의에 기반한 가이드라인이 지속적인 영향을 만들어낸 바 있다. 예를 들어, 데이터 관리를 위한 FAIR 원칙¹⁰은 연구자, 기관, 정부 당국 등에서 널리 채택되고 있다. 이 원칙은 데이터 수집, 정제, 조직화, 저장 등의 업무를 표준화하고 향상시키는 체계적 틀을 제공한다. 물론 FAIR 원칙이 프라이버시와 보안보다는 **데이터의 발견가능성(findability), 접근성(accessibility), 상호운용성(interoperability), 재사용성(reusability)**에 초점을 두기 때문에 데이터 관리의 모든 측면을 아우르지는 않는다는 비판도 있다. 그럼에도 불구하고 FAIR는 **이제 널리 수용되고 실제로 적용되는 실천 규범(code of practice)**을 제공하고 있다.

보건의료 분야의 AI는 다른 분야와는 독특한 속성을 지닌다. 대표적으로, 의사와 환자 사이의 신뢰(trust) 관계가 중요한데, 이는 대부분의 환자들이 의사의 진단이나 치료 결정을 객관적으로 평가할 수 있는 기회가 거의 없기 때문이다. 이러한 맥락에서, AI 시스템은 기술적으로 견고하고 임상적으로 안전할 뿐만 아니라, 윤리적으로 정당하고 투명해야 하며, 환자가 의료진에게 두는 신뢰를 해치지 않도록 해야 한다. 그러나 비-AI 도구와 달리, AI는 그 복잡한 데이터 처리 방식으로 인해 작동 원리에 대한 투명성이 부족한 경우가 많다. 기존 의료 장비와 달리, AI는 아직까지 보편적으로 수용되는 품질보증 지표가 존재하지 않는다. 대중과의 상호작용이 활발한 채팅 도우미나 이미지 생성기와는 달리, 보건의료는 작은 오류도 중대한 결과로 이어질 수 있는 민감한 영역이다. 따라서 보건의료에 특화된 신뢰할 수 있는 AI 개발을 위한 명확한 기준 마련이 시급하다.

초기 노력들은 주로 의료 분야 또는 특정 임상 과업에 대한 AI 연구 보고 방식에 대한 권고안(예: TRIPOD+AI¹¹, CLAIM¹², CONSORT-AI¹³, DECIDE-AI¹⁴, PROBAST-AI¹⁵, CLEAR¹⁶)에 집중되어 왔다. 하지만 이들 가이드라인은 AI 도구의 실제 개발과 배포를 위한 모범 사례를 제시하기보다는, 개발 및 평가 과정의 보고를 표준화하고 완전하게 만드는 데 초점을 맞춘 것이다. 최근에는 여러 연구자들이 **보건의료 AI를 위한 모범 사례(best practice)**에 대한 유망한 아이디어들을 제시한 바 있으나¹⁷⁻²⁴, 이러한 제안들은 국제적 합의에 기반하지 않았고, AI의 전체 생애주기(lifecycle)—즉 설계, 개발, 검증부터 배포, 사용, 모니터링에 이르기까지—를 모두 포괄하지 못한다.

다른 이니셔티브에서는 **세계보건기구(World Health Organization)**가 주요 윤리 및 법적 쟁점에 대한 보고서를 발행했으나, 이는 주로 보건부나 정부 기관을 위한 것으로 기술적·임상적 측면은 다루지 않았다²⁵. 마찬가지로, 유럽 인공지능 고위 전문가 그룹은 AI 개발자를 위한 **종합적인 자기 점검 체크리스트(self-assessment checklist)**를 제시했지만, 이는 전반적인 AI를 대상으로 하였을 뿐, 보건의료 분야의 특수한 위험성과 도전과제를 충분히 반영하지 못했다²⁶.

이 논문은 보건의료 AI 분야에서 신뢰할 수 있고 윤리적인 AI 개발을 위한, 구조화되고 포괄적인 첫 번째 가이드라인을 제시함으로써, 이 분야의 중대한 공백을 해소하고자 한다. 이 가이드라인은 전 세계의 폭넓은 전문가 합의에 기반하고 있으며, AI의 전체 생애주기를 포괄한다. FUTURE-AI 컨소시엄은 2021년에 시작되었으며, 현재 50개국에서 모인 117명의 국제적이고 학제 간 전문가들(그림 1)로 구성되어 있다. 이들은 유럽, 북미, 남미, 아시아, 아프리카, 오세아니아 등 전 대륙을 대표하며, 데이터 과학, 의학 연구, 임상 의학, 컴퓨터 공학, 의료 윤리, 사회과학 등 다양한 분야와 영상의학, 유전체학, 모바일 헬스, 전자의무기록(EHR), 외과, 병리학 등 다양한 데이터 도메인을 대표한다. FUTURE-AI 프레임워크를 개발함에 있어, 우리는 FAIR 원칙에서 영감을 받아, 다음의 여섯 가지 핵심 원칙에 따라 간결한 권고안을 정의하였다: 공정성(Fairness), 보편성(Universality), 추적가능성(Traceability), 사용가능성(Usability), 견고성(Robustness), 설명가능성(Explainability) (그림 2 참조).

방법 (Methods)

FUTURE-AI는 보건의료 분야에서 신뢰할 수 있고 윤리적인 인공지능(AI)을 실현하기 위한 지침 원칙과 단계별 권고사항을 제공하는 구조화된 프레임워크이다. 이 가이드라인은 수정된 델파이 기법(modified Delphi approach)²⁷ ²⁸을 통해 24개월간의 국제적 합의를 거쳐 수립되었다. 과정은 여섯 가지 핵심 원칙을 정의하는 것으로 시작하여, 초기 권고사항 세트를 마련한 후 총 8차례의 폭넓은 피드백 수렴 및 반복적인 논의를 통해 합의에 도달하는 방식으로 진행되었다. 결과 종합을 위해 두 가지 상호보완적인 방법이 사용되었다. 하나는 **정량적 접근법(quantitative approach)**으로, 전문가들의 투표 양상을 분석하여 합의와 이견의 영역을 식별하는 방식이며, 다른 하나는 **정성적 접근법(qualitative approach)**으로, 반복적으로 제기된 주제나 새로운 통찰에 기반해 피드백과 논의를 종합하는 방식이다.

FUTURE-AI 지침 원칙의 정의: 의료 분야에서 신뢰할 수 있는 AI에 대한 사용자 친화적인 지침을 개발하기 위해, 우리는 FAIR 원칙과 동일한 방식, 즉 최소한의 핵심 원칙 세트를 기반으로 접근하였다. 이러한 상위 원칙의 정의는 모범 사례의 구조화 및 간소화뿐 아니라, 향후 최종 사용자의 실제 적용을 용이하게 만든다.

이를 위해 우리는 우선 신뢰할 수 있는 AI 및 그와 관련된 개념(책임 있는 AI, 윤리적 AI, AI 배포 등)에 대한 보건의료 AI 분야의 기존 문헌을 검토하였다. 또한 AI 보고, 평가에 관한 가이드라인이나 EU, 미국 FDA, WHO 등 공공기관의 권고사항이나 입장문도 추가적으로 조사하였다. 이 검토를 통해 우리는 신뢰할 수 있는 AI를 위해 자주 언급되는 다양한 요건과 요소들을 폭넓게 파악할 수 있었다²⁹ ³⁰. 이후 라운드에서도 전문가 조언과 범위 확장을 반영하여 문헌 검토를 점차적으로 확대하였다(3라운드 참고).

표 1에 제시된 바와 같이, 이러한 요건들은 주제별로 그룹화되어 여섯 가지 핵심 원칙(즉, 공정성(fairness), 보편성(universality), 추적가능성(traceability), 사용가능성(usability), 견고성(robustness), 설명가능성(explainability))으로 정리되었고, 기억하기 쉬운 약어인 FUTURE-AI로 구성되었다.

1라운드: 초기 권고사항 정의

각 핵심 원칙을 개별적으로 탐색하기 위해, 전문가 3명씩 구성된 6개의 작업 그룹이 구성되었다(임상의, 데이터 과학자, 컴퓨터 공학자 포함). 이들은 EuCanImage, ProCAncer-I, CHAIMELEON, PRIMAGE, INCISIVE 등 5개 유럽 프로젝트에서 모집되었으며, 함께 **의료 영상 AI(AI for medical imaging)**라는 공통 사례를 중심으로 활동하였다. 각 작업 그룹은 문헌을 철저히 검토한 후, 해당 원칙의 정의와 함께 6~10개의 초기 모범 사례(best practices) 목록을 제안하였다.

이후 온라인 회의 및 이메일을 통해 반복적인 정제 과정이 진행되었으며, 이 과정에서 중복이나 내용 중첩이 발견되었다. 예컨대, 편향성 보고에 대한 권고사항은 원래 공정성과 추적가능성 두 원칙 모두에 제안되었고, 대표성 있는 데이터셋으로 모델 학습하라는 권고는 공정성과 견고성 모두에 포함되었다. 중복 항목을 제거하고 문구를 다듬은 결과, 총 55개의 초기 권고안이 도출되었으며, 이는 다음 라운드에서 보다 폭넓은 전문가 집단의 평가 및 논의를 위해 배포되었다.

2라운드: 온라인 설문조사

이 라운드에서는 FUTURE-AI 컨소시엄을 72명으로 확장하였다. 신규 참여자는 AI 과학자, 의료 실무자, 윤리학자, 사회과학자, 법률 전문가, 산업계 전문가 등으로 구성되었으며, 2~5라운드에 걸쳐 동일한 그룹이 참여하였다. 이들은 문헌, 전문가 네트워크, 온라인 검색을 통해 모집되었으며, 지리적 다양성과 보건의료 관련 분야의 대표성 확보를 중시하였다.

온라인 설문조사는 각 권고사항에 대해 다음의 5단계 평가 옵션으로 중요도를 평가하도록 구성되었다:

• 매우 필수적이다 (absolutely essential)
• 매우 중요하다 (very important)
• 평균적 수준의 중요성이다 (of average importance)
• 별로 중요하지 않다 (of little importance)
• 전혀 중요하지 않다 (not important at all)

또한 각 권고사항에 대해 문구 유지 또는 수정 제안, 권고 병합 또는 신규 추가 제안, 핵심 원칙과 전체 FUTURE-AI 가이드라인에 대한 자유 서술식 피드백도 포함되었다.

설문 응답은 정량적으로 분석되어 합의 수준을 평가하였다. 90% 이상의 동의를 받은 권고사항은 다음 논의로 선정되었고, 부정적 피드백이 많았던 권고사항, 특히 특정 기법을 일반 원칙보다 우선시한 항목은 제외되었다. 서면 피드백은 일부 권고사항을 병합하거나 문구를 간결하게 다듬는 데 활용되었다. 이 결과, 22개의 수정된 권고사항 목록과 함께, 향후 논의가 필요한 16개의 쟁점 항목이 도출되었다.

설문에서는 또한, 이 여섯 가지 원칙이 신뢰할 수 있는 의료 AI에 요구되는 다양성을 충분히 포착하고 있는지에 대한 피드백도 수집하였다. 대체로 긍정적인 합의가 이루어졌으나, 프라이버시, 사회적 고려, 규제 준수 등 보다 포괄적 주제를 포함할 수 있는 제7의 ‘일반’ 카테고리(general category) 도입이 제안되었다. 이 범주의 모범 사례는 여섯 원칙 전체에 공통으로 적용되는 내용(예: 다중 이해관계자 참여, general 1)이 포함되며, 반복 제시를 줄이는 역할도 한다.

3라운드: 축소된 권고안에 대한 피드백

2라운드에서 정제된 가이드라인은 다시 전문가 전원에게 배포되어 추가 피드백을 받았다. 이 라운드는 권고사항의 적절성과 표현 방식에 대한 평가가 중심이었고, 이전 설문에서 제기된 쟁점 항목들에 대한 의견도 수렴하였다. 예를 들어, 다기관(multicentre) 평가 vs 지역(local) 평가의 우선순위, 또는 AI 도구의 적대적 공격(adversarial attacks)에 대한 체계적 평가의 필요성 등이 쟁점으로 제시되었다.

전문가 피드백은 문구를 더욱 명확하게 다듬는 데 큰 역할을 했으며, 특히 여러 쟁점 항목의 합의 도출에 기여했다. 또한 이 라운드에서는 범위를 ‘의료 영상 AI’에서 ‘보건의료 전반의 AI’로 확대하였으며, 이는 대부분의 권고사항이 의료 전반에 적용 가능함을 확인한 데 따른 것이다. 결과적으로, **‘일반’ 카테고리 내 6개의 신규 권고사항을 포함해 총 30개의 최종 권고사항(best practices)**이 도출되었다. 여전히 합의되지 않은 일부 항목은 향후 논의를 위해 문서화되어 정리되었다.

4라운드: 권고사항에 대한 추가 피드백 및 평가

수정된 권고사항은 전문가들에게 서면 형식으로 재배포되어, 각 권고사항의 명확성, 실행 가능성, 관련성을 평가하도록 요청되었다. 이 단계에서는 권고사항의 표현을 보다 정밀하게 다듬을 수 있었다. 예를 들어, 원래는 AI 모델을 “다양하고 이질적인 데이터(diverse, heterogeneous data)”로 학습시켜야 한다는 권고였지만, 다수의 전문가가 “이질적(heterogeneous)”이라는 용어가 모호하며, “대표성 있는 데이터(representative data)”가 인구집단의 본질적 특성을 더 효과적으로 포착한다고 주장함에 따라 해당 용어로 수정되었다.

또한, AI 프로젝트의 목적과 필요에 따라 각 모범 사례의 적용 정도를 구분할 수 있는 평가 체계가 도입되었다. 특히 우리는 연구 단계 또는 개념 입증(proof-of-concept) 단계의 AI 도구와 임상 적용을 목표로 하는 AI 도구 사이의 구분을 강조하였다. 전자는 실험적 특성을 가지며 유연성이 필요한 반면, 후자는 환자 진료에 직접적으로 영향을 미치기 때문에 윤리성, 안전성, 유효성 측면에서 더 높은 수준의 준수 기준이 요구된다. 이 시점에서, 컨소시엄 전문가들은 각 권고사항에 대해 연구용 AI 도구와 임상 적용 가능한 AI 도구에 대해 각각 평가하였으며, 각 항목을 **“권장(recommended)” 또는 “강력 권장(highly recommended)”**으로 분류하였다.

5라운드: 원고에 대한 피드백

30개의 권고사항이 잘 정리된 상태에서, 제1저자와 마지막 저자가 FUTURE-AI 원고 초안을 작성하였다. 이 초안은 전문가들에게 배포되어 반복적인 피드백 세션을 통해 가이드라인의 정확성과 명확성을 확보하는 과정이 시작되었다. 이를 통해 임상, 기술, 비기술 전문가의 다양한 관점을 통합할 수 있었으며, 결과적으로 보다 읽기 쉬우며 폭넓은 독자층에게 접근 가능한 원고가 완성되었다. 전문가들은 권고사항을 보완하기 위한 추가 참고 문헌이나 자료를 제안할 수도 있었으며, 이 단계에서 실제 사례에서 모범 사례가 어떻게 구현될 수 있는지를 보여주기 위해 방법론 예시도 포함되었다.

6라운드: 새로운 “외부” 피드백 수렴

이번 라운드에서는 **기존 연구 단계에 참여하지 않았던 추가 전문가 44명(n=44)**을 초대하여 독립적인 피드백을 요청하였다. 이 집단은 환자 권익 옹호자, 사회과학자, 규제 전문가 등 전문영역의 다양성은 물론, 아프리카, 라틴 아메리카, 아시아 등 지리적 대표성 확대를 고려하여 선별되었다.

이 전문가들에게는 서면 피드백과 함께 각 권고사항에 대한 의견을 투표 형식(찬성, 반대, 중립, 이해하지 못함, 의견 없음)으로 제출하도록 요청하였다. 명확한 합의에 이르지 못한 권고사항의 경우, 대부분이 문구의 모호함이나 오해에서 비롯된 것으로 파악되었다. 따라서 이 단계는 남아 있는 불명확하거나 논쟁적인 부분을 식별하고, 문장 표현을 정제함으로써 가이드라인이 다양한 의료 AI 커뮤니티 구성원들에게 명확하고 접근 가능하도록 만드는 데 큰 도움이 되었다.

7라운드: 온라인 합의 회의

이전 라운드의 피드백을 바탕으로, 일부 권고사항의 정확한 문구를 둘러싼 전문가 간 논쟁이 계속되는 주제들이 확인되었다. 이에 따라 2023년 6월에 총 4회의 온라인 회의를 열어 남아 있는 쟁점 사항들을 심화 논의하고 권고사항 및 문구에 대한 최종 합의를 도출하였다.

이 논의 과정에서는 여러 미해결 이슈들이 해결되었다. 예컨대, AI 도구를 적대적 공격(adversarial attacks)에 대해 체계적으로 검증할 것이라는 권고는 사이버 보안 영역에 속한다는 의견에 따라 유사한 우려들과 함께 분류되었다. 또한, 임상 평가를 제3자가 수행해야 한다는 권고는 특히 자원이 부족한 환경에서는 실행이 어렵다는 이유로 현실적으로 조정되었다. 이 합의 회의 결과, 최종 FUTURE-AI 권고안의 전체 목록과 각 권고사항의 문구가 완성되었으며, 이에 대한 상세 내용은 표 2에 정리되어 있다.

8라운드: 최종 합의 투표

마지막 단계에서는, 도출된 권고사항에 대한 최종 투표가 온라인 설문을 통해 이루어졌다. 이 시점에서 FUTURE-AI 컨소시엄의 최종 구성원은 117명으로, 이는 2라운드의 72명, 6라운드의 44명 중 응답한 전문가들, 그리고 몇몇 추가 전문가들이 포함된 수치였다. 이 최종 투표 결과, 전체 권고사항은 모든 FUTURE-AI 구성원의 5% 미만 이견을 남기고 승인되었다.

남은 소수의 이견은 대부분, 권고사항이 “권장(recommended)”인지 “강력 권장(highly recommended)”인지의 분류에 관한 것이었다.

FUTURE-AI 가이드라인

이 섹션에서는 여섯 가지 핵심 지침 원칙 각각에 대한 정의와 정당성, 그리고 FUTURE-AI 권고사항에 대한 개요를 제시한다. 표 2에는 각 권고사항과 함께, 권고 수준(예: 권장(recommended) 또는 강력 권장(highly recommended) 여부)이 요약되어 있다. 참고로, 부록의 **보충 표 1(supplementary table 1)**에는 본 논문에서 사용된 주요 용어에 대한 용어집이, **보충 표 2(supplementary table 2)**에는 FUTURE-AI 프레임워크와 관련된 주요 이해관계자 목록이 포함되어 있다.

공정성(Fairness)

공정성(fairness) 원칙은 보건의료 분야의 AI 도구가 개인 간, 또는 집단 간(대표성이 부족하거나 소외된 집단 포함)에서 동일한 수준의 성능을 유지해야 한다는 것을 의미한다. AI 기반의 의료 서비스는 모든 시민에게 동등하게 제공되어야 하며, 보건의료 AI에서 발생하는 **편향(bias)**은 개인 특성(예: 성별, 연령, 인종, 사회경제적 지위, 건강 상태 등)이나 **데이터 속성(예: 데이터 수집 기관, 사용 장비, 조작자, 주석자 등)**의 차이로부터 비롯될 수 있다. 실제로 완전한 공정성을 달성하는 것은 불가능할 수도 있기 때문에, 공정한 AI 도구는 잠재적인 편향을 식별, 보고, 최소화하여, 가능한 한 모든 하위 집단에서 동일하거나 적어도 매우 유사한 성능을 보장하도록 개발되어야 한다¹³. 이러한 목표를 달성하기 위해 FUTURE-AI 프레임워크에서는 다음 세 가지 **공정성 권고사항(fairness recommendations)**을 제시한다.

공정성 1: 편향의 원천 정의 (Fairness 1: Define sources of bias)

보건의료 AI에서 발생하는 편향은 사용 사례별로 다르게 나타난다³². 따라서 설계 단계에서 AI 개발을 담당하는 학제 간 팀(용어집 참고)은 해당 AI 도구에 적용될 수 있는 편향의 유형과 원인을 식별해야 한다³³. 여기에는 다음과 같은 항목들이 포함될 수 있다:

• 집단 특성: 성별, 연령, 인종, 사회경제적 배경, 지리적 위치 등
• 의료 프로필: 동반 질환, 장애 여부 등
• 데이터 수집 및 처리 과정에서의 편향: 인간 또는 기술적 편향(예: 데이터 수집자, 라벨링 과정, 피처 선택 등)

공정성 2: 개인 및 데이터 속성 정보 수집 (Fairness 2: Collect information on individual and data attributes)

편향을 식별하고 공정성을 향상시키기 위해, 다음과 같은 개인 특성에 대한 정보 수집이 필요하다:

• 성별, 연령, 인종, 위험 요인, 동반 질환, 장애 등

이 정보 수집은 반드시 윤리위원회의 승인과 사전 동의를 기반으로 이루어져야 하며, 비차별의 이점과 재식별 위험 간의 균형을 고려해야 한다. 또한 의료 프로필 간 유사성을 측정하는 것도 동일한 치료가 이루어졌는지를 검증하는 데 포함되어야 하며, 여기에 포함되는 요소는 다음과 같다:

• 위험 요인, 동반 질환, 생물학적 지표(biomarkers), 해부학적 특성 등³⁴

아울러 다음과 같은 데이터셋 속성도 체계적으로 수집해야 한다:

• 데이터가 수집된 기관, 사용된 장비, 전처리 및 주석 작업 과정 등

완전한 데이터 수집이 물리적으로 어렵거나 비현실적인 경우, 두 가지 대안을 고려할 수 있다:

• **결측 속성을 대체(imputation)**하거나
• 불완전한 데이터를 제거(removal)

이 선택은 AI 시스템의 구체적인 맥락과 요구 사항에 따라 사례별로 평가되어야 한다.

공정성 3: 공정성 평가 (Fairness 3: Evaluate fairness)

개인 및 데이터 속성 정보가 확보된 경우, 다음과 같은 **공정성 지표(fairness metrics)**를 이용한 편향 탐지 기법을 적용해야 한다¹³ ³⁵:

• True Positive Rate
• Statistical Parity
• Group Fairness
• Equalised Odds

식별된 편향을 교정하기 위해 다음과 같은 편향 완화(mitigation) 기법도 시험되어야 한다³⁶⁻⁴⁰:

• 데이터 리샘플링(data resampling)
• 편향 없는 표현(bias-free representations)
• Equalised odds 기반 후처리(postprocessing)

이러한 방법이 AI 도구의 공정성과 전체 모델 정확도에 어떤 영향을 미치는지 확인해야 한다. 무엇보다도, 남아 있는 편향은 반드시 문서화하여 보고해야 하며, 이는 최종 사용자 및 시민들에게 정보를 제공하는 수단이 되어야 한다(→ 추적가능성 2(traceability 2) 항목 참조).

보편성 (Universality)

보편성(universality) 원칙은 보건의료 AI 도구가 그것이 개발된 통제된 환경 외부에서도 일반화될 수 있어야 한다는 점을 강조한다. 구체적으로는, AI 도구가 새로운 환자와 새로운 사용자(예: 새로운 임상의)에게도 일반화되어야 하며, 필요한 경우 **새로운 임상 현장(clinical site)**에도 적용 가능해야 한다. 적용 범위(radius of application)의 규모에 따라, **보건의료 AI 도구는 가능한 한 상호운용성(interoperability)과 전이 가능성(transferability)**을 갖춰야 하며, 이를 통해 더 많은 시민과 임상의에게 혜택을 줄 수 있어야 한다. 이를 위해 FUTURE-AI 프레임워크에서는 다음 네 가지 보편성 권고사항을 제시한다.

보편성 1: 임상 환경 정의 (Universality 1: Define clinical settings)

AI 도구를 설계하는 초기 단계에서, 개발팀은 해당 도구가 적용될 임상 환경을 명확히 정의해야 한다. 예를 들면 다음과 같다:

• 1차 진료기관(primary healthcare centres), 병원, 가정 기반 진료(home care)
• 자원 수준이 낮은 환경과 높은 환경(low vs high resource settings)
• 단일 국가 또는 다국가 적용 등

또한 보편성 확보에 장애가 될 수 있는 요인들—예: 최종 사용자 차이, 임상 용어 정의의 불일치, 의료 장비나 정보기술(IT) 인프라의 차이—를 예측하고 준비해야 한다.

보편성 2: 기존 표준 활용 (Universality 2: Use existing standards)

AI 도구의 품질과 상호운용성을 보장하기 위해, 도구 개발 시에는 이미 정의된 커뮤니티 기반의 표준을 기반으로 해야 한다. 예를 들면 다음과 같은 표준들이 있다:

• 질병에 대한 의학 학회의 정의
• 의료 온톨로지: 예) SNOMED CT (Systematized Nomenclature of Medicine Clinical Terms)⁴¹
• 데이터 모델: 예) OMOP (Observational Medical Outcomes Partnership)⁴²
• 인터페이스 표준: 예) DICOM (Digital Imaging and Communications in Medicine), FHIR (Fast Healthcare Interoperability Resources), HL7 (Health Level Seven)
• 데이터 주석(annotation) 프로토콜, 평가 기준(evaluation criteria)²¹
• 기술 표준: IEEE⁴³, ISO⁴⁴ 등²¹ ⁴¹⁻⁴⁴

보편성 3: 외부 데이터로 평가 (Universality 3: Evaluate using external data)

**일반화 가능성(generalisability)**을 평가하기 위해, AI 도구의 기술적 검증은 모델 학습에 사용되지 않은 외부 데이터셋으로 수행되어야 한다⁴⁵. 이 외부 데이터셋은 해당 작업에 적합하며, 현실 세계에서의 변이를 반영할 수 있는 기준(reference) 또는 벤치마크 데이터셋일 수 있다.

단일 기관(single centre)용 AI 도구가 아닌 경우, 임상 평가 연구는 여러 기관에서 수행되어야 하며, 이를 통해 다양한 임상 워크플로우 간의 성능 및 상호운용성을 평가할 수 있다⁴⁶. 만약 도구의 일반화 성능이 제한적이라면, **전이 학습(transfer learning)**이나 **도메인 적응(domain adaptation)**과 같은 **보완 조치(mitigation measures)**를 적용하고 검증해야 한다.

보편성 4: 지역 임상 유효성 평가 (Universality 4: Evaluate local clinical validity)

임상 환경은 인구 구성, 장비, 임상 워크플로우, 최종 사용자 등 여러 측면에서 상이하다. 따라서 각 기관에서의 신뢰(trust)를 확보하기 위해, AI 도구는 지역 단위의 임상 유효성(local clinical validity) 평가를 거쳐야 한다¹⁷. 특히, AI 도구는 지역의 임상 워크플로우에 적합하고, 해당 지역 인구에 대해 양호한 성능을 보여야 한다. 지역 평가 시 성능이 저하된다면, **모델의 재보정(recalibration)**이 필요하며, 예를 들어 **미세조정(fine tuning)**을 통해 수행할 수 있다.

추적가능성 (Traceability)

추적가능성(traceability) 원칙은, 의료 AI 도구가 개발, 검증, 배포, 활용에 이르기까지 전체 생애 주기를 문서화하고 모니터링할 수 있는 체계를 갖추어야 한다는 점을 강조한다. 이러한 추적 체계는 AI 도구의 전 생애에 걸쳐 임상의, 의료기관, 시민 및 환자, AI 개발자, 규제 당국 등 다양한 이해관계자에게 상세하고 지속적인 정보를 제공함으로써, 투명성과 책임성을 제고한다. 또한, AI 추적 체계는 모델의 지속적인 감사(auditing), 위험 및 한계 식별, 필요 시 모델 업데이트를 가능하게 한다⁴⁷.

추적가능성 1: 위험관리 체계 구축 (Traceability 1: Implement risk management)

AI 도구의 생애 전반에 걸쳐, 학제 간 개발팀은 다음을 수행해야 한다:

• 잠재적 위험 분석,
• 위험 발생 가능성과 영향도, 위험-편익 균형 평가,
• 위험 완화 방안 정의 및 지속적 모니터링,
• 위험 관리 파일(risk management file) 유지.

여기에는 FUTURE-AI 원칙에서 다루는 위험(예: 편향, 환자 위해, 데이터 유출)뿐 아니라, 사용 사례별 위험도 포함된다. 예를 들어:

• 사용자 교육 부족 또는 지침 미준수로 인한 오용(human factors)
• 타겟 인구에 속하지 않는 개인에 대한 적용
• 의료진이 아닌 기술자가 사용하는 경우
• 하드웨어 오류, 잘못된 주석 또는 입력값, 적대적 공격(adversarial attacks) 등

완화 방안에는 다음이 포함될 수 있다:

• 사용자 경고, 시스템 종료, 입력 데이터 재처리, 새로운 데이터 획득, 대체 절차 또는 인간의 판단만 사용 등.
• 위험의 모니터링 및 재평가는 고객 피드백, 민원, 실제 성능 로그 데이터 등 다양한 경로를 통해 이루어져야 한다 (→ 추적가능성 5 참고).

추적가능성 2: 문서화 수행 (Traceability 2: Provide documentation)

투명성, 추적가능성, 책임성 강화를 위해, 다음과 같은 **적절한 문서화(documentation)**가 마련되고 유지되어야 한다⁴⁸:

• (a) AI 정보 리플렛: 시민과 의료인을 위한 사용 목적, 위험(예: 편향), 사용 지침 안내
• (b) 기술 문서: AI 개발자, 의료기관, 규제 당국을 위한 AI 모델 특성(예: 하이퍼파라미터), 학습/테스트 데이터, 평가 기준 및 결과, 편향과 한계, 정기 감사 및 업데이트 내용⁴⁹⁻⁵¹
• (c) AI 보고 표준에 기반한 학술 논문 제출¹³ ¹⁵ ⁵²
• (d) 위험 관리 파일 (→ 추적가능성 1)

추적가능성 3: 지속적 품질관리 체계 구축 (Traceability 3: Implement continuous quality control)

AI 도구는 입력 및 출력의 지속적인 모니터링과 품질 관리 체계를 갖춘 상태로 개발 및 배포되어야 한다⁴⁷. 다음과 같은 항목을 식별하는 메커니즘이 포함되어야 한다:

• 누락되었거나 범위를 벗어난 입력 변수
• 불일치한 데이터 형식 또는 단위
• 잘못된 주석 또는 전처리 오류
• 오류 또는 비현실적인 AI 출력

또한 AI의 판단에 대한 품질 평가를 위해, **결과 신뢰도에 대한 불확실성 추정값(uncertainty estimates)**이 제공되어야 하며, 보정(calibration)³³되어야 한다. 이는 최종 사용자에게 결과의 신뢰 수준을 안내하기 위함이다⁵⁴.

추적가능성 4: 정기적 감사 및 업데이트 체계 구축 (Traceability 4: Implement periodic auditing and updating)

AI 도구는 **정기적 감사(auditing)**를 위한 구성 가능한 시스템과 함께 개발 및 배포되어야 한다⁴⁷. 이 시스템은 다음을 포함해야 한다:

• 감사에 사용할 데이터셋, 평가 주기(예: 매년 등)의 명확한 정의
• 이를 통해 데이터나 개념의 드리프트(drift), 새롭게 나타나는 편향, 성능 저하, 사용자 결정 방식의 변화를 식별할 수 있어야 한다⁵⁵.
• 이에 따라 AI 모델이나 도구에 필요한 업데이트가 이루어져야 한다⁵⁶.

추적가능성 5: AI 로깅 시스템 구축 (Traceability 5: Implement AI logging)

추적가능성과 책임성 강화를 위해, AI 로깅(logging) 시스템이 도입되어야 한다. 이 시스템은 다음을 수행해야 한다:

• 사용자의 주요 행동을 프라이버시를 보호하면서 기록
• 접근하고 사용하는 데이터 명시
• AI의 예측 결과와 그에 따른 임상적 결정 기록
• 발생한 문제 상황 로그화

또한 시간대별 통계와 시각화 자료를 활용하여, AI 도구의 사용 추세와 변화를 모니터링해야 한다.

추적가능성 6: AI 거버넌스 체계 구축 (Traceability 6: Implement AI governance)

AI 도구가 배포된 이후에는 **거버넌스 체계(AI governance)**가 명확히 정의되어야 한다. 특히 다음과 같은 역할을 담당할 주체가 지정되어야 한다:

• 위험관리, 정기 감사, 유지보수, 감독 등 → 예: IT팀, 의료행정 담당자 등

또한, AI 관련 오류에 대한 책임소재를 임상의, 의료기관, AI 개발자, 제조사 간 명확히 정의해야 한다. 개인 및 집단 수준의 책임 구조, 피해 환자에 대한 보상 및 지원 체계도 함께 마련되어야 한다.

사용가능성 (Usability)

사용가능성(usability) 원칙은, 최종 사용자가 실제 환경에서 임상적 목표를 효율적이고 안전하게 달성할 수 있도록 AI 도구를 사용할 수 있어야 한다는 점을 강조한다. 이 원칙은 두 가지 측면을 포함한다. 하나는, 사용자가 AI 도구의 기능과 인터페이스를 쉽게 사용하고 오류를 최소화할 수 있어야 한다는 것이며, 다른 하나는, AI 도구가 임상적으로 유용하고 안전해야 하며, 예를 들어 의료인의 생산성을 향상시키거나 환자의 건강 결과를 개선하고 위해를 피할 수 있어야 한다는 점이다.

이를 위해 FUTURE-AI 프레임워크는 다섯 가지 사용가능성 권고사항을 제시한다.

사용가능성 1: 사용자 요구사항 정의 (Usability 1: Define user requirements)

AI 개발자는 임상 전문가, 최종 사용자(예: 환자, 의사), 그리고 데이터 관리자, 행정 담당자 등 관련 이해관계자들과 초기 단계부터 협력하여 다음에 대한 정보를 수집해야 한다:

• AI 도구의 사용 목적 및 사용자 요구사항(예: 인간-AI 인터페이스)
• **AI 도구 사용에 영향을 줄 수 있는 인간 요인(human factors)**⁵⁷
  예: 디지털 리터러시 수준, 연령대, 인체공학, 자동화 편향(automation bias)

특히, 기존 임상 워크플로우와의 적합성에도 주의가 필요하며, 이는 AI 시스템의 조직 수준 통합이나 기타 AI 보조 도구들과의 상호작용까지 포함한다. 다양한 이해관계자들 사이의 다수결 전략을 통해 가장 중요한 임상 이슈를 식별하는 방식은 해당 AI 도구가 개별 선호가 아닌 보편적 적용 가능성을 갖도록 설계하는 데 유용할 수 있다.

사용가능성 2: 인간-AI 상호작용 및 감독 체계 정의 (Usability 2: Define human-AI interactions and oversight)

사용자 요구사항을 바탕으로, AI 개발자는 다음 기능이 가능하도록 인터페이스를 구현해야 한다:

• 사용자가 AI 모델을 효과적으로 활용하고,
• 입력 데이터를 표준화된 방식으로 주석 처리하며,
• AI의 입력 및 결과를 검증할 수 있는 시스템을 구축해야 한다.

**의료 AI의 특성상 리스크가 크기 때문에, 인간의 감독(human oversight)**은 필수적이며 이는 정책 결정자 및 규제 기관의 요구 사항으로 점점 더 강조되고 있다¹⁷ ²⁶. 이에 따라 Human-in-the-loop 메커니즘이 설계되어야 하며, 이는 다음 기능을 포함해야 한다:

• 편향, 오류, 불합리한 설명 탐지,
• 필요 시 **AI 예측을 무효화하거나 무시(overrule)**할 수 있는 기능 등.

규제, 자동화의 이점, AI 자율성에 대한 환자 선호도는 사용 사례마다 다를 수 있으며 시간이 지남에 따라 변화할 수 있으므로⁵⁸,
**사용 사례별 인간 감독 체계 및 정기 감사·업데이트 체계(→ 추적가능성 4)**가 필요하다.

사용가능성 3: 사용자 교육 제공 (Usability 3: Provide training)

AI 도구를 최적으로 사용하고, 오류 및 위해를 줄이며, AI 리터러시를 높이기 위해, 개발자는 다음을 포함하는 교육 자료 또는 활동을 사용자 접근 가능한 형식과 언어로 제공해야 한다:

• 튜토리얼, 매뉴얼, 예시 등 자료
• 실습 중심 교육 세션(hands-on session) 등 활동
• 다양한 최종 사용자(전문의, 간호사, 기술자, 일반 시민, 관리자 등)를 고려해야 한다

사용가능성 4: 임상 사용성 평가 (Usability 4: Evaluate clinical usability)

AI 도구의 도입을 촉진하기 위해, 해당 도구의 지역 임상 워크플로우 내 사용성은 현실 세계(real world) 환경에서 대표성과 다양성을 반영한 사용자 집단을 대상으로 평가되어야 한다(예: 성별, 연령, 임상 역할, 디지털 숙련도, 장애 여부 등)

사용성 평가는 다음에 대한 정량적·정성적 증거를 수집해야 한다:

• 사용자 만족도, 성능, 생산성
• 사용에 영향을 미치는 인간 요인(human factors)
  예: 자신감, 학습 용이성, 자동화 편향⁵⁷

사용가능성 5: 임상적 유용성 평가 (Usability 5: Evaluate clinical utility)

AI 도구는 **임상적 유용성(clinical utility)**과 안전성(safety) 측면에서 평가되어야 한다.

그 평가 결과는 다음과 같은 이점을 입증해야 한다:

• 환자에게: 조기 진단, 건강 결과 향상 등
• 의료인에게: 생산성 향상, 진료 품질 개선 등
• 의료기관에게: 비용 절감, 워크플로우 최적화 등

또한, AI 도구가 개인 또는 특정 집단에 위해를 초래하지 않는다는 점도 중요하다.
이러한 안전성은 **무작위 임상시험(randomised clinical trial)**을 통해 입증할 수 있다⁵⁹.

견고성 (Robustness)

견고성(robustness) 원칙은, 의료 AI 도구가 입력 데이터의 예상되거나 예상치 못한 변동 상황에서도 일관된 성능과 정확도를 유지할 수 있어야 한다는 것을 의미한다. 기존 연구에 따르면, 입력 데이터의 미세하고 인지하기 어려운 차이조차도 AI 모델이 잘못된 결정을 내리게 할 수 있다⁶⁰. 생의학 및 건강 데이터는 현실 세계에서 다양한 변이를 겪을 수 있으며(예상된 것과 예상되지 않은 것 모두 포함), 이는 AI 도구의 성능에 영향을 줄 수 있다. 따라서 의료 AI 도구는 이러한 실제 환경의 변이에 견딜 수 있도록 설계되고 개발되어야 하며, 이에 맞추어 평가 및 최적화되어야 한다. FUTURE-AI 프레임워크에서는 이를 위해 세 가지 견고성 권고사항을 제시한다.

견고성 1: 데이터 변이의 원인 정의 (Robustness 1: Define sources of data variations)

설계 단계에서, 개발팀은 해당 AI 도구에 요구되는 견고성 요건을 정의하고, 현실 세계에서 도구의 견고성에 영향을 줄 수 있는 변이의 원인 목록을 작성해야 한다. 여기에 포함될 수 있는 요인들은 다음과 같다:

• 의료 장비 간의 차이
• 장비의 기술적 결함
• 데이터 수집 또는 주석 처리 중 발생하는 이질성(heterogeneity)
• 적대적 공격(adversarial attacks)⁶⁰

견고성 2: 대표성 있는 데이터로 학습 (Robustness 2: Train with representative data)

AI 도구가 현실 세계의 임상 환경에서 마주하게 되는 다양한 변이를 충분히 반영한 데이터로 학습된다면, 임상의, 시민, 기타 이해관계자들은 해당 도구에 대해 더 높은 신뢰를 가질 가능성이 높다⁶¹. 따라서 학습 데이터셋은 설계 단계에서 정의된 변이 원인(→ 견고성 1 참조)을 바탕으로 **신중하게 선택, 분석, 보강(enrich)**되어야 한다.

대표성 있는 데이터로의 학습은 공정성 원칙 등 다른 원칙의 향상에도 기여한다. 예: 더 나은 편향 추정 및 편향 완화 가능성

견고성 3: 견고성 평가 (Robustness 3: Evaluate robustness)

AI 도구의 견고성을 평가하기 위한 평가 연구는 현실 세계 임상 실천에서 발생 가능한 다양한 변이 조건을 반영하는 방식으로 수행되어야 한다. 예:

• 데이터, 장비, 기술자, 임상의, 환자, 기관 간 변이 등
• 사용 가능한 평가 방법: 스트레스 테스트(stress test), 반복 가능성 테스트(repeatability test)⁶²

평가 결과에 따라 다음과 같은 **보완 조치(mitigation measures)**를 적용하고 검증해야 한다:

• 정규화(regularisation)⁶³
• 데이터 증강(data augmentation)⁶⁴
• 데이터 정합화(data harmonisation)⁶⁵
• 도메인 적응(domain adaptation)⁶⁶

설명가능성 (Explainability)

설명가능성(explainability) 원칙은, 의료 AI 도구가 그 결정의 논리에 대해 임상적으로 의미 있는 정보를 제공해야 한다는 점을 강조한다.

의료는 투명성, 신뢰성, 책임성이 요구되는 고위험 분야임에도 불구하고, 기계학습 기술은 종종 ‘블랙박스’로 불리는 복잡한 모델을 생성한다. 설명가능성은 기술적, 의학적, 윤리적, 법적, 환자적 관점에서 모두 바람직한 요소로 간주되며⁶⁷, 사용자가 다음을 수행할 수 있게 한다:

• AI 모델과 출력 해석
• AI 도구의 능력과 한계를 이해
• 필요시 개입 여부를 결정 (예: 사용할지 말지 판단 등)

그러나 설명가능성을 확보하는 작업은 기술적 난이도가 높고, 임상적으로 의미 있고 실용적인 설명을 확보하려면 개발 및 평가 과정에서 특별한 고려가 필요하다⁶⁸. 이를 위해 FUTURE-AI 프레임워크는 두 가지 설명가능성 권고사항을 제시한다.

설명가능성 1: 설명 요구사항 정의 (Explainability 1: Define explainability needs)

설계 단계에서, 최종 사용자 및 분야 전문가들과 함께 해당 AI 도구에 설명가능성이 필요한지 여부를 결정해야 한다. 설명이 필요한 경우, 다음과 같은 설명 요건을 함께 정의해야 한다:

• (a) 설명의 목적: 모델의 전반적인 동작 설명(global) vs 개별 결정 설명(local)
• (b) AI 설명에 적합한 접근법⁶⁹
• (c) 예상되는 한계 및 모니터링 항목: 예) 사용자가 AI의 결정에 과도하게 의존하는 현상⁶⁸

설명가능성 2: 설명방법 평가 (Explainability 2: Evaluate explainability)

설명 가능한 AI 방법은 정량적·정성적으로 모두 평가되어야 한다.

• 먼저 정량적으로는 계산 기반 평가 방법을 통해 설명의 정확성을 평가⁷⁰ ⁷¹
• 다음으로 정성적으로는 최종 사용자들과 함께 평가를 수행, 설명이 사용자 만족도, 신뢰도, 임상 성과에 미치는 영향을 확인⁷²

이러한 평가는 AI 설명의 한계도 식별해야 한다. 예:

• 설명이 임상적으로 일관되지 않거나³,
• 노이즈나 적대적 공격에 민감하거나⁷⁴,
• 설명이 실제보다 AI 결과에 대한 신뢰를 과도하게 높이는 경우⁷⁵

일반 권고사항 (General Recommendations)

마지막으로, FUTURE-AI 프레임워크에서는 보건의료 분야의 신뢰할 수 있는 AI의 모든 원칙에 적용 가능한 7가지 일반 권고사항을 정의하였다.

일반 1: 이해관계자와 지속적으로 소통하라

AI 도구의 생애 전반에 걸쳐, AI 개발자는 보건의료 전문가, 시민, 환자 대표, 윤리 전문가, 데이터 관리자, 법률 전문가 등 학제 간 이해관계자들과 지속적으로 소통해야 한다. 이러한 상호작용은 필요, 장애 요소, 수용 및 채택 경로에 대한 이해를 도모하고 예측하는 데 도움이 된다.

이해관계자 참여 방식에는 다음이 포함될 수 있다:

• 작업 그룹, 자문 위원회, 일대일 인터뷰
• 공동 창작 회의(co-creation meetings), 설문조사 등

일반 2: 데이터 보호를 보장하라

AI 생애주기 전반에 걸쳐 데이터 프라이버시 및 보안 보호를 위한 적절한 조치가 시행되어야 한다. 여기에 포함될 수 있는 기술 및 전략은 다음과 같다:

• 프라이버시 강화 기술 (예: 차등 프라이버시, 암호화)
• 데이터 보호 영향 평가(Data Protection Impact Assessment)
• 배포 이후의 데이터 거버넌스: 예) 데이터 접근 로그 시스템 (→ 추적가능성 5 참고)

비식별화(deidentification) 기법이 적용될 경우(예: 가명화(pseudonymisation), k-익명성(k-anonymity)), 시민 건강상의 이익과 재식별 위험 간의 균형을 신중하게 평가하고 고려해야 한다. 또한, **AI 도구에 대한 악의적 공격이나 적대적 위협(adversarial attacks)**으로부터 보호하기 위해, 제조사 및 배포자는 다음과 같은 사이버 보안 대책을 시행하고 주기적으로 평가해야 한다⁷⁶:

• 시스템 수준의 사이버보안 솔루션
• 애플리케이션 특화 방어기법 (예: 공격 탐지, 공격 완화 기법)

일반 3: AI 위험을 해결하기 위한 대책을 마련하라

개발 단계에서, 개발팀은 적용 사례에 특화된 요구사항을 반영하여 AI 모델링 계획을 수립해야 한다. 기초 AI 모델을 구현하고 테스트한 후, 이 모델링 계획에는 설계 단계에서 확인된 문제점과 위험 요인을 해결하기 위한 보완 전략이 포함되어야 한다 (→ 공정성 1 ~ 설명가능성 1 참조). 

포함 가능한 보완 전략:

• 현실 세계 변이에 대한 견고성 향상: 정규화(regularisation), 데이터 증강, 데이터 정합화, 도메인 적응
• 임상 환경 간 일반화 향상: 전이 학습(transfer learning), 지식 증류(knowledge distillation)
• 소집단 간 편향 교정: 데이터 리샘플링, 편향 없는 표현, equalised odds 후처리

일반 4: 적절한 AI 평가 계획을 수립하라

신뢰와 채택을 높이기 위해, 테스트 데이터, 평가 지표, 비교 기준을 포함하는 평가 계획을 수립해야 한다.

• 첫째, 각 원칙의 평가에 적절한 테스트 데이터를 선정해야 하며,
  특히 학습 데이터와 명확히 분리된 테스트 데이터를 사용하여 데이터 누수(data leakage)를 방지해야 한다⁷⁷.
• 둘째, **각 지표의 장점과 한계를 고려하여 적절한 평가 지표(metrics)**를 선정해야 한다⁷⁸.
• 셋째, **기준이 되는 AI 도구 또는 기존 의료 관행과의 비교(benchmarking)**를 통해 모델 성능을 상대적으로 평가해야 한다.

일반 5: AI 규제를 준수하라

개발팀은 적용 대상 관할권(jurisdiction)과 시간에 따라 달라질 수 있는 AI 규제를 사전에 파악해야 한다. 예를 들어, **EU의 AI 법(AI Act)**에서는 모든 보건의료 분야의 AI 도구를 **고위험(high-risk)**으로 분류하며, 이에 따라 안전성, 투명성, 품질 관련 의무를 준수하고 적합성 평가를 거쳐야 한다. AI 도구의 용도 및 위험 수준에 따라 예상되는 규제 의무를 개발 초기부터 식별해두면, 후속 절차를 보다 효율적으로 준비할 수 있다.

일반 6: 적용 사례별 윤리적 쟁점을 조사하라

개인정보 보호, 투명성, 공정성, 자율성 등 의료 AI에서 잘 알려진 윤리 문제 외에도, AI 개발자, 분야 전문가, 전문 윤리학자는 다음을 수행해야 한다:

• 해당 적용 사례에 특화된 윤리적, 사회적, 사회문화적 쟁점을
• AI 도구의 개발 및 배포 과정에서 필수적으로 식별, 논의, 해결해야 한다⁷⁹.

일반 7: 사회적·환경적 이슈 조사하기 (General 7: Investigate social and environmental issues)

의료 인공지능(AI) 도구는 임상적, 기술적, 법적, 윤리적 함의 외에도 특정한 사회적·환경적 문제를 내포할 수 있다. 이러한 문제들은 AI 도구가 시민과 사회에 긍정적인 영향을 미치기 위해 반드시 고려되고 해결되어야 한다. 규제 기관이나 독립 기관은 지속가능성 기준을 충족하는 AI 도구에 대해 인증 또는 표시 제도를 운영할 수 있다. 이러한 접근은 투명성을 촉진하고, AI 도구의 환경적 영향에 대한 통찰을 제공하며, 친환경적 실천을 채택한 도구를 부각시키는 데 도움이 될 수 있다. 관련된 사회적 이슈에는 AI 도구가 의료 전문가 및 시민의 노동 환경과 권력 관계, 새로운 기술 습득(또는 기술 상실), 그리고 시민, 보건 전문가, 사회적 돌봄 종사자 간의 향후 상호작용에 미치는 영향이 포함될 수 있다⁸⁰.

또한 환경적 지속가능성을 위해, AI 개발자들은 AI 도구의 탄소 발자국(carbon footprint)을 줄이기 위한 전략도 고려해야 한다⁸¹.

FUTURE-AI 프레임워크의 실제 적용을 가능하게 하기 위해, 우리는 **AI 도구의 수명 주기 전반에 걸쳐 권장되는 모범 사례를 시간 순서대로 통합한 단계별 가이드(step-by-step guide)**를 제공한다. 이는 아래와 같이 네 가지 주요 단계로 구성된다:

• 설계(Design) 단계는 모든 관련 이해관계자를 참여시키고, 임상적, 기술적, 윤리적, 사회적 요구사항을 포괄적으로 분석하는 사람 중심(human-centred), 위험 인식(risk-aware) 전략으로 시작된다. 이 분석을 통해 **설계 명세 목록(specifications)**과 **모니터링이 필요한 위험 목록(예: 편향 가능성, 견고성 부족, 일반화의 어려움, 투명성 결여 등)**이 도출된다.
• 개발(Development) 단계에서는 효과적인 학습과 테스트를 위한 대표성 있는 데이터셋의 수집이 우선시된다. 이 데이터셋은 앞서 확인된 바와 같이 대상 설정, 장비, 프로토콜, 인구 집단의 다양성을 반영해야 한다. 또한, 초기 설계에서 도출된 요구사항과 위험 요소에 따라, 적절한 AI 개발 계획이 정의되고 실행되며, 여기에 위험 완화 전략과 사람 중심 메커니즘이 포함되어 기능적·윤리적 요구를 충족시켜야 한다.
• 검증(Validation) 단계에서는 단순한 시스템 성능뿐만 아니라 견고성(robustness), 공정성(fairness), 일반화 가능성(generalisability), 설명 가능성(explainability) 등 신뢰할 수 있는 AI의 모든 요소들을 포괄적으로 점검하며, 필요한 모든 문서화를 완료함으로써 마무리된다.
• 배포(Deployment) 단계는 현장(local) 유효성을 확보하고, 사용자 교육을 제공하며, 모니터링 메커니즘을 실행하고, 규제 요건 준수를 보장하여 실제 보건의료 환경에서 AI 도구가 채택되도록 한다.

FUTURE-AI의 실행(Operationalisation of FUTURE-AI)

이 절에서는 각 권고사항(recommendation)에 대한 실제적인 실행 단계의 목록을 구체적으로 제시하고, 각 단계의 실행을 위한 접근법과 방법론에 대한 예시를 함께 제공한다. 이러한 내용은 표 3, 표 4, 표 5, 표 6에 정리되어 있다. 이 접근은 FUTURE-AI 프레임워크의 **모든 최종 사용자(end users)**가 의료용 AI 도구를 설계, 개발, 검증, 배포할 때 참고할 수 있는 쉽고 단계별(step-by-step) 안내를 제공하는 것을 목표로 한다.

논의(Discussion)

최근 몇 년간 의료 인공지능(medical AI)에 대한 연구가 엄청나게 증가했음에도 불구하고, 실제로 임상 현장에 도입된 AI 도구는 극히 제한적이다. 많은 연구들이 AI가 의료를 개선할 수 있는 잠재력이 크다는 점을 보여주고 있지만, 여전히 임상적, 기술적, 사회윤리적, 법적 차원의 주요 도전과제들이 존재한다.

본 논문에서는 **신뢰할 수 있고 실제로 사용 가능한(trustworthy and deployable) 의료 AI 도구의 개발을 위한 국제적 합의 지침(consensus guideline)**을 수립하기 위한 노력을 소개하였다. 이를 위해 **FUTURE-AI 컨소시엄(FUTURE-AI Consortium)**이 조직되었으며, 이 컨소시엄은 다양한 분야와 이해관계자로부터 지식과 전문성을 제공받아, 지리적으로나 분야적으로나 폭넓은 지지를 확보한 합의 결과를 도출하였다.

총 **24개월에 걸친 반복적 과정(iterative process)**을 통해 FUTURE-AI 프레임워크가 완성되었으며, 이 프레임워크는 의료 AI의 전체 수명 주기를 포괄하는 30개의 포괄적이고 독립적인 권고사항들로 구성되어 있다. 또한, 이 권고사항들은 **6가지 주요 원칙(six guiding principles)**으로 분류되어 있으며, 이를 통해 **책임 있고 신뢰할 수 있는 AI로 가는 경로(pathway)**를 명확히 제시하고 있다. 이러한 광범위한 적용 범위 덕분에, FUTURE-AI 지침은 보건의료 분야의 다양한 이해관계자에게 이익이 될 수 있다는 점이 부록의 표 2에 상세히 설명되어 있다.

FUTURE-AI는 ‘위험 정보 기반(risk-informed)’ 프레임워크로, 각 AI 애플리케이션의 특수한 위험과 도전과제를 초기부터 평가할 것을 제안한다. 예를 들어, 차별(discrimination)의 위험, 일반화 불가능성, 데이터 드리프트(data drift), 최종 사용자로부터의 수용 부족, 환자에게 잠재적으로 미치는 해악, 투명성 결여, 데이터 보안 취약성, 윤리적 위험 등이 이에 해당한다. 이어서, 이러한 위험을 줄이기 위한 **맞춤형 대응 전략(measures)**을 실행할 것을 제안한다. 예를 들어, 개인의 특성에 대한 데이터를 수집하여 편향을 평가하고 완화할 수 있다.

그러나 실행되는 특정 조치에는 이점과 동시에 약점이 존재하므로, 개발자는 이를 사전에 평가하고 고려해야 한다. 다시 말해, **위험-이익 균형(risk-benefit trade-off)**이 필요하다. 예컨대, 개인 특성 데이터를 수집하는 것은 재식별(reidentification) 위험을 증가시킬 수 있지만, 동시에 편향과 차별의 위험을 줄이는 데 기여할 수 있다. 따라서 FUTURE-AI에서는 **위험 관리(risk management, traceability 권고사항 1에서 제안됨)**가 AI 도구의 수명 주기 전반에 걸쳐 지속적이고 투명한 과정이 되어야 함을 강조한다.

또한 FUTURE-AI는 가정(assumption)에 기반하지 않는, 고도로 협력적인(collaborative) 프레임워크로, 다학제적 이해관계자들과 지속적으로 소통할 것을 권장한다(일반 원칙 1). 이는 해당 AI 도구에 대한 신뢰를 떨어뜨릴 수 있는 모든 위험과 요소를 식별하기 위해 매우 중요하다.

예를 들어, 편향의 가능성 있는 원인에 대해 사전 가정을 두기보다는, FUTURE-AI는 개발자가 의료 전문가, 분야별 전문가, 시민 대표, 윤리학자 등과 초기 단계부터 협업하여 다학제적 AI 개발 팀을 구성하고, 특정 애플리케이션에 관련된 편향의 원인을 심층적으로 조사할 것을 권고한다. 이러한 원인은 예컨대 **유방암 AI 도구의 경우, 유방 밀도(breast density)**와 같은 **특정 도메인 특성(domain-specific attributes)**일 수 있다.

FUTURE-AI 지침은 다양한 분야에 적용 가능하도록 일반적인 방식으로 정의되었다. 예컨대, 방사선학(radiology), 유전체학(genomics), 모바일 헬스(mobile health), 전자의무기록(EHR) 등 여러 영역에서 활용될 수 있도록 설계되었다. 그러나 많은 권고사항들은 해당 도메인 내에서도 의료 활용 사례에 따라 적용 가능성이 달라진다.

이를 고려하여, 각 원칙의 첫 번째 권고사항은 해당 분야의 특수성을 식별하도록 구성되었다. 예를 들어, 편향의 유형(fairness 1), 임상 환경(universality 1), 설명 가능한 AI에 대한 필요성과 접근 방식(explainability 1) 등이 있다. 이러한 구성은 도메인 간 일반화 가능성을 높이는 동시에 **미래 사용을 위한 지속 가능성(sustainability)**을 보장한다.

또한, 우리는 하나의 접근법으로 모든 상황에 대응(one-size-fits-all approach)은 불가능하다는 점을 인식하고 있다. 많은 권고사항은 **활용 사례(use case)**에 따라 다르게 적용되어야 하며, 표준이 아직 존재하지 않거나 향후 변경될 가능성이 있기 때문이다. 따라서 본 지침은 각 권고사항의 구체적 기법을 강제하지 않고, 의료 AI의 신뢰성을 높이기 위한 최선의 실천방안(best practices) 개발에 중점을 두었다.

이러한 유연성은 다양한 도전과 위험을 해결하는 방법의 다양성을 반영한 것이다. 예를 들어, AI 학습 과정에서 개인정보 보호를 위한 권고사항은 데이터 비식별화(data deidentification), 연합 학습(federated learning), 차등 개인정보보호(differential privacy), 암호화(encryption) 등 다양한 방식으로 구현될 수 있다. 이러한 구체적인 예시는 특히 표 3, 표 4, 표 5, 표 6에 수록되어 있다.

그러나 각 권고사항을 실행하는 데 가장 적합한 기법은 해당 적용 도메인, 임상적 활용 사례, 데이터의 특성, 방법론의 장단점 등을 고려하여 AI 개발팀이 최종적으로 선택해야 한다. 이와 마찬가지로, AI 개발에 참여하는 모든 이해관계자들은 각 권고사항을 함께 책임지며, 그 역할은 적용 사례, 방법, 분야, 프로젝트 구성 및 활용 상황에 따라 달라질 수 있다.

FUTURE-AI 프레임워크는 의료 AI의 규제를 위한 통찰을 제공하지만, 이러한 권고사항들을 실제 규제 절차에 통합하기 위해서는 추가적인 작업이 필요하다. 예컨대, **추적성과 거버넌스를 향상시키기 위한 메커니즘으로 로깅(logging)**을 제안하였지만, 감사(audit)는 누가 수행하고, 오류 발생 시 누가 책임질 것인지에 대한 책임 문제(liability)는 아직 해결되지 않았다.

또한 우리는 AI 모델의 지속적인 평가와 조정(fine-tuning)을 권장하지만, 현행 규제는 제품 출시 이후의 수정(post-release modifications)을 금지하고 있다. 이는 제조사의 초기 검증(validity)을 형식적으로 무효화하기 때문이다. 향후 규제는 사전에 정의된 허용 기준 내에서의 현장 맞춤(local adaptations) 가능성을 고려해야 할 것이다.

한편, FUTURE-AI 지침의 실행은 상당한 비용이 수반될 수 있으며, 이는 AI 개발자와 보건의료 시스템 모두에 영향을 미칠 수 있다. 이러한 재정적 고려는 특히 소규모 개발자나 자원이 제한된 의료 시스템에서 AI 도입의 격차를 심화시킬 수 있다. 다양한 분야의 이해관계자들이 협력함으로써 이러한 재정적 부담을 분산시키고, 고급 AI 도구에 대한 형평성 있는 접근을 지원할 수 있다.

반대로, FUTURE-AI 지침을 조기에 채택하면 비용을 절감할 수도 있다. 임상적으로 부가가치가 없는 AI 도구를 개발하거나, 도구 개발 후에 여러 원칙을 해결하려는 노력을 하기보다, 초기 단계에서부터 신뢰할 수 있고 실제로 사용 가능한 AI 도구를 설계함으로써, 사후 도입보다 비용 효과적일 수 있다. 실제로 사후 도입은 도구의 **해결 구조(solution architecture)의 큰 부분을 변경해야 하는 고비용 요청(change requests)**이 자주 요구된다.

마지막으로, 의료 AI 도구의 발전과 채택이 진행됨에 따라 새로운 요구사항, 도전 과제, 기회가 생겨날 것이다. 일부 권고사항은 여전히 표준화된 해결 방안이 존재하지 않으며, 이에 따라 우리는 FUTURE-AI를 동적인 살아 있는(living) 프레임워크로 제안한다.

우리는 다양한 목소리로부터 배우고 지침을 다듬기 위해, **전용 웹사이트(www.future-ai.eu)**를 개설하였다. 이곳에서 FUTURE-AI 네트워크에 참여하고, 자신의 경험과 관점에 기반한 피드백을 제공할 수 있도록 초대하고 있다. 웹사이트에는 **FUTURE-AI 자기 점검 체크리스트(self-assessment checklist)**도 포함되어 있으며, 이는 FUTURE-AI 권고사항의 활용을 쉽게 하고 예시를 제시하기 위한 질문과 사례로 구성되어 있다.

추가적으로 우리는 **의료 AI 연구자, 제조사, 평가자, 최종 사용자, 규제기관과의 교류를 위한 정기적인 웹 세미나 및 워크숍 등 외부 소통 행사(outreach events)**를 개최할 계획이다. 향후 연구에서는 FUTURE-AI의 실행을 특정 의료 분야에서 심층적으로 분석하고, 각 원칙의 도메인 특화 적용 방법을 탐색할 예정이다. 예를 들어, **공정한 머신러닝(Fair ML), 설명 가능한 AI(XAI)**와 같은 분야는 이미 독립적인 빠르게 진화하는 분야로 자리잡고 있다.

 ‘+’는 권장(recommended), ‘++’는 **강력히 권장(highly recommended)**을 의미합니다.

🟡 Fairness (공정성)

1. 가능한 편향의 원인을 초기부터 식별할 것 – 연구 및 실제 적용 모두에서 강력히 권장됨(++).
2. 개인 및 데이터 속성에 관한 정보를 수집할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
3. 편향을 평가하고, 필요한 경우 교정 조치를 시행할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).

🟢 Universality (보편성)

1. 의도된 임상 환경과 다양한 세팅 차이를 정의할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
2. 공통적으로 정의된 기준(임상 정의, 기술 표준 등)을 사용할 것 – 연구 및 실제 적용 모두에서 권장(+).
3. 외부 데이터셋 및/또는 다기관 데이터를 사용하여 평가할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
4. 현장(local) 임상 유효성을 입증하고 시연할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).

🔵 Traceability (추적 가능성)

1. AI 생애 주기 전반에 걸친 위험 관리 프로세스를 구현할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).
2. 기술적·임상적 문서화(documentation)를 제공할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
3. 입력 및 출력의 품질 관리를 위한 메커니즘을 정의할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).
4. 주기적인 감사를 위한 시스템을 구현할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).
5. 사용 이력을 기록할 수 있는 로깅 시스템을 구현할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).
6. AI 거버넌스를 위한 메커니즘을 수립할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).

🟠 Usability (사용 가능성)

1. 최종 사용자 요구사항을 초기 단계부터 정의할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
2. 인간-AI 상호작용 및 감독을 위한 메커니즘을 수립할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
3. 교육 자료 및 실습 기반 활동(예: 튜토리얼, 핸즈온 세션)을 제공할 것 – 연구 및 실제 적용 모두에서 권장(+).
4. 독립적인 최종 사용자에게 수용성 및 경험을 평가받을 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).
5. 임상적 유용성과 안전성(예: 효과성, 위해성, 비용-편익)을 평가할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).

🟣 Robustness (강건성)

1. 초기 단계에서 데이터의 다양성 원인을 정의할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
2. 대표성을 갖춘 실제 데이터를 사용하여 학습할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
3. 현실 세계의 다양한 환경에 대한 견고성을 평가하고 최적화할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).

⚪ Explainability (설명 가능성)

1. 설명 가능성에 대한 필요성과 요구사항을 정의할 것 – 연구 및 실제 적용 모두에서 권장(+).
2. 최종 사용자와 함께 설명 가능성의 정확성, 적합성, 영향 등을 평가할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).

⚫ General (일반 원칙)

1. AI 생애 주기 전반에서 다학제 이해관계자들과 협력할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
2. 개인정보 보호 및 보안을 위한 조치를 구현할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
3. 식별된 AI 위험에 대해 대응할 수 있는 조치를 구현할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).
4. 적절한 평가 계획(예: 데이터셋, 메트릭, 기준 방법 등)을 정의할 것 – 연구 및 실제 적용 모두에서 강력히 권장(++).
5. 적용 가능한 모든 규제 요건을 식별하고 준수할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).
6. 애플리케이션 특유의 임상 이슈를 조사하고 대응할 것 – 연구에서는 권장(+), 실제 적용에서는 강력히 권장(++).
7. 사회적, 환경적 이슈를 조사하고 대응할 것 – 연구 및 실제 적용 모두에서 권장(+).

표의 내용을 자연스럽게 정리한 위 서술은 FUTURE-AI 프레임워크의 각 권고사항이 어느 정도 수준으로 연구 및 실제 활용에서 요구되는지를 직관적으로 보여줍니다. 필요하시면 이 내용을 기반으로 한 시각적 요약(예: 인포그래픽)도 제작해드릴 수 있습니다.

✅ 1. 다학제 이해관계자 참여 (Engage interdisciplinary stakeholders – general 1)

• 운영 방안:
  • 모든 관련 이해관계자 식별
  • AI 도구 및 AI 자체에 대한 정보 제공
  • 이해관계자와의 소통 채널 설정
  • 공동창작(Co-creation) 합의 회의 구성
  • 정성적 방법을 활용한 피드백 수집
• 예시:
  • 환자, 일반의(GP), 간호사, 윤리학자, 데이터 관리자
  • 교육 세미나, 교육 자료, 웨비나
  • 정기적인 그룹 미팅, 일대일 인터뷰, 온라인 플랫폼
  • 다학제 이해관계자 15명과의 공동 창작 워크숍
  • 온라인 설문조사, 포커스 그룹, 내러티브 인터뷰

✅ 2. 의도된 사용 목적과 사용자 요구사항 정의 (Define intended use and user requirements – usability 1)

• 운영 방안:
  • 임상적 필요와 AI 도구의 목표 정의
  • AI 도구의 최종 사용자 정의
  • AI 모델의 입력 요소 정의
  • AI 도구의 기능 및 인터페이스 정의
  • 사람 중심 감독 요건 정의
  • 모든 사용자 하위 집단별로 요구사항 조정
• 예시:
  • 위험 예측, 질병 탐지, 영상 정량화
  • 환자, 심장 전문의, 영상의학과 전문의, 간호사
  • 증상, 심박수, 혈압, 심전도(ECG), 영상 스캔, 유전자 검사
  • 데이터 업로드, AI 예측, AI 설명 가능성, 불확실성 추정
  • 시각적 품질 관리, 수동 교정
  • 역할, 연령, 디지털 리터러시 수준에 따라 조정

✅ 3. 임상 환경 및 환경 간 변이 정의 (Define intended clinical settings and cross-setting variations – universality 1)

• 운영 방안:
  • AI 도구가 적용될 의료 환경 정의
  • 각 환경에서 필요한 자원 정의
  • 고사양/저사양 환경을 구분하여 AI 도구 적용 여부 명시
  • 모든 환경 간 변이 사항 식별
• 예시:
  • 1차 진료(primary care), 병원, 원격 진료, 가정 내 진료
  • 인력(경험, 디지털 리터러시), 의료 장비(예: 1.5 T MRI), IT 인프라
  • 고자장 MRI(>1.5T) vs 저자장 MRI(예: 0.5T), 고사양 vs 저비용 휴대형 초음파
  • 데이터 형식, 의료 장비, 데이터 프로토콜, IT 인프라

✅ 4. 데이터 이질성의 원인 정의 (Define sources of data heterogeneity – robustness 1)

• 운영 방안:
  • 관련 이해관계자들과 함께 데이터 이질성 평가
  • 장비 관련 데이터 변이 식별
  • 프로토콜 관련 데이터 변이 식별
  • 작업자 관련 데이터 변이 식별
  • 아티팩트 및 노이즈의 원인 식별
  • 맥락별 데이터 변이 식별
• 예시:
  • 임상의, 기술자, 데이터 관리자, IT 관리자, 영상의학과 전문의, 장비 업체
  • 의료기기 종류, 제조사, 교정 방식, 기기 성능 범위(저사양~고사양)
  • 영상 시퀀스, 데이터 취득 프로토콜, 데이터 주석 방법, 샘플링 속도, 전처리 기준
  • 작업자의 숙련도 차이, 피로도, 주관적 판단, 기술적 편차
  • 영상 노이즈, 모션 아티팩트, 신호 손실, 센서 오작동
  • 응급실, 환자 대기량이 많은 시간대에서의 데이터 품질 저하

📝 (다음 페이지로 이어집니다 – Continued)
해당 표의 이어지는 다음 부분도 있으시면 보내주시면 계속해서 번역해드리겠습니다.

✅ 5. 잠재적 편향 요인 정의 (Define any potential sources of bias – fairness 1)

• 운영 방안:
  • 관련 이해관계자들과 함께 편향의 원인을 정의
  • AI의 공정성에 영향을 줄 수 있는 표준 속성 정의
  • 표준 속성 외에도 애플리케이션 특이적 편향 요인 식별
  • 가능한 모든 인간 편향 요인 식별
• 예시:
  • 환자, 임상의, 역학자, 윤리학자, 사회복지사 등과 협력
  • 성별, 연령, 사회경제적 지위
  • 피부암 감지를 위한 피부 색, 유방암 진단에서의 유방 밀도
  • 데이터 라벨링, 데이터 큐레이션 과정에서의 인간 편향

✅ 6. 최종 사용자를 위한 설명가능성 요건 정의 (Define the need and requirements for explainability with end users – explainability 1)

• 운영 방안:
  • 최종 사용자와 함께 설명가능성의 필요 여부 평가
  • 설명가능성이 필요한 경우, 그 목적 명확히 설정
  • 적절한 설명방법(approach)을 정의
  • 사용자 하위집단별로 설명 방식 설계 조정
• 예시:
  • 임상의, 기술자, 환자와 협력
  • 이미지 분할 AI에는 설명 필요 없음, 진단 지원 AI에는 설명 필수
  • AI 모델 이해, 진단 추론 지원, 치료 결정 정당화
  • 시각적 설명, 중요 특징 시각화(feature importance), 반사실(counterfactuals)
  • 임상의용 히트맵, 사용자별 맞춤 설명

✅ 7. 윤리적 이슈 탐색 (Investigate ethical issues – general 6)

• 운영 방안:
  • 의료 AI 윤리 전문가와의 협의
  • AI 도구의 설계가 관련 윤리적 가치와 부합하는지 평가
  • 애플리케이션 특이적 윤리 문제 식별
  • 지역 윤리 규범 준수
• 예시:
  • 의료 AI, 소아과 등 분야별 윤리 전문가
  • 자율성, 정보 접근권, 동의, 비밀 보장, 형평성 등의 가치 고려
  • 소아용 AI 도구의 정서적 영향 등
  • 유럽, 영국, 미국, 캐나다, 중국, 인도, 일본, 호주 등의 윤리 지침

✅ 8. 사회적·환경적 이슈 탐색 (Investigate social and environmental issues – general 7)

• 운영 방안:
  • AI 도구가 유발할 수 있는 사회적·환경적 영향 조사
  • 사회·환경적 영향을 줄이기 위한 완화 전략 정의
  • 알고리즘 및 에너지 효율 최적화
  • 책임 있는 데이터 사용 촉진
  • AI 도구의 환경적 영향을 모니터링 및 보고
• 예시:
  • 노동력 축소, 근로환경 악화, 탈숙련화, 돌봄의 탈인간화, 건강 문해력 저하, 탄소 발자국 증가, 부정적 사회 인식
  • 의사-환자 소통 인터페이스 개선, 교육 프로그램 개발, 에너지 효율적 컴퓨팅, 공공 참여 유도
  • 전력 소비를 줄이는 에너지 효율 알고리즘, 가지치기, 양자화, 에지 컴퓨팅
  • 필요한 데이터만 수집·처리, 지역 기반 학습 기술로 대규모 데이터 이동 방지
  • 에너지 사용량, 탄소 배출량, 폐기물 발생 등을 포함한 환경 영향 정기 보고

✅ 9. 공동체에서 정의한 기준을 사용할 것 (Use community defined standards – universality 2)

• 운영 방안 및 예시:
  • 임상 과제에 대한 표준 정의 사용: 예) 미국심장학회(American Academy of Cardiology)의 심부전(Heart Failure) 정의¹²¹
  • 데이터 라벨링을 위한 표준 방법 사용: 예) 유방 영상에 사용되는 BI-RADS 기준¹²²
  • AI 입력을 위한 표준 온톨로지 사용: 예) 영상 데이터에는 DICOM, 임상 데이터에는 SNOMED¹²³⁴¹
  • 기술적 표준 채택: 예) 의료 AI 소프트웨어를 위한 IEEE 2801-2022 표준¹⁴³
  • 표준화된 평가 기준 사용: 예) Maier-Hein et al.¹²¹의 영상 AI 평가, Barocas et al.³¹ 및 Bellamy et al.³⁵의 공정성 평가 기준

✅ 10. 위험 관리 프로세스를 구현할 것 (Implement a risk management process – traceability 1)

• 운영 방안 및 예시:
  • 임상적, 기술적, 윤리적, 사회적 모든 위험 요인 식별
    • 예: 소수집단에 대한 편향, 자원이 부족한 환경에서의 일반화 어려움, 데이터 드리프트(data drift), 최종 사용자의 수용 부족, 노이즈에 민감한 입력
  • 운영상의 모든 위험 요인 식별
    • 예: 사용자 교육 부족 혹은 지침 미준수로 인한 AI 오용, 대상 외 인구(예: 임플란트 보유자) 적용, 예상 외 사용자 사용(예: 의사가 아닌 기술자), 하드웨어 오류, 잘못된 주석, 적대적 공격(adversarial attacks)¹²⁵
  • 각 위험의 발생 가능성 평가
    • 예: 매우 높음, 높음, 가능성 있음, 드묾
  • 각 위험의 결과(심각도) 평가
    • 예: 환자 위해, 차별, 투명성 부족, 자율성 침해, 환자 재식별 위험¹²⁶
  • 가능성과 심각도를 기반으로 위험 우선순위 지정
    • 예: 모델에 개인 속성이 포함되지 않으면 편향 위험, 포함되면 재식별 위험
  • AI 개발 중 적용할 위험 완화 조치 정의
    • 예: 데이터 증강(data augmentation), 편향 수정 기술, 도메인 적응(domain adaptation)⁶⁶, 전이 학습(transfer learning)¹²⁸, 지속 학습(continuous learning)¹²⁹
  • AI 배포 이후 적용할 위험 완화 조치 정의
    • 예: 사용자 경고, 시스템 종료, 입력 데이터 재처리, 새로운 입력 데이터 수집, 대체 절차 사용, 인간 판단만 허용
  • 위험 모니터링 및 장기 관리 메커니즘 구축
    • 예: 6개월마다 정기적인 위험 평가 시행
  • 종합적인 위험 관리 문서 작성
    • 예: 모든 위험, 발생 가능성, 결과, 완화 조치, 모니터링 전략 포함

용어 참고:

• AI: 인공지능 (Artificial Intelligence)
• BI-RADS: 유방 영상 보고 및 데이터 시스템
• DICOM: 디지털 영상 및 의료 통신
• SNOMED: 임상 용어 시스템화 명명법
• IEEE: 미국 전기전자기술자협회
• MRI: 자기공명영상
• ECG: 심전도
• GP: 일반의(General Practitioner)

✅ 1. 대표성 있는 학습 데이터셋 수집 (Collect representative training dataset – robustness 2)

• 운영 방안:
  • 인구통계적 변이를 반영하는 학습 데이터 수집
  • 임상적 변이를 반영하는 학습 데이터 수집
  • 실제 임상 환경의 변이를 반영하는 학습 데이터 수집
  • 현실 환경 조건을 모방한 학습 데이터 인위적 강화
• 예시:
  • 연령, 성별, 인종, 사회경제적 배경 등
  • 질병 하위군, 치료 프로토콜, 임상 결과, 희귀 사례 등
  • 데이터 획득 프로토콜, 주석 기준, 의료 장비, 스캐닝 중 환자 움직임 등
  • 데이터 증강(data augmentation), 데이터 합성(data synthesis, 예: 저품질 데이터, 노이즈 추가), 데이터 조화(harmonisation, homogenisation)

✅ 2. 개인 및 데이터 속성에 대한 정보 수집 (Collect information on individuals’ and data attributes – fairness 2)

• 운영 방안:
  • 개인 속성 데이터 수집을 위한 승인 요청
  • 가능하다면 표준 속성(예: 성별, 연령, 민족, 교육 수준) 수집
  • 공정성 분석을 위한 애플리케이션 특이적 정보 포함
  • 하위집단 간 데이터 분포 추정
  • 데이터의 출처 및 특성에 대한 정보 수집
• 예시:
  • 성별, 연령, 민족, 사회경제적 지위
  • 피부색, 유방 밀도, 임플란트 유무, 동반 질환
  • 남성 대 여성, 인종 간 데이터 분포 비교
  • 데이터센터 위치, 장비 특성, 전처리 및 주석 과정 정보

✅ 3. 데이터 프라이버시 및 보안 조치 시행 (Implement measures for data privacy and security – general 2)

• 운영 방안:
  • 데이터 프라이버시와 보안을 위한 조치 적용
  • 악의적 공격에 대한 방지 대책 시행
  • 관련 법규 및 데이터 보호 규정 준수
  • 적절한 데이터 거버넌스 메커니즘 수립
• 예시:
  • 데이터 비식별화(de-identification), 연합 학습(federated learning), 차등 개인정보 보호(differential privacy), 암호화(encryption)
  • 방화벽(firewalls), 침입 탐지 시스템(IDS), 정기 보안 감사
  • GDPR(일반 개인정보 보호법), HIPAA(건강보험 이동성 및 책임법)
  • 접근 제어, 로깅 시스템 등

✅ 4. 식별된 AI 위험에 대한 대응 조치 실행 (Implement measures against identified AI risks – general 3)

• 운영 방안:
  • 기준선 AI 모델 구현 및 한계 파악
  • 현실 세계의 변이에 대한 강건성 향상 기법 적용
  • 환경 간 일반화 가능성 향상을 위한 기법 적용
  • 하위 집단 간 공정성 향상을 위한 기법 적용
• 예시:
  • 편향, 일반화 부족 등의 한계
  • 정규화(regularisation), 데이터 증강(data augmentation), 데이터 조화(harmonisation), 도메인 적응(domain adaptation)
  • 지식 증류(knowledge distillation), 전이 학습(transfer learning)
  • 데이터 리샘플링(resampling), 편향 없는 표현, 공정성 기반 후처리(equalised odds postprocessing)

✅ 5. 인간-AI 상호작용 메커니즘 구축 (Establish mechanisms for human-AI interactions – usability 2)

• 운영 방안:
  • 데이터 전처리 및 라벨링 표준화 메커니즘 구축
  • AI 모델 사용을 위한 인터페이스 구현
  • 설명 가능한 AI를 위한 인터페이스 구현
  • AI 결과의 품질 관리를 위한 사용자 중심 메커니즘 구현
  • 사용자 피드백 수집을 위한 메커니즘 구현
• 예시:
  • 데이터 전처리 파이프라인, 라벨링 플러그인
  • API(Application Programming Interface)
  • 시각적 설명, 히트맵, 중요도 막대
  • 시각 품질 통제, 불확실성 추정
  • 피드백 인터페이스

용어 참고:

• AI: 인공지능
• Federated learning: 중앙 서버에 데이터 없이 분산 학습 수행
• Differential privacy: 개별 정보 보호 보장하는 수학적 기술
• Regularisation, Domain adaptation: 과적합 방지 및 도메인 간 일반화 기법
• Knowledge distillation: 큰 모델의 지식을 작은 모델로 전이하는 기법

✅ 1. 적절한 평가 계획 수립 (Define adequate evaluation plan – general 4)

• 운영 방안:
  • 신뢰할 수 있는 AI의 평가 요소를 정의
  • 적절한 테스트 데이터셋 선정
  • 기존의 진료 기준(Standard of care)과 비교
  • 적절한 평가 지표 선택
• 예시:
  • 강건성, 임상적 안전성, 공정성, 데이터 드리프트, 사용성, 설명가능성
  • 새 병원의 외부 데이터셋, 공개 벤치마킹 데이터셋
  • 기존 위험 예측 모델, 영상의학 전문의의 시각 평가, 임상의의 의사결정
  • 분류 정확도(F1 score), 생존 분석 concordance index, 공정성 평가를 위한 statistical parity

✅ 2. 외부 데이터셋 및 다기관 평가 사용 (Evaluate using external datasets and/or multiple sites – universality 3)

• 운영 방안:
  • 관련 공개 데이터셋 식별
  • 외부의 비공개(proprietary) 데이터셋 식별
  • 다기관 평가 장소 선정
  • 평가 데이터와 장소가 실제 변이를 반영하는지 확인
  • 훈련 데이터로 사용되지 않았는지 검증
• 예시:
  • Cancer Imaging Archive, UK Biobank, M&Ms, MAMA-MIA, BRATS
  • 동일 기관 또는 다른 병원에서 수집된 신규 전향적 데이터
  • 동일 국가 내 3개 기관, 다른 국가 내 5개 기관
  • 인구 통계, 임상의, 장비의 다양성 반영
  • 훈련에 사용 여부: 예/아니오

✅ 3. 공정성 및 편향 수정 조치 평가 (Evaluate fairness and bias correction measures – fairness 3)

• 운영 방안:
  • 공정성 평가를 위한 속성과 요인 선택
  • 공정성 지표 및 기준 정의
  • 공정성 평가 및 편향 식별
  • 편향 수정 조치 평가
  • 수정 조치가 모델 성능에 미치는 영향 평가
  • 식별된 편향 및 수정되지 않은 편향 보고
• 예시:
  • 성별, 연령, 피부색, 동반 질환
  • 예: 통계적 균형(parity) 차이가 -0.1~0.1 사이일 경우 공정하다고 판단
  • 연령에 대해 공정, 성별에 대해서는 편향
  • 데이터 리샘플링, 편향 없는 후처리(equalised odds postprocessing)
  • 예: 리샘플링 후 성별 편향은 줄었지만 모델 성능은 감소
  • 정보전달지 및 기술 문서에 편향 명시

✅ 4. 사용자 경험 평가 (Evaluate user experience – usability 4)

• 운영 방안:
  • 다양한 최종 사용자의 사용성 평가
  • 사용성 설문조사를 통한 만족도 평가
  • 사용자 성능 및 생산성 평가
  • 신규 사용자의 학습 난이도 및 교육 요구 평가
• 예시:
  • 성별, 연령, 디지털 숙련도, 역할, 임상 프로필 기반으로 분류된 사용자
  • System Usability Scale(SUS) 활용
  • AI 도구 사용 전후 진단 소요 시간, 영상 분량 계량화 등
  • 숙련까지 걸리는 평균 시간, 훈련 과정에서의 어려움

✅ 5. 임상적 유용성과 안전성 평가 (Evaluate clinical utility and safety – usability 5)

• 운영 방안:
  • 임상적 평가 계획 수립
  • AI 도구가 환자 결과 향상에 기여하는지 평가
  • 생산성 향상 또는 진료 질 향상 여부 평가
  • 비용 절감 효과 확인
  • AI 도구의 안전성 평가
• 예시:
  • 무작위 대조군 시험(RCT), 시뮬레이션(in silico) 연구
  • 위험 예측 향상, 조기 진단, 개인맞춤 치료
  • 진료 속도 향상, 대기 시간 단축, 빠른 진단, 환자 섭취 증가
  • 진단 비용 절감, 과잉 치료 감소
  • 부작용 또는 중대한 이상반응 여부 (RCT 기반)

✅ 6. 강건성 평가 (Evaluate robustness – robustness 3)

• 운영 방안:
  • 실제 세계의 다양한 변이 상황에서 강건성 평가
  • 시뮬레이션된 변이 상황에서 강건성 평가
  • 최종 사용자 간의 변이에 따른 강건성 평가
  • 강건성 향상을 위한 완화 조치 평가
• 예시:
  • 테스트-재테스트 데이터셋, 다기관(multivendor) 데이터셋 사용
  • 반복 가능성 테스트, 합성 노이즈 또는 아티팩트(예: 영상 흐림) 삽입
  • 서로 다른 기술자 혹은 주석자 비교
  • 정규화, 데이터 증강, 노이즈 추가, 리샘플링, 도메인 적응 등

✅ 7. 설명가능성 평가 (Evaluate explainability – explainability 2)

• 운영 방안:
  • 설명이 임상적으로 의미 있는지 평가
  • 설명가능성을 객관적인 지표로 정량 평가
  • 설명가능성을 최종 사용자와 함께 정성 평가
  • 설명이 최종 사용자의 과신(overconfidence)이나 과잉 의존을 유발하는지 평가
  • 설명이 입력 데이터의 변이에 민감한지 평가
• 예시:
  • 전문가 패널의 리뷰, 임상 가이드라인과의 정렬, 지름길(shortcuts)을 지적하지 않는 설명
  • 신뢰도(fidelity), 일관성(consistency), 완전성(completeness), 노이즈 민감도 측정
  • 사용자 테스트나 설문을 통한 신뢰도 및 임상 의사결정에의 영향 평가
  • 임상의의 신뢰도 변화, AI 유무에 따른 성과 변화 측정
  • 스트레스 테스트를 통한 설명의 안정성 평가

✅ 8. 문서화 제공 (Provide documentation – traceability 2)

• 운영 방안:
  • AI 평가 결과를 보고서나 학술지에 출판
  • AI 도구에 대한 기술 문서 작성
  • AI 도구에 대한 임상 문서 작성
  • 위험 관리 파일 제공
  • 사용자 및 교육 문서 생성
  • 지역별 요구 문서 식별 및 제공
• 예시:
  • TRIPOD-AI 보고 가이드를 사용한 동료 심사 논문
  • AI 여권(AI passport), 모델 카드(model cards): 하이퍼파라미터, 학습/테스트 데이터, 평가 결과, 한계 등 포함
  • 임상 사용 지침서, AI 정보 리플릿: 사용 목적, 대상 질환 및 인구, 작동 원리, 이점 및 금기사항 등
  • 식별된 위험, 완화 조치, 모니터링 전략 포함한 파일
  • 사용자 매뉴얼, 교육 자료, FAQ, 트러블슈팅 가이드
  • 법적 요구사항에 따른 인증 문서 및 규정 준수 서류

📌 참고 용어:

• Fidelity: AI 설명이 실제 모델의 작동과 일치하는 정도
• Stress Test: 시스템의 한계를 평가하기 위한 인위적 교란
• Model Cards: AI 모델에 대한 투명한 설명 문서
• TRIPOD-AI: AI 모델 보고를 위한 표준화된 지침

✅ 1. 현장 임상 유효성 평가 및 입증 (Evaluate and demonstrate local clinical validity – universality 4)

• 운영 방안:
  • 지역 데이터를 활용하여 AI 모델 테스트
  • AI 도구의 지역 유효성에 영향을 줄 수 있는 요인 파악
  • AI 도구가 병원 IT 시스템이나 임상 워크플로우와 잘 통합되는지 평가
  • AI 도구의 실제 활용 가능성과 운영상 문제 파악
  • 지역 유효성을 위한 조정 조치 시행
  • AI 도구의 성능을 현지 임상의와 비교
• 예시:
  • 지역 임상 등록 데이터 사용
  • 지역 기술자, 장비, 임상 워크플로우, 데이터 수집 프로토콜
  • AI 도구의 인터페이스가 병원 IT 시스템과 호환되는지, 기존 진료 흐름을 방해하는지 여부
  • 사용 시간, 임상의 만족도, 기존 진료 절차와의 충돌 여부
  • 모델 보정(model calibration), 파인튜닝(fine-tuning), 전이학습(transfer learning)
  • 병렬 비교(side-by-side comparison), 인 실리코(in silico) 시험

✅ 2. AI 입력 및 출력의 품질 관리 메커니즘 정의 (Define mechanisms for quality control of AI inputs and outputs – traceability 3)

• 운영 방안:
  • 오류 입력 데이터 탐지 메커니즘 구현
  • 비현실적인 AI 출력 탐지 메커니즘 구현
  • AI 도구의 신뢰도 판단을 위한 불확실성 추정값 제공
  • 지속적인 품질 모니터링 시스템 구축
  • 사용자가 문제를 보고할 수 있는 피드백 메커니즘 구축
• 예시:
  • 결측값 또는 out-of-distribution 탐지기, 자동화된 영상 품질 평가
  • 후처리 정합성 점검, 이상 탐지 알고리즘
  • 각 환자 또는 데이터 포인트별로 보정된 불확실성 추정 제공
  • 실시간 대시보드를 통한 데이터 품질 및 성능 지표 추적
  • 임상의가 오류나 이상을 보고할 수 있는 피드백 포털

✅ 3. 정기 감사 및 업데이트 시스템 구현 (Implement system for periodic auditing and updating – traceability 4)

• 운영 방안:
  • 정기 감사 일정 정의
  • 감사 기준 및 지표 정의
  • 감사용 데이터셋 정의
  • 데이터 또는 개념 변화 탐지를 위한 메커니즘 구현
  • AI 도구의 감사 책임자 지정
  • 감사 결과를 기반으로 AI 도구 업데이트
  • 감사 및 업데이트 이후 결과 공유 시스템 구현
  • AI 업데이트의 영향 모니터링
• 예시:
  • 반기 또는 연 1회 감사
  • 정확성, 일관성, 공정성, 데이터 보안
  • 새로 수집한 지역 병원 데이터셋
  • 입력 데이터 분포의 변화 탐지
  • 내부 감사팀 또는 외부 감사 전문기관
  • AI 모델 재학습, 프로토콜 조정, 지속 학습
  • 의료 관리자 및 임상의와의 자동 보고 공유
  • 시스템 성능 및 사용자 만족도에 대한 영향 평가

📌 용어 설명

• In silico trial: 컴퓨터 시뮬레이션 기반의 시험
• Postprocessing sanity check: 결과의 논리적 타당성 확인 절차
• Out-of-distribution detector: 훈련 범위를 벗어난 입력을 탐지하는 알고리즘
• Calibrated uncertainty: 보정된 신뢰 수준 추정값

✅ 4. 사용 기록 로깅 시스템 구현 (Implement logging system for usage recording – traceability 5)

• 운영 방안:
  • 모든 상호작용을 기록하는 로깅 프레임워크 구현
  • 기록할 데이터 정의
  • 데이터 캡처를 위한 자동화 메커니즘 구현
  • 데이터 보안을 위한 메커니즘 구현
  • 감사 및 문제 해결을 위한 로그 접근 권한 제공
  • 사용자가 문제를 기록할 수 있는 인터페이스 구현
  • 로그 분석을 위한 메커니즘 구현
• 예시:
  • 사용자 행동, AI 입력, AI 출력, 임상 결정 등
  • 타임스탬프, 사용자 ID, 환자 ID(익명화), 작업 상세 내역, 결과
  • 모든 입력과 출력을 자동 기록하는 소프트웨어
  • 암호화된 로그 파일, 프라이버시 보호 기술
  • 지정된 관리자만 로그에 접근 가능 (예: 의료 관리자, IT 관리자)
  • 운영상 이상 사항 입력을 위한 사용자 인터페이스 제공
  • 이상 탐지 및 관리자 알림을 위한 시계열 통계 및 시각화

✅ 5. 사용자 교육 제공 (Provide training – usability 3)

• 운영 방안:
  • 사용자 매뉴얼 작성
  • 교육 자료 및 활동 개발
  • 사용자 친화적인 형식과 언어 사용
  • 사용자 그룹별 맞춤형 교육 제공
  • AI 및 건강 문해력 향상을 위한 교육 포함
• 예시:
  • 사용 지침서, 기능 설명, 제한 사항, 예시, 사례 기반 가이드
  • 온라인 강의, 워크숍, 실습 세션
  • 텍스트, 영상, 오디오 등 다양한 형식과 영어·중국어·스와힐리 등 다양한 언어
  • 역할별 맞춤 모듈 (예: 전문의, 간호사, 환자용)
  • AI 개념(예: 라디오믹스, 설명가능성) 및 임상 의사결정 관련 교육

✅ 6. 관련 규제 요건 확인 및 준수 (Identify and comply with applicable AI regulatory requirements – general 5)

• 운영 방안:
  • 규제 전문가와 협력하여 요건 조사
  • AI 시장별 구체적 규제 식별
  • AI 목적별 구체적 요구사항 식별
  • 규제 준수를 위한 이정표 정의
• 예시:
  • 지역 특화 규제 컨설턴트
  • 미국: FDA의 SaMD(Software as a Medical Device), 유럽: MDR 및 AI 법안
  • AI 도구가 해당하는 De Novo 분류(예: Class III 등)
  • MDR 인증: 기술 검증, 임상시험, 위험/품질 관리, 사후 추적(follow-up)

✅ 7. AI 거버넌스 메커니즘 수립 (Establish mechanisms for AI governance – traceability 6)

• 운영 방안:
  • AI 도구 거버넌스를 위한 역할 지정
  • 오류 발생 시 책임 소재 정의
  • 책임성(accountability) 메커니즘 정의
• 예시:
  • 정기 감사, 유지보수, 감독을 위한 역할 지정 (예: 헬스케어 관리자)
  • 임상의, 의료기관, AI 개발자 및 제조사의 책임 분배
  • 개인 vs 집단 책임, 보상 시스템, 환자 지원 제도

📌 주요 용어 정리:

• SaMD (Software as a Medical Device): 단독으로 의료 목적을 수행하는 소프트웨어
• MDR (Medical Device Regulation): EU의 의료기기 규제
• De Novo Classification: FDA의 위험도 기반 신기술 분류 체계
• Accountability: 결과에 대한 책임성, 법적·윤리적 책임 포함

A scoping review of artificial intelligence in medical education: BEME Guide No. 84

배경 (Background)

의료 분야에서 인공지능(AI, Artificial Intelligence)의 활용은 환자 진료, 의학 연구, 그리고 보건의료 시스템 전반에 걸쳐 중대한 영향을 미칠 것으로 예상된다(Weidener and Fischer 2023). 자연어처리(Natural Language Processing, NLP), 머신러닝(Machine Learning, ML), 생성형 사전학습 변환기(Generative Pre-trained Transformers, GPT) 등 AI에 접근하기 위한 구체적인 도구나 기법들이 의료 교육의 **내용(content)**뿐만 아니라 과정(process) 자체를 변화시킬 수 있는 잠재력을 가지고 있다. 기술이 지속적으로 발전함에 따라, 입학에서부터 교육과정(curricula), 교수법(teaching), 평가(assessment)에 이르기까지 의학교육의 모든 측면에 걸친 이러한 발전의 영향을 면밀히 검토하는 것이 필수적이다.

AI 분야 자체는 새로운 것이 아니지만, 최근 **머신러닝과 대규모 언어모델(Large Language Models, LLM)**에 기반한 AI의 적용—예컨대 OpenAI의 ChatGPT와 같은 AI 기반 챗봇 애플리케이션의 핵심을 이루는 기술—은 이 기술을 더 많은 사용자들이 쉽게 접근하고 사용할 수 있게 만든 획기적인 전환점이었다. Masters(2023a)는 이러한 변화를 가리켜 "ChatGPT 이전과 이후(pre and post ChatGPT world)를 구분지을 수 있는 중대한 전환점"이라고 평가했다.

AI의 급속한 확산과 함께, 의학교육자들은 이와 관련된 위험성에 대한 우려를 점점 더 강하게 표명하고 있다. 최근 한 의사 방어 단체(physician defense organization)의 글에서는, 학생들이 과제를 수행하는 데 있어 이러한 기술을 사용하는 것과 관련된 위험성을 경고하였다(Graham 2023). 다른 연구들에서도 AI가 학술 출판의 신뢰성과 **학문적 진실성(integrity of academic publishing)**을 훼손할 수 있는 잠재성에 대해 경고하였다(Masters 2023b; Loh 2023).

그와 동시에, AI에 대한 교육자들의 기대감도 커지고 있다. 최근의 주요 연구들은 AI가 평가를 향상시키는 도구로서의 강력한 가능성(예: Schaye et al. 2022)을 지니고 있으며, 입학 및 학생 선발(admissions and selection)과 같은 교육 과정의 효율성을 높일 수 있다는 점(예: Burk-Rafel et al. 2021)을 강조하고 있다.

2021년에 수행된 Lee J 외의 리뷰 연구는, 학부 의학 교육(Undergraduate Medical Education, UME)에서 무엇을(what), 그리고 어떻게(how) AI를 가르쳐야 하는지를 다룬 22편의 다양한 연구들을 확인하였으나, 대학원 의학 교육(Graduate Medical Education, GME)과 지속적 전문성 개발(Continuing Professional Development, CPD) 분야는 범위에서 제외되어 있었다. 특히 최근 12개월 동안 ChatGPT의 출시 이후, AI에 대한 출판물과 관심은 기하급수적으로 증가하고 있으며, 이는 새로운 근거들을 종합적으로 고찰해야 할 필요성을 시사한다.

본 리뷰 연구의 목적은 의료 교육 전 영역에서 AI가 어떻게 적용되고 있으며, 어떤 도전과제를 안고 있는지를 조망하는 데 있다. 우리는 스코핑 리뷰(scoping review) 방법론을 채택하여 현재 문헌의 지형을 그려내고, 관련 근거의 기반을 명확히 하며, 사용된 연구 방법론을 분류하고, 체계적 후속 연구가 필요한 주제 영역들을 도출하고자 했다. 궁극적으로 우리는 이 리뷰를 통해 의료 교육에서 AI 통합의 방향성을 제시하고, 보다 복잡하고 빠르게 변화하는 보건의료 환경에 효과적으로 적응할 수 있는 전문인을 양성하기 위한 기반을 마련하고자 한다.

연구 방법 (Methods)

본 **스코핑 리뷰(scoping review)**는 시작 후 16주 이내의 신속한 기간 내에 완료되었다. 신속한 진행에도 불구하고, 우리는 이전의 연구들(Gordon et al. 2020; Daniel et al. 2021)에 준거하여 **체계성(systematicity)**을 유지하였고, 연구의 진실성(integrity) 및 방법론적 정밀성(methodological precision) 또한 확보하였다. 본 연구의 방법론은 **Arksey와 O’Malley(2005)**의 스코핑 리뷰 프레임워크에 기반하였고, **Levac et al.(2010)**이 제안한 방식으로 이를 정교화하였다. 보고 방식에 있어서는 STORIES 진술(STructured apprOach to the Reporting In healthcare education of Evidence Synthesis)(Gordon and Gibbs 2014)과 **BEME 지침(Hammick et al. 2010)**을 따랐으며, PRISMA-ScR(Tricco et al. 2018) 보고 기준에도 부합하였다. 특히 건강 전문직 교육 분야의 스코핑 리뷰에 특화된 보고 기준이 없는 점을 보완하고자 **Peters et al.(2020, 2022)**의 가이드를 참고하였다. 연구 프로토콜은 다음 링크에서 확인할 수 있다: https://clok.uclan.ac.uk/49900/

스코핑 리뷰는 다음의 5단계 절차를 따랐다(Arksey and O’Malley 2005):

• 1단계: 연구 목표 및 질문 설정
• 2단계: 관련 문헌 탐색
• 3단계: 문헌 선정
• 4단계: 데이터 도표화(charting)
• 5단계: 결과의 통합, 요약, 및 보고

Levac et al.(2010)이 권장한 **6단계(전문가 자문, expert consultation)**는 생략하였다. 그 이유는, 본 연구의 저자진 중 AI 전문가(BK, JC, MS) 및 의학교육 전문가(CM, DD, JC, JH, MD, MG, MH, ST)가 해당 역할을 충분히 수행할 수 있었기 때문이다.

2단계: 검색 전략 (Search Strategy)

**정보 전문 전문가(information specialist)**의 도움을 받아 PubMed/MEDLINE, EMBASE, MedEdPublish를 대상으로 날짜나 언어에 제한을 두지 않고 검색을 수행하였다. 우리는 MeSH 용어와 키워드를 모두 포함한 포괄적인 검색 전략을 사용하였다. 검색어는 **AI, ML, NLP, GPT, 의학교육(medical education)**과 관련된 용어를 기반으로 하였으며, **복잡한 용어 사용을 정제하기 위해 반복적 파일럿 검색(iterative pilot searches)**을 통해 전략을 조정하였다.

2023년 7월에 실시한 초기 검색에서는 총 1,598편의 논문이 확인되었으며, 참고문헌 스크리닝을 통해 누락된 핵심 논문이 식별되면서 추가 조정이 이루어졌다. 최종적으로 보다 포괄적인 검색 전략이 2023년 8월에 수행되었고, 최종 검색 전략은 **보조 부록 1(Supplementary Appendix 1)**에 상세히 제시되어 있다.

또한, 포함된 연구의 참고문헌도 검토하여 누락된 논문이 있는지 확인하였다.

3단계: 문헌 선정 (Study Selection)

스크리닝 과정은 저자 쌍(AA, HU, MD, MG, RG)이 독립적으로 제목, 초록, 전체 본문을 검토하여 수행하였다. 이견이 있을 경우 상호 합의 또는 제3저자의 판단을 통해 해결하였다. 문헌 선정 과정을 시각적으로 나타내기 위해 **PRISMA 흐름도(PRISMA flow diagram)**를 작성하였다.

포함 기준(Inclusion Criteria)

• AI, ML, NLP, GPT의 의학교육 내 사용 사례를 다룬 논문
• AI의 사용 여부와 관계없이, AI의 영향, 태도, 지식, 관점을 다룬 논문
• **학부(UME), 대학원(GME), 지속적 전문성 개발(CPD)**의 전 범위를 포함한 논문
• 의대생, 전공의, 펠로우, 의사를 대상으로 한 연구 (다직종 학습자 그룹일 경우, 의학 관련 참여자가 주요 비중일 것)
• 교육과정(curriculum), 교수학습(teaching and learning), 평가(assessment) 등 관련 영역을 다룬 논문
• 모든 방법론적 형태의 논문
• 모든 언어로 된 논문

제외 기준(Exclusion Criteria)

• 진단, 임상, 보건의료 조직 운영 또는 거버넌스를 위한 AI 활용 사례를 다룬 논문
• AI를 교육 연구의 도구로만 사용한 논문 (즉, AI 자체가 초점이 아닌 경우)
• 논문 작성에 AI를 활용했지만, AI 자체에 대한 논의는 없는 경우

4단계: 데이터 도표화 (Charting the Data)

이번 연구에서는 포함된 두 가지 명확한 문헌 범주에 따라 각기 다른 데이터 도표화 방식을 적용하였다.

• 첫 번째 범주는 Articles and Innovations로, **의학교육에서 AI 또는 관련 이슈를 실제 또는 제안된 방식으로 활용한 원저 논문(original studies)**에 해당한다.
• 두 번째 범주는 Perspectives publications로, 이는 **의학교육 분야에서 AI와 관련된 이슈에 대해 저자의 전문성, 경험, 기존 문헌 리뷰 등을 바탕으로 의견을 제시하는 학술적 견해글(scholarly perspectives)**이다. 이들은 원저 연구는 아니며, 해당 분야의 통찰에 기반한 **정보성 의견문(informed opinions)**이다.

Articles and Innovations

총 8명의 저자(AA, BK, CJC, HU, MH, MS, NX, RB)가 쌍(pair)으로 작업하며 데이터를 도표화하였다. 이들은 **사전 정의된 데이터 추출 양식(predefined data extraction form)**을 사용했으며, 이는 파일럿 테스트 후 정제되었다. 각 연구로부터 다음 항목들을 추출하였다:

• 연구 식별자: 저자명, 논문 제목, 출판일, 학술지명
• 연구 특성: 교육 단계, 연구 수행국가, 진료과목, 연구 목적, 연구 설계
• AI의 적용 분야 또는 활용 초점: 예) 입학 및 선발, 교육과정, 평가 등
• AI 기술 방법론: 일반적인 AI 개념으로 다루었는지, 또는 의사결정모델(Decision Models, DM), 전통적 머신러닝(ML), 딥러닝(Deep Learning, DL), 자연어처리(NLP) 등 구체적 기술을 사용하였는지 여부
• AI의 활용 사례(Use Cases)
• 사용된 언어모델 및 소프트웨어 프로그램 명칭 (해당되는 경우)
• AI 활용의 근거(Rationale)
• SAMR 기술통합 프레임워크에 따른 분류
  (Substitution: 대체, Augmentation: 증강, Modification: 수정, Redefinition: 재정의)
• AI 구현 방식에 대한 서술
• 연구 결과 요약 및 Kirkpatrick의 교육성과 평가 모델 적용 여부
• 실제 교육, 정책, 연구에의 시사점(Implications)

Perspectives

총 4명의 저자(JC, CM, JH, ST)가 두 쌍으로 나뉘어 독립적으로 도표화 작업을 수행하였다. 이들은 Articles and Innovations와 유사한 **기본 메타데이터(metadata)**뿐 아니라 다음과 같은 추가 정보도 수집하였다:

• AI 사용의 근거 및 이론적 기반
• AI의 적용 분야 및 기술 프레임워크
• 교육과정 및 연구를 위한 주제 제안
• 윤리적 쟁점 및 적용상의 제약 조건

5단계: 결과 통합, 요약 및 보고 (Collating, Summarizing and Reporting the Results)

Articles and Innovations

모든 저자들은 데이터 추출 양식을 바탕으로 정보를 모아, 시각화가 용이한 다수의 표와 도표로 정리하였다. 이는 현재의 근거 기반(evidence base)을 시각적으로 조망하기 위한 목적이다. 도표화 작업 후에는, **연구에서 다룬 개발 현황의 범위 및 평가된 결과들을 서사적으로 기술한 분석(narrative account)**을 생성하였다. 또한 **연구가 부족한 영역(paucity of research)**을 확인하고, **향후 1차 또는 2차 연구(primary and secondary studies)**가 필요한 영역을 제안하였다. (예: 체계적 문헌고찰)

Perspectives

연구팀은 데이터를 숙지한 후 **체계적인 종합 절차(systematic approach for synthesis)**를 개발하였다. 먼저, 포함된 논문들을 두 가지 중심 주제로 분류하였다:

1. 의학교육에 AI 통합의 중요성 (Importance of Integrating AI into Medical Education)
2. 의학교육에서의 AI 활용 가능성 (Potential Application into Medical Education)

이 중 두 번째 범주에 대해서는 **실용성 중심의 접근(utility-focused approach)**을 적용하였으며, 각 논문이 독자에게 제공할 수 있는 **‘기여(Contributions)’**를 강조하였다. 비록 대부분의 논문이 실제 평가나 연구를 거치지는 않았더라도, 이들 기여는 정보에 기반한 의사결정, 교육 프로그램 설계, AI 응용 평가 등에서 핵심적인 역할을 할 수 있다. 기여 내용은 다음과 같이 구분하였다:

1. 제안된 교육적 적용 및 개발
2. 교육 프레임워크
3. 교육과정 내용, 역량(competencies), 도구 및 자원에 대한 제언
4. 윤리적 고려사항(Ethics Considerations)

각 단계에서는 팀 구성원들이 독립적으로 분류 작업을 수행한 후, **합의(consensus)**를 도출하는 토론을 거쳤다. 결과는 **‘간단한 요약(Brief Summary)’**과 **‘핵심 포인트(Key Points)’**로 구성된 서사적 종합(narrative synthesis)으로 정리되어, 독자들이 내용을 보다 쉽게 이해하고 실제 교육에 적용할 수 있도록 하였다.

결과 (Results)

개요 (Overview)

데이터베이스 검색을 통해 총 2,123편의 논문이 확인되었으며, 중복 논문을 제거한 후 2,019편이 남았다. 제목 및 초록 스크리닝 과정을 통해 310편으로 추려졌으며, **평가자 간 신뢰도(inter-rater reliability)**는 매우 높아 κ = 0.86을 기록하였다. 이후 전면 본문 검토를 통해 AI를 단순한 연구 도구로만 사용하거나, AI에 대한 초점이 부족한 논문 70편이 제외되었고, 최종적으로 241편이 포함 대상으로 선정되었다.

**참고문헌 수기 검색(hand-searching references)**을 통해 추가로 37편의 논문이 발견되었으며, 총 278편의 논문이 본 스코핑 리뷰에 포함되었다. 전체 선정 과정을 요약한 PRISMA 다이어그램은 Figure 1에, 포함 논문에 대한 세부 정보는 Appendix 표 형태로 저장소(repository)에 업로드되어 있으며, 아래 링크를 통해 접근 가능하다:

https://clok.uclan.ac.uk/49919/

Figure 2의 인포그래픽은 포함된 연구들의 세부 내용을 요약하고 있다.

**지리적 분포(Geographic distribution)**를 보면, 연구는 **주로 영어권 북미 지역(Anglo-North American)에서 수행된 것이 가장 많았으며, 총 138편(49.6%)**이었다. 그 외 지역 분포는 다음과 같다:

• 유럽(European): 51편 (18.4%)
• 동아시아(East Asian): 22편 (7.9%)
• 중동(Middle Eastern): 22편 (7.6%)
• 남아시아(South Asian): 17편 (6.1%)

그 외 지역은 소수의 연구만 포함되었으며, 아프리카 지역(Africa)에서는 연구가 확인되지 않았다.

AI와 의학교육을 주제로 한 가장 이른 시기의 출판은 1992년에 이루어졌으며, 시간 흐름에 따라 2018년 이후 급격한 증가세를 보였다. 연도별 출판 현황은 다음과 같다:

• 2018년: 11편
• 2019년: 14편
• 2020년: 18편
• 2021년: 49편
• 2022년: 57편
• 2023년 8월 기준: 114편

(자세한 내용은 Figure 2a, 2b 및 보조부록 1의 E, I열과 부록 2 참고)

전체 포함 논문 중 Articles 또는 Innovations 범주에 해당하는 논문은 **191편(68.7%)**이었으며, 나머지 **87편(31.3%)**은 Perspectives 범주에 속하였다. 의학교육 단계별 분포를 보면,

• **학부 의학교육(UME)**에 초점을 맞춘 논문이 135편(48.6%),
• 대학원 의학교육(GME) 관련 논문이 62편(22.3%),
• 지속적 전문성 개발(CPD) 관련 논문은 **7편(2.5%)**이었다.
• 나머지 **74편(26.6%)**은 UME, GME, CPD 중 둘 이상을 포괄하거나 명확한 구분이 없는 경우였다.
  (자세한 분포는 Figure 2c, 2d 및 부록 2의 H열 참고)

기초의학(basic science) 분야는 6개, 임상의학(clinical specialties)은 총 24개 전공이 논문에 포함되어 있었다. 가장 많이 등장한 기초의학 전공은 **해부학(Anatomy)**과 **생리학(Physiology)**으로 각각 **4편(1.4%)**씩이었다. 임상 전공 중 가장 빈도가 높은 분야는 다음과 같았다:

• 영상의학(Radiology): 31편 (11.2%)
• 외과(Surgery): 24편 (8.7%)
• 그 뒤를 이어
  • 안과(Ophthalmology): 8편 (2.9%)
  • 신경외과(Neurosurgery): 6편 (2.2%)

한편, 157편(56.5%)의 논문은 특정 전공 또는 전공 구분 없이 수행되었다. (세부 내용은 Figure 2e 및 보조부록 2의 J열 참조)

포함된 Articles 및 Innovations

본 리뷰는 매우 다양한 Articles(원저 연구) 및 **Innovations(교육 혁신 사례)**를 포괄하며, Supplementary Table 2에서 A1–A191로 체계적으로 분류 및 표기되어 있어 리뷰 전반에서 **상호 참조(cross-reference)**가 용이하다.

이들 중,

• **7편(3.6%)**은 입학 및 선발(admissions and selection) 과정에서 AI를 사용한 연구(A1–A7)였고,
• **34편(17.8%)**은 **AI에 대한 교육 또는 AI를 활용한 교수(instruction)**에 초점을 두었으며(A8–A41),
• **50편(26.2%)**은 **평가(assessment)**에 AI를 적용한 연구(A42–A91)였다.
• **13편(6.8%)**은 임상 추론(clinical reasoning) 교육 또는 평가에 AI를 사용하였고(A92–A104),
• **4편(2.1%)**은 **증례 및 술기 기록 자동화(automation of case and procedure logs)**에 AI를 활용하였다(A105–A108).
• 또한, **51편(26.7%)**은 **의료에서의 AI에 대한 지식 또는 태도(knowledge or attitudes)**를 조사하였고(A109–A159),
• **32편(16.8%)**은 **대형 언어 모델(Large Language Models, LLMs)**의 **의학 문제 혹은 시험에 대한 성능(performance)**을 평가하였다(A160–A191).
  (자세한 정보는 Figure 2f 및 Supplementary Appendix 2의 M열 참조)

AI의 기술적 적용 방식 (Technical Application)

AI가 실제 계산 없이 **일반 개념(general concept)**으로만 다뤄진 경우는 **65편(34%)**이었다. 나머지 연구에서는 다양한 컴퓨팅 기법이 활용되었으며, 구체적으로는:

• 데이터 마이닝(Data Mining): 4편 (2.1%)
• 전통적 머신러닝(Traditional ML): 41편 (21.5%)
• 딥러닝(Deep Learning, DL): 81편 (42.4%)
• 자연어처리(Natural Language Processing, NLP): 78편 (40.8%)
  (자세한 분포는 Figure 2g, 2h 및 Supplementary Appendix 2의 N, O열, AI 관련 용어 정리는 Table 1 참조)

기술 통합 수준: SAMR 프레임워크 적용 결과

본 리뷰는 기술 통합 수준을 분석하기 위해 SAMR 프레임워크를 활용하였다.
그 결과, AI는 다음과 같은 방식으로 활용되었음을 확인하였다:

• Substitution(대체) 수준: 36편 (18.8%)
• Augmentation(기존 과정 증강): 34편 (17.8%)
• Modification(과제의 재설계): 10편 (5.2%)
• Redefinition(기존에는 불가능했던 새로운 과제 창출): 11편 (5.8%)
  
• 한편, **SAMR 분류가 적용되지 않은 사례는 100편(52.4%)**에 달했다.
  (자세한 수치는 Figure 2i 및 Supplementary Appendix 2 참조)

AI 활용 유형: Use Cases

이 리뷰는 포함된 논문에서 AI의 다양한 **활용 사례(use cases)**도 파악하였다. 구체적으로는 다음과 같다:

• 데이터 분석(Data analytics): 9편
• 예측 모델(Predictive models): 17편
• 성과 분석(Performance analytics): 19편
• 감정 분석 또는 편향 평가(Sentiment analysis or bias evaluation): 7편
• 가상 환자 시뮬레이터(Virtual Patient Simulators, VPSs): 11편
• 개인 맞춤형 학습 플랫폼 또는 지능형 튜터링 시스템(Personalized learning platforms or intelligent tutoring systems): 6편
• 수련생 대상 임상적 의사결정 지원(Clinical guidance for trainees): 10편
• 수술 또는 술기적 안내(Procedural guidance for trainees): 5편
• 챗봇(ChatBots): 2편
• 데이터 라벨링(Data labeling): 2편
• 콘텐츠 생성(Content generation): 5편
• 총괄 평가 수행(Summative assessment completion): 32편

(상세한 분류는 Figure 2j 및 Supplementary Appendix 2의 P열 참고)

의과대학 및 레지던시에서의 입학 및 선발에 AI를 활용한 연구
(AI use in admissions and selection for medical school and residency)

한 연구(A7)에서는 **AI 챗봇(Chatbot)**을 활용하여 **입학 지원자 모집 과정 중 가상 질의응답 세션(virtual Q&A session)**을 운영하였다. 또 다른 연구(A5)에서는 감정 분석(sentiment analysis) 기법을 이용해, **지난 30여 년간 외과 레지던시 지원자 추천서에 존재하는 성별 편향(gender bias)**을 탐지하였다. 이 연구는 성별 편향이 시간이 지나면서 감소하긴 했지만 여전히 남성에게 유리하게 긍정적 편향이 존재함을 보여주었으며, 이는 선발 결과에 영향을 미친다고 밝혔다.

한편, 연구(A3)에서는 교수들이 평가한 **의대생 성적 평가서(Medical Student Performance Evaluations, MSPEs)**와 기성 감정 분석 프로그램을 활용한 머신러닝(ML) 모델의 점수를 비교하였다. 그러나 MSPE 대부분이 매우 긍정적 표현으로 작성되었기 때문에, 해당 ML 모델은 효과적으로 순위를 매기지 못했다. 이에 따라 향후 교수 평가를 보다 잘 모사할 수 있는 맞춤형 모델 개발의 가능성이 제시되었다.

또 다른 연구(A4)에서는 ML을 활용하여 지원자가 매칭될 가능성(ranking and matching)을 예측하는 모델을 개발하였고, 그 결과 **수신기 조작 특성 곡선 하 면적(AUROC)**이 0.925로 매우 높은 예측 정확도를 보였다. 총 세 건의 연구(A1, A2, A6)에서는 ML을 활용해 지원서 스크리닝을 실시했으며, 이는 회고적(retrospective) 데이터셋으로 학습 후, 회고적 또는 전향적(prospective) 데이터셋으로 검증되었다. 이들 모델은 0.925–0.95의 AUC 범위를 기록하며 매우 높은 정확도를 보여, **대량의 지원서를 심층적으로 평가하는 전체적 검토(holistic review)**를 부분적으로 자동화하는 데 기여할 가능성을 제시하였다.

특히, **인간 평가를 보완하는 방식(restorative fashion)**으로 적용될 경우, ML 모델은 편향을 줄이고, 기존에는 인터뷰 기회를 얻지 못했을 지원자를 새롭게 식별하는 데 도움을 줄 수 있다(A1). 이러한 모델들이 더욱 정교화되고 검증이 이루어진다면, 지원자 선별 과정의 효율성과 공정성을 향상시키고, 랭킹 프로세스를 보다 정확하게 만들 가능성이 있다.

AI에 대한 교육 및 AI를 활용한 교수
(Teaching about AI and AI-augmented instruction)

총 33편의 논문(A8–A41)이 AI에 대한 교육 또는 AI를 활용한 교수법을 다루었다. 이 중

• 12편은 학습 도구로서의 AI,
• 11편은 교육과정 개발(curriculum development),
• 3편은 개인 맞춤형 학습을 위한 AI,
• 5편은 의학교육 시뮬레이션에서의 AI 활용,
• 2편은 AI 관련 교육 역량을 주제로 하였다.

학습 도구로서 AI를 다룬 12편 중 7편은 **영상 이미지에서 특정 소견을 판별하는 훈련(training on image findings)**에 집중하였다. 예를 들면,

• **사구체 질환(glomerulopathies)**의 조직학적 판별(A22),
• 신경해부 구조(neuroanatomic structures)(A35),
• 일반 조직 유형(general tissue types)(A31),
• 흑색종(melanomas)(A25) 식별 교육이 이에 포함된다.

또 다른 논문에서는

• 당뇨망막병증(diabetic retinopathy)(A26, A30),
• X-ray 상 고관절 골절(hip fractures)(A24)을 식별하는 훈련도 제시하였다.

한 연구는 AI를 이용해 심초음파 영상 획득 시 실시간으로 최적의 시야를 안내하는 시스템(A32)을 설명했고, 다른 논문에서는 AI 알고리즘을 직접 개발하여 폐 구조를 초음파로 식별하는 훈련 과정(A33)을 다루었다.

그 외에도, 챗봇(chatbot) 스타일의 도구를 활용하여

• 해부학 학습(A29),
• 나쁜 소식 전달 훈련(breaking bad news)(A34),
• 수술 절차 요약 생성(surgical procedure summaries)(A28) 등에 활용한 연구도 있었다.

교육과정 개발(curriculum development) 관련 11편 중

• 6편은 교수 모듈 개발에 관한 연구였으며,
• 그중 4편은 AI 및 ML의 기초 개념을 학부생에게 가르치는 방식을 다루었다(A11, A13, A16, A19).
• GME/CPD 대상 연구에서는 주로 영상의학(radiology) 전공자를 대상으로 진행되었으며,
  • AI 워크숍(A14, A17),
  • 딥러닝 커리큘럼(A18),
  • 데이터과학 선택과목(data-science elective)(A20),
  • **의료 의사결정모델(medical DM) 교육(A21)**이 포함되었다.
• 한 연구는 **현직 의사를 위한 AI 입문 과정(A12)**을 소개하였다.

개인 맞춤형 학습을 위한 ML 활용 연구 3편은 다음과 같다:

• 노인 환자 평가를 위한 NLP 기반 즉시 학습(just-in-time learning) 지원 알고리즘(A36),
• 예비 임상과정 학생을 위한 ML 기반 적응형 학습 시스템(adaptive learning system)(A37),
• 안과환자 선별을 위한 DL 모델(patient triage)(A38)

의료 시뮬레이션에서 AI를 활용한 연구 5편은 다음 주제를 다루었다:

• **로봇 표준화 환자(robotic SP)**에 대한 인터뷰(A39),
• 심전도(ECG) 및 피부전도(GSR)를 활용한 인지 부하 평가(A40),
• 시뮬레이션 영상 분석을 위한 DL 기반 결과 평가(A41),
• 단일 신장의 시뮬레이션을 위한 ML 기반 멀티미디어(A23),
• 피부 질환 이미지 생성을 위한 생성형 AI 사용(A27)

마지막으로, **AI 교육 역량(educational competencies)**을 다룬 2편의 연구에서는

• **의대생이 임상현장에서 AI를 활용할 준비 정도를 평가하는 도구 개발(A9)**과
• **독일 GME 및 CPD 과정에서 AI 관련 역량의 보급 현황 조사(A10)**를 수행하였다.

평가에서의 AI 활용
(AI Use in Assessment)

AI를 평가(assessment)에 활용한 논문은 총 50편으로, 이 중 가장 두드러진 분야는 심리운동기술(psychomotor skills) 평가였으며, 21편의 연구가 이에 초점을 맞추었다. 이들 중

• 18편은 외과 수술기술(surgical skills),
• **3편은 술기(procedural skills)**에 대한 평가였고,
  술기 관련 연구는 모두 기도삽관(intubation) 기술에 국한되었다(A71–A73).

수술기술 평가 연구들은 주로 일반외과(general surgery) 내에서의 최소침습수술(minimally invasive surgery) 및 **로봇수술(robotic surgery)**을 대상으로 하였으며(A74–A83, A85, A87–A88, A91), 일부는 **신경외과(neurosurgery)(A84, A86, A89)**와 **소아외과(pediatric surgery)(A90)**를 다루었다.

그 외에도

• 서술형 텍스트 분석(narrative text analysis): 15편
• 임상기술(clinical skills): 10편
• 객관식 문제(MCQs) 생성: 3편
• 예측 분석(predictive analytics): 1편
  이 있었다.

특히 주목할 만한 경향은, ML을 사람의 관찰 및 피드백을 대체하거나 보완하는 도구로 사용하는 것이었다(A74, A76–A78, A83, A86, A88, A90). 다수의 연구들은 가상 트레이너나 시뮬레이터를 사용하여 시뮬레이션 환경에서 평가를 수행하였다. 예컨대, **클라우드 기반 AI 비디오 분석(cloud-based, AI-powered video analytics)**을 통해 최소침습수술에서 사용자의 수행을 모니터링하고 평가한 혁신적 접근이 소개되었다(A81).

일부 연구에서는, 시각적 또는 운동적 입력(visual or kinesthetic input)을 기반으로 **숙련도(expertise level)**를 감별하거나, **학습 곡선(learning curve)**을 예측하는 알고리즘을 개발하였다(A74–A76, A80, A84, A85, A86, A87, A91). 한 연구는 참여자의 뇌파(EEG) 데이터를 ML 모델에 통합하여, 전문 외과의와 초보자의 차이를 구분하는 시스템을 제안하였다(A89).

이러한 연구들은 기존 평가가 갖는 높은 자원 소모 및 편향 가능성을 AI가 감소시킬 수 있는 잠재력을 지닌다는 점을 시사한다.

AI는 서술형 텍스트 기반 평가(narrative text assessment) 영역에서도 점차 활용되고 있으며, **감정 분석(sentiment analysis)**과 **자연어처리(NLP)**가 주요 도구로 활용되었다. 이는 **정량 평가(예: 평점)**에 더해, 광범위한 서술형 정보를 효율적으로 분석하고 맥락화하는 자동화된 방법으로 주목받고 있다.

AI는 다음과 같은 영역에 적용되었다:

• 레지던트에 대한 교수의 서술형 평가: A55, A57, A62–A64, A67–A68, A69
• 클럭십(clerkship) 학생에 대한 평가: A55, A56, A65

이러한 연구들은 AI를 활용하여

• 임상역량위원회(Clinical Competency Committees)의 의사결정 보조(A55)
• 역량 개발에 대한 통찰 도출(A57, A68–A69)
• 교수 피드백의 질 평정(A64, A67)
• 객관적 해석 지원(A65)
• 위험 학습자 식별(A68)
• 편향 탐지(A56, A66) 등을 수행하였다.

또한 NLP는

• 학생의 반성적 글쓰기(reflective writing) 분석(A59)
• 단답형 응답에서의 전문직업성 평가(A61)
• 교수 피드백 중 전문성 결여 가능성 탐지(A60)
• 의사의 전문성 및 환자안전 관련 성과 평가(A58) 등에도 사용되었다.

임상기술 평가(clinical skills assessment) 연구 10편 중 7편은 학부교육(UME) 맥락에서 수행되었다. 이들 연구에서 **가상 환자 시뮬레이터(VPSs)**는 시간 및 자원 등 전통 평가의 물리적 부담을 줄이고, **원격 시험(remote examination)**이 가능하도록 도왔다(A42, A48–A49, A51). AI는

• 가상 OSCE(Objective Structured Clinical Examinations) 구현(A42, A49),
• OSCE 자동 채점(automated grading)(A43–A44, A50),
• AI 기반 OSCE 평가 전반(A46, A48, A51)에도 적용되었다.

GME 맥락에서는,

• 의사소통 기술 교육을 위한 가상 시뮬레이터와
• 자동 평가 및 피드백 시스템이 적용되었으며(A47),
• 중환자실 수련생의 구술 증례 발표에 대한 NLP 평가도 이루어졌다(A45).

객관식 문항(MCQs) 생성을 주제로 한 3편의 연구(A52–A54)는
**딥러닝(DL)**과 NLP를 활용하여 시험 문항 및 학습 도구를 자동 생성하는 방법을 탐구하였다. 이들은

• AI가 문항 개발에서 수작업 부담을 크게 줄일 수 있는 잠재력을 강조하였지만,
• 여전히 문항의 품질 확보를 위한 인간 검토가 필요하다는 점도 지적하였다.

AI의 빠른 속도가 주요 장점으로 언급되었고, ChatGPT가 선호 도구로 자주 사용되었다. 그러나 결과는 일관되지 않았고, AI가 MCQ 생성을 전적으로 대체하기에는 시기상조라는 회의적 시각도 존재하였다(A52–A54).

마지막으로, **예측 분석(predictive analytics)**은 여러 수술기술 평가 연구에서 중요한 역할을 수행하였으나, 해당 주제를 **주제로 삼은 연구는 단 1편(A70)**뿐이었다. 이 연구는 의대생의 고부담(high-stakes) 시험에서의 성과를 예측하는 ML 모델을 개발하여, AI가 고위험 환경에서의 학업 성취를 예측하는 새로운 가능성을 제시하였다.

임상 추론 교육 및 평가에서의 AI 활용
(AI to Teach and Assess Clinical Reasoning)

임상 추론(clinical reasoning) 교육 및 평가에 있어 AI의 역할을 탐구한 연구는 총 13편이며, 이는 **의미 있는 새로운 영역의 가능성(promising frontier)**을 보여준다.

그 중 8편의 연구는 **AI 기반 가상 환자 시뮬레이터(Virtual Patient Simulators, VPSs)**와 **지능형 튜터링 시스템(Intelligent Tutoring Systems, ITSs)**의 융합에 초점을 맞췄다(A92, A95–A98, A101–A102, A104).

• VPSs는 학습자가 아바타 또는 텍스트 인터페이스를 통해 질문하고 답변을 받으며, **역동적(clinically dynamic)**인 환경에서 다양한 임상 시나리오를 바탕으로 추론 능력을 연습할 수 있도록 한다.
• 이를 통해 학습자는 정보 수집(information gathering), 가설 설정(hypothesis generation), 문제 표현(problem representation), 진단 정당화(diagnostic justification) 등 임상 추론의 전 과정을 연습할 수 있다.

ITSs는

• 개인화된 학습 및
• 실시간 피드백을 제공하면서,
• 올바른/잘못된 추론 반응을 통해 학습 과정을 안내하고(A92, A95–A97, A101–A102),
• 추가 학습 자료를 제안하기도 한다(A95).

또한, 분석 도구와 결합되었을 때(A92, A96, A101, A102), 이 시스템들은 학습자 및 교육자에게 정교한 성과 피드백과 개선 영역의 통찰을 제공할 수 있었다. 총 6편의 연구는 해당 시스템의 효과에 대해 Kirkpatrick 1단계(A92, A98, A101) 및 2b 단계(A92, A95–A96, A101–A102) 수준의 근거를 보고하였다.

VPS 및 ITS 케이스 개발은 일반적으로 많은 자원과 전문가의 투입을 필요로 하지만,
2편의 연구(A101, A104)에서는 **자연어처리(NLP)**를 활용해 이를 자동화하는 혁신적인 사례를 제시하였다.

• 각각 413건 및 2,525건의 사례를
• 실제 병원 진료기록 또는 New England Journal of Medicine의 임상 케이스 시리즈에서 추출하여 자동 생성하였다.
  이러한 **방대한 사례 라이브러리(case library)**는 임상 추론 교육에서 자주 문제로 지적되는 사례의 다양성 부족과 실제 임상에서의 예측 불가능성 문제를 효과적으로 보완할 수 있었다.

ML을 활용하여 **서면 기록(written notes)**을 분석하고 임상 추론을 평가한 연구도 3편 포함되었다(A93–A94, A99).

• 예를 들어,
  • OSCE 이후 서술 평가(Post-encounter OSCE notes)(A93),
  • 진단 정당화 에세이(diagnostic justification essays)(A94),
  • **EHR 기반 전공의 입원기록(admission notes)**을 대상으로 하였다.
  • 이때 **IDEA 도구(standardized rubric)**를 기준으로 사용하였다(A99).

해당 ML 알고리즘의 **심리측정학적 타당도와 평가자 간 신뢰도(inter-rater reliability)**는 수용 가능한 수준으로 보고되었으며, 특히 한 연구(A93)는 κ(kappa) = 0.8로, **고부담 평가(high-stakes assessment)**에 적합한 신뢰도 기준을 충족하였다. 다른 연구들도 **중저위험 평가(low-stakes assessments)**에서는 적절한 기준을 만족하였다. 이들 연구는 **임상 노트(clinical notes)**라는 기존에 과소활용되던 평가 자원을 활용하여,

• 평가의 효율성 향상,
• **형성 평가(formative feedback)**의 질적 향상에 기여할 수 있음을 보여준다.

해당 영역의 마지막 두 편의 연구는 AI의 확장 가능성을 강조하였다.

• 첫 번째 연구(A100)는 **신경망(neural networks)**을 활용해 성공적인 문제 해결 패턴을 인식하였고,
• 두 번째 연구(A103)는 **3개의 대형 언어모델(LLMs)**을 비교 평가하여 주니어 의사에게 임상 의사결정 지원을 제공할 수 있는지를 분석하였다.
  저자들은, 의료 데이터베이스 기반으로 학습되고 전문가 검토를 거친 고도화된 LLM이 향후 가치 있는 교육 도구가 될 수 있음을 강조하였다.

임상 및 술기 기록 자동화를 위한 AI 활용
(AI Use for Automation of Case and Procedure Logs)

총 4편의 논문은 AI/ML을 활용한 수련생의 임상 및 술기 경험 기록 자동화를 다루었다.

• 한 연구(A107)는 **자연어처리 기반 알고리즘(NLP)**을 활용하여
  • 수련생의 임상 노트에서 핵심 임상 개념을 식별하고,
  • 이를 전문가가 정의한 핵심 임상 문제(core clinical problems)에 매핑하였으며,
  • **정확도는 92.3%**에 달하였다.
• 또 다른 연구(A105)는 상용 NLP 제품을 기반으로
  • 신경과 전공의의 증례 경험을 자동 추적하였으며,
  • 1개월간 기록된 증례 수가 3배 증가하는 성과를 보였다.
• 세 번째 시스템은 **‘Trove’**로 명명되었으며(A106),
  • 전공의가 생성한 영상 진단 소견을 기반으로
  • 진단 분류를 자동 산출하고,
  • **대시보드(dashboard)**에 결과를 표시하였으며,
  • 정확도는 93.2%에서 97.0% 사이였다.
• 마지막 시스템(A108)은 **심층 신경망(Deep Neural Network)**과 **강화 학습 모델(Reinforcement Learning)**을 결합하여,
  • EHR 데이터 및 수술 일정 정보를 바탕으로
  • 전공의가 기록해야 할 수술 경험 데이터를 자동 제안하였다.

AI에 대한 지식
(Knowledge of AI)

포함된 논문 중 **51편(26.7%)**은 AI에 대한 지식, 인식(perceptions), 태도(attitudes), 기대(hopes), 우려(concerns) 등을 다루었다. 총 3편의 연구에서는 **AI 지식에 대한 객관적 평가(objective assessment)**를 수행하였다.

• 스페인에서는 의대생 281명을 대상으로 참/거짓 문항을 사용하여 일반적인 AI 지식을 평가한 결과, **정답률은 65%**였다(A117).
• 사우디아라비아에서는 의대생 476명을 대상으로 **딥러닝(DL)**에 대한 지식을 평가하였고, 이 중 54%가 5개 참/거짓 문항에 하나도 정답을 고르지 못했다(A118).
• 호주, 뉴질랜드, 미국을 대상으로 한 또 다른 연구에서는 의대생 245명을 대상으로 머신러닝(ML) 지식을 **객관식(MCQs)**으로 평가했으며, **평균 점수는 49.7%**에 그쳤다(A120).

자기 보고(self-reported) 형태의 AI 지식 수준은 지역에 따라 다양했다.

• 서호주(Western Australia)의 연구에서는 의대생의 85%가 AI에 대한 기초적인 이해를 가지고 있다고 응답하였고(A151),
• **소아안과 전문의의 91%**도 기본적인 AI 개념에 익숙하다고 보고했다(A154).
• 반면 독일 의대생은 31%만이 AI 기술에 대한 기초 지식이 있다고 응답하였다(A145).
• 한 대학병원의 소아영상의학 전공의를 대상으로 한 포커스 그룹 인터뷰에서는 AI 관련 용어와 문헌 해석에 어려움을 겪는 모습이 관찰되었다(A156).

한국에서 수행된 설문(A127)에서는,

• 의대생들이 AI 관련 정보를 얻는 주요 경로로 뉴스나 방송(82%),
• 소셜미디어(41%),
• 강의(32%),
• 친구나 가족(29%) 등을 꼽았고,
• 학술 논문이나 책을 이용하는 비율은 **22%**에 불과했다.
  미국의 한 연구에서도, 의대생의 72%, 교수의 59%가 미디어를 통해 AI를 접하고 있다고 보고되었다(A159).

AI 관련 강좌(course)의 개설 현황은 국가 간 차이가 컸다.

• 독일에서는 의과대학의 71.8%가 AI 과목을 제공하였으며, 대부분 **선택 과목 또는 비교과 과정(extra-curricular)**으로 운영되었다(A142).
• 반면 캐나다 의대생을 대상으로 한 조사에서는, 85%가 의과대학 커리큘럼 내에 정규 AI 교육이 없었다고 응답하였다(A146).

임상의학에서의 AI 활용에 대한 태도
(Attitudes Towards the Application of AI in Clinical Medicine)

AI의 임상 적용에 대한 태도는 다양하게 혼재되어 있었다. 다수의 의대생과 의사들은 AI가 임상 판단(clinical judgment), 연구(research), 감사 감사(auditing) 능력을 향상시키고, **행정 업무의 효율화(streamlining administrative processes)**에 기여할 수 있다고 인식하였다(A111, A117, A141).

그러나 동시에

• 윤리적 문제(ethical implications),
• 의사-환자 관계 약화(weakened physician–patient relationships),
• 예측 불가능한 상황에서의 AI의 한계 등에 대한 우려도 존재했다(A114, A119, A154, A140).

**의대생의 AI 사용 의도(intention to use AI)**를 다룬 두 편의 연구에서,

• 한 연구는 **UTAUT 모델(Unified Theory of User Acceptance of Technology)**을 이용해 **진단 지원(diagnostic support)**에 대한 AI 사용 의도를 조사하였고, ‘사회적 영향(social influence)’이 유일한 결정 요인으로 나타났다(A153).
• 다른 연구에서는, AI가 의료의 미래에서 중요한 역할을 한다는 강한 신념이 있을 때만 사용 의도가 나타났다(A157).

의학교육에서의 AI 활용에 대한 태도
(Attitudes Toward the Application of AI in Medical Education)

두 편의 연구가 AI의 의학교육 내 활용에 대한 인식을 조사하였다.

• 한 연구에서는 레바논 의대생을 대상으로 평가(assessment)에 AI를 활용하는 것에 대한 인식을 조사하였는데,
  • 58%가 AI가 사람보다 더 객관적일 수 있다고 응답했지만,
  • **AI만을 활용한 평가를 선호한 비율은 26.5%**에 불과했고,
  • 71%는 인간과 AI의 병합된 평가 방식을 선호했다(A131).
• 또 다른 카리브 해 지역 의과대학 연구에서는
  • 교수 중 33%가 ChatGPT를 사용하고 있었으며,
  • 주로 객관식 문항(MCQs)을 생성하는 데 활용하였다.
  • 그러나 잘못된 정보(misinformation)의 교육자료 내 유입과 **표절(plagiarism)**에 대한 우려가 존재했다.

AI에 대한 기대와 우려 (Concerns and Hopes for AI)

AI에 대한 주요 우려 사항은 다음과 같았다:

• AI로 인해 의사의 수요가 줄어들 수 있다는 점,
• 특히 **방사선과(radiology)**처럼 기술 대체 가능성이 높은 전공의 진로 선택에 부정적 영향을 미칠 수 있다는 점(A113, A115, A124, A135, A137, A147, A150).
• 의과대학 커리큘럼에서 AI 교육이 충분하지 않다는 점(A128, A143, A151)도 중요한 우려였다.

**세 편의 연구(A133, A156, A158)**는, 의학교육에 포함되어야 할 AI 관련 교육 주제로 다음을 제안하였다:

• 임상 응용(clinical applications)
• 알고리즘 개발 및 평가(algorithm development and appraisal)
• 코딩(coding)
• AI의 기초, 통계학, 윤리, 개인정보 보호(basics of AI, statistics, ethics, privacy)

의학 시험에서의 대형 언어 모델(LLMs) 성능|
(Performance of LLMs on Medical Exams)

총 **32편의 연구(A160–A191)**는 **대형 언어 모델(Large Language Models, LLMs)**이 의학 시험 또는 대형 문항은행(question banks)에서 추출한 문제를 푸는 능력을 평가하였다. 평가에 포함된 LLM에는

• Microsoft Bing Chat,
• ChatGPT,
• GPT-3, GPT-3.5, GPT-4,
• Google Bard,
• 그리고 **기타 사전 학습 언어모델들(pre-trained language models)**이 포함되었다.

이들 모델은 다음과 같은 형식의 시험에서 테스트되었다:

• 객관식 문제(Multiple Choice Questions): A160–A185, A188–A190
• 단답형 및 서술형 문제(Short answer and essay questions): A186–A187, A191

이미지 및 도해를 포함한 문항은 LLM이 시각 정보를 처리하는 데 제약이 있기 때문에 대부분 제외되었다. 몇몇 연구에서는 LLM에게 응답에 대한 ‘정당화(justification)’를 요구하기도 했으며(A164, A168, A175–A176), 이 응답의 정확성도 평가되었다.

LLM의 성과는

• 초보자부터 전문가까지의 다양한 수준의 인간 응답자,
• 정답 기준(gold standard answers)
  과 비교되었다(A160–A191).

그 결과, LLM은

• 대학 차원의 기초의학 및 임상의학 시험,
• 국가 자격시험(national licensure exams),
• 전문의 자격시험(specialty licensure exams) 등에서
  합격 기준 이상을 기록하거나 뛰어난 성적을 거둔 사례들이 보고되었다.

예를 들면,

• 대학 자체 시험: A178, A183, A184
• 국가시험: A160, A169, A180, A182, A187, A189
• 전문과목 시험: A169, A175, A181

그러나 일부 시험에서는 성과가 보통이거나 낮은 수준에 그친 경우도 존재하였다(A168, A170, A173–A174, A176, A190).

• 일반적으로 최신 세대의 LLM이 이전 세대 모델보다 성능이 뛰어났지만,
• 이러한 경향이 모든 시험에서 일관되게 나타난 것은 아니었다.
  또한, 일반 의학 시험에서는 더 좋은 성과를 보였으나,
• 전공 및 세부 전공 시험에서는 상대적으로 낮은 성적을 기록하는 경우도 있었다.

시험은 다양한 국가의 시험 문제를 기반으로 진행되었으며, 다음과 같은 국가들이 포함되었다:

• 오스트레일리아 (A177)
• 캐나다 (A162, A174)
• 중국 (A173, A190)
• 프랑스 (A160, A170, A181)
• 독일 (A165, A182)
• 인도 (A160, A163, A183–A184, A187)
• 이탈리아 (A160)
• 일본 (A189)
• 대한민국 (A171, A180)
• 네덜란드 (A179)
• 사우디아라비아 (A178)
• 스페인 (A160)
• 스위스 (A185)
• 대만 (A173)
• 터키 (A166)
• 영국 (A160, A167, A191)
• 미국 (A160–A161, A164, A168–A169, A172–A173, A175–A176, A186, A188)

대부분의 경우, 영어로 된 문제에서 LLM이 더 좋은 성과를 보였으며, 다른 언어로 된 문항을 영어로 번역한 경우에도 성능이 향상되었다. 그러나 타 언어에서의 성능은 매우 가변적이었으며,
예를 들어

• 프랑스어 문제에서는 정확도 22%,
• **이탈리아어 문제에서는 정확도 73%**로 큰 차이를 보였다(A160, A170).

현재로서는,

• 학습자와 교육자는 LLM의 정확도에 변동성이 크다는 점을 인식하고 신중히 접근할 필요가 있다(A188).
• 그러나 최신 LLM들의 눈에 띄는 성능 향상은 이러한 한계를 조만간 극복할 가능성을 보여준다.

LLM의 능력이 향상됨에 따라,

• 공식 평가(formal assessment)의 공정성(integrity),
• 신뢰도(reliability) 및
• **타당도(validity)**에 대한 우려도 증가할 것이다.

이에 따라

• 평가 방식의 재설계,
• **사실 회상(fact recall)**보다 **정보 통합 능력(information integration ability)**을 강조하는
  ‘오픈북(open-book)’ 형태의 시험으로의 패러다임 전환이 필요할 수 있다(A186).

리뷰에 포함된 관점(Perspectives) 논문 개요
(Overview of Perspectives Publications Included in the Review)

본 리뷰에는 총 **87편의 관점 논문(perspectives publications)**이 포함되었으며, Supplementary Table 3에서 P1–P87로 라벨링되었다. 이들 문헌은 논평(commentaries), 사설(editorials), 독자 서한(letters to the editor) 등으로 구성되어 있으며, **의학교육에서 AI 활용에 대한 의견, 제언, 혹은 실제적 활용 사례의 가능성(use cases)**을 제시하고 있다.

연구진은 이들 문헌을 **주된 내용(primary content)**에 따라 다음의 다섯 가지 범주로 분류하였다:

1. 의학교육에 AI를 통합해야 하는 당위성에 관한 일반 논의 – 42편
2. AI의 교육적 응용 및 개발 제안 – 18편
3. AI 기반 교육과정 개발 프레임워크 – 8편
4. 교육과정 내용, AI 역량, 활용 자원에 대한 제안 – 15편
5. AI 윤리 관련 고려사항 – 4편

또한 일부 문헌은 **보조 주제(secondary content)**로 다른 범주와도 중복되는 내용을 포함하고 있다. (자세한 내용은 Supplementary Table 3 및 Supplementary Appendix 2 참고)

의학교육에 AI를 통합해야 하는 중요성
(Importance of Integrating AI into Medical Education)

다수의 관점 논문에서는 AI를 의학교육에 통합하는 것이 미래 의사들이 임상에서 AI를 효과적으로 활용하도록 준비시키기 위해 필수적이라고 주장하였다(P50, P52–53, P60, P65–67, P70, P79). AI는 이미 **진단 및 치료 결정(diagnosis and treatment decisions)**에 영향을 미치고 있으며, 의대생과 레지던트들이 의료 시스템에서 AI 도구를 적절히 사용할 준비가 되어 있어야 한다는 것이다. 또한, 일부 논문에서는 AI가 교수-학습(teaching and learning)(P55–56, P58–59, P61, P64, P69, P71, P84–86)이나 평가(assessment)(P48, P81)를 향상시키는 도구로서의 가능성을 강조하였다.

두 편의 논문은 의학교육자에게

• AI의 영향,
• 윤리적 및 법적 고려사항에 대한 교육을 포함시킬 것을 제안하였다(P57, P87).

반면 몇몇 논문은

• AI가 임상 학습을 제한하거나 왜곡할 가능성에 대한 우려를 제기하였다(P46, P49, P54, P63, P72–73, P82).

기타 관점 논문들은 AI의 활용 가능성에 대한 일반적인 견해를 공유하였다(P47, P49, P51, P54, P62, P68, P74–78, P80, P82–83).

교육적 활용 사례 및 개발 아이디어 제안
(Specific Suggestions for Educational Applications and Ideas for Development)

총 18편의 관점 논문에서는 AI 도구를 활용한 구체적인 교육적 적용 방안을 다음과 같이 제시하였다:

• 지능형 튜터링 시스템(Intelligent Tutoring Systems, ITSs):
  • 의사결정 능력 향상을 위한 개인 맞춤형 학습 경험 제공(P5)
• AI 기반 학습자 평가:
  • **잠재 의미 분석(Latent Semantic Analysis)**을 활용한 임상 케이스 요약 평가 및 피드백 제공(P11)
  • NLP 기반 임상술기 평가 자동화(P15)
• 챗봇(ChatBot, 예: ChatGPT):
  • 의학 문헌 분석을 통한 임상 관리 교육(P10)
  • USMLE 및 기타 시험 대비 지원(P12, P17)
  • 비판적 사고, 창의성, 환자 의사소통 촉진(P8, P14, P16)
• 개인 맞춤형 학습 플랫폼(Personalized Learning Platforms):
  • 학습 경로 설계(P1)
  • 개인 맞춤 피드백 제공(P8)
• 로봇 수술 시뮬레이션 (Robot-Assisted Surgery Simulations):
  • 가상현실(VR)을 활용한 AI 수술 교육 및 평가(P13)
• 해부학 교육 향상:
  • 해부학의 교수, 학습, 평가 전반에서 심화 학습 및 장기 기억 정착 유도(P2)
• AI 도구를 활용한 입학 서류 준비:
  • 의대 입학 서류, 레지던시 자기소개서 작성(P6, P18)
  • 단, 공정성 확보를 위한 가이드라인 필요성도 제시
• AI 생성 예술(art):
  • 환자와의 상호작용을 시각적으로 스토리텔링하는 데 활용(P7)
• 수술 중 영상 분석을 통한 ML 교육:
  • 역량 기반 환자 평가 역량 교육(P9)

의학교육 내 AI 활용 프레임워크
(Frameworks for AI in Medical Education)

여러 관점 논문에서는 AI를 의학교육에 통합하기 위한 구조적 틀을 제안하였다:

• AI 리터러시 프레임워크(AI literacy framework):
  • 의대 입학, 교육, 평가, 연구 전반에서의 AI 적용 가능성과 영향력 제시(P19)
• 영상의학 교육 프레임워크:
  • 개인화 학습 및 의사결정 지원 도구로서의 AI 역할 강조(P20)
• 디지털 기술 교육 프레임워크:
  • 데이터 보호, 법적 고려사항, 디지털 커뮤니케이션, 데이터 분석 역량 등 포함(P21)
• 사례 기반(case-based) UME 교육 프레임워크:
  • AI 교육 내용을 사례 중심으로 정교하게 구조화(P22)
• AI에 조기 및 점진적으로 노출시키는 프레임워크:
  • 학습자의 임상 적응 능력 개발을 위한 분석 계층 제공(P23)
• 의료지식 기반 확장을 위한 프레임워크:
  • 보건의료 경제, 규제, 환자진료와 관련된 AI 내용 포함(P24)
• AI 윤리 통합 프레임워크(embedded AI ethics education framework):
  • 기존 생명윤리 교육과 통합하여 의료 AI의 윤리적 측면을 교육할 수 있도록 설계(P25)
• ML 기반 교육과정 프레임워크:
  • 임상의의 연구 역량, 통계 지식, 임상 역량 향상에 기여하는 ML 교육 구조 제안(P26)

AI 교육과정 내용 및 역량, 도구와 자원에 대한 권고사항

총 **15개의 논의(perspectives)**에서 의료 교육에서 인공지능(AI)을 가르치기 위한 교육과정 개발에 도움을 줄 수 있는 AI 관련 내용, 역량(competency), 그리고 구체적인 도구와 자원에 대한 명시적인 권고를 제시하였다.

권고된 교육 내용에는 다음과 같은 주제가 포함된다:

• AI가 의료 실무를 변화시키는 상황에서, 의사들이 환자의 요구를 충족시키기 위해 알아야 할 사항들 (P31–32),
• 데이터 과학(data science) 및 AI의 기반 개념(P33, P35),
• AI를 활용한 외과적 결과 향상 (P41),
• 안과의사를 위한 외과적 훈련 (P40),
• AI 모델 성능, 경제적 영향, 영상의학에서의 보고서 생성 (P38–39, P37),
• 근거중심의학(evidence-based medicine)을 뒷받침하는 데이터 과학 (P36),
• AI를 활용한 진단 및 예후 예측(diagnostics and prognosis) 기법 (특히 혈액학 분야) (P28),
• 기계 학습(machine learning)의 개념적 기반 (P34),
• 의료에서의 AI 윤리적 활용(ethical uses) (P27) 등이 있었다.

특히 한 출판물에서는 ‘의료 데이터 과학 의사(Doctor in Medical Data Sciences)’라는 새로운 전문 분야의 커리큘럼을 제안하였으며 (P29), 또 다른 출판물은 **1차 진료(primary care)에서의 AI 도구 활용을 위한 6개 역량 영역(six domains of competency)**을 Quintuple Aim의 맥락에서 설명하였다(P30).

AI 교육을 위한 윤리적 고려사항 (Ethics Considerations for AI Education)

총 **14개의 논의(perspectives)**에서는 **AI가 보건의료에 도입되면서 발생하는 윤리적 풍경(ethical landscape)**에 대한 다면적(multi-faceted) 시각을 반영하였다. 이들 중 다수는 AI 응용의 한계에 대한 신중함을 나타냈으며, 의료 교육에서의 AI 활용이 가지는 한계에 대해 **우려(caution)**를 표명하였다. 또한 이 논의들은, 의료 전문가들이 AI로 인한 새로운 도전에 적절히 대응할 수 있는 기술과 자질을 갖추는 것이 중요하며, AI 시대에도 인간의 판단력(human judgment)과 윤리적 사고(ethical reasoning)의 가치는 대체될 수 없다는 점을 강조하였다.

윤리 교육의 중점 분야에 대한 권고 (Recommended Focus for Ethics Education)

여러 관점 논문(perspectives papers)은 의료와 의학교육에서의 AI 활용에 따른 윤리적 문제를 지적하며, 의사들이 그러한 윤리적 도전에 **직면할 책임(responsibility)**이 있다는 점을 논의하였다. 이러한 논문들은, 현재와 미래의 의사들이 이러한 문제를 다룰 준비가 되어야 하며, 우리가 아직 AI의 윤리적 함의(ethical implications)를 충분히 이해하지 못했으며, 이러한 도전에 어떻게 적절히 대응해야 할지에 대한 방법 역시 완전히 갖추지 못했다는 사실을 인정한다.

이 논문들을 종합적으로 고려할 때, 의학교육에서 다루어야 할 주제에 대한 **중요한 통찰(insights)**을 제공하며, 의학교육자들이 커리큘럼에 포함해야 할 윤리적 이슈에 대한 명확한 지침을 얻는 데 도움이 된다. 이러한 논의에서 제안된 윤리 교육의 핵심 주제는 Figure 3에 요약되어 있다. (→ 그림 내용이 이어진다면 다음 부분에서 추가로 번역하겠습니다)

윤리 교육의 중점 주제들 (계속)

• 알고리즘 편향과 형평성 (Algorithmic Bias and Equity): 미래의 임상의들은 특히 대표성이 부족한(non-representative) 데이터셋에 기반한 학습으로 인해 발생하는 **보건의료 AI의 편향(bias)**을 이해해야 한다(P42). AI 커리큘럼을 통해, 의사들은 자신의 전제(assumption)와 임상 실무 및 AI 시스템에 내재한 편향을 **비판적으로 성찰(critical reflection)**할 수 있으며, 이는 AI의 출력 결과를 더 잘 해석하고 현재 의학 지식의 한계를 인식하는 데 도움이 된다(P22).
• 자원 배분(Resource Allocation): AI는 보건의료 내 **공정한 자원 배분(just resource allocation)**과 형평성(equity) 문제를 전면에 드러내며, 학생들에게 **정의로운 의료 정의(healthcare justice)**를 위해 AI가 어떻게 설계되고 사용되어야 하는지 고민하게 만든다(P42).
• 안전 및 품질 보장(Safety and Quality Assurance): AI의 책임 있는 사용을 위해, **의료 전문가 간의 합의(consensus)**가 필요하다. 이는 의사로서 **안전하고 효과적으로 진료할 의무(professional obligation)**와도 연관된다(P25). 임상 실무에 AI가 통합되면서, 학생들은 AI 안전성에 대한 규제 노력(regulatory efforts), 그 한계, 그리고 윤리적 함의를 이해해야 한다(P42).
• 인간 상호작용과 공감적 돌봄(Human Interaction and Compassionate Care): AI 기반 윤리 교육은 전통적 방식에 비해 학생들의 **공감(compassion)**을 함양하는 데 덜 효과적일 수 있다. 한 출판물은 공감은 가르칠 수 있으며, 의학교육에서의 **긍정적인 역할 모델(role model)**이 학생들의 공감적 실천에 대한 이해를 심화시킬 수 있다고 주장하였다(P44).
• 데이터 프라이버시 및 보안(Data Privacy and Security): 의료에서 AI를 활용하려면, 환자 데이터에 대한 윤리적 처리와 법적 측면에 대한 깊은 이해가 필요하다(P42, P43). 사용 가능한 데이터셋이 방대해지고 AI의 능력이 향상됨에 따라, 데이터 비식별화 해제(de-anonymization) 또는 재식별(reidentification) 가능성이 높아지고 있으며, 이는 다른 데이터와의 **교차 참조(cross-referencing)**를 통해 이루어질 수 있다(P43).
• 자동화 편향 및 임상기술 보존(Automation Bias and Skill Preservation): AI에 대한 **과도한 신뢰(undue reliance)**로 인한 **자동화 편향(automation bias)**은 오류를 초래할 수 있으므로, 균형 잡힌 신뢰와 회의적 시각이 요구된다(P25).
  윤리 교육은 AI가 의사의 역할을 대체하는 것이 아니라 보완해야 함을 강조해야 하며, 교육은 AI가 대체할 수 없는 임상 기술과 인간 상호작용을 유지하는 데 중점을 두어야 한다(P42). 또한, 하이브리드 인텔리전스(hybrid intelligence) 시스템을 활용하여 **환자-의료진 간의 치료적 관계(therapeutic relationship)**와 **공감(empathy)**을 강화할 수 있도록 해야 한다(P44).
• 투명성과 설명된 동의(Transparency and Informed Consent): 건강 AI의 사용은 설명된 동의(informed consent) 및 AI가 진료 결정에 어떤 식으로 개입하는지를 환자에게 알릴 의무에 대한 핵심적인 질문을 제기한다(P42). **의료 AI에 대한 숙련도(proficiency)**는 **윤리적 역량(ethical competency)**과 불가분의 관계에 있으며, 윤리적 고려는 임상 결정에 영향을 미치고, 반대로 임상 결정도 윤리적 사고에 영향을 준다. 미래의 의사들은 AI의 잠재적 결과를 인식하고, 이를 윤리 원칙에 비추어 환자와 논의할 수 있는 능력을 배양해야 한다(P25). 의학교육에서는 학생들이 자신의 데이터가 어떻게 수집되고, 동의는 어떤 의미를 가지며, 그 범위가 어디까지인지를 명확히 이해하도록 해야 한다(P43).

윤리 교육을 위한 제안된 교육적 접근법 (Proposed Educational Approaches for Ethics Education)

AI 윤리 교육을 위한 한 가지 권장 접근법은, 실제 사례(real-life case studies)를 의학교육 커리큘럼에 포함시키는 것이다. 이 방법은 설명된 동의(informed consent), 편향(bias), 투명성(transparency) 등 **보건의료 AI가 제기하는 다면적인 윤리 문제(multifaceted ethical issues)**를 구체적으로 보여줄 수 있다(P42). 이러한 사례 기반(case-based) 방법론은 이론적 이해를 풍부하게 하는 동시에, 학생들의 **실천적 의사결정 능력(practical decision-making skills)**을 연마하는 데 도움을 준다.

또 하나의 접근법은 **‘내재된 AI 윤리 교육 프레임워크(Embedded AI Ethics Education Framework)’**를 적용하는 것이다. 이 접근법은 기존의 의료 윤리 수업 내에서 AI 윤리 교육을 점진적으로 통합하는 방식으로, 기술 오남용으로 인한 잠재적 해악(potential harms)을 다루고, 환자 진료의 핵심이라 할 수 있는 **위험-이익 분석(risk-benefit analysis)**을 수행할 수 있도록 학생들을 준비시킨다(P25).

세 번째 접근법은 현재 임상 현장에서 실제로 사용되고 있는 AI 시나리오를 학습 사례로 활용하여, 학생들이 AI의 기술적 측면과 윤리적 함의를 함께 비판적으로 평가할 수 있도록 준비시키는 것이다(P22). 이 접근법은 **비판적 성찰(critical reflection)**을 촉진하고, 환자 중심 진료(patient-centered care)에서 AI를 활용하기 위해 필요한 **학제 간 대화(interdisciplinary dialogue)**를 장려한다.

또 다른 접근법은, 전통적인 의학교육에서 **윤리 교육을 사람 중심(human-led)**으로 진행해온 것처럼, AI의 한계(limitations)를 강조하면서 인간 중심의 윤리 교육을 유지하는 것이다. 이 방식은 기술에 대한 의존보다는 인간의 상호작용(human interaction)과 도덕적 추론(moral reasoning)의 함양에 초점을 맞추며, 동시에 인간과 기계가 서로 배우며 윤리적 의사결정에서 더 나은 성과를 낼 수 있는 ‘하이브리드 인텔리전스(hybrid intelligence)’ 시스템의 가능성도 열어둔다. 이러한 다양한 교육 전략들을 종합해보면, 보건의료와 보건전문직 교육에서 AI가 가져온 복잡성(complexity)을 극복하기 위해, 의료 전문직 종사자들이 기술적 능력(technical skill)과 윤리적 식별력(ethical discernment)을 모두 갖추는 것이 필수적임을 강조하고 있다.

Discussion

본 리뷰는 의학교육 영역에서 인공지능(AI)에 대한 폭발적인 관심의 확산을, 출판된 문헌들을 통해 조망하려는 여정을 시작하였다.
**논문 및 관점(perspectives) 문헌에 대한 상세한 표, 요약 인포그래픽, 관련 설명 서술(narrative)**은 현재 근거의 상태를 명확하게 보여준다.

AI에 대한 최초의 의학교육 관련 연구는 1992년으로 거슬러 올라가며, 이는 실제 AI가 개발된 시점보다 훨씬 후의 일이지만, 이후 지속적인 출판물 증가는 AI에 대한 끊임없는 흥미와 꾸준한 진화를 보여준다. 최근의 출판 급증은 처음에는 해당 분야의 성숙과 함께 발생한 자연스러운 성장으로 보일 수 있으나, 우리의 분석에 따르면 이는 ChatGPT의 공개 출시와 직접적인 관련이 있는 동시대적(contemporaneous) 반응으로 보인다.

최근 AI 기술의 발전은 전 세계적으로 접근 가능하고 비용 효율적인 AI 도구들이 빠르게, 광범위하게, 그리고 사실상 한계 없이 확산되는 결과를 낳았다. 이러한 **기술의 민주화(technological democratization)**는 출판물의 출신 지역 다양성에서도 나타나며, 약 3분의 1이 북미 또는 유럽의 전통적 학문 중심지를 벗어난 지역에서 출판되었는데, 이는 최근의 대부분 BEME 리뷰보다 높은 수치이다¹²³⁴.

이 리뷰는 중앙집중적(centralized) 관점에서 분산(distributed)된 관점으로의 전환을 반영하며, AI가 전 세계 의학교육을 어떻게 변화시키고 있는지를 보다 포괄적이고 통합적인 시각으로 이해하게 해준다. 이 **스코핑 리뷰(scoping review)**는 AI의 의학교육 내 여정을 그려나가면서, 단순히 근거의 증감만이 아니라 교육 환경 전반에 스며든 광범위한 변화를 드러낸다.

이러한 **전반적 환경 수준에서의 변화(impact at such a broad environmental level)**를 고려할 때, 본 분석은 **Oberg의 문화 충격 이론(culture shock theory)**의 네 단계, 즉 **허니문(Honeymoon), 좌절(Frustration), 적응(Adaptation), 수용(Acceptance)**과 잘 맞아떨어진다¹². 각 단계는 AI 통합에 대한 감정적, 심리적, 행동적 반응을 개인 및 영역에 따라 다양하게 나타나는 방식으로 표현한다.

• ‘허니문(Honeymoon)’ 단계는 **매혹(fascination)**과 **이상주의(idealism)**가 혼합된 상태로, 주로 **관점 논문(perspective articles)**이나 **혁신 사례 논문(innovation pieces)**에서 나타난다. 이들 논문은 전문가들에 의해 작성된 경우가 많으며, 의미 있는 통찰(insight), 유용한 자원(resources), 그리고 향후 발전 방향에 대한 기초를 제공한다.
  하지만 이들은 종종 AI의 잠재력에 대해 과도하게 낙관적이며, 윤리적 고려와 도전 과제에 대한 탐색이 부족한 경향이 있다.
• ‘좌절(Frustration)’ 단계에서는 AI에 대해 압도당한 느낌(feeling overwhelmed), 이해 부족에 대한 두려움(fear), **방향 상실감 및 소외감(feeling lost and out of place)**이 나타난다. 이러한 반응은 충분히 타당하며, AI라는 시스템 충격(shock)에 적응하기 위한 필연적인 단계로 이해할 수 있다. 특히 AI의 구체적 응용에 따른 윤리적 고려와 도전 과제는 반드시 고려되어야 하며, **지속가능한 도입(sustainable implementation)**을 위해서는 이들 간의 균형이 중요하다.
• **NLP, 특히 ChatGPT를 의학시험에서 활용한 연구들[A160–191]**에서는, 많은 논문들이 **양가적 태도(ambivalence)**를 보였다. 이는 문화 적응(cultural adaptation)의 비선형적(nonlinear)이며 개인적인 성격을 반영하며, 허니문과 좌절 단계를 동시에 경험하는 듯한 모습—**AI의 능력에 대한 경이로움(awe)**과 **기존 의학교육 방식이 필요 없어질지도 모른다는 우려(apprehension)**가 공존한다. 우리는 이 논문들을 단순한 사례로 언급하는 것이 아니라, 혁신적이거나 새로운 관점을 제시하지 않는다면, 이와 유사한 추가 연구는 더 이상 정당화되기 어렵다는 점을 강조하고자 한다.
• AI 통합에 따른 초기 좌절과 도전이 명확히 인식되기 시작하면, ‘적응(Adaptation)’ 단계로 전환된다. 이 단계에서는 교육자들이 실용적이고 효과적인 방식으로 AI 도구를 도입하기 시작한다. 이 시기는 AI에 대한 경외감이나 회의에서 벗어나, **보다 균형 잡힌 현실적 통합(balanced and functional integration)**으로 전환되는 시기이며, AI의 **실제 활용 사례(use cases)**가 등장하는 것이 특징이다. 그러나 관점 논문에서는 이러한 사례들에 대한 논의가 종종 **장기적 이해나 반복적 탐구(longitudinal or iterative understanding)**를 결여하고 있다는 점도 지적할 필요가 있다. 이는 효과적인 통합을 위해 매우 중요한 요소이다.
• 마지막 단계인 ‘수용(Acceptance)’ 단계에서는 교육자들이 AI와 맺는 관계가 **단순한 적응(adaptation)**을 넘어, 진정한 통합과 편안함의 상태로 **변모(transformation)**하는 모습을 볼 수 있다. 이 단계는 AI가 더 이상 외부의 혼란을 주는(disruptive) 요소가 아니라, **교육 설계의 필수 구성 요소(integral part of the educational blueprint)**로 받아들여지는 전환의 지점을 의미한다. 이 단계에 해당하는 일부 출판물은, AI에 대한 **깊은 이해(deep understanding)**와 **숙련된 활용(skillful utilization)**을 보여주며, AI 기술을 **교육 개발 전반에 걸쳐 창의성(creativity), 비판적 사고(critical thinking), 미래지향적 시각(forward-looking perspective)**과 함께 자연스럽게 통합하고 있다. 이러한 **성숙한 수용의 단계(mature phase of acceptance)**는 단순히 AI 도입의 충격(shock)에서 회복하는 것을 넘어서, **기술을 능동적이고 사려 깊게 수용하는 태도(proactive, thoughtful embrace)**를 상징한다. 이 단계의 교육자들은 **진정한 의미의 선구자(pioneers)**가 되어, AI가 의학교육에 **조화롭고 혁신적으로 통합될 수 있는 기준(benchmark)**을 제시하며, 그들의 경험과 실천은 넓은 교육 공동체에 **귀중한 통찰(insight)**을 제공한다. 이들은 **불안(apprehension)에서 수용(acceptance)**으로 나아가는 여정에서, 기술 수용뿐 아니라 개인적·전문적 성장의 여정을 함께 보여준다.

우리가 데이터를 추출하고 도식화하는 과정에서, 연구 보고 방식에 있어 **중대한 공백(critical gaps)**을 확인할 수 있었다. AI가 의학교육에 적용되는 과정에서의 ‘나침반(compass)’ 역할을 할 체계적인 틀이 필요하다는 것이다. 이러한 간극을 해소하기 위해서는 교육 맥락, 단계, AI 기술 등 서로 분절된 요소를 단순히 나열하는 수준을 넘어, **보급(dissemination), 재현(replication), 혁신(innovation)**을 지원하는 **포괄적 프레임워크(comprehensive framework)**가 요구된다. 이에 저자들은 FACETS 프레임워크를 제안한다(도표 Figure 4 참조).

이 구조화된 접근은 향후 AI 연구에 있어 다음의 핵심 요소들에 중점을 둔다:

• 형태(Form)
• 활용 사례(Use Case)
• 맥락(Context)
• 교육 형태(Education Form)
• 기술(Technology)
• 기술 통합을 위한 SAMR 프레임워크

본 리뷰는 이 요소들이 대부분의 문헌에서 개별적으로는 보고되고 있으나, 단일 논문 내에서 통합적으로 보고된 경우는 드물다는 점을 지적한다. 이러한 분절된 요소들을 체계적이고 통합된 방식으로 결합하는 것은, 의학교육자 및 연구자 모두에게 AI 기술이 어떻게 사용되고 있는지, 기존 실천과의 연계는 어떠한지, 그리고 교육 맥락에 어떻게 통합될 수 있는지를 설명하는 데 매우 유용하다.

FACETS는 단순히 연구자가 자신의 논문을 구상하는 데 도움이 되는 틀일 뿐 아니라, 독자가 AI의 전체적 범위와 영향력을 파악하는 데에도 도움이 되도록 설계되었다. 이는 이 분야의 이해와 혁신을 진전시키는 데 필수적인 접근이며, 향후 연구에 대한 **저자 팀의 핵심적인 권고사항(core recommendation)**이기도 하다.

이 프레임워크는 **관점 논문(perspective pieces)**이나 **태도 조사(attitude surveys)**에는 적용되지 않을 수 있으나, AI 활용 사례나 보다 광범위한 혁신에 대해 보고한 논문의 저자들이 이를 활용한다면 상당한 이점을 제공할 수 있다. FACETS 프레임워크는 연구 간의 수렴 지점을 식별하고, **보다 초점을 맞춘 후속 종합 연구(focused syntheses)**를 위한 유용한 안내자가 될 수 있다.

본 리뷰는 철저하고(rigorous), 체계적이며(systematic), 광범위한(wide-ranging) 작업으로, 스코핑 리뷰(scoping review)의 전통에 충실하게 부합하는 방식으로 수행되었다. 따라서, 향후 추가적인 스코핑 리뷰는 필요하지 않다고 판단된다.
그러나 **현재의 폭발적 연구 생산 속도(velocity of output)**를 고려할 때, 입학(admissions), 교수(teaching), 평가(assessment), 임상 추론(clinical reasoning) 영역에서는 곧 **보다 심층적인 체계적 문헌고찰(systematic reviews)**이 필요해질 것이다. 또한 본 리뷰의 범위를 벗어나 있어 다루지 않았지만, 의학교육 연구에서 AI 활용이라는 또 다른 영역도 체계적 문헌고찰이 필요할 수 있다. **교육기관이 보유한 방대한 빅데이터(big data)**의 **미개척 가능성(untapped potential)**을 고려할 때, 이는 추가 연구가 절실히 요구되는 핵심 분야임이 분명하다.

한계점 (Limitations)

이 리뷰의 한계는 스코핑 리뷰의 본질적 한계에서 비롯된다. 스코핑 리뷰는 본질적으로 근거의 종합(synthesis)을 목표로 하지 않는다는 점에서 제한이 있다(Levac et al., 2010)¹. 또한, 연구를 **범주화하는 과정에서의 주관성(subjectivity)**도 한계로 작용한다. 예를 들어 일부 연구는 **교수(teaching)**와 평가(assessment) 두 영역 모두에 해당될 수 있다. 아울러, 용어의 **일관성 부족(inconsistent terminology)**도 문제로 지적되는데, 이는 의학교육 내 빠르게 발전하는 AI 분야의 복잡성을 여실히 보여준다.

AI 관련 문헌의 범위가 방대하고 계속 진화하는 특성상, 본 리뷰는 **초기 단계에서 검색 전략을 여러 차례 반복(iterated the search)**하였지만, 그럼에도 불구하고 일부 연구가 누락되었을 가능성은 존재한다. 이는 체계적이고 엄격한 방법론을 사용했음에도 불구하고 발생할 수 있는 현실적 한계이다.

또한 본 리뷰는 BEME 리뷰로서는 **비정통적(unconventional)**이지만, 다양한 시각 제공을 위해 perspective article을 포함하였다. 그러나 이러한 포함은 일부에게는 리뷰의 경험적 강도(empirical strength)를 희석시키는 것으로 인식될 수 있다. 이에 따라, 본 연구팀은 이들 관점 논문을 **별도의 병렬 데이터 집합(parallel data set)**으로 구분하여 투명하게 제시하기로 결정하였다. 이는 이 논문들이 무엇을 제공하고 무엇을 제공하지 않는지를 명확히 밝히는 데 큰 가치가 있었기 때문이다.

한편, 본 리뷰는 **Arksey & O’Malley의 스코핑 리뷰 프레임워크의 여섯 번째 단계(외부 전문가 자문)**를 수행하지 않았다. 저자 팀 내에 AI 및 교육 전문가가 포함되어 있어 해당 역할을 수행했다고 판단했지만, 이 과정을 생략한 점은 한계로 간주될 수 있다.

실천 및 정책에 대한 함의 (Implications for Practice and Policy)

이 리뷰는 AI가 의학교육에서 갖는 **변혁적 역할(transformative role)**을 강조하며, AI를 교육과정 개발(curriculum development), 교수법(teaching methodologies), 학습자 평가(learner assessment) 등 여러 측면에 **통합(integration)**시켜야 할 필요성을 제기한다.

이는 기존의 역량 프레임워크를 업데이트하고, 의학교육에서의 AI 활용에 대한 표준화된 가이드라인을 수립할 필요성을 의미한다. 또한, **교육자, 정책 결정자, AI 개발자 간의 협력(collaborative efforts)**이 강조되며, 이를 통해 **형평성(equity)**과 접근성(accessibility) 문제를 해결하고, 편향 없는 AI 도구의 보편적 이용을 보장할 수 있어야 한다. 

AI에 대한 초기 흥미에서 **실질적 채택(profound adoption)**으로 나아가기 위해서는 **지속적인 자원 및 시간 투자(continuous investment in resources and time)**가 필수적이다. 아울러, AI 사용에 따른 윤리적 문제와 오남용의 위험을 관리하는 것 역시 매우 중요하다. 무엇보다도, AI를 통해 새로운 통찰과 효율성을 얻더라도, 보건의료에서의 인간 요소(human element)는 결코 대체되어서는 안 된다는 점이 핵심이다.

**윤리 교육(ethical education)**은 필수적이며, AI가 의료제공자의 역할을 대체하는 것이 아니라 보완(enhance)해야 함을 보장해야 한다. 이는 환자-의료진 관계(patient-provider relationship), 공감(empathy), 그리고 **환자의 자율성(respect for patient autonomy)**을 지키는 데도 필수적이다. 이러한 접근은 **의료의 탈인간화(dehumanization)**를 방지하고, 의료전문직의 핵심 가치와 인간적 기술을 강화하는 방식으로 AI가 활용되도록 만든다.

미래 연구에 대한 함의 (Implications for Future Research)

본 리뷰는 향후 연구 및 교육 개발을 위한 핵심 영역을 다음과 같이 제시한다:

• **AI가 의학교육 전반 및 특정 학습성과에 미치는 장기적 영향(long-term impact)**에 대한 **포괄적 연구(comprehensive studies)**의 필요성
• 자동화 편향(automation bias), 과소·과대기능화(over-/under-skilling), 불균형 심화(disparity exacerbation),
  그리고 **핵심 임상기술의 보존(preservation of essential clinical skills)**과 같은 AI 관련 위험요소에 대한 연구
• 향후 AI 관련 연구에서 FACETS 프레임워크의 활용 권장

이와 같은 포괄적 접근을 통해, AI는 윤리적으로 타당하며(ethically sound), 교육적으로 효과적이고, 위험성과 도전과제를 충분히 인식한 채로 의학교육에 통합될 수 있을 것이다.

결론 (Conclusions)

본 리뷰가 그려낸 의학교육 내 AI의 지형은, 단계, 전문 분야, 목적, 활용 사례에 이르기까지 매우 광범위하며, 그 대부분은 아직 **초기 적응 단계(early adaptation phase)**에 머물러 있다. **장기적이고 구조적인 변화(longitudinal or deep change)**를 보여주는 사례는 극히 일부에 불과하다. 이에 본 리뷰의 핵심 성과 중 하나는 FACETS 프레임워크로, 향후 연구와 실천을 위한 **체계적 접근법(structured approach)**을 제공한다는 점에서 의미가 크다. 현재로서는 즉각적인 체계적 문헌고찰(systematic review)의 필요성이 뚜렷이 나타나지는 않지만, AI의 **동적 특성(dynamic nature)**을 고려할 때, **지속적인 감시(vigilance)와 유연한 대응(adaptability)**이 필요하다는 점은 명백하다.

Integrating Generative Artificial Intelligence Into Medical Education: Curriculum, Policy, and Governance Strategies

🧠 생성형 AI(Generative AI)와 의학교육의 미래: 지금 우리가 준비해야 할 것들

🌍 생성형 AI는 단지 새로운 도구가 아니다, 패러다임의 전환이다

의학교육과 임상진료는 오랜 시간 동안 컴퓨터 기술의 영향을 받아왔죠. 그런데 최근 등장한 **생성형 인공지능(Generative AI, 이하 GAI)**은 그 어떤 기술보다 교육과 진료를 근본적으로 바꿔놓을 수 있는 힘을 가진 존재로 주목받고 있어요.
특히 ChatGPT의 등장 이후로, GAI는 빠르게 우리 일상과 의료 현장으로 스며들고 있습니다. 연구진은 이렇게 말합니다.

"Generative AI represents a paradigm shift in medical education and clinical care."
(생성형 AI는 의학교육과 임상진료에서 패러다임의 전환을 의미한다.)

🏥 왜 GAI는 의대생과 교수 모두에게 중요한가?

GAI는 이미 여러 면에서 인간을 뛰어넘는 퍼포먼스를 보여주고 있어요. 예를 들어:

• **미국의사면허시험(USMLE)**에서 합격 가능 수준의 점수를 얻고,
• 복잡한 환자 증례를 진단하고,
• 환자 질문에 정확히 응답하기도 합니다.

그런데 문제는, 기술의 발전 속도에 비해 교육현장의 적응은 매우 느리다는 거예요. 특히 교수들은 아직 이를 수업에 어떻게 반영해야 할지 혼란스럽고, 학생들은 GAI를 과제나 시험에서 어디까지 활용할 수 있는지 명확한 기준이 없는 상태입니다.

📘 의학교육에서 GAI를 책임감 있게 활용하려면?

연구진은 미국 내 두 의과대학에서 GAI 교육을 실험한 경험을 토대로, 학교들이 실천할 수 있는 세 가지 핵심 영역을 정리했어요:

1️⃣ 정책(Policy): 안전하고 명확한 사용 지침 만들기

공개 GAI 도구(ChatGPT, Gemini 등)는 입력된 정보를 저장하고 학습에 활용할 수 있어요. 그렇기 때문에 개인 정보나 환자 정보는 절대 입력하면 안 됩니다.

"Protected health information and personally identifiable medical or research information should never be entered into a public GAI tool."
(보호된 건강 정보나 개인 식별이 가능한 의료 또는 연구 정보는 공개 GAI 도구에 절대 입력되어선 안 된다.)

또한, 학교는 GAI 사용에 대한 표절(plagiarism) 기준을 새롭게 정의해야 해요. GAI를 사용한 경우엔 어떤 도구를 어떻게 썼는지를 명시하고, 프롬프트도 함께 제출하는 방식이 권장됩니다.

2️⃣ 거버넌스(Governance): 학교 차원의 관리 구조 만들기

GAI 도구는 여전히 **편향(bias)**과 불확실성을 내포하고 있어요. 게다가 규제는 기술을 따라가지 못하고 있죠. 학교는 학생, 교수, 커리큘럼 담당자 등이 함께 참여하는 거버넌스 조직을 만들어야 합니다.

"Governance on GAI at medical institutions should be implemented to create and enforce guiding principles on ethical and equitable GAI use, and students should be involved in local innovation."
(의과대학에서의 GAI 거버넌스는 윤리적이고 공정한 사용을 위한 원칙을 수립하고, 이를 시행하는 데 중점을 둬야 하며, 학생도 지역 차원의 혁신에 참여해야 한다.)

3️⃣ 교육과정(Curriculum): 전공교육 전체에 걸쳐 통합된 GAI 수업 설계

GAI는 공감적 의사소통, 병력 청취, 감별진단 생성, 요약과 관리 같은 영역에서도 점점 더 인간을 대체하거나 보완하고 있어요. 따라서 모든 의대생은 GAI 사용을 익혀야 해요. 핵심은 기술적인 원리보다 임상적 응용을 중심으로 가르치는 것이에요.

"Every graduate will be using GAI to deliver care, so this is a critical need."
(앞으로 졸업생들은 모두 GAI를 활용해 진료하게 될 것이므로, 이는 반드시 필요한 교육이다.)

연구진은 특히 **프롬프트 어톤(Prompt-a-thon)**이라는 형식을 추천해요. 학생과 교수들이 GAI를 함께 실습하며 학습하고, 사용법을 스스로 터득하게 도와주는 실습형 워크숍이죠.

📊 의대생을 위한 GAI 역량, 어떻게 정의할까?

논문에서는 다음과 같은 6가지 핵심 영역에서 의대생들이 갖춰야 할 역량을 제안하고 있어요:

🧩 마무리하며: 이제는 함께 바꿔나가야 할 때

생성형 AI는 앞으로도 계속 진화할 거예요. 그렇기 때문에 지금 우리가 할 일은 명확합니다.

"It is imperative that the medical education community acts together to share best practices, gather data to assess the effect of GAI education, continuously update the expected competencies of medical students, and help students prepare for a career that will be constantly changed by GAI."
(의학교육 공동체는 함께 행동하여 모범 사례를 공유하고, GAI 교육의 효과를 평가하며, 의대생의 기대 역량을 지속적으로 갱신하고, GAI로 변화될 진로에 대비할 수 있도록 도와야 한다.)

비록 학부 수준의 의과대학 교육(undergraduate medical education)이 오랫동안 컴퓨팅 기술의 도전과 영향 속에 있어 왔지만, 최근의 생성형 인공지능(generative artificial intelligence, 이하 GAI)의 발전은 개인용 컴퓨터의 등장이 그랬던 것처럼 교육 전반에 혁신적인 변화를 예고하고 있다¹. GAI 시스템은 방대한 양의 텍스트, 이미지, 비디오 데이터를 기반으로 훈련된다. 이 용어는 이 기술이 현실적이고, 설득력 있으며, 공감 능력이 느껴지는 새로운 콘텐츠를 빠르게 “생성(generate)”할 수 있는 능력에서 유래했다. 이러한 기술의 사용 증가는 **ChatGPT(OpenAI)**의 공개 출시와 지난 2년간의 일상적 확산을 계기로 매우 빠르고 놀라운 속도로 이루어지고 있다.

의료 분야도 예외는 아니었다. ChatGPT가 공개된 지 수개월 만에, 이 모델들이 인간 고유의 영역으로 여겨졌던 여러 의학적 활동에서도 우수한 성과를 내는 것이 확인되었다. 예를 들어, **미국의사면허시험(United States Medical Licensing Examination)**에서 뛰어난 성적을 거두었고², 환자의 병력을 청취해 감별 진단을 구성하고³, 복잡한 증례를 진단하며⁴, 환자의 질문에 정확하게 응답하는 능력도 입증되었다⁵. 이와 같은 초기 연구들은 GAI 시스템이 의학교육, 임상적 의사결정, 그리고 건강관리의 업무 흐름 전반에 걸쳐 폭넓게 활용될 가능성이 있음을 시사한다⁶.

GAI의 또 다른 중요한 차별점은 바로 개발과 채택의 속도이다. 대형 기술 기업들은 GAI 시스템 개발에 수십억 달러를 투자하고 이를 무료 도구로 공개하고 있다⁷. 매주 새로운 GAI 모델이 출시되고 있으며, 이는 기술 기업뿐 아니라 의과대학 및 연구 중심 대학에서도 이루어지고 있다⁸. 의료 및 의학교육 분야에 특화된 수많은 상업적 응용 프로그램들이 이미 개발되었고, Epic과 같은 기업을 통해 GAI는 임상 실무에 직접 통합되는 과정에 있다⁹.

학생과 교수들 모두 의학교육에서의 GAI 활용에 대해 높은 관심과 기대를 보이고 있다¹⁰⁻¹⁴. 의과대학생 및 수련의들은 자발적으로 GAI를 학습, 임상 추론, 교육 과정의 실무적 과제를 지원하는 데 활용하고 있으며¹⁵, 교수진은 커리큘럼을 개발하고, 교수 활동을 보조하며, 평가 문항을 작성하거나 채점하는 데 GAI를 사용하고 있다¹⁶⁻¹⁷.

최신 세대의 의과대학생들은 GAI에 익숙하다. 이들은 대학 시절부터 GAI 도구를 일상적으로 사용해왔기 때문이다¹⁸. 이로 인해 학생들의 기대 수준과 이러한 도구들이 교육 현장에 통합되는 속도는 **교수진의 역량 개발(faculty development)**이나 **전략적 도입(strategic implementation)**을 훨씬 앞질렀다¹⁷. 이와 같은 빠른 변화는 또한 GAI 혁신이 의학교육 이론에 기반하여 체계적으로 정립되고, 효과성에 대한 실증적 자료(outcome data)가 마련되기 전에 이미 확산되게 만들었다¹⁹˒²⁰.

GAI 사용에 있어 언제 사용해야 하는지, 어떤 경우가 **표절(plagiarism)**에 해당하는지, 그리고 GAI가 작성한 텍스트를 어떻게 식별할 수 있는지에 대한 명확한 기준이 부족한 상황이다²¹. 그리고 무엇보다도, 높은 관심과 기술의 접근성, 실제 사용 사례의 증가에도 불구하고, 이러한 **빠르게 진화하는 GAI와 대형 언어 모델(large language models)**을 **의과대학의 핵심 교육과정(core medical school curriculum)**과 학습 경험에 어떻게 통합할지에 대한 역량 체계와 지침(competencies and guidance)이 부족한 실정이다.

우리는 각각 **뉴욕대학교 그로스먼 의과대학(NYU Grossman School of Medicine)**과 **하버드 의과대학(Harvard Medical School)**에서 GAI 교육 혁신을 주도하고 있는 사람들로서, 끊임없이 변화하는 기술과 학생 및 교수진의 요구를 직접적으로 마주하고 있다. 본 논문(Scholarly Perspective)에서는 GAI 관련 교육 혁신을 고려하고 있는 학교들을 위해 지난 1년간의 경험을 바탕으로 한 몇 가지 권고사항을 공유하고자 한다. 이 권고안은 의과대학 일반 인공지능 교육에 관한 기존의 풍부한 연구들¹⁰˒¹¹˒¹⁴˒²²–²⁸ 위에 기반하고 있으며, 이 분야가 필연적으로 진화함에 따라 유연하게 적응할 수 있도록 설계되었다.

이러한 권고안은 정책(policy), 거버넌스(governance), **교육과정(curriculum)**이라는 세 가지 영역으로 구성되어 있다. 이 세 영역은, GAI라는 혁신적 기술이 야기하는 교육 시스템의 변화에 학교들이 어떻게 적응할 수 있는지, 그리고 학생, 수련의, 교수들이 이러한 기술을 최적화하여 사용할 수 있는 학습 환경을 어떻게 구축할 수 있는지에 대한 관점을 제공한다. 그러나 동시에, 우리는 현재 제시된 어떤 틀이라도 향후 보다 강력한 기술이나 새로운 활용 사례가 등장함에 따라 반드시 재고되어야 할 것임을 분명히 인식하고 있다.

권고안 1 – 정책(Policy): 적절한 GAI 사용을 위한 정책 마련

ChatGPT나 **Gemini (Google)**와 같은 공개 GAI 시스템(public GAI systems)은 기본적으로 사용자로부터 입력받은 정보나 질문을 수집하고 보관하며, 경우에 따라 이러한 데이터를 **모델 추가 훈련(training)**에 사용하는 설정을 기본값(default)으로 한다. 이 기본 설정은 **보호되거나 개인 식별이 가능한 데이터(protected or identifiable data)**에 대해 심각한 문제를 야기할 수 있다. 이에 반해, 의과대학이나 학술 의료기관에서 라이선스를 통해 제공하는 **사설 GAI 시스템(private GAI systems)**은 입력된 데이터를 보호하며, HIPAA(Health Insurance Portability and Accountability Act) 및 FERPA(Family Educational Rights and Privacy Act) 기준을 준수하는 경우가 많다²⁹˒³⁰.

학생, 전공의, 교수진이 GAI를 사용할 때에는 **공개 GAI 시스템에서 어떤 데이터나 과제가 “안전한지”에 대해 명확한 지침(guidance)**을 받아야 한다. **보호된 건강 정보(protected health information, PHI)**나 **개인 식별이 가능한 의료 또는 연구 정보(personally identifiable information)**는 절대 공개 GAI 도구에 입력해서는 안 되며, 반드시 해당 용도로 명시된 의과대학 또는 의료기관이 제공하는 사설 GAI 도구에서만 사용해야 한다³¹. 이러한 지침은 특히 **공개 시스템과 사설 시스템 간의 차이(nuance)**를 이해시키는 것이 중요한데, 이는 현재 GAI가 이메일, 워드 프로세서, 프레젠테이션 도구, 심지어 검색 엔진에도 광범위하게 통합되어 있는 상황에서는 필수적인 요소가 되었다.

예를 들어, 학생이 임상기록(clinical write-up)을 작성하기 위해 사용하는 워드 프로세서가 GAI 기능을 포함하고 있을 경우, 환자와의 상호작용 세부사항이 본인의 의도와 무관하게 외부 기술 기업에 공유될 수 있다는 점을 인지하지 못할 가능성이 있다³². 실제로 학생들은 공공 데이터(public data)와 사적 데이터(private data)의 분류조차 인식하지 못하고 있는 경우가 많다. 이러한 구분은 반드시 명확히 교육되어야 하며, 정책으로도 명시되어야 한다.

이 정책은 또한 학생들이 교육 목적(academic use)으로 GAI를 사용하는 상황을 다뤄야 하며, 현재 GAI 도구가 이미 학생들의 학습 도구로 자리 잡았다는 현실을 인정해야 한다. 과제, 작성물, 평가 등에서 학생이 GAI를 언제 사용할 수 있고, 언제 사용할 수 없는지, 그리고 **명예 규정(honor code)**이 어떻게 **표절(plagiarism)**과 **단독 저자권(sole authorship)**의 개념을 재정의해야 하는지도 분명히 해야 한다.

우리는 다음과 같은 방식을 권장한다: GAI 사용이 허용된 상황에서는, 학생이 어떤 도구를 사용했는지 명시하고, **콘텐츠 생성을 위해 입력한 프롬프트(prompts)**도 함께 제출해야 하며, 이는 통계 분석 소프트웨어를 인용하는 방식처럼 표준화된 인용 방식으로 처리되어야 한다. GAI 사용에 관한 **에티켓과 기준(etiquette and standards)**이 빠르게 변화하고 있는 만큼, 학생들은 자신이 접하는 다른 기관들—예: 학술지 출판사, 연구비 지원기관 등—이 GAI 생성 텍스트 및 이미지 사용을 허용하거나 금지하는지에 대한 가이드라인을 갖고 있는지 인지해야 한다.

마지막으로, **환각(hallucination)**이나 **기타 오류(error)**는 여전히 흔하게 발생하므로, 어떤 정책이든 최종적으로 제출물의 진실성과 정확성에 대한 책임은 학생에게 있음을 분명히 해야 한다.

권고안 2 – 거버넌스(Governance): GAI 사용을 위한 거버넌스 체계 구축

GAI 시스템에는 내재된 **편향(bias)**이 존재할 수 있으며, 특히 학생의 데이터가 훈련에 사용될 경우 이를 둘러싼 윤리적 논쟁 또한 지속되고 있다³³. 뿐만 아니라, 기술 환경의 변화 속도는 매우 빠르며, 이로 인해 의과대학은 지속적으로 적응해야 하는 과제를 안고 있다. 따라서 **각 기관은 자율적인 GAI 거버넌스 조직(local governance body)**을 구성하여, GAI의 안전하고 윤리적인 사용 원칙을 정의하고, 이를 **학교의 교육 사명(mission)**과 정렬되도록 유지하며, 제안된 GAI 솔루션에 대한 감독, 그리고 지속적인 기술 발전을 따라갈 수 있는 체계적 구조를 마련해야 한다.

AI 거버넌스는 반드시 학교의 주요 이해관계자—예: 리더십, 교수진, 교육과정 책임자, 그리고 학습자 본인—를 대표해야 한다. GAI가 영향을 미치는 범위가 광범위하기 때문에, 이와 같은 다분야 거버넌스 기구는 우선순위 영역을 정의하고, GAI 통합에 있어 **포괄적인 전략(overall strategy)**을 수립할 수 있다. 거버넌스 조직은 예를 들어, 윤리 기반 감시(ethics-based auditing) 모델을 활용하여, GAI 시스템과 모델의 실제 운영 방식이 명시된 원칙들과 일치하는지 검토할 수 있으며, 또한 정보기술(IT), 데이터 보안, 법적 준수 부서와의 협력을 통해 **데이터 관리(data plans)**에 대한 정합성을 확보할 수 있다³⁴.

또한, GAI 사용에 있어서 학습자 및 교수의 데이터 활용과 관련된 특수한 이슈들이 충분히 고려되어야 하며, 이를 바탕으로 다양한 GAI 프로젝트에 일관성 있게 적용할 수 있는 해결방안을 도출할 수 있어야 한다³⁵.

학생들도 이 거버넌스 체계에 충분히 대표성을 갖고 참여해야 한다. 왜냐하면, GAI 교육 도구의 다양성은 계속 증가하고 있으며, 서로 다른 학생들이 이를 다양한 방식으로 학습에 활용하기 때문이다. 따라서 단순히 위원회 위원으로만 참여시키기보다, **포커스 그룹(focus groups)**이나 디자인 사고 세션(design thinking sessions) 등 다양한 형태의 학생 참여 방식을 병행하는 것이 바람직하다³³. GAI 교육 혁신은 주로 동료 네트워크를 통해 전파되기 때문에, 학생들이 가장 최신 정보를 갖고 있으며, 그들이 경험하는 현실적인 교육 맥락과 부합하는 전략을 수립하는 데 필수적인 역할을 할 수 있다³⁶.

게다가 GAI의 유망한 활용 사례 중 다수는 **확장 가능한 피드백(scalable feedback)**이나 **감독(oversight)**과 같이 학생의 성과에 직결되는 영역에 있기 때문에, 학생 데이터가 어떻게 활용되는지에 대해 투명성을 확보하려면 학생의 참여가 매우 중요하다. 이러한 활용 사례는 종종 **고위험(high-stakes)**에 해당하므로, 예를 들어 자동 채점 시스템, 피드백 제공, 대규모 평가 시스템, 학생 선발 등에 관해서는 구체적이고 명확한 정보 전달이 필요하며, 이는 학생들의 인식과 신뢰를 구축하는 데 핵심적인 단계가 된다.

권고안 3 – 교육과정(Curriculum): 학습자의 역량을 정의하고 책임 있는 GAI 사용을 가르치는 몰입형 교육과정 개발

GAI를 잘 활용하는 것은 학습 가능한 기술이다³⁷. 의학교육과 임상진료에서 GAI의 잠재적 응용 범위는 매우 넓으며, 의료 공동체의 다양한 수준에서 창의적인 GAI 활용 사례가 등장하고 있다. 이미 **GAI를 효과적으로 사용하는 모범 사례(best practices)**도 마련되어 있으며, 이는 일련의 워크숍을 통해 쉽게 교육될 수 있다³⁷⁻³⁹. ChatGPT나 다른 도구를 단편적으로 사용해 본 이들조차도, 교육과 실습, 피드백을 통해 보다 효과적인 활용법을 배울 수 있다. GAI 전문가인 Ethan Mollick 박사는 다음과 같이 말한다.

**“조직이 가이드라인, 지원, 최첨단 모델에 대한 접근을 제공하지 않는 것은 직장에서 AI를 회피하는 것이 아니라, 은밀하고 잘못된 방식으로 AI를 사용하는 것에 불과하다.”**⁴⁰
("By not providing guidance, support, and access to frontier models, companies are not avoiding AI at work, they are getting secretive, bad AI at work.")

GAI 기술은 이제 우리가 전문 직업성(professional practice)과 연관지어 왔던 **임상적 추론(clinical reasoning), 치료 계획 수립(therapeutic planning), 근거 중심 의사결정(evidence-based decision-making), 정밀의학(precision medicine)**과 같은 핵심 역량들을 도전받게 만들고 있다. 이러한 변화 속에서 의대생들은 자신의 현재 교육이 미래에 충분하지 않을 수 있다는 불안을 느끼고 있으며, 변화의 속도에 혼란스러워하고 있다. GAI가 임상 진료에 어떻게 구체적으로 영향을 미칠지 아직 명확하지 않지만, 우리는 모든 학생을 대상으로 모든 교육과정 단계에 걸쳐 포함된 GAI 필수 교육과정을 지금부터라도 시작할 것을 제안한다. 앞으로 모든 졸업생은 GAI를 활용해 진료하게 될 것이기 때문에, 이는 반드시 필요한 교육이다.

역량 기반으로 기대 수준과 기술 수준을 정의하는 것은 GAI 교육과정 구축의 핵심적인 첫걸음이다. 이미 여러 연구들에서 의대생을 위한 일반 인공지능(AI) 역량 모델이 제시되어 있으며¹⁰˒¹¹˒²²˒²⁴˒²⁶˒²⁷˒⁴¹, 이들 모델은 GAI 시대에도 여전히 유효한 **핵심 영역(foundation domains)**을 공통적으로 강조한다. 우리는 이러한 핵심 영역을 Table 1에 요약하여 제시하며, 각 대학에서 GAI를 통합하면서 새롭게 직면한 도전 과제들을 반영하여 확장된 형태로 설명하였다.

우리는 기술적 측면보다 임상적 활용과 함의에 초점을 맞춘 **핵심 교육과정(core curriculum)**을 권장한다. 예를 들어, 의대생이 자기공명영상(MRI)을 해석하는 법은 배워야 하지만, 기계의 물리학적 원리를 알 필요는 없듯이, GAI도 의료 현장에 통합하고 응용하는 **실천적 틀(framework)**을 중심으로 학습해야 한다. 우리의 지역 커리큘럼(local curricular activities)에서는 공개된 임상 기록이나 철저히 비식별화된 임상 노트를 사용하여, 학생들에게 실제 임상 업무를 모방하는 방식으로 효과적인 프롬프트(prompt)를 설계하게 한다.

예를 들어 학생들에게는 다음과 같은 과제가 주어진다:

• 임상 노트를 요약하라
• 병력 청취(history)와 신체검진(physical examination)의 핵심 요소를 추출하라
• 질병의 중증도를 분류하라
• 진료 요약을 작성하라
• 진단 계획을 수립하라

학생들은 팀 단위로 다양한 프롬프트를 시도하고 결과를 비교하며, 어떤 전략이 더 나은 결과를 내는지, 그리고 GAI의 강점과 한계, 오류를 직접 체험하며 학습하게 된다.

이 교육과정에는 윤리적 쟁점, 접근성 문제, 잠재적 편향에 대한 학습도 포함되어야 한다. 학생들은 의료에서 가장 널리 사용되고 성능이 뛰어난 GAI 시스템들—예: ChatGPT—이 의료 전용으로 개발된 것이 아님을 이해해야 한다. 우리는 GAI 교육과정에 **정식 데이터 과학(data science)**을 포함할 것을 권장하진 않지만, 핵심 개념과 주요 용어는 반드시 다루어져야 하며, 심화 학습을 원하는 학생들을 위한 **선택 교육(electives)**이 제공되어야 한다.

임상 정보학, 데이터 과학, 컴퓨터 과학 분야의 프로그램 및 교수진과의 협력도 매우 유용하다. 또한, 학생과 교수들이 실험하고 연습할 수 있는 안전한 공간을 제공하는 것 역시 중요하며, 이러한 시스템은 반드시 HIPAA를 준수하고 데이터 보호 조치를 갖춘 상태에서 운영되어야 한다.

모든 교육과정은 다음의 현실을 인식해야 한다:

“GAI 기반 변화는 매우 빠르게 진행 중이며, 미래의 임상 실무에 중대한 영향을 미칠 것이다.”

우리는 이러한 변화가 의료 실무의 미래에 긍정적인 영향을 미칠 것이라 낙관적으로 보고 있으며, GAI가 광범위하게 임상에 통합된 미래를 대비하는 것이 교육의 최종 목표가 되어야 한다. 이 변화는 결국 **의사의 전문 정체성(professional identity)**과 의사라는 존재의 의미에까지 영향을 미칠 것이다⁴².
학생들은 이러한 변화 속에 수동적으로 따라가는 것이 아니라, 변화를 이끄는 주체로 적극적으로 참여하고, 자신이 원하는 미래를 구상하며, 리더가 되는 방법을 모색해야 한다.

우리는 GAI 커리큘럼의 시작 단계로 **프롬프트 어톤(Prompt-a-thon)**이 매우 효과적이었음을 경험했다³⁸˒³⁹. GAI의 확산을 막는 주요 장애물 중 하나는 프롬프트 입력(prompting)에 대한 반응성과 효과의 다양성이다⁴³. 상황에 따라 다른 프롬프트 전략이 요구되며, 그 차이를 직관적으로 파악하기 어려운 경우가 많다. Prompt-a-thon 세션을 통해 우리는 표준화된 실습 사례, 프롬프트 실험 문화, 협업 기반 학습 환경을 구축할 수 있었으며, 이를 통해 학생과 교수 모두 높은 몰입도와 학습 효과를 경험하였다. 이러한 교육 세션과 웹세미나는 학생, 교수, 교직원 등 학내 전체 커뮤니티를 대상으로 운영할 수 있으며, 향후 지속적인 협업으로 이어질 수 있다.

우리의 경험에 따르면, 프롬프트 어톤 세션에는 다음의 세 요소가 포함되어야 한다:

• GAI에 대한 기술적 기초(technical primer)
• 지역 정책에 따른 안전한 사용 원칙 강화
• 프롬프트 작성 및 상호작용에 필요한 기본 기술 습득

더 나아가서는 피드백, 채점 등 다양한 활용 사례별 고급 프롬프트 전략도 다루어질 수 있다. 모든 새로운 교육 시도와 마찬가지로, **참여자 피드백과 반복적인 개선(iterative improvement)**도 필수적이다. 이 세션은 무엇보다 재미있고 실험적인 분위기에서 이루어져야 하며, 처음 사용하는 사람들의 두려움과 저항을 줄이고, 프롬프트 공유를 위한 자원 제공으로 이어지는 출발점이 되어야 한다¹¹.

결론(Conclusions)

**생성형 인공지능(Generative AI, GAI)**은 의학교육과 임상 진료 전반에 걸쳐 패러다임의 전환(paradigm shift)을 가져오고 있다. 이 기술은 일시적인 유행이 아니라, 앞으로 지속될 기술이며, 따라서 의학교육은 이러한 미래를 준비하기 위해 반드시 변화해야 할 책무를 지닌다. 우리가 두 의과대학에서 GAI와 함께한 경험은 다음과 같은 **핵심 권고안(key recommendations)**으로 이어졌으며, 이는 모든 의학교육 기관이 함께 실천할 수 있는 방향성을 제시한다.

• **정책(policy)**은 **GAI의 안전한 사용(safe use)**을 촉진하고, 기관 및 환자 데이터 보호, 그리고 학생들의 GAI 학습 활용에 대한 명확한 기준을 제공하는 방향으로 마련되어야 한다.
• **거버넌스(governance)**는 GAI의 윤리적이고 공정한 사용을 위한 **지침 원칙(ethical and equitable guiding principles)**을 수립하고 이를 실천할 수 있는 구조로 구현해야 하며, 학생들도 이 과정에 적극적으로 참여해야 한다.
• 교수와 학습자 모두가 GAI를 실험적으로 활용할 수 있는 도구와 교육 훈련을 제공받아야 하며, **의대생이 갖추어야 할 주요 AI 역량(AI competencies)**은 시의성 있게 정의되고 정기적으로 갱신되어야 한다.
• 마지막으로, 이러한 모든 요소들이 의과대학 교육 전반에 통합되어야 한다.

이와 같은 GAI 도입 및 권고안 실천은 결코 쉬운 일이 아니다. 정책, 거버넌스, 기술, 윤리, 그리고 체계를 흔드는 혁신적 성격이 결합된 GAI는 일부 학교에게는 풍부한 자원을 활용할 수 있는 기회가 될 수 있지만, 다른 학교들에게는 도전이자 장벽으로 작용할 수 있다.

그러나 몇 가지 요인은 GAI의 확산 가능성을 뒷받침하고 있다. 예를 들어,

• GAI 서비스의 가격이 급격히 낮아지고 있으며,
• 학교들이 이미 사용 중인 다양한 도구 및 애플리케이션에 GAI 기능이 내장되고 있다는 점이 그것이다.

이처럼 빠르게 변화하는 GAI 환경 속에서, 의학교육 공동체는 함께 협력하여

• 모범 사례(best practices)를 공유하고,
• GAI 교육의 효과를 평가하기 위한 데이터를 축적하며,
• 의대생에게 기대되는 역량을 지속적으로 업데이트하고,
• GAI가 지속적으로 변화시킬 미래의 진로를 준비할 수 있도록 돕는 역할을 해야 할 것이다.

✅ 기본 영역 1: 인공지능(AI)에 대한 기초 지식 (Fundamental knowledge of AI)

GAI 관련 도전 과제

• "인공지능(artificial intelligence)"이라는 용어는 1950년대까지 거슬러 올라가는 다양한 기술들을 포함하는 개념이며, 그 중 많은 것들은 이미 의료 현장에 깊이 통합되어 있다. GAI라는 개념과 미디어 속에서의 이미지가 이 기술을 신비화시키는 경향이 있지만, 실제 작동 방식은 쉽게 배울 수 있다.
• GAI 시스템은 **“블랙박스(black box)”**처럼 작동한다. 즉, 출력 결과는 해석할 수 없으며, 시스템의 추론 과정을 설명하기 어렵다는 의미다.
• GAI 모델의 성능은 **프롬프트(prompt, 자연어 명령어)**에 매우 민감하다. 프롬프트 전략에 따라 특정 작업에서의 성과가 현저히 달라질 수 있다.

대응 역량

• ChatGPT와 같은 대형 언어 모델(large language models)이 작동하는 구조, 아키텍처, 학습 과정 등을 설명할 수 있어야 한다.
• 다양한 학습 데이터와 학습 방식이 GAI 출력 결과에 어떤 영향을 미치는지 분석할 수 있어야 한다.
• 정확하고 완전한 결과를 얻기 위해 효과적인 프롬프트 설계와 질의 방법을 실습하고 시연할 수 있어야 한다.

✅ 기본 영역 2: 윤리 및 규제(Ethics and regulation)

GAI 관련 도전 과제

• GAI 시스템은 인간의 편향(human biases)—예: 인종적, 성별 편향—을 결과물에 포함할 수 있다.
• 이러한 편향은 사전학습(pretraining) 시 인간 텍스트에 내재된 편향, 미세 조정(fine-tuning) 과정에서 인간 피드백에 따라 조정된 값 등에 의해 발생한다.
• AI 시스템은 **“자동화 편향(automation bias)”**이라는 심리적 현상을 통해 예측 불가능한 방식으로 사용자에게 영향을 미칠 수 있다.
• 현재의 연방 규제 체계는 GAI 등장 이전에 만들어진 것으로, 고위험 영역에서의 사용에 대해 정밀한 감독이 부족하며, 이로 인해 **혁신이 저해(stymied)**될 수 있다.
• 임상 데이터를 기반으로 학습된 GAI 도구는 강력하지만, 환자 프라이버시 보호 방법에 대한 기준이 아직 명확하지 않다.
• 현재 개인정보 보호법은 GAI 기술 혁신과 일치하지 않을 수 있다.

대응 역량

• GAI 규제와 관련된 논쟁을 기존의 규제 경로와 비교·평가할 수 있어야 한다.
• 모델의 사전학습 및 미세조정 과정에서 어떻게 편향이 발생하는지 분석하고, 이를 줄이기 위한 전략을 제안할 수 있어야 한다.
• GAI 학습 과정에서 임상 데이터를 사용하는 것의 윤리적 쟁점을 이해하고 비판적으로 검토할 수 있어야 한다.
• 대형 언어 모델(LLM)의 의료 현장 사용과 관련해, 부적절하거나 해로울 수 있는 시나리오에서의 윤리적 고려사항을 논의할 수 있어야 한다.
• 의료 현장에 특화되어 설계되지 않은 GAI 도구를 진료 도구로 사용하는 것의 윤리적 문제를 설명할 수 있어야 한다.
• 의료 인공지능 사용과 관련하여 전문 학회 및 기관이 제시한 가이드라인과 행동 수칙을 숙지하고 이에 대해 설명할 수 있어야 한다.

✅ 기본 영역 3: 임상 진료 및 디지털 헬스에의 적용 (Application to clinical care and digital health)

GAI 관련 도전 과제

• 요약(summarization), 환자 포털 커뮤니케이션 작성(patient portal communication drafting), 주변 환경 청취(ambient listening) 등 GAI 도구들이 이미 임상 업무 흐름에 통합되고 있다⁹.
• 초기 데이터는 GAI 도구가 공감적인 의사소통(empathic communication)을 향상시킬 수 있음을 보여준다.
• 최신 연구들은 GAI가 병력청취(history taking), 감별진단 도출(differential generation), 환자 관리(summarization and management) 등 인간만의 영역이라 여겨졌던 활동에도 효과적으로 활용될 수 있음을 시사한다³˒⁴.

대응 역량

• GAI를 활용하여 환자와의 의사소통에서 공감 능력 및 효과성을 향상시킬 수 있어야 한다.
• 임상 추론 지원 및 환자 대면 애플리케이션 등 GAI의 새로운 사용 사례에 대해 **적응형 학습자 프레임워크(master adaptive learner framework)**를 적용할 수 있어야 한다.
• GAI가 전문 정체성에 어떤 영향을 미칠 수 있는지, 그리고 의사의 역할이 어떻게 변화할 수 있는지를 논의할 수 있어야 한다.

✅ 기본 영역 4: GAI의 품질 및 정확성 평가 (Assessing AI quality and accuracy)

GAI 관련 도전 과제

• GAI 기술은 본질적으로 **확률 기반(probabilistic)**이기 때문에, **환각(hallucination)**이라 불리는 잘못되거나 부적절하고, 때로는 이상한 정보를 생성할 수 있다⁵¹.
• GAI 모델은 시간이 지나면서 **“모델 드리프트(model drift)”**가 발생할 수 있으며, 이는 일부 영역의 성능은 향상되면서 동시에 다른 영역의 성능은 저하되는 현상이다.
• 정확도를 높이기 위해 **검색 기반 생성(retrieval-augmented generation)**이나 확장 가능한 감독 시스템(scalable oversight systems) 등 다양한 기술적 솔루션이 제안되고 있으나, 이러한 시스템이 실제 적용 시 얼마나 효과적일지는 아직 명확하지 않다⁵².

대응 역량

• GAI 모델에서 환각이 발생하는 개념을 설명하고, GAI를 참고 자료로 사용할 때의 한계를 비판적으로 평가할 수 있어야 한다.
• GAI의 응답이 설계에 따라 다르다는 점을 인식하고, 출력 결과에 대한 비판적 사고 능력을 강화해야 한다.
• GAI 도구가 임상 현장에 통합되는 경우, 모델 업데이트에 따른 성능 변화를 모니터링하는 전략을 수립할 수 있어야 한다.

✅ 기본 영역 5: 데이터 프라이버시 및 보안 (Data privacy and security)

GAI 관련 도전 과제

• **상업용 GAI 제품(commercial GAI products)**은 사용자가 입력하는 데이터에 대한 보호 장치가 부족하여, 건강 정보, 학생 정보, 지식재산권 등의 노출 위험이 커진다⁵³.
• 일부 의료기관은 이러한 문제를 회피하기 위해 자체 LLM을 개발 및 운영하고 있으나, 이는 막대한 전문성과 IT 인프라에 대한 투자가 필요하다.

대응 역량

• 민감한 데이터를 공개 GAI 시스템에 제출할 때 발생할 수 있는 개인정보 보호 및 데이터 보안의 위험성을 분석할 수 있어야 한다.
• LLM에 데이터가 어떻게 포함되는지, 그리고 이러한 데이터가 GAI 출력에 어떤 영향을 미치는지를 이해할 수 있어야 한다.

✅ 기본 영역 6: 전문직업성 (Professionalism)

GAI 관련 도전 과제

• GAI에 의해 대체되거나 보완되는 과제들은 기존 의사의 전문 정체성의 핵심을 이루는 활동이기에, 이는 **학생들의 자아 개념(self-conception)**을 혼란스럽게 만들 수 있다. 특히 기술 발전의 속도가 불확실할 때 그러하다⁶.
• 신체검진이나 관계 형성과 같은 일부 과제는 GAI가 단기간 내에 영향을 미치기 어려운 분야로 남을 가능성이 크다⁴².

대응 역량

• 의료 및 환자 커뮤니케이션에서 GAI 사용의 적절성 및 예절에 대해 논의할 수 있어야 한다.
• GAI를 활용한 상호작용과 산출물에서도, 직접 대면 상황에서와 동일한 수준의 전문성을 유지하려는 태도를 갖출 수 있어야 한다.

Developing a Canadian artificial intelligence medical curriculum using a Delphi study

🧠 의대생을 위한 AI 교육, 어디까지 가르쳐야 할까?

– 캐나다 전문가 106명이 만든 의학 AI 교육의 핵심 리스트

요즘 의료 인공지능(AI)에 대한 관심, 정말 뜨겁죠?
AI가 판독을 돕고, 문서를 대신 써주고, 예후까지 예측해주는 세상인데…
정작 의대에서는 이걸 어떻게, 얼마나 가르쳐야 할지 막막하다는 목소리가 많습니다.

그래서 캐나다 연구진이 나섰습니다!
캐나다 전역의 AI, 의학교육, 임상의 전문가 106명을 대상으로 델파이 방법(Delphi method)을 써서
의대생을 위한 AI 교육 커리큘럼을 직접 정리한 연구가 나왔어요.
👇 핵심 내용을 함께 살펴볼게요!

🔍 연구 목적: “AI, 뭘 가르쳐야 하지?”

연구팀은 이렇게 말합니다:

"This curriculum aims to equip the next generation of healthcare providers with the competencies required to integrate AI into their clinical workflows confidently."
“이 커리큘럼은 차세대 의료인이 AI를 임상 업무에 자신 있게 통합할 수 있는 역량을 갖추도록 돕는 데 목적이 있다.”

📋 방법: 전문가 106명이 107개 항목 평가

• 델파이 방식으로 3라운드에 걸쳐 설문
• 총 107개의 학습 요소를 주제별로 제시
• 포함(inclusion) 기준: 70% 이상이 4점 또는 5점
• 제외(exclusion) 기준: 70% 이상이 1점 또는 2점
• 나머지는 "합의 미도달(no consensus)"

🧭 6개 핵심 주제

연구진은 AI 교육 내용을 다음 **6가지 주제(Core Themes)**로 나눴습니다:

✅ 포함된 항목 (총 82개, 77%)

합의에 따라 **가장 많이 포함된 주제는 ‘윤리’와 ‘의사소통’**이었습니다.
예를 들어…

"Explain the importance of data privacy in the context of using AI with healthcare data."
“의료 데이터에 AI를 적용하는 맥락에서 데이터 프라이버시의 중요성을 설명할 수 있어야 한다.”

또한, ‘이론’과 ‘응용’ 영역에서도 AI의 신뢰성 평가, 의사결정에 활용, 오류 해석(error analysis) 같은
임상 활용을 위한 기초적 역량이 포함되었습니다.

❌ 제외된 항목들 (총 20개)

너무 기술적이거나 의대생 수준에서 과도한 프로그래밍 능력을 요구하는 항목들은 제외되었어요.

예를 들어:

"Use TensorFlow to build and train deep learning models."
“TensorFlow를 이용해 딥러닝 모델을 구축하고 학습시키는 것” → ❌ 제외

🤔 합의되지 못한 항목들

70% 기준을 넘지 못한 애매한 항목들도 있었어요.
대표적으로 이런 것들:

• "List the key issues surrounding the intellectual property of AI." (지적재산권 쟁점 열거) → 54% 찬성
• "Train AI models using appropriate techniques and algorithms." (AI 모델을 적절히 학습시키기) → 69% 찬성
• "Use Keras to build and train deep learning models." → 69% 제외 찬성

이들은 앞으로 교육 수요와 기술 변화에 따라 포함될 수도 있겠죠.

🔗 전문가의 평가 기준은?

흥미롭게도 M.D. vs Ph.D. 간 평가 차이는 거의 없었다고 해요!
→ "This similarity may be attributed to a broad consensus on core elements that are important..."
→ “이러한 유사성은 핵심 요소에 대한 폭넓은 공감대 때문일 수 있다.”

🧩 실제 교육에 어떻게 녹일까?

논문은 다음과 같은 현실적 접근법을 제안해요:

• AI 윤리, 프라이버시는 생명윤리 강의에 통합
• AI 관련 통계 개념은 생물통계(biostatistics) 수업에서 함께 다루기
• AI 적용 사례는 PBL/CBL 세션에 포함
• 임상실습 중 AI 도구(초음파 가이드, 디지털 스크라이브 등) 사용해보기
• 게스트 강사 초빙, AI 프로젝트 참여 유도 등

"There is little room for a drastic overhaul of UGME... but integration is feasible."
“UGME에서 급격한 교육과정 개편은 어렵지만, 기존 수업 속 통합은 가능하다.”

✨ 정리하자면…

✅ 윤리·의사소통 중심의 기초적 AI 이해는 필수

❌ 딥러닝 코딩, 벡터화, TensorFlow 등은 의대생에겐 과도

📦 기존 수업 안에서 자연스럽게 통합하는 방식이 유효

👩‍⚕️ 미래 의사는 AI를 직접 만들기보다, 잘 해석하고, 비판적으로 사용할 수 있어야 함

이제 우리 의대에서도,
“AI 교육, 어디까지 가르쳐야 할까?”에 대해
좀 더 구체적인 방향을 이야기할 수 있게 된 것 같죠?

서론 (Introduction)

의료 분야에서 인공지능(Artificial Intelligence, AI)의 통합은 진단의 정확성 향상, 위험도 계층화, 치료 효율성 개선 등의 측면에서 변혁적 변화를 일으키고 있다¹,². AI 기술은 방대한 임상 영역에서 효과성을 입증받았으며, 예를 들어 임상의의 문서화 업무 부담을 줄이거나, 방사선 영상 해석을 향상시키고, 수술 중 실시간 가이던스를 지원하며, 공중보건의 위험 계층화를 가능하게 하는 등의 활용 사례가 보고되어 왔다²,³.

그러나 이러한 기술적 진보에도 불구하고, 의학교육에서 AI를 커리큘럼에 반영하려는 노력은 여전히 미진하다⁴. 현재까지 의료 AI의 실용적 측면과 윤리적 측면을 균형 있게 다루는 체계적인 프로그램은 드물다³,⁴,⁵,⁶,⁷,⁸,⁹,¹⁰. 반면, AI의 혁신은 앞으로의 임상 실천에 커다란 영향을 미칠 것으로 예견되면서, 현재와 미래의 의사들에게 AI 기술을 교육해야 한다는 필요성이 점점 커지고 있다¹,⁵,¹¹.

여러 조사에 따르면, AI 리터러시 교육에 대한 지지는 매우 높은 편이다. 예를 들어, 영국 의사의 **81%**⁴, 캐나다 의과대학생의 **63%**¹²가 AI 교육의 필요성을 인식하고 있으며, 터키의 의대생들 중 93.8%는 AI의 지식, 적용, 윤리 영역에 대한 체계적인 교육을 지지한다¹³. 이러한 데이터는 의대생들이 향후 임상 현장에서 AI 도구를 효과적으로 활용하기 위해 필수적인 리터러시 역량이 부족함을 시사한다⁵,⁸. 이에 따라, 기술적 이해와 인간 중심의 진료 간의 균형을 맞출 수 있는 **학제간 접근 방식(interdisciplinary approach)**이 필요하다¹⁴.

이러한 접근은 AI 기술의 이해(understanding), 적용(application), 그리고 **비판적 분석(critical analysis)**을 포함해야 하며, 이는 교육 목표와 학습 성과를 설계할 때 흔히 사용하는 인지 영역의 위계 분류인 Bloom의 교육 목표 분류 체계(Bloom’s Taxonomy)―지식(knowledge), 이해(comprehension), 적용(application), 분석(analysis), 종합(synthesis), 평가(evaluation)―와 정렬될 수 있어야 한다³,⁸,¹⁵. 현재까지 **의과대학생을 위한 핵심 AI 역량(Core AI Competencies)**은 명확히 규정되지 않았지만, 다양한 가이드라인과 주제 제안들은 존재한다⁹,¹⁰.

의학교육은 그 자체로도 이미 매우 밀도 높은 훈련과정이기 때문에, AI 개념의 도입은 학생과 교수진 모두에게 부담이 되지 않도록 신중하게 설계되어야 한다¹³,¹⁶. 따라서, AI 교육은 기존의 의학 교육과 통합되되, 경쟁 관계가 아니라 상호보완적이어야 하며, 반드시 필수 의학 지식을 대체하지 않고 강화해야 한다⁴,¹³. **의학적 역량(Medical competency)**은 임상의의 핵심 역량이며, AI는 이를 보완해야지 방해해서는 안 된다.

이 연구는 **델파이 방법(Delphi method)**을 활용하여, 의과대학생을 위한 필수 커리큘럼 요소들을 도출하고자 한다. 이 방법은 반복적 라운드를 통해 전문가 의견을 정제함으로써, 현재와 미래 보건의료의 요구를 반영하는 포괄적이고 타당한 커리큘럼을 구축하는 데 유용하다¹⁷. 본 연구는 임상, 기술, 교육 분야의 전문가들로부터 다양한 관점을 수렴함으로써³,⁸,¹¹, 교육적 공백을 메우고자 한다. AI에 대해 의과대학생이 무엇을 알아야 하는지에 대한 질문에 답함으로써, 이 커리큘럼은 차세대 의료인들이 자신 있게 AI를 임상에 통합할 수 있도록 필수 역량을 갖추는 데 목적을 두고 있다⁵,⁷,¹¹,¹³,¹⁴,¹⁶.

결과 (Results)

표 1은 본 연구에 참여한 **18명의 캐나다 전문가(subject matter experts)**의 인구통계학적 특성을 보여준다. 참여자 중 남성은 10명, 여성은 8명이었다. 학력에 있어서는, **8명이 석사 학위(Master’s degree)**를, 12명이 박사 학위(Ph.D.), **10명이 의학 학위(MD 또는 이에 준하는 학위)**를 보유하고 있었다. 이들의 임상 전문분야는 심장학(Cardiology), 진단방사선학(Diagnostic Radiology), 일반내과(General Internal Medicine), 신경학(Neurology), 정신의학(Psychiatry), 비뇨기과학(Urologic Sciences) 등을 포함한다.

표 1. 캐나다 주제전문가의 인구통계학적 특성
(Table 1. Demographics of Canadian subject matter experts)
전체 크기 표 보기 (Full size table)

표 2는 AI 커리큘럼에 포함되도록 선정된 학습 요소들을 보여준다. 

표 2. 핵심 주제별 및 합의 도달 라운드별로 정리된 학습 요소들
(Table 2. Learning elements selected for inclusion, organized by core theme and round in which consensus was achieved)

• 윤리(Ethics) 주제에서는, 데이터 공유와 관련된 규제 이슈 식별, 데이터 프라이버시의 중요성 설명 등의 **11개 요소가 1라운드에서 합의(consensus)**에 도달하였다. 
• 법률(Legal) 주제에서는 11개 요소가 1라운드와 2라운드에서 합의되었으며, 이에는 데이터 거버넌스(data governance), 비밀 유지(confidentiality), **책임 문제(liability concerns)**와 같은 주제가 포함된다.

• 이론(Theory) 주제에서는, 총 29개 요소가 세 차례 라운드에 걸쳐 선정되었다. 이들 요소는 통계 개념 이해, 기계 학습 유형의 구분, AI의 보건의료 경제적 영향 평가 등 다양한 주제들을 포괄한다.
• 활용(Application) 주제에서는, 11개 요소가 세 라운드 모두에 걸쳐 합의되었으며, 데이터 분석, AI 근거를 임상 의사결정에 통합, AI 모델 검증과 같은 실제적 기술에 초점이 맞춰져 있다.
• 협업(Collaboration) 주제에서는 제안된 7개 요소 전부가 1라운드에서 합의되었다. 이 항목들은 AI 중심 동료와의 관계 유지 전략, 공동 의사결정(shared decision-making), 의료현장에서의 AI 학습 기회 탐색 등을 강조한다.
• 의사소통(Communication) 주제에서도 제안된 7개 요소 모두가 1라운드에서 합의되었으며, 동료 및 환자와의 효과적인 의사소통 전략, 공감적 커뮤니케이션 기술, AI 관련 이견 조정 등이 포함된다.
• 마지막으로, 질 향상(Quality Improvement) 주제는 6개 요소로 구성되었으며, 이들 모두 1라운드에서 합의되었다. 이 항목들은 환자 피드백 평가, AI 개선안 제시, 현존하는 AI 적용 분석, 그리고 사용자 중심 설계(user-centered design) 원칙을 적용하여 AI 사용자 경험을 향상시키는 데 초점을 맞추고 있다.

그림 1은 다양한 주제별로 선정된 학습 목표의 분포를 시각적으로 요약한 것이다.

그림 1. AI 보건의료 합의에서 주제별 항목 분포
(Fig. 1: Distribution of items by thematic priority in AI healthcare consensus)

이 그림은 전문가 합의에 기반하여 주요 주제를 순위화한 것으로, 전체적으로 합의된 항목 수에 대한 각 주제의 비중을 반영한다. 피라미드 구조는 주제 간 우선순위의 위계를 시각적으로 강조하며, '이론(Theory)'은 최상단에 위치하여 가장 높은 비중을 차지함을 보여주고, 반면 '질 향상(Quality Improvement)'은 가장 넓은 기반을 차지하여 기초적이지만 상대적으로 덜 우선시된 주제임을 시사한다.

표 3은 AI 커리큘럼에서 제외된 학습 요소들을 나열하고 있다.

• 이론(Theory) 주제에서는, 2라운드에서 총 4개의 요소가 제외되었는데, 이들은 컴퓨터 구조, 하드웨어 구성 요소, 하드웨어 성능에 대한 영향, 기초 프로그래밍 개념 등을 포함한다.
• 응용(Application) 주제에서는 총 9개 요소가 제외되었다. 2라운드에서는 AI 모델 프로그래밍, 경사하강법(gradient descent), 정규화 기법(regularization techniques), 역전파(backpropagation), 커널을 활용한 데이터 변환(data transformation with kernels), 이상 탐지(anomaly detection), 벡터화를 통한 코드 최적화(code optimization with vectorization), TensorFlow 활용 등이 제외되었으며, **3라운드에서는 비지도 학습의 클러스터링 기법(clustering techniques for unsupervised learning)**이 제외되었다.

표 3. 핵심 주제별 및 합의 도달 라운드별로 정리된 제외 학습 요소들
(Table 3. Learning elements selected for exclusion, organized by core theme and round in which consensus was achieved)
전체 크기 표 보기 (Full size table)

표 4는 합의에 도달하지 못한 학습 요소들을 보여준다.

• 법률(Legal) 주제에서는, 지식재산권(intellectual property) 및 **저작권 관리(copyright management)**에 해당하는 항목들(L12–L14)이 합의에 도달하지 못했다.
• 이론(Theory) 주제에서는 **프로그래밍 언어, 딥러닝의 유형 및 모델(T33–T35)**에 대한 항목들에 대해 합의가 이루어지지 않았다.
• 응용(Application) 주제에서는 데이터 표준화, AI 모델의 개발 및 학습, 차원 축소 기법(dimensionality reduction techniques), Keras 활용, 하이퍼파라미터 튜닝(hyperparameter tuning) (A21–A26) 등에 대해 합의가 이루어지지 않았다.

표 4. 핵심 주제별로 정리된, 합의에 도달하지 못한 학습 요소들
(Table 4. Learning elements for which no consensus was achieved, organized by core theme)

현직 의사(M.D.)와 박사(Ph.D.) 연구자 간 비교 분석

1라운드에서 전공 배경(M.D. vs. Ph.D.)에 따라 커리큘럼 요소에 대한 평가가 달랐는지 비교 분석이 수행되었다. 총 107개의 커리큘럼 요소 중, 단 3개 요소에서만 통계적으로 유의한 차이가 확인되었다. **현직 의사들은 법률 요소(L6)**에 더 강한 지지를 보였으며, 반면 **연구자들은 응용 요소(A1과 A24)**에 더 강한 지지를 나타냈다. 이외의 모든 요소에서는 p < 0.05 수준에서 유의미한 차이를 보이지 않았다.

기관별 영향 분석 (Leave-one-institution-out analysis)

1라운드와 3라운드에서는 브리티시컬럼비아대학교(UBC) 소속 위원을 제외했을 경우, 포함된 항목과 미합의 항목의 수에 상당한 영향이 있는 것으로 나타났다. 2라운드에서는 UBC 소속 위원을 제외했을 때, 제외 항목의 비율이 증가하고, 포함 항목은 다소 감소하였으며, 미합의 항목의 수도 줄어드는 경향을 보였다. 반면, 다른 기관 소속 인원을 제외했을 경우에는, 세 라운드 모두에서 포함·제외·미합의 항목에 미치는 영향이 상대적으로 미미했다. **자세한 결과는 보조 자료(Supplementary Table 1)**에 정리되어 있다.

논의 (Discussion)

전체적으로 **제안된 AI 커리큘럼 요소 중 77% (n = 82)**가 의과대학생이 AI를 숙련되게 활용하기 위해 반드시 알아야 할 중요한 내용으로 간주되었으며, 이 중 **77% (n = 63)**는 1라운드에서 이미 합의에 도달한 요소들이었다. 주제별로 살펴보면, **비기술적 요소(non-technical elements)**들은 1라운드에서 빠르게 합의에 도달하였다. 특히 윤리(Ethics)(11/11), 의사소통(Communication)(7/7), 협업(Collaboration)(7/7), 질 향상(Quality Improvement)(6/6) 항목은 모두 만장일치로 채택되었다.

이러한 결과는 미래의 의사들이 AI를 안전하게 활용하여 환자 진료를 향상시키고, 제공하는 진료의 투명성을 확보하기 위해 필요한 이해 수준을 보여준다. 더불어, 이러한 넓은 주제들(윤리, 협업, 소통, 질 향상)은 이미 캐나다의 의과대학 교육과정(UGME) 내에 존재하며 가르쳐지고 있는 내용이므로, 새로운 교육과정을 대체하는 것이 아니라 기존의 틀 안에 통합할 수 있는 여지를 보여준다.

한편, 기술적 주제인 ‘이론(Theory)’과 ‘응용(Application)’은 상대적으로 덜 포함되었다. 구체적으로, 이론 요소 36개 중 21개, 응용 요소 26개 중 단 3개만이 포함되었다. 이들 포함된 요소는 주로 AI의 유효성 검증, 강점 및 한계에 대한 이해에 초점을 두고 있으며, 이는 미래의 의사들이 AI를 적절하고 신중하게 사용하는 데 도움을 주는 방향일 것이다.

한 전문가의 의견에 따르면, 의과대학생들이 정량적 데이터의 한계를 이해하는 것이 중요하며, *“방대한 양의 정량 데이터는 의사-환자 간 소통 및 관계와 같은 질적 데이터를 폄하하는 데 사용되어서는 안 된다”*고 경고하였다. 이와 같은 관점에서, AI 모델을 비판적으로 평가할 수 있는 훈련은 **무작위 대조군 연구(randomized controlled trials)**를 해석하듯이 임상 맥락에서 AI의 적절성을 판단하는 데 필수적이다.

특히 1라운드에서 가장 적은 수의 요소가 포함된 ‘응용(Application)’ 주제에 대해서는, 오늘날 의사들이 일상적으로 사용하는 지식의 복잡성과 기술성 증가가 주요 원인이라고 판단된다. 한 전문가는, 의과대학생의 역할은 프로그래밍이 아니라 의학 지식 전달에 있다고 강조했다. 또 다른 전문가는 다음과 같이 덧붙였다: “임상의는 데이터 수집, 정제, 전처리, 그리고 AI 모델 훈련에 책임을 져서는 안 된다. 이러한 책임은 환자 진료라는 임상의 본연의 역할에서 벗어나는 것이다.” 즉, 프로그래밍과 딥러닝 기술은 공학자(engineer)의 영역이며, 의사는 AI를 검증하고 결과를 해석하는 역할에 초점을 두어야 한다.

물론 향후에는 일부 의사들이 AI 혁신과 통합을 더 적극적으로 주도할 필요성이 생길 수 있지만, 대다수의 임상의는 AI를 일상 진료에 활용하는 사용자(user)로서 기능할 것이다⁸,¹⁸. 이러한 이유로 인해, 특정 데이터 과학 기법의 제외, 지식재산권 등 법률적 이슈에 대한 미합의가 발생했음을 설명할 수 있다.

**전문가 그룹 간 평가 차이에 대한 분석(M.D. vs. Ph.D.)**과 관련하여, 학력 배경에 따른 전반적인 평가 차이는 존재하지 않는 것으로 나타났으며, 총 3개의 비교를 제외하고는 통계적으로 유의미하지 않았다. 이러한 유사성은, 핵심 교육 요소에 대한 폭넓은 공감대에서 비롯된 것으로 보이며, 이는 의사(M.D.)와 박사(Ph.D.) 각각의 상호보완적인 전문성이 교육과정 설계에 기여함을 보여준다. 또한, 의료 분야에 일정 부분 노출된 Ph.D. 연구자들을 선정함으로써, 중첩되면서도 서로 다른 시각이 조화를 이루도록 구성하였다. 이 결과는, 임상 경험을 가진 의사들과 연구 경험이 풍부한 박사 연구자들 양쪽의 의견이 균형 잡힌 커리큘럼 구성에 필수적임을 시사한다.

Leave-one-institution-out 분석에서는, UBC 소속 전문가가 포함되었는지 여부에 따라 포함·제외·미합의 항목에서 차이가 발생하였다. 이는 특정 기관의 전문가 수가 많을 경우 결과에 영향을 미칠 수 있음을 시사한다. 그러나 표본 수의 제한으로 인해 모든 전문가의 데이터를 분석에 포함할 수밖에 없었으며, 이로 인해 이번 연구에서 도출된 커리큘럼 요소의 일반화 가능성(generalizability)에 일정한 한계가 존재할 수 있다. 이에 대한 내용은 **이후 제한점(paragraph on limitations)**에서도 다룰 예정이다.

현재까지 정식으로 확립된 AI 커리큘럼은 UGME(학부 의학교육) 수준에서 존재하지 않지만, 이를 보완하려는 다양한 노력들이 커리큘럼 외부에서 이루어지고 있다. 예를 들어, Lindqwister 등은 방사선과 전공의를 대상으로 한 AI 커리큘럼을 제시하였으며, 이는 AI의 강점과 한계(T9), **규제 이슈(E1)**에 대한 요소들과 연계되며, 기술적 교육과 윤리적 교육 사이의 균형을 반영한다¹⁹. Hu 등은 캐나다 의과대학생들을 위한 워크숍과 프로젝트 피드백 중심의 AI 교육과정을 시행하였으며, 이는 임상 의사결정에 AI 모델을 적용하는 법(A2), 편향을 완화하는 전략 개발(E8) 등의 본 연구 결과와 연결된다⁹. Krive 등은 4학년 의과대학생을 위한 4주짜리 모듈형 AI 선택과정을 개발하였으며, 이는 온라인으로 진행되었고, AI 연구 및 기술의 비판적 평가(A7, A13), AI 도구로부터의 임상 결과 해석(A11), 편향을 완화하는 전략(E8), 환자에게 결과를 전달하는 의사소통 기술(COM3) 등의 요소와 일치한다²⁰.

이와 같이 본 연구는 의학교육자들과 향후 연구자들이 활용할 수 있는 이론적 토대를 제공한다. UGME는 전반적으로 일반의(generalist) 양성을 위한 교육과정으로, 생리학, 해부학, 병리학, 진단학, 치료학, 임상 의사결정, 협진, 상담 등의 영역을 포괄한다. 따라서 기존 UGME의 구조를 급격히 재구성하는 것은 현실적으로 어렵다. 그럼에도 불구하고, 토론토대학교(University of Toronto)의 UGME는 기본적인 AI 개념들을 소개하며, 기계학습, AI의 보건의료 역할, 잠재적 활용 사례, 윤리적 문제 등을 다루고 있다. 이는 AI 교육이 UGME에 효과적으로 통합될 수 있음을 보여주는 사례이며, 핵심적인 AI 리터러시와 의학 내 AI의 중요성을 강조한다.

결과적으로 본 연구는, 어떤 요소들이 교육되어야 하며, 어떤 요소들이 제외되어야 하는지에 대한 전문가들의 미묘하고 정교한 견해를 반영하며, 의학교육에 AI를 효과적으로 통합하기 위한 방향성을 제시하고 있다.

**델파이 방법(Delphi method)**은 전문가의 의견에 기반한 견고하고 반복적인 프레임워크를 제공하여, 의과대학생의 실제적 요구에 맞는 교육과정을 구성하는 데 매우 효과적이었다¹⁷. 본 연구는 다양한 의학교육 분야에서 전문가 의견을 활용하여 커리큘럼을 개발하거나 개정한 선행 연구들을 기반으로 하였으며²¹,²²,²³,²⁴,²⁵, 이들 연구의 구조를 참고함으로써 우리의 과정이 충분히 철저하게 이루어졌음을 보장하였다.

UGME(학부 의학교육) 교육과정의 구조를 살펴볼 때, 기존 커리큘럼에 큰 영향을 주지 않으면서도 AI 교육을 포함시킬 수 있는 다양한 방안들이 존재한다. 한 가지 접근법은 현재의 생물통계학(biostatistics) 교육과정 내에 AI 관련 문헌을 통합하는 것이다. 이를 통해 학생들은 AI 관련 문헌과 도구를 비판적으로 평가하고 검증하는 방법을 배우게 되며, 동시에 AI 주제와 신기술에 대한 노출도 증가시킬 수 있다.

또한, **AI를 교수자 주도형의 사례 기반 학습(case-based learning, CBL)**이나 문제 기반 학습(problem-based learning, PBL) 세션에 통합하면, 학생들이 다양한 AI 도구와 그 영향력에 대해 탐구할 수 있는 기회를 제공할 수 있다²⁶–³⁰. 이 세션에서는 예를 들어, AI 기록보조 도구(AI scribes), 임상 의사결정에서의 AI 활용, AI 관련 정책, AI 기반의 최신 연구 등 윤리적 주제도 함께 토론할 수 있다. 예를 들어, **책임 있는 의료용 머신러닝 프레임워크(responsible healthcare machine learning framework)**를 기반으로, 문제 설정부터 예상되는 실제 적용(deployment)까지의 시뮬레이션 과정을 소그룹에서 탐색하는 것도 가능하다¹⁴.

더 나아가, 임상 실습 중 실제 의료 현장에서 사용되는 AI 도구를 직접 활용해보는 실습 세션을 제공하는 것도 효과적이다. 예를 들어, AI를 활용한 Point-of-care 초음파 가이드¹³¹, AI 기반 디지털 기록보조 도구¹³² 등을 학생들이 체험함으로써, 기술적 역량을 키우고, AI 도구의 장점과 위험성을 스스로 이해할 수 있는 기회를 제공할 수 있다. AI 및 의료 분야에 종사하는 전문가를 초청하여, 의과대학생들이 꼭 알아야 할 AI의 핵심 개념과 현재 연구 동향에 대해 강의하는 것도 학습 경험을 풍부하게 만들 수 있다.

또한, 타 과목의 임상실습처럼 연 1회 실시하는 AI 윤리 혹은 기본 지식 모듈을 도입하면, 학생들이 빠르게 변화하는 AI 분야에 지속적으로 업데이트될 수 있는 기회가 생긴다. 여기에 더해, 의과대학 4년 동안 최소한 한 번은 AI 관련 연구 프로젝트에 참여하도록 유도하면, 학생들이 해당 주제에 대한 깊은 이해를 형성할 수 있을 것이다.

마지막으로, AI 교육과정의 통합은 유연하게 이루어져야 하며, 각 교육기관의 교육 프레임워크와 자원에 따라 적절히 조정될 필요가 있음을 인지하는 것이 중요하다.

각 포함된 학습 요소는, **AFMC(Association of Faculties of Medicine of Canada)의 EPA(Entrustable Professional Activities)**와 CanMEDS 역할에 **매핑(mapping)**되어, 의료 AI 교육의 중요성을 강조하였다. 이들 요소는 거의 모든 EPA와 CanMEDS 역할을 포괄하며, 이는 **AI 지식이 여러 졸업 역량(exit competencies)**과 부합하며, 의과대학 교육과정에의 통합을 정당화할 수 있는 근거가 됨을 보여준다. 대안적으로는, 기존 역량 지표들이 개정되는 과정에서, 본 연구에서 제시된 AI 교육 요소들을 반영한 구체적인 역량(competency)을 신설하는 방식도 고려될 수 있다. **AI 교육에 대한 국가 차원의 승인(national endorsement)**과 표준화된 교육과정 개발이 병행된다면, 캐나다 전역의 의과대학들이 AI 교육을 UGME 과정에 통합하도록 유도할 수 있으며, 향후 보건의료 전문가의 지식 수준을 향상시키는 데 기여할 것이다. 이러한 목표를 위한 **초기 제안 사항으로서, 각 학습 목표와 실행 전략 간의 매핑은 보조자료 2(Supplementary Table 2)**에 제시되어 있다.

**본 연구는 몇 가지 제한점(limitations)**을 가진다. 먼저, **비확률 목적 표집(non-probability purposive sampling)**을 사용했기 때문에 **선택 편향(selection bias)**이 우려되었다. 우리는 캐나다 전역의 다양한 전문가 106명을 대상으로 모집을 시도했으나, 응답하지 않은 경우들이 결과에 영향을 미쳤을 가능성이 있다. 이러한 표집 방식은 **체계적 편향(systemic bias)**을 초래할 수 있으며, 특히 AI 교육이 활발히 이루어지고 있는 특정 지역이나 기관의 관점이 과도하게 반영되었을 가능성이 있다.

실제로 본 연구에서는 UBC(University of British Columbia) 소속 전문가가 가장 많이 참여하였으며(이는 본 연구가 UBC 주도로 수행되었기 때문으로 보인다), 반면 Atlantic 지역, Quebec, Prairie 지역에서는 응답률이 낮았다. 그 결과, UBC 소속 인원의 수가 커리큘럼 요소의 포함·제외·미합의 여부에 통계적으로 유의미한 영향을 미쳤다. 이러한 제한점은, **무작위 표집(random sampling)**을 사용하거나, 표본 구성을 보다 전국적이고 국제적으로 확장하는 방식으로 보완할 수 있었다. 또한, 의과대학이 없는 기관이더라도 보건 관련 프로그램이 있는 기관을 포함시키는 것도 고려될 수 있었다.

표본 수를 확대하였다면, **지역 간 응답의 이질성(heterogeneity of responses)**을 보다 면밀히 분석할 수 있었을 것이며, 이는 **보조자료 1(Supplementary Table 1)**에서 일부 확인되었다. 이번 연구는 총 18명의 응답자에 기반하였기 때문에, 모든 관점이 충분히 반영되었는지는 불확실하다. 각 라운드에서 이탈(dropout)한 이유는 명확히 조사되지 않았으나, 시간 부족, 관심 부족, 우선순위 충돌, 또는 주제에 대한 흥미 부족 등이 포함되었을 수 있다.

또한, 전문가 포함 기준을 M.D.와 Ph.D.로 한정한 점도 관점의 다양성 측면에서 제약이 되었을 수 있다. 앞으로는 산업계 전문가나 비대학 소속이지만 의료 AI 교육에 전문성을 가진 인물들까지 포함함으로써, 보다 넓은 시각을 수렴할 수 있을 것이다.

방법 (Methods)

교육 요소 선정(Curricular element selection)

연구팀은 **체계적 문헌고찰(systematic review)**에 대한 사전 주제분석을 통해, 의과대학 커리큘럼에 AI를 성공적으로 통합하기 위한 6가지 핵심 원칙을 도출한 바 있다⁸. 이 원칙들은 다음의 주제별로 분류되며: 윤리(ethics), 이론과 응용(theory and application), 의사소통(communication), 협업(collaboration), 질 향상(quality improvement), 그리고 **인식과 태도(perception and attitude)**이다. 각 범주에 대한 개요는 다음과 같다:

• (a) 윤리: 데이터 공유 규제, 프라이버시, 형평성 등을 강조하며, 환자의 권리를 존중하는 방향을 지향한다.
• (b) 이론과 (c) 응용: 통계학부터 고급 머신러닝까지 기술적 역량을 포괄한다.
• (d) 의사소통: 보건의료 전문가와 환자 모두가 AI 도구를 이해하고 활용할 수 있도록 돕는다.
• (e) 협업: AI 활용에 있어 다학제적 팀워크와 공동 의사결정, 지속적인 학습의 중요성을 강조한다.
• (f) 질 향상: AI 도구를 지속적으로 분석하고 개선해 나가는 과정을 의미한다⁶,³³–³⁷.

이러한 각각의 원칙은 AI를 환자 진료에 신중하게 통합할 수 있는 의사 양성을 위한 전체론적(holistic) 교육과정의 구성 요소로 기능한다.

커리큘럼 요소 개발을 위해, **두 명의 연구자(AG, NP)**는 기존 주제 분석에서 수집된 요소들을 기반으로 하여, **Bloom의 교육 목표 분류 체계(Bloom’s Taxonomy)**를 참고하여 총 107개의 새로운 교육 요소를 설계하였다. 이후, **제3의 연구자(RS)**가 이 요소들을 검토하여 기존 문헌과의 반복적 토론 및 검증을 거쳐 최종 합의에 도달하였다. 이 과정은 **보조자료 2(Supplementary Table 2)**에 상세히 제시되어 있으며, 각 학습 목표와 이를 기반으로 한 원 연구 간의 매핑 정보도 포함되어 있다.

또한, 전문가 패널은 각 섹션 말미에 자유 서술(open-text) 형식으로 의견이나 우려 사항을 제출할 수 있도록 구성되었다.

전문가 패널 선정(Subject matter expert panel selection)

본 연구에서는 의학교육 및 AI와 관련된 다양한 분야의 전문가 106명을 모집하기 위해 목적 표집(purposive sampling)을 사용하였다³⁸. 세 명의 저자(AG, CK, NP)는 먼저 캐나다 전역의 주요 의과대학(https://www.afmc.ca/about/#faculties)에 소속된 대학교들을 기준으로, 의학, 과학, 공학 등 각 단과대학의 교수진 및 전공, 관련 학회, 연구 클러스터, 특수 관심 그룹 등을 체계적으로 조사하여 전문가 후보군 목록을 작성하였다.

**과대표집(overrepresentation)**을 방지하기 위해, 서로 다른 대학, 연구 클러스터, 관심 그룹 출신의 전문가들을 선정하는 데 특별한 주의를 기울였으며, 이후 또 다른 저자(RS)가 이 명단을 검토하여 최종적으로 선정 기준을 충족하는 전문가들을 확정하였다. 선정 과정에서는 교수진 웹페이지, 학과 프로필 등 공개된 최신 정보를 활용하였다.

최종 패널은 지리적·제도적 다양성을 반영하였으며, 의학박사(M.D.)부터 인공지능 관련 박사(Ph.D.)에 이르는 다양한 학위와 경력을 보유한 전문가들로 구성되었다. 표집 전략은 교육 배경, 의학 전문분야, 지리적 분포, 기관 유형의 다양성 확보를 목표로 하였으며, 캐나다 내 의료 AI 전문성의 지역 간 격차도 일부 반영되었다. 이는 모든 학교가 AI 관련 인프라를 보유하고 있지 않기 때문이다.

전문가 선정 기준은 엄격하고 다면적이었으며, 다음 7가지 기준 중 최소 4가지를 충족해야 참여 자격이 주어졌다:

• (a) 의학 또는 관련 분야 박사 학위(M.D. 또는 Ph.D.) 보유 및 의료 혹은 컴퓨터과학 분야 종사,
• (b) 의과학 교육에 참여,
• (c) 의과대학 교육과정 개발 참여,
• (d) 의학교육에 대한 전문성 보유,
• (e) AI와 의료 융합 분야의 리더십 보유,
• (f) 해당 분야의 주요 논문 게재,
• (g) AI와 의료 융합 분야의 대규모 연구팀 또는 부서 관리 경험.

모든 선정된 전문가들은 연구 참여에 대한 서면 동의(informed consent)를 제공하였으며, 본 연구는 브리티시컬럼비아대학교(UBC) 연구윤리위원회(Research Ethics Board)의 승인을 받았다 (IRB 번호: H22-01695).

합의 절차 (Consensus Process)

이 **델파이 연구(Delphi study)**는 의학교육을 위한 핵심 AI 커리큘럼 요소를 도출하기 위해, **구조화된 합의 절차와 다차례의 설문(rounds of questionnaires)**을 활용하였다¹⁹. 1차 설문에서는 총 107개 교육 요소가 포함되었으며, **Qualtrics 플랫폼(Seattle, WA, USA)**을 통해 배포되어, 참여자의 익명성과 반복적 피드백의 제공이 보장되었다.

그림 2에서 설명된 것처럼, 2023년 10월부터 2024년 5월까지 총 106명의 전문가가 이메일을 통해 연구에 초대되었다. 1차 라운드에서는 익명화된 인구통계 데이터를 제공하고, 각 커리큘럼 요소에 대해 **5점 리커트 척도(5-point Likert scale)**로 평가하였다.

• **70% 이상이 ‘4점’ 또는 ‘5점’**으로 평가한 항목은 포함 대상으로 간주,
• **70% 이상이 ‘1점’ 또는 ‘2점’**으로 평가한 항목은 제외 대상으로 간주하였다.

이러한 70% 기준은 기존의 커리큘럼 개발을 위한 델파이 연구들에 근거한 것이다²¹–²⁵. 전문가들은 각 섹션 말미의 **의견란(comments section)**을 통해, 누락된 역량 요소 제안이나 개인 의견도 제출할 수 있었다.

그림 2. 본 델파이 연구에서 주제별 포함 및 제외 과정을 세 라운드에 걸쳐 도식화한 그림
(Fig. 2. This figure illustrates the inclusion and exclusion process of themes in a Delphi study conducted in three rounds)

2차 라운드에서는, 1차에서 합의에 도달하지 못한 항목들과 새롭게 제안된 항목을 재평가하였다. 이때, 이전 라운드의 피드백 및 평가자 간 일치도(interrater agreement) 점수가 제공되어, 전문가들이 보다 정교한 결정을 내릴 수 있도록 하였다. **이 라운드부터는 단순화된 2점 척도(2-point scale)**를 사용하였다.

3차 라운드에서는, 여전히 합의에 도달하지 못한 항목에 대해 최종 결정을 내리는 과정이 이루어졌으며, 동일한 2점 척도가 유지되었다. 이와 같은 절차를 통해, 전문가 합의 기반의 엄밀한 평가 과정이 구현되었다.

모든 포함된 항목은 이후, 캐나다 의과대학협회(AFMC)의 위임가능 직무(Entrustable Professional Activities, EPAs) 중 하나 이상에 매핑되었다. EPA는 감독 없이 학습자에게 맡길 수 있는 전문 직무를 의미한다³⁹. 더불어, 모든 항목은 CanMEDS 역할에도 함께 매핑되었으며, 이는 환자의 요구를 충족시키기 위해 의사가 갖추어야 할 역량을 구조화한 프레임워크이다
(출처: www.royalcollege.ca/en/canmeds/canmeds-framework).

데이터 및 통계 분석 (Data and Statistical Analysis)

1차 라운드에서는, 각 커리큘럼 요소에 대한 5점 리커트 척도 점수의 평균값이 계산되었고, 찬성(4점 또는 5점), 중립(3점), **반대(1점 또는 2점)**로 분류한 뒤, 각 범주에서 가장 높은 득표율을 전체 응답 수로 나누어 퍼센트 합의율(percent agreement)을 산출하였다.

2차 및 3차 라운드에서는, 남은 각 요소에 대해 2점 척도로 응답을 받고, 찬반 중 더 많은 응답 수를 전체 응답 수로 나누어 퍼센트 합의율을 계산하였다. 이 퍼센트 합의율은 다음 라운드에서 전문가들에게 피드백으로 제공되어, 합의에 이르지 못한 항목에 대한 판단에 도움을 주었다.

또한, 각 교육 요소에 대해 **정규성(normality)**과 분산의 동질성(homogeneity) 검정을 시행하였고, M.D.와 비M.D. 전문가 간 평균 평가 점수를 비교하기 위해, 독립표본 t검정(unpaired t-test) 또는 Mann–Whitney 검정 중 적절한 통계 검정을 선택하여 사용하였다.

Leave-one-institution-out 분석도 수행되었으며, 각 라운드에서 포함·제외·미합의 항목 비율이 특정 기관의 참여 여부에 따라 유의미하게 달라지는지 여부를 분석하였다.

🟦 Theme: 윤리 (Ethics)

포함된 학습 요소 (Element for inclusion):

• E1 의료기관, 학술기관, 민간 조직 간의 데이터 공유와 관련된 주요 규제 이슈들을 식별한다.
• E2 의료 분야에서의 데이터 공유 관행에 영향을 미치는 이러한 규제 이슈의 함의를 분석한다.
• E3 의료기관 간 데이터 공유와 관련된 규제 요구사항을 준수하기 위한 적절한 대응 전략을 적용한다.
• E4 의료 데이터에 인공지능(AI)을 활용하는 맥락에서 데이터 프라이버시의 중요성을 설명한다.
• E5 **형평성 있는 AI(equitable AI)**를 정의하고, AI 응용에서 공정성을 증진하고 편향을 방지하는 데 있어 그 중요성을 설명한다.
• E6 알고리즘적 편향, 데이터 편향, 사용자 편향 등 AI에서 나타날 수 있는 다양한 편향 유형을 정의하고 구분한다.
• E7 각 편향 유형의 실제 사례와 그것이 AI 응용의 효과성에 미치는 영향을 식별한다.
• E8 AI 응용에서 편향 발생을 완화하고 예방하기 위한 전략을 개발한다.
• E9 형평성 있는 AI의 사용을 촉진하기 위한 전략을 적용하고, 그 구현을 옹호한다(advocate).
• E10 의료 분야에서 AI를 사용할 때 고려해야 할 환자 권리와 윤리적 고려사항을 정의한다.
• E11 AI 사용 시 환자 권리를 존중하는 것의 중요성을 설명하고, 그로 인한 잠재적 이점을 기술한다.

⚖️ Theme: 법률 (Legal)

포함된 학습 요소 (Element for inclusion):

• L1 **데이터 거버넌스(data governance)**를 정의하고, AI 활용 시 그 중요성을 설명한다.
• L2  **AI 사용 시 의료 데이터의 기밀성(confidentiality)**이 왜 중요한지를 설명한다.
• L3 AI 사용과 관련하여 데이터 프라이버시의 잠재적 위험요소 및 관련 법적·규제 요건을 포함한 모범 사례를 식별한다.
• L4 AI 사용 시 의료 데이터의 프라이버시 및 보안을 보장하기 위한 적절한 기밀 유지 조치를 적용한다.
• L5 의료 현장에서 AI를 사용할 때 발생할 수 있는 법적 책임에 대한 다양한 우려사항을 열거하고 설명한다.
• L6 의료 분야에서 AI를 사용할 때 발생할 수 있는 책임 위험을 완화하기 위한 전략을 적용한다.
• L7 AI와의 공동 의사결정(shared decision-making), 그리고 그 과정에서의 의사의 역할의 중요성을 설명한다.
• L8 **AI 기반 공동 의사결정의 법적 함의(legal implications)**를 이해한다.
• L9 **AI의 저작권(copyright)**과 관련된 핵심 이슈들을 열거한다.
• L10 데이터 거버넌스 프레임워크의 핵심 구성 요소를 식별하고, AI와의 관련성을 이해한다.
• L11 AI를 사용할 때 적절한 데이터 거버넌스 조치를 적용한다.

📊 Theme: 이론 (Theory)

포함된 학습 요소 (Element for inclusion):

• T1 정확도(accuracy), F1 점수(F1 score), 민감도(sensitivity), 특이도(specificity), 양성 예측도(PPV), 음성 예측도(NPV), 승산비(odds ratio), 상대위험도(relative risk), 양성/음성 가능도비(likelihood ratios) 등 통계 개념을 정의하고 구분한다.
• T2 이러한 통계 개념들을 실제 의료 상황에 해석하고 적용한다.
• T3 **통계 유형(기술통계 vs 추론통계)**을 이해하고, 해석하며, 설명한다.
• T4 **데이터 유형(수치형 vs 범주형)**을 이해하고, 해석하며, 설명한다.
• T5 AI에서 사용되는 주요 용어(terminology)를 이해하고, 해석하고, 활용하며 설명한다.
• T6 AI가 성공적으로 적용된 의료 분야들을 식별한다.
• T7 각 분야에서 AI 사용의 강점과 약점을 정확성, 효율성, 비용효과성 측면에서 평가한다.
• T8 AI가 환자 진료의 질과 보건의료 산업 전체에 미친 영향을 설명한다.
• T9 보건의료의 다양한 영역에서 AI 사용의 한계와 도전 과제를 식별한다.
• T10 AI 도입에 따라 의사의 업무 흐름(workflow)이 어떻게 변화할지를 예측하고 예상한다.
• T11 AI 도입을 보다 원활히 촉진할 수 있는 기술적 기법들을 식별한다.
• T12 기계 학습(machine learning)의 기본 개념과 원리를 이해한다.
• T13 지도학습(supervised), 비지도학습(unsupervised), 강화학습(reinforcement learning) 등 기계 학습의 다양한 유형을 구분하고 식별한다.

📊 Theme: 이론 (Theory) – (T14~T29)

포함된 학습 요소 (Element for inclusion):

• T14 **기계 학습(machine learning)**의 각 유형이 갖는 강점과 한계, 그리고 보건의료 분야에서의 적용을 평가한다.
• T15 **회귀분석(regression analyses)**의 여러 유형(선형, 로지스틱, 포아송 회귀)을 구분하고 식별한다.
• T16 기계 학습에서의 모델 선택(model selection) 개념을 이해한다.
• T17 **딥러닝(deep learning)**의 기초 개념과 원리를 이해한다.
• T18 보건의료 분야에서 딥러닝이 적용되는 다양한 사례(예: 영상 분석, 자연어 처리, 시계열 분석 등)를 이해한다.
• T19 **자연어 처리(Natural Language Processing, NLP)**의 기본 개념과 원리를 이해한다.
• T20 NLP의 다양한 의료 응용 사례(임상 문서화, 환자 커뮤니케이션, 질병 감시 등)를 식별하고 구분한다.
• T21 NLP가 의료 프로세스의 질과 효율성에 미치는 영향을 평가한다.
• T22 딥러닝의 각 유형이 갖는 강점과 한계, 그리고 보건의료 분야에서의 적용을 평가한다.
• T23 결정 트리, 랜덤 포레스트, 서포트 벡터 머신(SVM) 등 모델 유형을 식별하고 구분한다.
• T24 모델별 강점과 한계 및 보건의료 분야에서의 응용 가능성을 평가한다.
• T25 데이터 전처리(data preprocessing), 피처 엔지니어링(feature engineering), 모델 선택, 평가 기법에 대한 실무 능력을 개발한다.
• T26 이러한 기술들을 활용해 보건의료 분야의 실제 문제를 AI 도구로 해결한다.
• T27 AI 도입이 보건의료 시스템에 미치는 경제적 영향(예: 구현 및 유지 비용)을 평가한다.
• T28 AI 사용으로 인한 비용 절감 및 수익 창출 가능성을 분석한다.
• T29 **빅데이터(big data)**와 **전통적 데이터셋(traditional data sets)**의 차이점을 정의하고 구분한다.

🛠️ Theme: 응용 (Application)

포함된 학습 요소 (Element for inclusion):

• A1 AI 모델의 입력과 출력 데이터를 포함한 자료를 분석하고 해석하여, 의사결정에 활용한다.
• A2 AI 모델로부터 도출된 근거를 임상 의사결정 실무에 통합한다.
• A3 **보건의료 분야의 AI 응용 연구에 대해 무결성(integrity), 신뢰성(reliability), 적용 가능성(applicability)**을 비판적으로 평가한다.
• A4 AI 연구에 적합하고 정교하게 설계된 연구 질문을 생성한다.
• A5 AI 연구를 위한 데이터를 효과적으로 수집하고 관리한다.
• A6 데이터 관리(data stewardship)의 원칙을 적용하여, AI 데이터의 품질과 보안을 확보한다.
• A7 **AI 모델을 통계적 방법을 통해 검증(validate)**하여, 연구 목적에 적합한 정확도와 신뢰도를 확보한다.
• A8 데이터 시각화를 위해 다양한 함수와 도구를 활용하여 인사이트를 도출한다.
• A9 **AI 연구를 위해 데이터를 정제, 변환, 특성 선택(feature selection) 등의 방법으로 전처리(preprocess)**한다.
• A10 AI 문제에 적합한 알고리즘을 평가하고 선택, 해당 알고리즘의 강점과 한계를 기반으로 결정한다.
• A11 기계학습 및 딥러닝 모델에서 오류 분석(error analysis)을 수행하고 해석한다.

다음은 이미지에 나온 Theme: Collaboration (협업) 항목의 **포함된 학습 요소 (Element for inclusion)**에 대한 충실한 한국어 번역입니다.

🤝 Theme: 협업 (Collaboration)

포함된 학습 요소 (Element for inclusion):

• C1 데이터 과학자(data scientists) 등 보건의료 분야의 AI 관련 동료들과 긍정적인 관계를 형성하고 유지하기 위한 전략을 개발한다.
• C2 의사, 기타 의료 제공자, 데이터 과학자 간의 역할을 구분하여, 명확한 의사소통을 촉진한다.
• C3 환자 중심 진료(patient-centered care)를 촉진하기 위해, AI 관련 사안에 초점을 맞춘 동료들과의 공동 의사결정(shared decision-making)에 참여한다.
• C4 AI가 적용된 의료 환경에서 자신의 역할과 한계를 성찰하고, 윤리적 고려사항과 잠재적 편향을 포함하여 AI 도구의 책임 있는 사용을 촉진한다.
• C5 AI 관련 역량을 최신 상태로 유지하기 위해, 교육 프로그램이나 온라인 자원 등을 통한 학습 및 자기계발(self-improvement) 기회를 식별한다.
• C6 AI에 대해 학습할 수 있는 신뢰할 수 있는 출처(예: 동료 평가된 논문, 전문가 의견, 정부 보고서 등)를 식별하고 탐색하여, 정확하고 신뢰할 수 있는 정보를 사용할 수 있도록 한다.
• C7 AI 기반 보건의료 시스템 설계 시, 환자의 요구와 가치를 반영하기 위해 환자 참여(patient inclusion)의 중요성을 설명한다.

🗣️ Theme: 의사소통 (Communication)

포함된 학습 요소:

• Cm1 AI가 도입될 때 환자와의 상호작용 방식이 어떻게 변화할지를 예측하고 대비한다.
• Cm2 의료 분야 동료들에게 AI 관련 지식과 연구 결과를 효과적으로 전달하기 위한 의사소통 전략을 개발한다.
• Cm3 환자에게 AI 관련 지식과 연구 내용을 전달하기 위한 환자 친화적인 자료를 개발한다.
• Cm4 환자 진료에서 AI 사용에 대해 논의할 때, 환자의 신뢰와 자율성을 증진시키는 환자 중심 접근법을 포함한 공감적 의사소통 기술을 시연한다.
• Cm5 AI와 관련된 의견 충돌이나 감정적으로 격해진 대화를 효과적으로 관리하며, 갈등 완화 및 조정 기술을 활용한다.
• Cm6 AI 분석에 활용될 수 있도록 환자 및 기타 출처로부터 관련 정보를 수집하고 통합한다.
• Cm7 AI 분석 결과를 환자 진료 및 기타 보건의료 의사결정 과정에 적절히 해석하고 문서화한다.

🔧 Theme: 질 향상 (Quality Improvement)

포함된 학습 요소:

• Q1 환자 피드백을 평가하여 의료 분야에서 AI 개선이 필요한 영역을 파악한다.
• Q2 환자 피드백과 경험을 바탕으로, 의료에서 AI의 역량을 향상시키기 위한 해결책을 제안한다.
• Q3 현재 의료에서 AI가 어떻게 활용되고 있는지를 분석하여 개선이 필요한 영역을 식별한다.
• Q4 지역사회 건강 요구를 평가하고, 이를 해결하기 위해 AI를 활용한 해결책을 제안한다.
• Q5 AI 개발 및 구현 과정에 환자 피드백을 통합한다.
• Q6 사용자 중심 설계(user-centered design)의 원칙을 적용하여, AI의 사용자 경험을 향상시킨다.

❌ 제외된 학습 요소 (Table 3)

핵심 주제별로 정리된 제외 항목과 합의가 이루어진 라운드

🧠 Theme: 이론 (Theory)

• T29 중앙처리장치(CPU), 메모리, 저장장치 등을 포함한 컴퓨터의 기본 구조와 기능을 설명한다.
  → 제외 합의 라운드: 2
• T30 하드웨어 구성 요소의 종류 및 컴퓨터 작동에서의 역할을 식별한다.
  → 제외 합의 라운드: 2
• T31 컴퓨터 성능 및 응용 역량에 대한 하드웨어 사양의 영향을 평가한다.
  → 제외 합의 라운드: 2
• T32 데이터 타입, 제어 구조, 함수, 알고리즘 등을 포함한 프로그래밍의 기본 개념을 이해한다.
  → 제외 합의 라운드: 2

⚙️ Theme: 응용 (Application)

• A12 AI 모델, 도구 및 간단한 의료 응용 프로그램을 구축하기 위한 프로그래밍 개념을 적용한다.
  → 제외 합의 라운드: 2
• A13 **기계 학습 모델에서의 경사하강법(gradient descent)**을 정의한다.
  → 제외 합의 라운드: 2
• A14 **모델의 과적합(overfitting)을 줄이기 위한 정규화 기법(regularization techniques)**을 구현한다.
  → 제외 합의 라운드: 2
• A15 **딥러닝 모델에서의 역전파(backpropagation)**를 이해하고 적용한다.
  → 제외 합의 라운드: 2
• A16 커널(kernel)을 활용해 데이터를 변환하여 기계 학습 및 딥러닝 모델에 적용한다.
  → 제외 합의 라운드: 2
• A17 비지도 학습(unsupervised learning)을 위한 클러스터링(clustering) 기법을 이해하고 적용한다.
  → 제외 합의 라운드: 3
• A18 **데이터에서 이상값(outliers)을 식별하기 위한 이상 탐지 기법(anomaly detection techniques)**을 구현한다.
  → 제외 합의 라운드: 2
• A19 벡터화(vectorization) 기법을 활용하여, 파이썬(Python) 기반의 기계 학습 및 딥러닝 모델 코드를 최적화한다.
  → 제외 합의 라운드: 2
• A20 TensorFlow를 활용하여 딥러닝 모델을 구축하고 학습시킨다.
  → 제외 합의 라운드: 2

⚖️ Table 4. 합의에 도달하지 못한 학습 요소
(Learning elements for which no consensus was achieved organized by core theme)

📚 Theme: 법률 (Legal)

• L12 AI의 **지적 재산권(intellectual property)**과 관련된 핵심 쟁점들을 열거한다.
  🔹 54%가 포함에 찬성
• L13 의료 분야에서 AI 사용과 관련된 지적 재산권 이슈의 함의를 분석한다.
  🔹 69%가 포함에 찬성
• L14 AI 사용 시 저작권 문제를 보호하고 관리하기 위한 적절한 전략을 적용한다.
  🔹 54%가 포함에 찬성

🧠 Theme: 이론 (Theory)

• T33 의료 현장에서 일반적으로 사용되는 프로그래밍 언어(Python, R 등)에 대한 실습 능력을 개발한다.
  🔹 62%가 제외에 찬성
• T34 **딥러닝의 다양한 유형(convolutional neural networks, recurrent neural networks)**을 식별하고 구분한다.
  🔹 54%가 포함에 찬성
• T35 **오토인코더(autoencoders)**와 적대 신경망(generative adversarial networks, GANs) 등 딥러닝 모델의 다양한 유형을 식별하고 구분한다.
  🔹 54%가 제외에 찬성

⚙️ Theme: 응용 (Application)

• A21 AI 연구 목적을 위해 데이터를 표준화(standardize)하여 일관성과 비교 가능성을 확보한다.
  🔹 69%가 포함에 찬성
• A22 연구 목적의 AI 모델을 개발 및 구현한다.
  🔹 54%가 제외에 찬성
• A23 **적절한 기법과 알고리즘을 활용하여 AI 모델을 학습시키고, 필요에 따라 세부 조정(fine-tune)**한다.
  🔹 69%가 포함에 찬성
• A24 PCA(주성분 분석) 등 **차원 축소 기법(dimensionality reduction techniques)**을 적용하여 특성 선택과 시각화를 수행한다.
  🔹 62%가 제외에 찬성
• A25 Keras를 사용하여 딥러닝 모델을 구축하고 학습시킨다.
  🔹 69%가 제외에 찬성
• A26 모델 성능 최적화를 위해 하이퍼파라미터 튜닝(hyperparameter tuning)을 수행한다.
  🔹 62%가 제외에 찬성

📌 요약 정리 포인트:

• 법률 영역에서는 일부 항목이 **과반 찬성(50% 이상)**을 받았으나 **명확한 합의(70% 이상)**에는 도달하지 못함.
• 이론 및 응용 영역의 항목 중 일부는 기술 난이도가 높거나 의과대학 수준에서의 실용성 부족으로 인해 제외에 근접한 의견이 우세함.
• 다만 A21, A23, L13 등은 향후 포함 가능성이 높은 항목으로 주목할 수 있음.

Bridging Medicine and Society-A Call to Expand the Pipeline of Physician-Social Scientists

자연 재해든 인간의 행동이든, **보건의료 위기(health care crises)**는 오늘날 의학이 직면한 **사회적 차원(social dimensions)**을 효과적으로 다룰 수 있는 리더의 시급한 필요성을 다시금 부각시켰다. **의료 전달의 불평등(inequities in delivery)**에서부터 공공 신뢰(public trust)의 장벽에 이르기까지, 오늘날의 보건의료 문제는 단순한 의학적 혹은 과학적 전문성만으로는 충분하지 않다. **진정한 변화를 이끄는 개입(transformative interventions)**을 실현하려면, 우리는 사회적 힘(societal forces)에 대한 더 깊은 이해를 필요로 한다. 이러한 문제를 해결할 수 있는 위치에 있는 사람들이 바로 사회과학 및 인문학(Social Sciences and Humanities, SSH) 교육을 받은 **의사과학자(physician-scientists)**들이다. 이들은 임상적 통찰력과 함께 보건 정책(health policy), 경제학(economics), 인류학(anthropology), 역사(history), 역학(epidemiology), 생명윤리(bioethics) 등 다양한 학문 분야에서 얻은 독특한 시각을 결합할 수 있다. 이들은 비정부기구(NGO) 설립, 국가 및 국제 기관에서의 리더십 등 중요한 기여를 해왔음에도 불구하고, 의사과학자 집단 내에서 SSH 배경을 가진 이들은 여전히 소수에 머물러 있다.¹

**전통적인 교육 경로와 자금 지원 체계는 기초 및 중개 연구(basic and translational science)**에 우선순위를 두어 왔으며, 그 결과 SSH 배경의 MD-PhD 학생들은 제한된 훈련 기관, 부족한 자금 지원, 다양한 행정적 장벽을 스스로 극복해야 하는 상황에 처해 있다. 이처럼 제한적인 환경은 학생들이 SSH 경로를 선택하지 않도록 만드는 요인이 되며, 궁극적으로는 의학과 사회를 통합적으로 이해하고 연결할 수 있는 리더에 대한 수요를 충족시키는 데에 한계를 초래한다. 따라서 SSH 배경의 의사과학자 인재 풀(pipeline)을 확대하는 일은 매우 중요하며, 이는 의학이 오늘날의 복합적 사회 문제에 실질적으로 대응할 수 있도록 하는 기반이 된다.

미국에서의 의사과학자 양성 교육은 **1964년, 미국 국립보건원(National Institutes of Health, NIH)**의 의과학자 훈련 프로그램(Medical Scientist Training Program, MSTP) 설립으로 체계화되었다. 이 프로그램은 등록금 지원과 생활비 제공을 통해, **이중 학위 과정(dual-degree training)**을 위한 지속 가능한 모델을 만들어냈다. 그러나 이 자금 지원은 주로 기초과학 분야에 집중되어 있으며, 이는 전통적으로 **의사과학자란 ‘기초 연구와 임상 진료를 연결하는 존재’**라는 시각을 반영한 것이다.²

현재 미국에는 118개의 MD-PhD 프로그램이 존재하지만, 그 중 SSH 분야의 공식적인 훈련 기회를 제공하는 프로그램은 57개에 불과하고, 전용 트랙과 자금 지원, 전문 지도, 포괄적 교육과정을 갖춘 곳은 10개 미만이다.³ 이로 인해 많은 SSH 트랙 학생들은 MSTP 자금을 포기해야 하며, 의대와 대학원에 별도로 지원해야 하거나, 심지어 서로 다른 기관에서 교육 과정을 나눠서 수행해야 하는 상황에 놓인다. 이처럼 분절된 교육 인프라는 접근성과 지원의 불균형을 지속시키며, 학생들이 SSH 경로에 진입하는 것을 어렵게 만든다.

SSH(사회과학 및 인문학) 배경의 의사과학자들은 훈련 과정에서 고유한 도전 과제에 직면한다. 이들의 연구는 다학제적(interdisciplinary) 성격을 지니기에, 학문 간 장벽을 넘어서야 하며, 때로는 대륙을 넘어 협력해야 하기도 한다. 또한 **연구 일정이 일반적인 MD-PhD 훈련과정의 체계적 진도(progression)**와 잘 맞지 않는 경우도 많다. **전담 멘토링(mentorship)**과 **제도적 지원(institutional support)**이 부족할 경우, 이 학생들은 고립감을 느끼거나, 기초과학 중심으로 설계된 시스템 안에서 연구가 제약받을 위험에 처하게 된다. 오늘날 SSH 배경의 의사과학자들이 이런 장벽을 돌파할 수 있었던 것은, 스스로 동기를 부여하고(proactive), 자기주도적으로 노력했기 때문이다.

이들은 **보건의료 문제를 효과적으로 해결한 실적(track record)**을 통해 존재감을 입증해 왔다.¹ 예컨대, 민족지학적(ethnographic) 및 역사적(historical) 연구는 문화적으로 민감한, 그래서 더 효과적인 진료를 가능하게 하고,
**경제학적 분석(economic analysis)**과 **윤리 분석(ethics analysis)**은 공공보건을 개선하기 위한 **자원 배분(resource allocation)**의 방향을 제시한다.⁴⁻⁷ 이러한 **양방향 시너지(bidirectional synergies)**는 **환자 결과(patient outcomes)**를 향상시키고, **기초연구에서 개발된 신약 및 치료법의 임상 적용(implementation)**을 촉진하는 데 기여한다.

SSH 의사과학자들은 HIV/AIDS 팬데믹에 대한 세계적 대응에서 핵심적인 역할을 수행하며, **의약품과 치료를 자원이 부족한 지역의 환자들에게 연결(linking medications and care)**했다.⁸ 또한 **COVID-19 팬데믹 시기에도 핵심 대응자(key responders)**로 활동했으며, 자원 배분, 백신 주저(vaccine hesitancy), 건강 불평등(health inequities), 정부 정책의 사회경제적 영향을 주도적으로 다뤘다.⁹ 

이들의 활동은 감염병에 국한되지 않는다. 정신건강(mental health), 약물 사용(substance use), 의료 접근성(access to care), 병원 운영(hospital management), 건강보험(insurance coverage) 등 복잡하고 구조적인 문제들을 다루는 데에도 깊이 관여해 왔다. 학계와 대중(public audiences) 간의 다리를 놓는 이들의 기여는 절대적으로 중요하며, 이는 위기를 극복하고 해법을 제시할 수 있는 SSH 의사과학자 인력의 지속적인 공급 필요성을 강력히 뒷받침한다.

SSH 의사과학자의 인재 풀(pipeline)을 확장하기 위해서는 다층적(multilevel) 조정과 전략이 필요하다. 우리가 소속된 MD-PhD 프로그램과 그 밖의 성공적인 사례들에서 얻은 교훈을 바탕으로, 다음과 같은 기관 차원 및 국가 차원의 실행 방안을 제안하고자 한다.

📚 프로그램 차원의 실행 방안 (Program-Level Actions)

첫째, SSH(사회과학 및 인문학) 인재 육성의 성공을 위해서는 MD-PhD 프로그램 자체가 SSH 훈련에 대한 명확한 의지를 가지고, 이를 지지할 핵심 인사들을 식별하는 것이 필요하다. 의대와 대학원 양측에 걸친 MD-PhD 프로그램 리더십의 확고한 의지와, SSH 훈련을 받은 교수진의 옹호 활동은 의학·SSH 이중 훈련(dual medical/SSH training)에 대한 이해와 지원을 이끌어내는 데 필수적이다. 사실, 미국 내 30개 대형 MD-PhD 프로그램의 소속 기관들은 대부분 경제학, 보건 정책, 인류학, 과학사(history of science) 등 핵심 SSH 분야의 대학원 학과를 이미 보유하고 있으며, 이는 SSH 기반 의사과학자 훈련을 확대할 수 있는 학문적 기반이 갖추어져 있음을 의미한다.

둘째, SSH 훈련은 기존 MD-PhD 프로그램과 별개 트랙이 되어서는 안 되며, MD-PhD 교육과정에 통합되어야 한다. SSH 교수진과 연구, 관점을 핵심 커리큘럼 및 공식 프로그램 안에 통합하는 것은 모든 학생에게 이로운 **다학제적 담론(interdisciplinary discourse)**을 촉진할 수 있다. 또한 네트워킹 행사나 포용적인 소셜 활동 등을 통해 **SSH 학생들의 소속감(sense of belonging)**을 강화할 수 있다. SSH 연구는 현장조사(field research) 등을 위한 장기 출장이나 유연한 일정 조정이 필요한 경우가 많기 때문에, 프로그램은 교육 기간에 유연성을 제공할 수 있어야 한다.

셋째, SSH 학생들을 위한 입학 절차를 간소화하면, 행정적 장벽으로 인해 SSH 지원자들이 과도한 불이익을 받는 구조를 개선할 수 있다. 이들은 종종 의대와 대학원에 각각 따로 지원서를 제출해야 하는 이중 절차를 거치게 되는데, 이를 단순화하고, 입학 사정위원회가 SSH 지원자의 고유한 자질과 가능성을 이해하도록 교육하는 것이 중요하다. 예를 들어, 하버드/MIT MD-PhD 프로그램은 이러한 변화를 통해 지원자 수가 눈에 띄게 증가했고, 지난 10년간 SSH 전공자의 규모가 두 배로 늘어났다.

넷째, 특히 MD-PhD 프로그램이 없는 대학의 학부생들을 대상으로 한 아웃리치 활동은 지원자 풀을 넓히는 데 있어 필수적이며, 이는 NIH가 MSTP(Medical Scientist Training Program) 훈련의 우선 과제로 인정한 바 있다.¹⁰ 여름방학 동안 운영되는 학부생 연구 프로그램은 SSH 기반 이중 학위 경로에 대한 조기 노출 기회로 이상적이다. 또한 MD-PhD 리크루팅 행사에 SSH 학생을 포함시키는 것도 인지도와 관심을 높이는 데 효과적이다.

다섯째, 의학과 시너지를 이루는 SSH 분야에 대한 훈련을 적극 장려해야 한다. 초기 SSH 훈련생들은 현재 **영향력 있는 의사-사회과학자(physician–social scientists)**가 되었으며, 이들은 인류학, 역사, 경제학, 보건 정책, 역학(epidemiology) 분야에서 스스로 길을 개척했다. 최근에는 이 흐름이 교육학, 종교학, 영문학(English) 등의 분야로 확장되었으며, 이는 의료의 변화하는 요구를 충족시키는 데 도움이 되는 독창적인 도구와 시각을 제공한다. 앞으로 미디어 및 커뮤니케이션(media and communications), 영양학(nutrition), 환경보건(environmental health) 등도 의료와 시너지를 낼 수 있는 유망한 SSH 연구 분야로 고려될 수 있다.

여섯째, 기금 재단, 기부자, 민간 부문과의 연계를 확대해야 한다. 하버드/MIT MD-PhD 프로그램의 초기 SSH 훈련생들은 **맥아더 재단(MacArthur Foundation)**의 지원을 받았고, 그 이후에는 **대학 총장 기금(presidential funds)**과 개인 기부자들의 후원이 중요한 자금원이 되었다. 이러한 **목적성 있는 외부 자금 지원(targeted, additive funding)**은 SSH 교육의 판도를 바꾸는 데 큰 역할을 한다. 특히 보건의료 경제학, 데이터 기반 정책, 지속가능한 보건 인력 확보가 산업의 성공과 직결되는 현실을 고려할 때, 민간 부문과의 파트너십은 더 많은 자원을 확보할 수 있는 전략적 기회가 된다.

🏛️ 국가 차원의 실행 전략 (National-Level Actions)

국가 차원에서는, NIH의 MSTP(Medical Scientist Training Program) 자금 지원이 SSH 분야로 확대되어야 한다. 현재 MSTP 자금은 기초과학(basic science) 분야에 과도하게 편중되어 있다. 미국 내 MD-PhD 교육을 주로 지원하는 기관인 National Institute of General Medical Sciences(NIGMS) 이외에도, SSH와 임무가 부합하는 다른 NIH 산하 기관들이 **분야별 MSTP 보조금(field-specific MSTP grants)**을 제공해야 한다. 예를 들어, National Institute on Aging은 경제학, 보건정책, 사회 및 행동의학(social and behavioral medicine) 훈련을 포함하는 노화 관련 연구(aging-related research) MSTP 프로그램을 성공적으로 개설한 바 있다. SSH 훈련을 위한 연방정부 및 민간 부문의 MSTP 자금 지원 확대는 지속가능한 성장 기반을 마련함과 동시에, 기초과학과 사회과학 지원자 간 **제로섬 경쟁(zero-sum game)**을 피하는 데도 기여할 것이다.

또한, SSH MD-PhD 졸업자들이 의사과학자 트랙(physician-scientist training program residency tracks)에 포함되어야 한다. SSH 전공자들의 참여를 보장하는 것은, **임상-사회과학 간 통합 역량을 갖춘 의사–사회과학자(physician–social scientists)**가 독립적 경력으로 전환되는 과정에 지속적인 지원을 제공할 수 있는 구조를 만든다. 이러한 SSH 훈련생에 대한 인정과 육성은, 기초과학 및 사회과학 모두를 전공한 MD-PhD 레지던트들의 교육 환경을 더욱 풍부하고 통합적으로 만드는 데 기여할 것이다.

🧭 결론 (Conclusions)

SSH 배경의 의사과학자 인재 풀을 확장하는 일은, 실행 가능할 뿐 아니라, 변화하는 의학의 요구에 대응하기 위해 매우 중요하다.
기초 연구(bench)에서 나온 혁신이 임상 현장(bedside)에 잘 도달하려면, 그 과정에 **사회적 고려(social considerations)**가 통합되어야 한다.

의료의 미래는 임상, 연구, 사회를 연결하는 리더들의 손에 달려 있으며, SSH 의사과학자들은 이 역할을 수행할 준비가 된 인재들이다. 하지만 그들의 잠재력은, 그에 상응하는 체계적 지원과 투자가 없이는 실현될 수 없다. 자금 지원 확대, 훈련 경로의 간소화, 포용적이고 확장적인 커뮤니티 조성을 통해, 우리는 의학이 직면한 도전과 가능성의 전 범위를 반영하고 해결할 수 있는 인재 파이프라인을 구축할 수 있다.

JAMA. 2025 Feb 27. doi: 10.1001/jama.2025.0136. Online ahead of print.

Deleting My Mother's Email Account

“이메일 계정을 영구히 삭제하시겠습니까?”

나는 **"예"**와 "아니오" 위에 커서를 올려놓고, 클릭할 준비를 한다. 커서는 컴퓨터 화면에서 깜빡이며, 한 치의 흔들림 없이 나를 바라본다. 무엇을 해야 하는지는 안다. 그러나 그것을 할 준비가 되었는지는 확신할 수 없다.

어머니께서 이야기를 반복하고 사소한 것들을 잊기 시작했을 때, 우리는 그것을 스트레스 탓으로 돌렸다. 그녀의 바쁜 일정, 정치 활동 출마, 혹은 무엇이든 간에... 단지 ‘진짜 이유’만은 아니기를 바랐다. 그러나 더는 그렇게 둘러댈 수 없는 순간이 찾아왔다. 그 뒤를 이은 것은 진료, 검사, 평가였고… 결국은 알츠하이머병(Alzheimer disease)이라는 진단이었다.¹

나는 의사의 시선으로 그것을 바라보았다. 그러나 그 시선은 개인적인 명료함도, 병의 경과를 바꿀 수 있는 힘도 주지 못했다. 나는 앞으로 벌어질 일을 알고 있다고 생각했다. 환자와 그 가족들이 이 병으로 어떤 영향을 받는지를 수없이 보아왔다. 기억이 점차 침식되고, 자율성이 사라지며, 자아라는 존재 자체가 서서히 무너져가는 과정을 말이다. 하지만 30년이 넘는 임상 경험도 내 어머니—나의 중심이자 영감이었던 그 생기 넘치고 빛났던 여성—에게서 그 과정을 지켜보는 일에 대비시키진 못했다.

어머니는 나에게 진정한 롤모델이었다. 용기를 갖고 살라는 것, 괴롭힘이나 편견, 불의에 맞서라는 것, 순간에 머물지 말고 큰 꿈을 품으라는 것, 그리고 야심찬 목표를 세우라는 것을 가르쳐주셨다. 비판적으로 사고하는 법, 연구하는 법을 알려주셨고, 언제나 가장 도전적인 일을 마주하라고 격려하셨다. 어머니는 늘 변함없는 지지자였고, **내가 어떤 이야기를 해도 판단 없이 오직 사랑으로 받아주는 ‘안식처’**였다. 그녀는 정말 대단한 분이었고, 오늘날 내가 된 사람—전문가로서도, 인간으로서도—그 모든 기반은 어머니가 마련해주신 것이다.

하지만 알츠하이머병은 지성이나 관대함에 관심이 없다.

처음엔 그녀도 자신의 어려움을 감췄다. 결단력과 자신에게 쓴 메모들로 효과적으로 보완했다. 어느 서랍 속에 숨겨진 종이에는 그녀의 필체로 단 한 줄이 적혀 있었다.

“기억, 신경과 의사.”

그녀는 알고 있었다. 하지만 행동하지 않았다. 우리가 눈치채고 개입할 때까지.

**경미한 로고페닉 실어증(logopenic aphasia)**은 점차 완전한 실어증으로 진행되었고, 감정 기복은 공격성으로, 다시 부드러운 순응으로 변했다. 시간이 흐르며 그녀는 기억을 잃고, 독립성을 잃고, 결국 그녀 자신이라는 존재의 본질을 잃었다.

나는 그 전 과정을 함께하며, 돕기 위해 애썼다. 기억 센터, 신경과 전문의, 신경심리학자, 그리고 다양한 전문가들을 찾아갔다. 광범위한 검사, 약물 치료, 상담을 받게 했다. 나는 조율하고, 지지하고, 해석하고, 모니터링하며, 안내하고, 교육했다—그러면서도 단순히 그녀의 아들로 존재하기 위해 안간힘을 썼다.

그녀의 이메일을 관리하는 일도 내 역할 중 하나였다. 처음에는 사적인 영역을 침범하는 듯한, 죄스러운 기분이 들었다. 하지만 미납 요금, 깜빡한 약속, 그녀의 상태를 모르는 친구들의 메시지가 걱정되었다. 그래서 마지못해 로그인했다. 그녀의 받은 편지함은 스팸, 청구서, 오래된 사진, 그리고 한때 생기 넘쳤던 삶의 파편들로 가득 차 있었다. 나는 그 모든 메일을 읽고, 스팸을 삭제하고, 사진을 저장하고, 중요한 것 같으면 전달했다. 그 과정은 끝이 없었고, 상실감을 불러왔지만 이상하게도 위로가 되었다. 그녀를 위해 할 수 있는, 유일하게 손에 잡히는 무언가였기 때문이다.

마침내 모든 걸 정리했다. 그런데도 나는 계속 로그인을 했다. 혹시 잊혀진 친구가 연락을 줄까 싶어서. 하지만 로그인할 때마다 그녀가 없다는 사실이 또렷하게 다가왔고, 마음은 산산이 부서졌다.

얼마 전, 어머니는 세상을 떠나셨다. 그 상실의 무게는 지금도 깊게 내리눌러 있다. 그녀—정열적이고 사랑이 넘쳤던 존재—는 이제 없다. 그러나 매일 나는 그녀의 이메일을 열고, 의미 없는 메일 하나하나에 “스팸”을 누른다. 이제 그녀의 받은 편지함은 공허한 공간이 되었다—과거에 존재했던 의미 있는 삶에 대한 조용한 증언일 뿐이다.

나는 컴퓨터 앞에 앉아 화면을 응시한다. 화면에는 다시 프롬프트가 뜬다.

“이메일 계정을 영구히 삭제하시겠습니까?”

커서는 여전히 깜빡이고, 내 손은 마우스 위에 머문다. 나는 머뭇거린다. ‘종결’이라는 무게가 나를 짓누른다. 그녀의 부재는 너무 생생하다. 눈을 감자 그녀가 떠오른다—질병으로 무너진 모습이 아니라, 나의 삶과 가치관을 형성해주고 오늘날의 나를 만든 그 어머니의 모습이.

화면은 아무 말 없이 정지되어 있다. 나는 깊이 숨을 들이쉬고, 눈을 뜬다. 화면에 떠 있는 마지막 질문을 바라본다. 손을 가다듬는다. 나는, 아직도 준비가 되었는지 모르겠다.

하지만, 나는 클릭한다.

JAMA Netw Open. 2025 Jan 2;8(1):e2453131.  doi: 10.1001/jamanetworkopen.2024.53131.

The Digital Health Competencies in Medical Education Framework: An International Consensus Statement Based on a Delphi Study

🧠 의과대학에서 디지털 헬스를 가르치려면?

— 국제 전문가들이 만든 DECODE 프레임워크 소개

요즘처럼 인공지능(AI), 원격의료(telehealth), 웨어러블 기기(wearables) 같은 기술이 급속도로 발전하면서, 의료현장도 하루가 다르게 달라지고 있어요. 그럼 의과대학생들은 이런 변화에 어떻게 대비하고 있을까요?

사실 많은 학생들과 의사들이 디지털 헬스를 활용하는 데 충분한 교육을 받지 못했다고 느끼는 게 현실이에요. 이 문제를 해결하기 위해, 전 세계의 전문가들이 모여 **DECODE 프레임워크(Digital Health Competencies in Medical Education)**라는 새로운 교육 지침을 만들었어요.

📌 DECODE 프레임워크란?

DECODE 프레임워크는 의과대학 정규교육(preregistration medical education) 단계에서 디지털 헬스에 필요한 핵심 역량을 정의한 국제적 합의문이에요. 전문가들은 이렇게 설명해요:

"This multistage international consensus process has produced a comprehensive DHC framework for preregistration medical education."
(이번 다단계 국제 합의 과정을 통해, 의과대학 정규교육을 위한 포괄적인 디지털 헬스 역량 프레임워크가 개발되었습니다.)

총 4개의 핵심 영역(domain)과 19개의 역량(competency), 그리고 178개의 학습성과(learning outcomes)를 담고 있는데요, 그중 33개는 ‘모든 학생이 반드시 알아야 할 필수 항목’이에요.

🧩 4가지 핵심 영역

DECODE 프레임워크는 다음과 같은 4가지 영역으로 구성돼 있어요:

1. 디지털 헬스에서의 전문성 (Professionalism in Digital Health)
   → 의료인이 디지털 환경에서도 윤리적·법적으로 전문성을 갖추도록 하는 내용이에요.
2. 환자 및 인구 중심 디지털 헬스 (Patient and Population Digital Health)
   → 원격의료, 디지털 치료제, 건강앱, 디지털 헬스 리터러시(health literacy) 등을 포함해요.
3. 건강정보시스템 (Health Information Systems)
   → 전자의무기록(EHR), 데이터 거버넌스, 정보 교환 시스템 등에 대해 다룹니다.
4. 건강 데이터 과학 (Health Data Science)
   → AI, 머신러닝, 정밀의료(precision medicine) 등 첨단 데이터 분석 역량을 포함해요.

🎯 왜 이게 필요할까요?

연구팀은 이렇게 말해요:

"The framework will play an enabling role in assisting individual medical institutions in developing and introducing digital health learning outcomes and appropriate learning opportunities into curricula for medical students."
(이 프레임워크는 각 의과대학이 학생들을 위한 디지털 헬스 교육성과와 교육 기회를 커리큘럼에 통합하는 데 실질적인 도움이 될 것입니다.)

특히, 디지털 헬스에 익숙하지 않은 국가나 자원 부족 환경에서도 적용할 수 있도록 필수 학습성과와 재량 학습성과를 구분해서 제시한 점이 인상 깊어요.

🚧 현실적인 고민들도 함께 담겼어요

DECODE 프레임워크는 단순히 “이렇게 가르치세요!”라고 말하는 게 아니에요.
교육과정에 어떻게 통합할지, 어떤 용어를 쓸지, 저소득국가(LMICs)에서의 교육 격차까지 꼼꼼히 고민했어요.

예를 들어 연구팀은 이렇게 말합니다:

"Several experts raised concerns on the challenges in incorporating all competencies within this framework into the existing crowded medical curricula and the potential pushback that might arise."
(이미 과밀한 교육과정에 모든 역량을 통합하려 할 때 발생할 수 있는 어려움과 반발 가능성을 우려한 전문가들도 있었습니다.)

그래서 수직 통합(vertical integration), 보완 교육(optional programs), 단계적 도입(step-by-step rollout) 같은 실행 전략도 함께 제안하고 있어요.

💬 마무리하며

디지털 기술이 의료를 바꾸고 있는 지금, 의대 교육도 함께 변화해야 하는 건 분명해요.
DECODE 프레임워크는 “무엇을 가르쳐야 할까?”라는 질문에 대한 글로벌한 답변이에요.

이제 우리에게 필요한 건, “이걸 우리 현실에 어떻게 적용할 수 있을까?”를 고민하는 일 아닐까요?

서론 (Introduction)

**디지털 헬스(Digital Health)**란 보건의료 분야에서 **더 나은 건강과 웰빙(well-being)을 증진하기 위해 정보 및 통신 기술(information and communication technologies, ICT)**을 활용하는 것을 의미한다. 디지털 헬스에는 전자건강기록(EHR, electronic health records), 임상 의사결정 지원 시스템(clinical decision support systems), 원격의료(telemedicine), 모바일 앱, 웨어러블 기기, 데이터 분석(data analytics), 그리고 점차 확대되고 있는 인공지능(artificial intelligence) 등이 포함된다.

지난 40여 년 동안 디지털 헬스의 적용은 전 세계적으로 빠르게 증가하였고, 특히 COVID-19 팬데믹 기간 동안 그 속도가 더욱 가속화되었다.¹–³ 그러나 많은 의사들은 이러한 디지털 헬스 기술을 자신의 임상 업무에 안전하고 효과적으로 활용할 준비가 부족하다고 느끼고 있다.⁴⁻⁵

예를 들어, Stanford Medicine 2020 Health Trends Report⁶에 따르면, 의사의 44%가 자신이 받은 교육이 새로운 헬스케어 기술에 대해 불충분했다고 평가하였다. 이 보고서는 다양한 국가에서 수행된 연구 결과들과도 일치하며, 그에 따르면 의과대학생과 젊은 의사들 다수가 디지털 헬스 기술 활용에 대한 자신감이 부족하며, 이 분야에 대한 교육을 받고 싶어 한다는 점이 반복적으로 나타났다.⁷–¹²

보건의료 인력에서의 디지털 헬스 역량(Digital Health Competencies, DHCs) 부족은 이 기술들이 보건의료 성과를 향상시킬 수 있는 잠재력을 충분히 실현하는 데에 걸림돌이 된다.¹³

디지털 헬스에 대한 효과적인 교육은 안전하고 효율적이며 고품질의 진료 제공을 위해 필수적이다.¹³ 영국의 Topol Review 보고서(보건의료의 디지털화에 대한 검토)¹⁴는 보건의료 인력의 디지털 리터러시(digital literacy)를 향상시키는 것이 중요하다고 강조했으며, 이는 곧 더 나은 건강 정보 관리 및 디지털 헬스케어 전환 가속화를 위한 적절한 기술, 태도, 행동 개발이 필요함을 뜻한다.¹⁵

**세계보건기구(WHO) 유럽 지역의 디지털 헬스 실행 계획(2023–2030)**도 이러한 권고를 반영하고 있다. 이 계획은 디지털 헬스 교육의 중요성을 부각시켰는데, 이는 WHO 회원국의 3분의 1 미만만이 디지털 헬스 교육 전략을 갖추고 있다는 점을 근거로 들고 있다.¹⁶⁻¹⁷

그러나 **대부분의 의과대학은 여전히 디지털 헬스 교육 및 훈련을 교육과정에 포함하지 않고 있다.**¹⁸⁻²⁰ 이러한 부재는 다양한 도전 과제들로 설명될 수 있다. 예를 들면,

• 이미 과밀한 의과대학 커리큘럼,
• 디지털 헬스 전문성을 갖춘 교수진 부족,
• 교육 인프라 및 기술 자원 부족,
• 디지털 헬스 자체가 빠르게 변화하고 역동적인 특성,
• 그리고 디지털 헬스 교육과정의 구체적인 내용과 교수법에 대한 명확성 부족 등이다.²¹⁻²³

일부 의과대학에서는 디지털 헬스 교육을 도입하고 있으나, **그 내용이 포괄적이지 못하고 대부분 선택과목(elective) 형태로 제공되는 경우가 많다.**¹¹,²⁴⁻²⁸ 모든 의과대학 교육과정에 디지털 헬스 교육을 통합하는 것은 명백하며 긴급한 과제이다.

**디지털 헬스 교육과 훈련은 명확히 정의된 디지털 헬스 역량(Digital Health Competencies, DHCs) 프레임워크에 기반하여 이루어져야 한다.**²⁹ 최근 몇 년 사이, 간호사(nurses),³⁰⁻³³ 의사(physicians),¹⁸,³⁴,³⁵ 보건 보조 인력(allied health professionals),³⁶ 그리고 보건정보학 전문가(health informatics specialists)²⁹,³⁷,³⁸ 등을 위한 다양한 프레임워크가 개발되어 왔다.

주목할 만한 예로는, EU와 미국의 전문가들이 2014년에 공동 개발한 Health Information Competency Framework³⁹, 그리고 국제의료정보학회(International Medical Informatics Association, IMIA)가 2000년에 발표하고 2023년에 최신 개정한 프레임워크⁴⁰⁻⁴¹가 있다. 이들 프레임워크는 **보건의료 전문가의 교육 단계(학사~박사 수준)**에 따라 **보건정보학 학습목표(health informatics learning objectives)**를 제시하고 있다.⁴¹⁻⁴²

이러한 프레임워크는 분명 유용하지만, 전통적인 생물의학정보학(biomedical informatics) 역량에 주로 초점을 맞추고 있으며, 디지털 헬스의 전반적인 측면을 포괄하지는 못한다. 또한 기존 디지털 헬스 프레임워크 대부분은 고소득 국가의 간호 인력 중심으로 설계되었기 때문에, **의과대학 정규 교육과정(preregistration medical education, 학부 및 대학원 모두 포함)**이나 저소득 및 중간소득국가(LMICs)에서의 활용에는 한계가 있다.²⁹

국가별로 디지털 헬스 학습 목표를 통합한 의학교육 커리큘럼도 존재하지만,⁴³⁻⁴⁶ 그 내용은 국가마다 상이하며, 최근 새롭게 등장한 디지털 헬스 도구들—예를 들어 **증상 검사기(symptom checkers)**나 대화형 에이전트(chatbots)—는 대부분 반영되지 않고 있다.

디지털 헬스 교육의 기반을 무엇으로 정의할 것인가에 대한 연구는 여전히 진행 중이다. 최근 발표된 두 개의 디지털 헬스 프레임워크는, 의과대학생을 대상으로 각각

• **인공지능 관련 27개 핵심 역량(competencies)**⁴⁷,
• **40개 디지털 헬스 주제(topics)**⁴⁸
  를 제시하였다.

그러나 이 두 프레임워크 모두 단일 국가의 전문가 집단만을 참여시켜 개발되었기 때문에, 국제적으로 널리 채택되기에는 한계가 있을 수 있다. 의사는 임상 진료에서 핵심적인 의사결정 주체 중 하나이기 때문에, 디지털 헬스 솔루션을 진료에 통합하려면 그들의 지지와 적극적인 활용이 필요하다. 의과대학생과 의사의 디지털 헬스 역량(DHCs)을 향상시키는 것은, 디지털 헬스 솔루션의 **광범위한 채택과 실사용 확대에 있어 중요한 장애물을 극복하는 데 기여할 수 있다.**¹³,²⁹

따라서, 의학교육에 적용 가능한 포괄적이고 실행 가능한 국제적 DHC 프레임워크가 시급히 요구된다. 이를 위해, 본 연구에서는 국제적 델파이(Delphi) 연구를 수행하였다. 본 연구의 목적은 다음과 같다:

→ 의학 교육과정 설계 및 개발에 활용될 수 있는, 근거 기반(evidence-informed)이며 합의에 기반한(consensus-guided), 적용 가능한 디지털 헬스 핵심 역량과 관련 학습성과 세트를 개발하는 것이다. 이는 전 세계 의과대학 커리큘럼에 적응(adaptable)될 수 있도록 설계되었다.

방법 (Methods)

의학교육에서의 디지털 헬스 역량(Digital Health Competencies in Medical Education, DECODE) 프레임워크 개발은 총 5단계의 절차를 거쳐 이루어졌다:

1. 스코핑 리뷰(scoping review) 기반의 **매핑 작업(mapping exercise)**을 통해 잠재적 역량 항목 발굴,²⁹
2. 전문가 반복 자문(iterative expert consultations) 및 초기 역량 및 학습성과 리스트의 파일럿 테스트,
3. **프레임워크 구조, 용어, 영역(domains), 역량(competencies), 학습성과(learning outcomes)**에 대한 합의를 도출하기 위한 2라운드 수정 델파이(modified Delphi) 설문조사,
4. 표현을 정제하기 위한 합의 회의(consensus meeting),
5. 후속 정성적 피드백 및 권고사항을 수렴하기 위한 후속 활동(postmeeting activities).

이 과정은 Figure에 도식화되어 있다. **수정 델파이 기법(modified Delphi method)**은 전문가 패널 간의 합의를 구축하기 위해 활용되었으며, 최종 회의에서의 토론과 상호작용이 가능하다는 점에서 적합한 방법으로 선택되었다.⁴⁹

**전문가 합의 과정(expert consensus process)**은 의학교육 및 디지털 헬스 연구 분야의 주제 전문가(subject matter experts) 그룹(J.C., Q.C.O., T.E.F., S.J.K., I.S., K.K.F.T., A.H.S., C.G.P., R.A.)이 감독하였다. 본 연구는 난양기술대학교(Nanyang Technological University)의 기관윤리심의위원회(IRB) 승인을 받았으며, **바이오의학 분야에서의 합의 방법에 대한 보고 기준인 ACCORD 가이드라인(Accurate Consensus Reporting Document)**에 따라 진행되었다. 이 가이드라인은 *수정된 델파이 방법(modified Delphi)*을 통해 개발되었다.

디지털 헬스 역량 초안 도출 (Identification of the Initial Set of Relevant DHCs)

디지털 헬스의 영역(domains), 역량(competencies), 학습성과(learning outcomes) 목록을 작성하기 위해 다단계 접근 방식이 적용되었다.

초기 리스트는 국제 의학 문헌에 대한 2020년 스코핑 리뷰 결과²⁹를 기반으로 하였으며, 이 리뷰는 다음을 분석하였다:

• 기존 보건의료 전문가 대상 DHC 프레임워크,
• 그 지리적 적용 범위(지역 조직 수준, 지역/국가/국제 수준),
• 보건의료 제공 환경(예: 급성기 진료, 응급진료, 1차 진료),
• 역량 영역의 명명법(nomenclature) (예: health information technology, telemedicine 등).

이 과정에서 총 30개의 DHC 프레임워크와 28개의 일반적인 디지털 헬스 영역이 식별되었으며, 보건 직종별로 초점이 다양하게 분포되어 있음을 확인하였다. 그중 의과대학 정규(pre-registration) 교육에 특화된 프레임워크는 단 하나였다.

핵심 연구팀은 스코핑 리뷰에서 확인된 모든 역량과 학습성과 리스트를 검토하였다.²⁹ 이후 **4명의 디지털 헬스 연구자가 사전에 정의된 선정 기준(eTable 1 in the Supplement)**에 따라 역량 항목을 선별하였다. 이 선별 과정에서 **기존 학습성과의 공백(gaps)**이 확인되었고, 이를 보완하기 위해 추가 문헌 검토 및 기존 의학교육 커리큘럼 프레임워크에 대한 분석이 수행되었다. 이를 통해 새로운 영역과 역량 항목이 추가되었고, 신규 학습성과가 수립되었다.

반복적인 내부 논의를 통해 초기 프레임워크 구조에 대한 합의에 도달하였으며, 여기에는 용어, 영역, 역량, 학습성과가 포함되었다. 이렇게 도출된 리스트는 델파이 연구 1라운드 설문조사 문항 개발에 활용되었다.

이후 **두 차례의 파일럿 테스트(pilots)**가 수행되었고, 설문지와 식별된 영역·역량·학습성과 리스트는 핵심 그룹에 배포되어 면밀한 검토를 받았다. 설문지는 명료성을 높이고 응답 편의를 고려하여 정제되었으며, 용어, 구조, 역량 항목 및 관련 학습성과는 최신 디지털 헬스 영역까지 포함되도록 수정, 재조정, 개선되었다.

델파이 조사(2단계)
(Two-Round Delphi Survey)

다양한 배경의 전문가 패널을 구성하기 위해 반복 표본추출(iterative sampling) 방식이 활용되었으며, 패널 선정 기준은 *보조자료(eAppendix 1)*에 상세히 제시되어 있다. 연구 목적 및 패널로서의 역할에 대한 자세한 설명은 서면 동의 전 온라인으로 제공되었으며, 1차 라운드 설문을 완료한 이들만 2차 라운드에 초대되었다.

델파이 1차 조사는 2022년 12월부터 2023년 4월까지 수행되었으며, 다음의 세 부분으로 구성되었다:

1. 프레임워크 구조 및 용어,
2. 디지털 헬스 영역의 관련성 평가,
3. 의학교육을 위한 DHC와 학습성과의 관련성 평가.

프레임워크의 구조 및 용어에 대한 피드백은 자유 서술형(free text)으로 수집되었으며, **영역(domains), 역량(competencies), 학습성과(learning outcomes)**의 관련성은 **Likert 척도(전적으로 동의, 동의, 반대, 전적으로 반대)**를 통해 평가되었다.

DHC 프레임워크에 항목이 포함되기 위해서는, 참여자의 70% 이상이 ‘동의’ 또는 ‘전적으로 동의’한 사전 정의된 기준을 충족해야 했다(무응답 및 기권 제외). 전문가 합의 비율은 델파이 연구에서 일반적으로 활용되는 기준이며, 다양한 연구에서는 67%~80%의 기준을 적용해왔다.⁵⁰⁻⁵³

자유 서술형 응답에 대한 정성 분석은 두 명의 검토자(O.C.O.와 T.E.F.)가 독립적으로 수행하였고, 의견 차이는 세 번째 검토자(J.C.)와의 논의를 통해 조율되었다. 제안들은 **공통 주제별로 범주화 및 종합(synthesized)**되었다.

델파이 2차 조사는 2023년 6월부터 7월 사이에 실시되었으며, 1차 설문 피드백에 기반한 변경사항에 대해 전문가들이 동의 여부를 평가하였다. 1차 조사에서 수집된 자유 서술형 응답 분석 결과, 교육과정 차별화 및 정의를 돕기 위해 학습성과를 분류하자는 제안이 도출되었다. 이에 따라, 전문가들에게 각 학습성과가 필수(mandatory), 선택(elective), 보완(supplementary) 중 어느 범주에 속하는지를 묻는 항목이 추가되었다.

• 필수 학습성과: 모든 의과대학생에게 반드시 필요한 항목.
• 선택 학습성과: 중요하지만 전원에게 적용되지는 않는 항목.
• 보완 학습성과: 특정 문맥에 따라 추가적으로 요구되는 지식, 기술, 행동.

또한, 1차 라운드 참여자들이 제안한 신규 역량 및 학습성과에 대해 그 관련성을 평가하는 설문 항목도 포함되었다.

참여자 모집 및 델파이 조사 2단계 전체 과정은 보조자료(eMethods)에 기술되어 있다.

합의 회의 및 후속 활동
(Consensus Meeting and Postmeeting Activities)

2023년 9월, 온라인으로 합의 회의(consensus meeting)가 개최되었으며, **1~2차 델파이 조사에 모두 참여한 12명의 전문가(총 16명 초대 중)**와 **핵심 그룹 소속 2명(회의 주재자 및 기록자)**이 참석하였다. 이들은 의학교육 내 다양한 역할, 의학 전문 분야, 전 세계 지역을 대표하도록 구성되었다. 불참한 한 명의 패널은 상세한 서면 피드백을 제출하였으며, 이는 회의에서 함께 고려되었다.

원활한 논의를 위해 회의 전 모든 패널에게 합의 회의 안건 및 수정된 DHC 프레임워크 초안이 사전 배포되었다. 회의에서는 조사 결과가 발표된 후, 패널들이 각 역량 및 학습성과의 포함 여부, 표현 방식, 용어의 적절성 등에 대해 집중 토의하였다. 특히 60.0%~69.9%의 경계 수준 동의율을 보인 항목은 별도로 강조되어 논의되었으며, *합의(consensus)*는 논의를 통해 도출되었다.

수정된 문서는 최종 합의된 영역, 역량, 학습성과를 포함하고 있으며, 모든 패널에게 공유되어 문안 수정(minor wording changes) 및 최종 확인을 받았다. 이 과정을 통해, 문서가 합의 회의에서 이루어진 결정 사항을 정확하게 반영하는지 확인하고자 하였다.

또한, 합의 회의에 참석하지 않았더라도 델파이 설문 1·2차를 모두 완료한 모든 참여자에게 최종 문서가 공유되었으며,

• 정성적 피드백 수렴,
• 각자의 의과대학에서 해당 프레임워크를 실제로 구현하고자 하는 의향 확인 등의 후속 활동이 함께 이루어졌다.

결과 (Results)

델파이 조사 및 합의 회의
(Delphi Survey and Consensus Meeting)

1차 델파이 조사에는 총 211명이 참여했으며, 2차 조사에는 **149명(1차 참여자의 70.6%)**이 참여하였다.
1차 조사는 79개국 및 지역, 2차 조사는 68개국에서 응답이 있었으며, WHO의 6개 모든 지역과 세계은행(World Bank)의 4개 국가소득 분류군이 모두 대표되었다(eFigure 참조).

1·2차 모두 참여한 149명 중,

• **63명(42.6%)**은 고소득국(high-income countries),
• **19명(12.8%)**은 저소득국(low-income countries) 기반이었다(세계은행 기준).⁵⁴

전체 참가자 중 약 **3분의 2(91명, 61.1%)**는 자신의 주된 전문 분야를 *임상의학(clinical medicine)*이라고 보고하였다.
또한,

• 대다수(125명, 83.9%)는 교수 역할,
• 109명(73.2%)은 연구자 역할,
• 76명(51.0%)은 임상 역할을 동시에 수행 중이라고 응답하였다.

참가자의 대부분(140명, 94.0%)은 대학 소속이었고, 그 중 **83명(55.7%)**은 *임상 환경(clinical setting)*에서도 근무하고 있었다. 또한 **약 3분의 1(47명, 31.5%)**은 총장, 학장, 병원 최고 책임자 등 기관의 리더십 직책을 맡고 있다고 보고하였다. 각 라운드별 참가자 특성은 Table 1에 제시되어 있다.

초기에는 **4개 영역(domains), 18개 역량(competencies), 189개 학습성과(learning outcomes)**가 제안되었으며,
1차 조사 후 70% 이상 합의 기준을 충족한 항목은

• 4개 영역,
• 18개 역량,
• 177개 학습성과였고, 이는 2차 라운드로 이월되었다(Figure 참조).
  사전 합의 기준에 도달하지 못한 12개 학습성과는 제거되었다.

또한, **총 446개의 자유 서술형 제안(free-text suggestions)**이 수집되었으며, 그 내용은 프레임워크 구조, 역량 설명, 학습성과 표현, 중복 항목 및 신규 제안에 관한 것이었다.
정성 분석 후 다음과 같은 수정이 이루어졌다:

• 1개 역량 및 이와 관련된 7개 학습성과 삭제,
• 16개 학습성과 통합 → 8개로 재구성,
• 64개 학습성과 문구 수정,
• 신규 2개 역량 및 19개 학습성과 추가.

2차 라운드에서는 새로 추가된 모든 항목이 70% 이상 합의를 획득하여 프레임워크에 포함되었다.
1차에서 유지된 162개 학습성과 새롭게 추가된 19개 학습성과 관련해,

• 30개 항목은 ‘필수(mandatory)’ 범주에서 70% 이상 합의를 얻었으나,
• 나머지 151개는 어느 범주(필수/선택/보완)에서도 70% 이상 합의를 얻지 못했다.

이 151개 학습성과는 ‘재량(discretionary)’ 항목으로 분류되었다.
2차 조사에서 수집된 169개 자유 서술형 제안에 기반하여,

• 14개 학습성과 문구 수정,
• 6개 학습성과 통합 → 3개로 조정되었다.

2차 라운드 학습성과 범주화 결과:

• 필수(mandatory): 30개,
• 재량(discretionary): 148개

합의 회의에서는 합의율이 경계선에 있는(60.0%~69.9%) 4개 재량 항목을 필수로,
반대로 필수 항목 중 합의율이 낮은(70.0%~79.9%) 1개 항목을 재량으로 재분류하였다.

합의 회의 이후, 프레임워크를 수신한 58명이 정성적 피드백을 제공하였고,
그 중

• 29명(50.0%)은 자신들의 의과대학에서 DECODE 프레임워크 채택 의향을 표명,
• 6명(10.3%)은 조건부 채택 고려,
• 7명(12.1%)은 추가 논의 필요,
• 6명(10.3%)은 도입에 장벽이 있거나 비확정적 입장,
• 10명(17.2%)은 직접적인 응답 없음.

2단계 수정 델파이 조사 결과는 Figure,
각 라운드별 상세 결과는 eTable 2 및 eTable 3에 정리되어 있다.

최종 DECODE 프레임워크
(Final DECODE Framework)

DECODE 프레임워크는 3단계 위계 구조로 구성되어 있다: 영역(domain), 역량(competency), 학습성과(learning outcome).

• 역량은 **특정 지식, 기술, 행동을 필요로 하는 하나 이상의 능력을 설명하는 진술(statement)**이며,
• 학습성과는 교육 프로그램을 통해 달성하려는 최종 학습자의 성취 지점으로 정의된다.⁵⁶⁻⁵⁸

델파이 2단계 조사와 합의 회의를 거쳐, 최종 프레임워크에는

• 4개 영역,
• 19개 역량,
• 33개 필수 학습성과,
• 145개 재량 학습성과가 포함되었다(eAppendix 2 참조).

4개 영역은 다음과 같다(Box 참조):

1. 디지털 헬스에서의 전문성(Professionalism in Digital Health)
2. 환자 및 인구 건강(Patient and Population Digital Health)
3. 건강정보시스템(Health Information Systems)
4. 건강 데이터 과학(Health Data Science)

각 역량에는 설명과 학습성과 세트가 함께 제시되며, 이 중 일부는 필수, 일부는 재량으로 구분된다.
전체 178개 학습성과는 다음과 같이 분류되었다:

• 지식 중심(knowledge): 119개 (66.8%),
• 기술 중심(skill): 35개 (19.7%),
• 행동 중심(behavior): 24개 (13.5%).

또한, 19개 역량 중 13개는 필수 및 재량 학습성과를 모두 포함하며,
6개 역량은 재량 학습성과만 포함하고 있다.

의학교육자를 위한 추가 고려사항
(Additional Considerations for Medical Educators)

델파이 조사와 합의 회의 과정에서 여러 논쟁 지점이 등장하였다. 이러한 논의는, 의과대학에서 디지털 헬스 교육과정을 개발하거나 실행하려는 교육자와 보건의료 관계자들이 반드시 고려해야 할 핵심 주제들을 시사한다. 주요 논의 주제는 다음과 같다:

• 용어의 다양성(variations in nomenclature),
• 디지털 헬스의 고유성(distinctiveness),
• 디지털 헬스 리터러시(digital health literacy) 개념,
• 교육과정 내 시간 및 구조적 여유(curriculum space and implementation),
• 재량 학습성과(discretionary learning outcomes)의 포함 여부,
• 디지털 헬스 교육에서의 사회경제적 불평등(socioeconomic inequities)

이러한 항목들은 Table 3에 정리되어 있으며, 관련 참고자료는 보조자료 eAppendix 3에서 확인할 수 있다.⁵⁹⁻⁷⁵

논의 (Discussion)

DECODE 프레임워크는 체계적이고 다단계의 국제적 합의 과정을 통해 개발된 결과물이다. 본 프레임워크는 다음 다섯 가지 기반 위에서 설계되었다:

1. 스코핑 리뷰(scoping review) 결과²⁹,
2. 전문가 자문,
3. 2단계 델파이 설문조사,
4. 합의 회의,
5. 회의 이후 수렴된 정성적 피드백.

합의 과정에는 다양한 전문 배경, 의학교육 내 리더십 역할, 그리고 전 세계 여러 국가를 대표하는 전문가들이 참여함으로써, 프레임워크의 국제적 적용 가능성과 적절성을 높였다. 최종 DECODE 프레임워크는 4개 영역, 19개 역량, 33개의 필수 학습성과 145개의 재량 학습성과로 구성되어 있으며, 세계 각국 및 지역의 상황과 필요에 맞추어 각 의학교육 기관이 자율적으로 디지털 헬스 커리큘럼을 조정하고 적용할 수 있도록 설계되었다. 우리의 지식으로는, 이 프레임워크는 디지털 헬스 의학교육 커리큘럼을 전 세계적 규모에서 체계적으로 개발한 최초의 시도이다.

이 연구의 중요한 강점 중 하나는, 델파이 조사 이전 단계에서 스코핑 리뷰를 통해 초기 역량과 학습성과 리스트를 체계적으로 도출했다는 점이다.²⁹ 또한, 전문가 패널에 저소득 및 중하소득 국가의 전문가들이 포함되어 있었다는 점도 매우 의미 있는 성과이다. 이들 국가에서는 미래 의사의 디지털 헬스 훈련에 대한 우선순위가 다를 수 있기 때문에, 그들의 참여는 프레임워크의 적용 가능성을 확장시켰으며, **디지털 헬스 형평성(digital health equity)**을 역량 항목에 반영하자는 제안(예: digital determinants of health)을 도출하는 데 중요한 기여를 하였다.

또한, 델파이 참여자 중 기관 리더십 역할을 수행하는 인물들이 다수 포함되어 있었던 점은, 본 프레임워크가 전략적 통찰을 반영하고, 교육 및 조직적 요구에 부합하도록 구성되는 데 크게 기여했으며, 각 기관에서의 실제 채택 가능성을 높이는 요인이 될 수 있다.

그러나 보편적 디지털 헬스 역량 프레임워크(DHC framework)의 채택에는 여전히 여러 장벽이 존재한다.
본 연구팀은 다음과 같은 장벽 범주를 확인하였다:

• 지역 간 이질성(geographic heterogeneity),
• 지역 및 동일 지역 내 기관 간 자원 격차,
• 기관 내부의 고유한 요구(needs),
• 교육과정의 제로섬 특성(즉, 새로운 내용을 넣으려면 기존 내용을 줄여야 하는 구조)

이러한 문제들은 앞으로의 후속 연구에서 **실행 가능한 적용 전략(pragmatic approaches to adoption)**을 개발하며 지속적으로 탐색될 예정이다. 이에는 다음과 같은 내용이 포함될 수 있다:

• 프레임워크 구현 가이드(예: WHO Patient Safety Curriculum Guide와 유사하게, 각 영역과 역량에 대한 교육방법 명시),
• 평가 방법 개발,
• 각 학교에서 활용 가능한 주기적 업데이트형 핵심 커리큘럼 콘텐츠.

또한, 이 프레임워크의 실제 구현과, 학생 역량 및 환자 진료 결과에 미치는 영향을 평가하기 위한 평가 프레임워크의 개발도 필요하며, 이는 장기적으로 DECODE 역량들의 정교화 및 검증에 기여할 수 있다. 현재는 표준화된 국가 면허시험에 포함되어 있지 않은 디지털 헬스 역량들도, 앞으로는 **시험에 반영되고 평가될 필요가 있다.**⁷⁷⁻⁷⁸

한계 (Limitations)

본 연구에는 몇 가지 한계가 존재한다.
첫째, 본 연구가 기반하고 있는 예비 스코핑 리뷰는 오직 영어로 출판된 문헌만을 포함하였다.²⁹
둘째, 연구팀의 언어적 제약과, 의학 출판물에서 영어가 주로 사용되는 언어라는 점에 따라 전체 연구가 영어로 진행되었으며, 이는 영어 사용자만 연구 참여가 가능하도록 제한하였다.

셋째, 설문조사에서 리커트 척도(Likert scale)에 중립 항목이 포함되지 않았기 때문에, 응답자들이 애매한 입장임에도 불구하고 긍정 또는 부정 중 하나를 강제로 선택하게 되는 경향이 있었으며, **이에 따른 응답 편향(response bias)**이 발생했을 가능성이 있다.

넷째, 모든 델파이 접근법과 마찬가지로, 본 연구 또한 **의도적 표집(purposive sampling)에 따른 선택 편향(selection bias)**과 같은 잠재적 편향에 노출될 수 있다.
연구팀은 지리적 및 분야적 다양성을 확보한 대규모 전문가 패널을 구성하기 위해 다중 방법 표집(multimethod sampling approach)을 적용하여 표집 편향을 최소화하고자 했으나, 그럼에도 모든 국가의 구체적인 맥락과 요구를 완전히 반영하지는 못했을 수 있다.

또한, 델파이 접근법에 대한 또 다른 비판점은, 전문가들이 사전 결정된 항목 리스트에 대해서만 투표하도록 제한될 수 있다는 점이다.
연구팀은 이를 방지하기 위해 **초기 작업(스코핑 리뷰, 반복된 전문가 자문, 파일럿 테스트)**을 통해 가능한 많은 항목을 식별하려 노력하였으나, 항목 리스트의 완전성을 보장할 수는 없었다.
이에 대한 보완책으로, 설문조사에서 자유 서술형 응답(free-text responses)을 허용하여 전문가들이 추가 항목을 제안할 수 있도록 하였고, 이 방식은 실질적으로 매우 유용한 결과를 제공하였다.

결론 (Conclusions)

이번 다단계 국제 합의 과정을 통해, 의과대학 정규 교육(preregistration medical education)을 위한 포괄적인 디지털 헬스 역량(DHC) 프레임워크가 개발되었다. 이 프레임워크는 개별 의과대학이 자국의 필요와 맥락에 맞추어, 디지털 헬스 학습성과와 적절한 교육 기회를 커리큘럼에 포함시키는 데 있어 실질적인 도움을 줄 수 있다. 각국의 특정한 요구와 상황에 유연하게 적응할 수 있도록 설계된 이 접근법은, 교육과정 설계에 있어 적절성과 유연성을 동시에 보장한다. 국제적 전문가 패널로 구성된 델파이 그룹은, 디지털 헬스 기술과 디지털 헬스 형평성에 대한 균형 잡힌 시각을 제공하였으며, 이에 따라 학습성과를 필수(mandatory)와 재량(discretionary) 범주로 구분하여 다양한 교육 환경에서의 적용 가능성을 높였다.

이 프레임워크를 실행하는 데 있어, 단일 학과 내 또는 학과 간(interdisciplinary) 협력 체계를 갖추는 것이 권장된다. 이 프레임워크가 교육과정 설계에 통합된다면, 미래의 의사들이 디지털로 전환되는 보건의료 환경에 보다 잘 대비할 수 있도록 도와줄 것이다. 이 프레임워크를 기반으로 설계되는 교육과정은, 학업 연차 전반에 걸쳐 통합된 방식으로 가르쳐질 것으로 예상된다. 또한, 간호사, 조산사, 치료사, 보건기술자, 보건관리자 등 타 보건의료 전문가들을 위한 유사한 국제 협력 기반의 프레임워크 개발도 매우 중요하며, 본 연구진은 향후 이러한 작업에 기여할 계획이다.

후속 연구에서는, 이 프레임워크에 기반한 교육 자료를 공공재로 널리 보급하는 데 주력할 것이다. 또한, 디지털 헬스의 최신 발전과 과학적 근거의 진전을 반영하기 위해, 이 프레임워크는 향후 지속적인 검토 및 업데이트가 필요할 것이다.

📦 박스. 의학교육에서의 디지털 헬스 역량(DECODE) 프레임워크 내 정의, 영역, 역량 목록

🔹 정의 (Definitions)

• 역량(Competency): 특정 지식, 기술, 행동을 필요로 하는 하나 또는 여러 능력을 설명하는 진술(statement).⁵⁶⁻⁵⁷
• 학습성과(Learning Outcome, LO): 교육 프로그램을 통해 학습자가 달성해야 할 종합적인 목표 지점.⁵⁶⁻⁵⁸

🔹 영역 및 역량 (Domains and Competencies)

🟩 영역 1: 디지털 헬스에서의 전문성 (Professionalism in Digital Health)

1.1 디지털 헬스에서의 전문성, 윤리, 법적 및 규제 고려사항 (9개 학습성과)
의과대학 졸업생은 건강 정보를 다룰 때, 전문성·윤리·법적·규제 기준을 준수할 수 있어야 한다.

1.2 디지털 정체성, 안전, 보안 (8개 학습성과)
졸업생은 전문적 디지털 정체성을 적절히 유지하고, 디지털 인텔리전스(digital intelligence) 개념을 보건의료에 적용하며, 사이버 리스크와 위협에 있어 자신의 책임과 역할을 인식할 수 있어야 한다.

🟨 영역 2: 환자 및 인구 건강을 위한 디지털 헬스 (Patient and Population Digital Health)

2.1 디지털 헬스 리터러시 (7개 학습성과)
졸업생은 인구 집단의 디지털 헬스 리터러시 수준과 관련된 건강 불평등의 중요성을 인식해야 한다.

2.2 개인 건강 기록(PHR) (6개 학습성과)
졸업생은 환자 중심 진료에서 개인 건강 기록의 역할을 이해할 수 있어야 한다.

2.3 원격의료(Telehealth) (12개 학습성과)
졸업생은 원격의료의 범위, 가능성, 한계를 인식하고, **비대면 상담 기술(remote consulting skills)**을 갖추어야 한다.

2.4 디지털 진단(Digital Diagnostics) (15개 학습성과)
졸업생은 디지털 진단 도구의 기능과 한계를 파악하고, 해당 진료 분야에 적절한 방식으로 활용할 수 있어야 한다.

2.5 센서, 웨어러블, 의료 사물인터넷(IoMT) (9개 학습성과)
졸업생은 환자 진료에서 웨어러블 및 의료용 IoT의 적용 범위와 한계를 이해해야 한다.

2.6 건강 앱 및 디지털 치료제(Digital Therapeutics) (8개 학습성과)
졸업생은 건강 관련 앱과 디지털 치료제의 개념과 적용에 대한 지식을 갖추어야 한다.

2.7 인터넷 기반 건강 중재(Interventions) (6개 학습성과)
졸업생은 인터넷 기반 건강 개입의 설계 유형과 임상 적용 영역을 설명할 수 있어야 한다.

2.8 디지털 건강 결정요인(Digital Determinants of Health) (8개 학습성과)
졸업생은 다양한 디지털 건강 결정요인을 설명하고, 디지털 헬스 형평성에 미치는 영향을 인식해야 한다.

🟦 영역 3: 건강정보시스템 (Health Information Systems)

3.1 데이터 거버넌스 및 데이터 관리 (13개 학습성과)
졸업생은 해당 보건의료 시스템의 데이터 거버넌스 기준에 따라 건강 데이터를 효과적으로 관리할 수 있어야 한다.

3.2 건강정보시스템의 기초 및 원칙 (8개 학습성과)
졸업생은 **건강정보시스템(HIS)**을 활용하여 건강 데이터를 안전하고 효율적으로 운영 및 관리할 수 있어야 한다.

3.3 전자건강기록(EHR) (19개 학습성과)
졸업생은 자신의 진료 분야와 지역에 맞게 전자건강기록, 전자처방, 관련 임상 소프트웨어를 적절하게 사용할 수 있어야 한다.

3.4 건강정보 교환(HIE) (5개 학습성과)
졸업생은 환자 및 인구 중심의 안전하고 효과적인 진료를 위해 **전자 건강정보를 교환(operate electronic health information exchange)**할 수 있어야 한다.

3.5 디지털 헬스의 인간 중심 설계(Human-Centered Design) (6개 학습성과)
졸업생은 환자와 보건 전문가를 위한 디지털 헬스 솔루션을 설계하거나 평가할 때, 인간 중심 설계 및 시스템 사고(system thinking)를 적용할 수 있어야 한다.

🟥 영역 4: 건강 데이터 과학 (Health Data Science)

4.1 공중보건 정보학(Public Health Informatics) (11개 학습성과)
졸업생은 공중보건 분야에서 정보학이 어떻게 적용되는지를 설명할 수 있어야 한다.

4.2 의료에서의 인공지능(AI) (19개 학습성과)
졸업생은 데이터 분석, 인공지능, 머신러닝이 보건의료에 적용되는 범위를 이해하고, 이러한 기술들이 환자, 인구, 보건시스템 성과 향상에 어떻게 기여할 수 있는지 설명할 수 있어야 한다.

4.3 의료에서의 계산적 사고(Computational Thinking) (4개 학습성과)
졸업생은 계산적 사고의 원리를 의학에 적용할 수 있어야 한다.

4.4 정밀의료(Precision Medicine) (5개 학습성과)
졸업생은 정밀의료의 개념과 디지털 헬스와의 교차점, 그리고 공중보건 및 개인 건강에서의 응용 가능성과 관련성을 설명할 수 있어야 한다.

🔹 1. 디지털 헬스에서의 전문성 (Professionalism in Digital Health)

• 중요성(Importance): 보건의료에서 디지털 기술의 사용은 전문성, 법적, 윤리적 측면에서 중대한 함의를 가지며, 높은 수준의 의료 전문성을 요구한다.
• 설명(Description): 이 영역은 디지털 헬스에서의 전문성과 관련된 주제들을 포함하며, 이는 보건 전문가들이 디지털 기술을 사용할 때 적절한 전문적 행동을 이해하고, 개발하며, 이를 실천하는 능력을 의미한다. 이 영역의 학습을 통해 의과대학 졸업생들은 사이버 보안(cybersecurity), 윤리, 법률, 규제 지침에 대한 인식을 갖춘 유능하고 책임 있는 디지털 헬스 사용자로 성장할 수 있다. 또한, **디지털 인텔리전스(digital intelligence)**를 실천하며, 환자 데이터를 침해하지 않고 일상 진료에 기술을 통합하는 능력을 배양할 수 있다.

🔹 2. 환자 및 인구 건강을 위한 디지털 헬스 (Patient and Population Digital Health)

• 중요성(Importance): 인터넷, 모바일, 웨어러블 기술의 광범위한 보급은 환자와 일반인을 보건의료의 적극적인 참여자로 변화시키고 있다. 이들은 단순한 수동적 수혜자가 아니라 **자신의 건강에 대한 선택을 직접 수행하는 ‘디지털 헬스 소비자’**로 자리매김하고 있다. 이러한 변화는 **환자 중심 진료(person-centered care)**를 가능하게 하며, 이를 위한 전제조건으로는 의료정보에 대한 환자 중심 접근, 디지털 헬스 리터러시 증진, 환자 교육이 포함된다.
• 설명(Description): 이 영역은 의대생들이 다음과 같은 기술과 지식을 습득할 수 있도록 교육하는 데 초점을 둔다: 원격의료(telehealth), 건강 앱, 디지털 치료제, 웨어러블, 센서, 원격 모니터링, 현장 진단(point-of-care) 및 자가검사(self-testing). 학생들은 이와 같은 도구들을 활용해 환자와 소통하고, 상담하며, 진료를 제공하고, 자가 관리(self-management)를 유도할 수 있어야 한다. 또한, 디지털 헬스 환경에서 수집되는 데이터의 유형과 임상적 의사결정에의 활용을 이해하고, 디지털 헬스 형평성과 결정 요인을 인식하도록 교육된다.

🔹 3. 건강정보시스템 (Health Information Systems)

• 중요성(Importance): 의사를 포함한 보건의료 전문가들은 건강 데이터를 수집, 저장, 모니터링, 접근, 공유하는 데 있어 핵심적인 이해관계자이다. 정확하고 안전한 데이터 처리는 단순한 품질의 문제를 넘어, 환자 안전의 핵심 요건이 된다. 또한, 임상 의사결정 지원 시스템, 전자 처방, 전산화된 문서 작성 도구 등은 건강정보시스템에 내재된 핵심 기술로, 기존 데이터를 활용하고 자동화와 의사결정 지원을 통해 진료의 질을 향상시킬 수 있다.
• 설명(Description): 이 영역의 역량은 의대생들이 **건강정보시스템(HIS) 및 건강정보 교환 시스템(HIE)**을 효율적이고 안전하게 사용할 수 있도록 준비시키는 것을 목표로 한다. 데이터 거버넌스 정책에 부합하는 시스템 개발 및 운용에 대한 이해, **임상 문서화(clinical documentation) 및 전자 처방 시스템(e-prescribing)**에 대한 실습 기반 역량이 강조된다.

🔹 4. 건강 데이터 과학 (Health Data Science)

• 중요성(Importance): 디지털 방식으로 수집, 처리, 저장된 건강 데이터의 폭발적인 증가는 의학, 공중보건, 생의학 등 다양한 분야의 문제를 해결할 수 있는 기회를 창출하였다. 전자의무기록(EHR), 환자 생성 데이터(예: 웨어러블), 게놈 시퀀싱 데이터 등은 모두 정밀의료 구현에 중요한 기여를 하고 있으며, 이 영역은 _다양한 데이터 모달리티의 통합을 통해 개인맞춤형 의료를 실현_하고자 하는 데 핵심적이다.
• 설명(Description): 이 영역은 의대생들이 다음과 같은 분야에서 역량을 갖추도록 교육한다: 보건 정보학, 계산적 사고(computational thinking), 의료 인공지능(AI), 정밀의료(precision medicine). 학생들은 건강 데이터의 범위와 영향력을 이해하고, 이를 개인 및 인구 수준의 보건의료 개선에 적용할 수 있어야 한다.

🔹 DECODE 프레임워크 실행을 위한 추가 고려사항

1. 용어 사용의 다양성 (Variations in nomenclature used)

합의 패널은 이 프레임워크에서 사용된 용어가 지리적, 언어적, 문화적 차이에 따라 다르게 해석될 수 있음을 인정하였다. 의학교육에서의 교육과정 설계 및 교수설계에서는 **여러 용어 체계(terminology schemes)**가 사용되며, 이들은 지역, 국가, 기관에 따라 상이하다. 예컨대, 영국의 General Medical Council, 미국의 AAMC MSOP, 호주의 Accreditation Standards 등 다양한 문서들이 각국의 의과대학 교육을 가이드한다.⁵⁹⁻⁶¹ 특히 **‘competency’, ‘outcome’, ‘objective’**와 같은 용어는 전 세계적으로 널리 사용되지만, 그 정의·사용 방식·해석은 지역마다 달라 통일성이 부족하다. 이는 디지털 헬스 교육과정의 글로벌화에 있어 장애 요소가 될 수 있으므로, 정의의 명확화와 용어의 정제 및 합의가 중요하며, 프레임워크 서문에 *작업 정의(working definitions)*를 포함하는 것이 도움이 될 것이라고 패널은 제안하였다.

2. 디지털 헬스의 고유성 (Distinctiveness of digital health)

합의 패널은 디지털 헬스를 비디지털 영역(nondigital counterparts)과 명확히 구분하려는 집중된 접근법이 필요하다고 강조하였다. 그 이유는 프라이버시, 보안 등 일부 원칙은 디지털 이전부터 존재해 왔으며, 디지털 헬스에만 국한되는 개념이 아니기 때문이다. 따라서 교육과정의 초점은 단순히 디지털 기술을 보건의료에 ‘적용’하는 것이 아니라, 디지털 전환(digital transformation) 자체가 보건의료에 도입하는 새로운 도전과 뉘앙스에 있어야 한다. 디지털과 비디지털 모두에 적용 가능한 일반적 개념을 강조할 경우, 디지털 헬스만의 특수성과 핵심 역량이 희석될 위험이 있다. 예를 들어 **공중보건(public health)**처럼, 데이터 기반 도메인이 디지털 헬스 내에서 충분히 다뤄지지 않으면, 커리큘럼 내에서 중요한 데이터 처리 역량이 누락되거나 축소될 수 있다는 우려도 제기되었다.

3. 디지털 헬스 리터러시 개념 (Concept of digital health literacy)

합의 패널은 디지털 헬스 리터러시(digital health literacy) 개념이 보편적 합의가 이루어지지 않았고, 측정이나 정의가 어렵다는 점을 인정하였다. 문헌에서는 digital health literacy, digital literacy, eHealth literacy 등의 용어가 서로 교차되어 사용되며, **같거나 유사한 개념으로 혼용되는 경우가 많다.**⁶²⁻⁶⁵ 일부 문헌은 digital literacy와 health literacy의 교차 지점이 디지털 헬스 리터러시라고 보지만, 이는 서로 다른 구성요소를 가지는 별개 개념이기도 하다.⁶⁶⁻⁶⁹ 최근에는 디지털 헬스 리터러시를 시민 리터러시(civic literacy), 디지털 리터러시, 건강 리터러시의 **세 가지 빌딩 블록으로 구성된 상위 결정요인(superdeterminant)**으로 간주하기도 한다.⁷⁰ 디지털 헬스 리터러시는 특히 다음과 같은 이유에서 중요하다:

• 환자의 디지털 기술 접근성 및 사용 능력 차이가 의료서비스 이용에 영향을 미치며,⁷¹
• 건강 관련 행동 및 결과에 영향을 주는 요인이기 때문이다.⁷²⁻⁷³

본 프레임워크에서는 기존 정의들을 기반으로, 디지털 헬스 리터러시를 다음과 같이 정의하였다:

_“개인이 전자 정보원, 디지털 건강기술, 디지털 건강서비스로부터 건강 정보를 탐색, 평가, 이해, 적용하는 능력”._⁶²⁻⁶⁵

4. 교육과정 내 공간과 실행의 문제 (Curriculum space and implementation)

여러 전문가들은 현재 과밀한 의과대학 교육과정에 DECODE 프레임워크의 모든 역량을 통합하는 데 있어 실질적인 어려움이 있을 수 있음을 우려하였다. 이는 이론적으로 모든 영역을 포괄하고자 하는 열망과, 실제 교육 실행 가능성 사이의 긴장을 반영한다. 교육과정에 모든 핵심 역량이 실질적으로 통합되도록 하려면, 기초 개념과 기술 변화에 적응 가능한 핵심 기술에 집중하는 접근이 필요하다. 예를 들어, 졸업생은 AI 기반 진단의 장단점은 파악할 수 있어야 하지만, 기계학습의 세부 알고리즘까지 이해할 필요는 없다.

제안된 대안 중 하나는, **재량 학습성과(discretionary learning outcomes)**를

• **평생교육 또는 연속 교육과정(continuing medical education)**이나,
• **기존 교육과정 내 수직 통합(vertical integration)**을 통해 점진적으로 도입하는 방식이다.
  또는, **기후 변화 및 보편적 건강과 같은 횡단 주제(cross-domain curriculum)**에 디지털 헬스 도메인을 결합하는 방식도 실행 가능성을 높일 수 있다.⁷⁴

5. 재량 학습성과의 포함 (Inclusion of discretionary learning outcomes)

재량 학습성과는 필수는 아니지만 여전히 중요하다. 일부 항목들은 이미 공중보건, 정보과학 등의 다른 교육 영역에서 다뤄질 수도 있다. 예를 들어, **복수 학위 프로그램(dual-degree programs)**을 운영하는 기관에서는

• MD-MBA (경영), MD-JD (법학), MD-MPH (공중보건), MD-PhD (의생명과학) 등의 트랙을 통해
  일부 DECODE 프레임워크 내용이 포함될 수 있다.

또한, 디지털 건강 결정요인(digital determinants of health) 같은 주제는 다학제적 성격을 띠므로, 예를 들어 MPH 과정 내의 한 모듈로 다뤄질 수도 있다. 하지만 특정 역량이 이미 다뤄지고 있다는 추정만으로 해당 항목을 제외할 경우, **중요한 내용의 비의도적 누락(risk of inadvertent oversight)**이 발생할 수 있다. 따라서 본 연구에서는 모든 디지털 헬스 도메인을 포함시켜, 의학교육자들이 재량 학습성과도 포함할 수 있도록 포괄적인 프레임워크를 제공하였다. 이는 기존 교육과정 내에서 아직 다루어지지 않은 경우에 특히 유용하다.

6. 디지털 헬스 교육에서의 사회경제적 불평등 (Socioeconomic inequities in digital health education)

디지털 헬스 형평성 및 사회경제적 불평등, 특히 저소득 및 중간소득국가(LMICs)에서의 디지털 진단 기술 접근성에 대한 문제는 델파이 조사와 합의 회의에서 여러 전문가들에 의해 제기되었다. 자원 제약 환경에서는 디지털 진단 도구의 구현이 비용, 인력 부족, 규제, 인프라 등의 제약으로 인해 여전히 어렵다.⁷⁵ 이러한 기술이 실제 임상현장에서 쉽게 접할 수 없는 LMIC의 의대생들은, 디지털 도구의 실제 활용 방식에 대한 이해와 교육을 받기 어려울 수 있다. 또한, 이러한 기술을 직접 사용해본 경험이 없는 교수자들은 디지털 기술 교육에 자신감을 가지기 어렵다.

그럼에도 불구하고, 전문가들은 디지털 진단 도구가 오히려 가장 자원이 부족한 지역에서 더 큰 혜택을 줄 수 있음을 강조하였다. 그러나 이러한 기술의 비용, 설치, 교수 역량 등의 문제는 단기간 내 해결되기 어려운 과제이다. 따라서 본 연구에서는, 디지털 진단 기술에 관련된 학습성과 중 상당수를 재량 항목으로 분류하였다. 이는 현재 디지털 진단 기술의 불균등한 보급 현실을 반영하는 것이며, 다만 해당 주제가 중요함을 부정하는 것은 아니다. 이는 웨어러블(2.5), 인터넷 기반 건강중재(2.7), 건강정보 교환(3.4) 등의 항목에서도 동일하게 나타난다.

인공지능(AI)의 급속한 발전은 다양한 산업 분야에서 경제성과 효율성을 크게 향상시켰으며, 의료 분야도 예외는 아니다. 이 혁신의 최전선에는 **대형 언어 모델(large language models, 이하 LLMs)**이 있다.¹–³ 이들은 임상 업무 수행에 있어 초기부터 유의미한 성과를 보였다. AI가 문서화(documentation), 의사소통(communication), 심지어 임상적 추론(clinical reasoning)과 같은 핵심 역량을 *보완(augment)*할 것으로 예상되는 가운데, 의료 교육에서는 필연적으로 다음과 같은 핵심 질문이 제기된다: “AI 시대에 미래의 의사들을 어떻게 교육해야 하는가?”

AI가 제공하는 가능성은 분명 매력적이지만, 이를 현대 의학교육에 성공적으로 통합하려면 그 장점과 한계를 섬세하게 이해하는 것이 필수적이다. 더불어, AI 활용은 유능하고(compentent), 공감하며(compassionate), 적응력 있는(adaptable) 의사를 양성하려는 의료 교육의 본래 목적과도 부합해야 한다. 이 글에서는 AI가 교육, 학습, 평가 방식에 혁신을 가져오면서 다음 세대의 의사 양성 방식을 어떻게 변화시킬 수 있는지를 고찰하고자 한다. 현재의 활용 가능성을 넘어, 이들 모델은 **교육 기회의 표준화와 민주화(standardization and democratization)**를 가능케 하여, 과거에는 상상하기 어려웠던 기회들을 제공하고 있다.

LLM은 임상적 과업에서 놀라운 성과를 보여왔다.¹² 일부 맥락에서는 이 모델들이 표준화된 평가 기준에서 인간 의사와 유사하거나 오히려 뛰어난 성과를 보이기도 했다.⁴ 겉으로 보기에는, 이러한 성공이 곧 LLM이 임상적 의사결정에 필요한 **추론 과정(reasoning)**을 복제한다는 뜻처럼 보일 수 있다. 만약 이것이 사실이라면, 이러한 추론 능력은 모델이 결과를 도출하는 ‘블랙박스’를 열어, 의학 실천을 보완할 수 있는 투명하고 합리적인 과정을 제공할 전례 없는 기회를 의미한다. 그러나 최근 연구들은 이 모델들이 실제로 논리적 추론을 수행하는지에 대해 의문을 제기하고 있으며, 이들이 단지 통계적 패턴 인식에 의존하는 것이 아닌가 하는 문제 제기가 이어지고 있다.⁵–⁸ LLM은 훈련 데이터에서 패턴을 인식하고 이를 재현하는 방식으로 작동한다. 이러한 작동 방식은 임상적 문맥에서는 **유행어(buzzwords)**나 **자주 함께 등장하는 임상 특성(co-occurring clinical features)**에 반응하여, 그럴듯해 보이지만 **기전적 깊이(mechanistic depth)**가 부족한 진단이나 치료 계획을 생성하게 만들 수 있다.

의학교육의 목표는 단순한 사실 전달이 아니라, 임상 가설(clinical hypothesis)에 도달하는 사고 과정을 가르치는 데 있다. 실제 임상에서는 상황이 미묘하지만 중대한 방식으로 변화할 수 있다: 새로운 증상이 나타나거나, 병력(history)을 다시 고려하게 되거나, 검사 결과가 기존 정보를 뒤흔들 수도 있다. 이처럼, 진정한 추론은 과거 데이터를 기반으로 ‘가장 가능성 높은 답’을 고르는 것이 아니라, 실시간으로 사고 방식을 재평가하는 과정이다. LLM이 미국의사면허시험(USMLE)과 같은 단일 정답(single-answer) 평가에서 좋은 성과를 보이는 것은 고무적이지만, 이는 동적인 임상적 추론 능력을 반영한다기보다는, 패턴을 인식하고 사실을 회상하는 능력을 보여주는 것이다. LLM이 임상 추론 교육에서 파트너 역할을 수행하려면, 복잡한 임상 사례를 단계적으로 추론하고, 자신의 의사결정을 정당화하며, 불확실성과 모호함 속에서도 진단적 사고를 반복적으로 정제해 나가는 새로운 평가 기준이 필요하다.²

진정한 임상 추론(clinical reasoning) 능력을 갖춘 대형 언어 모델(LLM)이 개발된다면, 의학교육의 패러다임은 근본적으로 변화할 수 있다. 최근 수년간 사례 기반 학습(case-based learning)이 현대 의학교육의 핵심으로 자리 잡음에 따라, 이러한 모델은 교육적 사례에서 **의대생의 사고 과정을 평가하고 비평하는 ‘비판적 조력자(informed critic)’**로 기능할 수 있으며, **튜터(tutor), 평가자(grader), 심지어 토론 파트너(discussion partner)**의 역할까지 수행할 수 있게 된다. 이와 같은 기술은 또한 복잡한 텍스트—예컨대, 교내 교육과정 문서, 의학 교과서, 동료 심사 기반 생물의학 논문—를 학습자 수준에 맞게 해석할 수 있는 도구로서 활용될 수 있다. 이러한 기능은 의대생뿐 아니라, 전공의(resident), 임상의(attending physician)에게도 유용하다. 왜냐하면 의학은 끊임없이 변화하는 분야이므로, 이러한 도구를 개발하는 일은 의료계 전체가 자기 속도에 맞춰 발전해 나갈 수 있도록 하는 기반을 마련하는 작업이기 때문이다.

이제 더 이상, 임상 실습 중 우연히 마주치는 환자만을 대상으로 학습하는 시대는 지났다. LLM은 다양한 환자 증례 수백 가지를 빠르게 제시함으로써 고차원 임상 기술을 정교하게 연마하는 데 기여할 수 있다. 또한 지리적 또는 사회인구학적 특성으로 인해 특정 유형의 환자에 편중된 교육 경험을 갖게 되는 문제를 보완하기 위해, LLM을 활용해 희귀질환이나 특이 환자 증례를 포함한 폭넓은 임상 경험을 제공할 수 있다. 이를 구체적으로 실현하는 방법 중 하나는 LLM을 표준화 환자(standardized patient, SP)와의 상호작용에 활용하는 것이다. 즉, 객관적 구조화 임상시험(objective structured clinical examination, OSCE)에서 표준화 환자 역할을 수행하는 특화된 도구를 사용하는 방식이다. 우리는 이러한 도구를 SP-LLM이라 명명했으며, 이는 의사소통 기술을 연습할 수 있는 손쉽고 접근 가능한 환경을 제공한다.⁹ SP-LLM은 SP의 역할을 연기하도록 훈련 및 프롬프트(prompt) 설정이 가능하며, 이어서 학생의 수행을 평가하도록 다시 프롬프트할 수도 있다. 이로 인해 학생들은 *초희귀질환(ultrarare diseases)*이나 *문화적으로 특수한 환자 표현(culturally distinct presentations)*을 포함한 다양한 상황에 노출될 수 있다.