의대에서 교육하고 있습니다.

1

의사면허의 목적은 ‘안전하고 효율적인 의료행위에 필요한 지식과 스킬을 확실히 갖추게 하는 것’에 있다. 기저의 원칙은 ‘면허는 모든 의사에게 적용되어야 한다’는 것이다. 즉, 어디서 수련을 받았든, 어떤 세팅에서 진료를 하든 면허가 있어야 한다. 나라마다 다소 차이는 있지만, 독립적 진료행위 면허(unrestricted license to practice)를 받기 위해서는 아래 세 가지의 전부 혹은 일부를 갖춰야 한다.

• 인증받은 의과대학 졸업

• 일정 기간의 감독 하 의료행위(의과대학 졸업 후에 이뤄지기도 함)

• 하나 또는 그 이상의 의사면허시험에 합격

그렇다면, 의사면허시험(National Licensing Exam, 이하 NLE)는 어떠한 경향성(trends)을 가지고 있는가?

2

NLE는 점점 더 흔해질 것이다.

첫째, 의과대학의 수와 다양성 증가하고 있기 때문이다. 지난 20년간 의과대학의 수가 지나치게 증가하여 의학교육의 질을 떨어뜨린다는 우려가 높아져 왔으며, Dr Hans Karle은 2003년 WMA의 general assembly에서 의과대학이 1995년부터 54%증가했다고 말했다. 문제는 실제로 학부의학교육의 다양해짐에 따라 지역 간 또는 학교 간 차이가 발생한다는 것이다. 예를 들어, 영국에서는 의과대학에 따라 RCGP 및 RCP 회원자격시험 합격률이 다르다. 미국의 USMLE Step 2에서도 학교마다 평균점수의 상당한 차이가 확인되는데, 이러한 차이는 학교 내 기준(intramural standard) 차이에 기인한다. 이는 Step 1이나 Step 2 CK에서도 마찬가지였다.

둘째, 의료인력 유동성이 높아지기 때문이다. 의료인력의 유동성에 대한 접근은 유럽과 북미 간 차이가 있다. 예컨대 유럽에서, 의료진의 이동은 1940년대부터 관찰되었으며 해가 지날수록 그 패턴이 다양해지고 있다. 그러나 유럽에서 의과대학 학부교육에 필요한 기간은 European directive에 의해서 강제되며, 최소 5년, 5500시간이 요구된다. 대부분의 유럽 국가에서는 의사국가시험이 없으며, 각 의과대학은 자신의 졸업시험이 있다. 유럽과 달리 미국과 캐나다는 모든 의과대학 졸업생이 NLE를 응시해야 하고, 어느 의과대학을 졸업했든 의사로서 근무work할 수 있으려면 NLE를 통과해야 한다. 영국과 같은 일부 국가에서는 질관리프로그램을 활용하여(모든 영국 의과대학은 GMC에서 인증을 받아야 함) NLE와 비슷한 성과를 내고자 한다. 하지만 이 시스템에도 불구하고 영국 역시 NLE 도입을 고려하고 있다.

셋째, NLE 퍼포먼스가 실제 퍼포먼스를 예측하기 때문이다. 일정 수준에서 NLE 퍼포먼스는 이후 의료행위의 퍼포먼스를 예측한다.

이 밖에도 NLE를 지지하는 주장의 근거로는 다음이 있다.

• 의료행위의 핵심 영역에서 현저하게 부족한 의사를 가려낼 수 있다는 점

• 공립, 사립 의과대학에 대해서 지속적이고 객관적인 역량 스탠다드를 제공하여 환자를 보호한다는 점

• 해외에서 이주한 의사가 수련과 진료를 시작하기에 앞서 퀄리티를 보증ensure해준다는 점

• 의과대학 (교육의) 스탠다드를 높여준다는 점

3

NLE에서 내용특이성이 고려되어야 한다.

어떤 평가방법을 사용하든지, 한 케이스에서의 퍼포먼스가 다른 케이스에서의 퍼포먼스를 아주 잘 예측해주지는 못한다. 이러한 현상을 내용(사례) 특이성이라고 한다. 따라서, 고부담 결정을 충분히 반복가능하게 지지해줄 수 있는 점수를 얻으려면, 평가의 길이가 충분히 길어야 하고, 충분한 영역을 포함하여야 한다.

4

NLE에서 인지능력 평가를 위한 새로운 시도들이 있다.

CBT(1세대: 종이 포맷을 컴퓨터로만 옮긴 것, 2세대: 멀티미디어 문항 및 단답형 문항을 활용하는 것, 3세대: 실제 임상환경의 특징을 반영하여, 시뮬레이션 및 상호작용 요소를 포함하는 시험)가 발전하고 있고(USMLE Step 3 CCS는 3세대 CBT이다), 비교적 최근에는 문항 자동화 생성(AIG)도 있다. 소프트웨어를 사용하여 수백개의, 새로운 문항을 만드는 것이다. 앞으로 몇 년간 NLE에 컴퓨터-기반 시뮬레이션이 추가될 것으로 기대된다. 다만, 모든 것을 최대한 현실과 유사하게 시뮬레이션 한다는 것이 매혹적으로 보일지 모르지만, written simulation의 파란만장한 역사로부터 그 위험성에 대해서도 배울 점이 많다.

최근까지 NLE는 거의 전적으로 closed-book test였기에, 주로 정보를 recall하는 능력을 평가했다. 하지만 CBT에서 응시자는 온라인 참고문헌을 볼 수 있게 될 것이며, 이 역시 3세대 CBT의 또 다른 특징이다. 이러한 시험 방식은 현재 의사의 실제 진료 모습을 더 잘 모방하는 것이며, 피험자의 스스로의 한계를 찾아내는 능력까지를 (간접적으로)평가할 수 있게 될 것이다. 뿐만 아니라, 필요한 외부 자료에 접근하는 능력, 수집된 정보를 환자진료결정에 통합하는 능력도 평가할 수 있게 될 것이다.

5

NLE에서 OSCE(OBJECTIVE STRUCTURED CLINICAL EXAMINATIONS)이 활용될 것이다.

Harden and Gleeson이 1979년 OSCE를 처음 설명한 이후 OSCE는 빠르게 전파되었다. 최근에는 호주, 캐나다, 한국, 스위스, 대만, 영국, 미국의 의사면허시험에도 도입되었다. 하지만 여전히 스테이션 수는 적은 편이어서, 합격-불합격 결과가 충분하 reproducible하지 않은 경우가 많다.

6

근무지기반평가(Workplace-based assessment, WBA)가 형성적 목적으로 더 많이 사용되겠지만, NLE에서 WBA를 어떻게 사용할 수 있을지는 어려운 문제이다.

비록 WBA가 일상의 진료행위를 더 잘 반영하고, 피험자의 학습을 자극할 수 있지만, 총괄평가에서 활용이 쉽지는 않다. WBA가 피훈련자들 사이의 실제 차이를 반영할 수 있지만, 피험자 간 차이의 원인이 판단을 내리는 기준이 교수마다 다르거나, 피험자가 진료한 환자 집단의 특성이 다르거나, 피험자가 진료 시에 활용가능한 자원이 달라서 생겼을 수도 있기 때문이다. 본질적으로 WBA는 임상적 맥락과 분리할 수 없기 때문에, 총괄평가적 활용을 정당화하기 어렵다.

7

명확하게, NLE는 많은 한계가 있다. NLE는 기껏해야 진료에 필요한 역량을 측정할 뿐이며, 실제로 진료를 유능하게competently할 것인지를 알려주지는 않는다. 따라서 NLE에서 좋은 퍼포먼스를 보이는 것이 실제 진료를 잘 하는 것으로 이어지지 않을 수 있다. 그러나 NLE에서 안 좋은 퍼포먼스를 보이는 것은 (환경적 요인이 의사의 부족한 점을 보완해줄지라도) 실제 진료에서도 안 좋은 모습을 보일 가능성이 많다.

출처:

Swanson, D. B., & Roberts, T. E. (2016). Trends in national licensing examinations in medicine. Medical education, 50(1), 101-114.

1

유럽의사면허시험은 매혹적인 것이지만, 부작용은 충분히 논의되지 않았다. 다섯 가지 신화를 하나씩 살펴보자.

2

신화 1: 유럽의사시험 혹은 의사국가시험은 의료행위에 있어서 중요한 영역을 평가하게 해줄 것이다.

아니다! 중앙화된 시험은 가장 중요한 학습성과 대신 국가(혹은 유럽) 수준에서 쉽게 평가가능한 것을 강조할 것이다. 시험의 초점은 written exam에 맞춰질 것이고, MCQ가 주를 이룰 것이며, 임상술기나 태도보다는 지식을 평가하게 될 것이다. Schuwirth가 주장한 것처럼 국가시험은 '낮은' 레벨의 스킬에 초점을 두게 되나, 최근의 추세는 프로페셔널리즘, 스칼라십, 과학적 사고 등의 '높은' 수준의 스킬을 강조한다. 과거에는 측정에 대한 논쟁에서 '신뢰도'를 강조했지만, 이제는 'systemic validity'의 개념을 강조하는 데에 이르렀다. 이것은 교육시스템, 교육과정, 교육변화instructional change에 대한 것이다. 중앙화된 시험은 덜 중요한 학습성과를 평가하게 되면서, 교사의 교육과 학생의 학습 패턴에 영향을 주어 뒤틀리게 한다.

3

신화 2: 유럽의사시험 혹은 의사국가시험은 평가행위assessment practice의 향상을 가져올 것이다.

아니다! 현재의 근거를 보면, 중앙화된 시험이 있는 시스템에서는 평가의 혁신은 저해된다. NMBE는 아마도 평가 전문가들로 구성된 중앙 팀의 가장 좋은 예이며, [평가의 실천]과 [현장의 이해]에 국제적으로 중요한 기여를 한 것이 사실이다. 그러나 NBME와 같은 기구의 우선순위는 필연적으로 달라야 하기 때문에, 평가 실무의 최첨단cutting edge에서 작업work하고, 현장에서 새로운 이니셔티브를 이끌기에 적합하지 않다. 비슷하게, Peter Scoles는 NBME가 미국에서 문지기 시험Gateway Examination의 지위를 갖게 되면서, USMLE를 변화시키기 위해서는 6~10년의 시간이 필요하게 되었다고 강조하였다. 의과대학의 졸업시험으로 OSCE가 처음 도입된 것은 30년 전이었지만, 다수의 의과대학에서 이미 그것을 도입한지 수 년이 지나서야 중앙화된 시험에 도입되기 시작하였다는 사실도 반례가 될 수 있다.

더 나아가서, 중앙화된 시험에 대해서는 근본적인 우려가 있는데, 그 특성상 평가에 대한 낡은outmoded 관점을 가질 수 밖에 없고, 학생들로 하여금 평가란 교육과정이나 교육 프로그램에서 분리되어 어느 한 시점에서 가장 잘 이뤄질 수 있는 것이라는 오해를 가지게 만든다는 것이다. Schuwirth는 '역량의 관점에서, 이러한 시험(한 차례로 끝나는 시험)은 평가와 교육의 misalignment를 가져온다'고 지적했다.

평가는 교육 프로세스의 (외부적) 결과 측정이 아니라, 교육 프로세스의 (내부적) 핵심 부품으로 인식되어야 한다. 또한 평가는 psychometric measurement problem으로만 인식되어서는 안 되며, 교육설계의 문제educational design problem로 인식되어야 한다. 즉, 평가의 목적은 단순히 한 학생의 기준충족여부를 결정하는 것이 아니라, 특정 학생의 역량에 대한 정보를 바탕으로 개개인의 요구에 맞춰 수업과 과목을 tailor하는 데 사용되도록 하는 것이어야 한다. 무엇보다도 이것은 평가가 교육과정에 통합되어야 (교육이 끝날 때 single-shot으로 하는 것이 아니라) 가능할 것이다.

4

신화 3: 표준화와 국제화의 시대에, 유럽의사시험 혹은 의사국가시험은 uniformity를 향상시킴으로서 우리의 요구를 충족시킬 것이다.

아니다! 의심할 여지 없이, 모든 학교에 해당되는 핵심 역량이 있고, 공통의 평가가 적절한 부분이 있지만, 중요하고 유의한 차이 또한 존재한다. UK에서는 GMC가 'promoting equality and diversity'를 질관리프로그램의 한 목표로 지정하고 있다. 또한 국제적으로 기증자(donor) 국가에 의해서 주도되는 시험을 활용하게 된다면, 전 세계적으로 인지적 성취를 강조하는 결과를 초래함으로써, 좋은 교육은 무엇인가에 대한 로컬한 가치는 무시하는 결과로 이어질 것이다.

5

신화 4: 의사국가시험은 시스템의 퍼포먼스를 추적할 수 있는 지표이다.

Smith는 '성능 데이터 출판publication으로 인한 의도하지 않은 행동 결과의 수많은 사례'를 언급하며, 그 예로 '터널비전, 최적화미달, 근시, 측정 고정, 게이밍, 골화, 오역 및 잘못된 표현'과 같은 문제를 기술했다. (Smith (1995) identified a ‘huge number of instances of unintended behavioural consequences of the publication of performance data’ and described problems such as ‘tunnel vision, sub-optimization, myopia, measure fixation, gaming, ossification, misinterpretation and misrepresentation’.)

또 다른 연구자는 지표indicator는 복잡한 상황을 제대로 반영하지 못할 수 있으며, 각 기관이 지표에만 초점을 맞추려 노력하는 ‘게이밍’이 발생하여 시스템이 훼손될 가능성을 지적했다. Hecker and Violato의 연구에 따르면, 의사국가시험의 퍼포먼스를 교육과정평가의 지표로 사용할 때 문제가 발생할 수 있다. USMLE 점수에 기반하여 이들은 '의학교육개혁의 변화는 학생의 성취에 별다른 영향을 주지 못한다'는 결론을 도출하면서도, 동시에 종속변수는 면허시험 점수이며, 의사의 중요한 특성인 공감/문제해결/임상추론 등을 평가하지 못한다는 한계를 인지하고 있었다.

표준화된 시험과 고정된 교육과정의 문제는 가장 중요하게 다뤄져야 할 유형의 교육을 죽인다는 데 있다. 그러나 학생이 고득점으로 시험을 통과하게 도와주려는 선생의 노력을 누가 비난할 수 있겠는가? 문제는, 표준화된 시험이 전체 학교 시스템을 평가하는 자료로 사용되는 상황에서 학생이 이 시험에서 좋은 성적을 받도록 가르치려는 유혹을 피하는 것은 거의 불가능하다는 사실이다.

6

신화 5: 유럽의사시험 혹은 의사국가시험은 더 안전한 의료행위를 하게 해서 공공을 보호할 것이다.

아니다! 중앙화된 시험이 존재하지 않는다고 해서 수준미달의 의사를 양성한다는 근거는 없다. 또한 그러한 시험을 도입한다고 향상된다는 근거 또한 없다. 의사국가시험이 없는 UK의 의과대학 졸업생이 진료역량 측면에서 의사국가시험이 있는 미국의 의사보다 열등하다는 근거는 없다. 또한 Papadakis는 medical board가 진료중인 의사에게 시행한 징계조치(displinary action)가 (의사면국가시험에서 측정된 퍼포먼스보다) 비전문직업적 행위와 더 강력한 연관이 있음을 보여준 바 있다.

7

전체적인 이득에 대한 근거가 없음을 고려하면, 왜 상당한 양의 자원이 유럽의사시험 혹은 의사국가시험에 투입되어야 하는가를 물어야 할 것이다. 의사국가시험의 도입과 활용에 대한 단계를 아래의 여섯 가지로 나눠볼 수 있다.

(1) Assessment procedures in the medical school are completely independent with no external standards.

(2) The school’s assessment procedures are subject to external inspection and approval in line with specified standards (such as those offered by the WFME).

(3) Examinations in a school are monitored by external examiners including student pass/fail decisions (the current practice in the UK, with the process quality assured by the General Medical Council).

(4) Assessment instruments and some questions are shared between schools and common questions are introduced in examinations.

(5) Students are required to take and pass both an internal school examination and an external European or national examination.

(6) Only a single European or national examination is taken by the student.

출처: 

Harden, R. M. (2009). Five myths and the case against a European or national licensing examination. Medical Teacher, 31(3), 217-220.

1

2021년 1월 26일, NBME와 FSMB은 미국의료면허시험(USMLE)에서 Step 2 Clinical Skills (CS) 시험을 [수정하여 재개시하는 작업을 중단]했다고 발표했다. 처음에는 2020년 3월에 발표된 2단계 CS의 일시적 중단이었지만, SARS-CoV-2의 감염이 미국 전역으로 확산되며, 2020년 5월에 12-18개월 중단으로 연장되었다. 그리고 COVID-19 대유행으로 미국 전역에서 감염, 입원, 사망자가 급증함에 따라, 영구적 중단으로 바뀐 것이다.

2

USMLE 프로그램의 공동 후원자로서 FSMB와 NBME는 [전체 시험 시퀀스의 프로그램 감독에 대한 궁극적인 책임]을 지고 있다. NBME와 ECFMG(외국인의료졸업생을 위한 교육위원회)는 공동으로 Step 2 CS 구성요소를 관리한다. Step 2 CS 중단 결정은 FSMB, NBME, ECFMG의 협의 하에 이루어졌다. Step 2 CS을 최초에 일시 중단했을 때에는, 단기 개정 및 상당히 개선하여 재개시에 초점을 두고, 재시행이 가능하도록 다양한 기술 솔루션을 탐색했다. 여기에는 테크놀로지 활용, COVID-19 위험을 줄이거나 제거하는 것, 수험생 이동의 필요성을 줄이거나 제거하는 것 등이 있었다.

3

하지만 일부 진전이 있었음에도 최종적으로 영구 중단을 결정한 것에는 다음과 같은 이유가 있다.

첫째, Step 2 CS는 그 설계상 수험생과 시험 직원, 특히 표준화된 환자 역할을 하는 직원 간의 긴밀한 신체적 근접과 신체적 접촉을 필요로 한다. 따라서 신체 접촉이 불필요한 [가상 원격 건강 플랫폼을 시뮬레이션]하는 방식으로 시험을 수정하려고 했고, 수험생의 [여행 관련 비용을 줄이거나 제거]할 수 있는 원격 관리 모델을 개발하려는 시도를 했다. 그러나 원격 시험에서 [기술, 보안, 형평성 및 시험 로지스틱스] 문제도 있지만, [버추얼 수행능력 평가]에서는 [신체 검사 능력 평가]가 명백히 제한된다는 점이 큰 문제였다. 이 문제를 충분히 해결해주는 솔루션은 찾을 수 없었다.

둘째, 2004년 Step 2 CS 도입 이후, [의미 있는 의학교육의 발전]이 이루어졌음을 고려했다. 의과대학에는 OSCE labs이 설치되었고, 의학교육연속체를 따라 학습자의 발달을 평가하는 역량 프레임워크도 채택되었다. 물론 [국가 표준]에 대한 [독립적인 제3자 검증 및 지원]은 여전히 미국의 강력한 의료 면허 시스템의 초석으로 남아 있다. 면허를 받기 위해서는 [학부 의학 교육(UME) 프로그램]의 성공적인 완료, [GME 프로그램]의 일부 또는 전체 완료, UME 및 GME 프로그램에 대한 독립적이고 별도의 [인증], 국제 의대 졸업자의 경우 [ECFMG에 의한 의사 지원자의 자격 증명]이 모두 필요하다. 이렇듯 강력한 평가/인증/규제 시스템에서 Step 2 CS를 수정하여 재도입했을 때 어떤 additional value가 있는지 판단해야 했다. 그 결과 Step 2 CS 를 전염병에 맞게 수정하여 재개하는 데 쓰일 자원을, 더 혁신적인 방식으로 임상 술기 평가를 발전시키는 데 투입하는 것이 낫다는 결론에 도달했다.

4

[주 의료 위원회]는 [의사가 안전하고 효과적인 환자 관리를 제공하도록 보장]하기 위해 계속 노력하고 있다. USMLE도 지속적으로 이 미션에 복무serve할 것이며, [기존의 요구사항]과 [새롭게 대두되는 요구사항]을 충족하는 평가를 지속적으로 도입할 것이다. 이해관계자들의 의견을 구하고, 임상술기 평가의 가장 큰 요구가 무엇인지 이해하려고 노력할 것이다. 임상추론과 같이 의료행위에 특히 중요한 주제를 강조하고, SMB에서 식별한 결함 영역(커뮤니케이션)을 강조하는 쪽으로 바꿀 가능성이 있다. 임상술기 평가는 기존의 평가를 강화하거나 여기에 통합되는 방식으로 바뀔 것이다. 무엇보다 미래에는 오디오 및 비주얼 미디어의 발전, 환자 아바타, 자연어 처리, 인공지능, 평가와 관련된 다른 과학과 테크놀로지의 결합 등으로 인하여 미래에는 임상술기 평가의 한계가 확장되고, 새로운 유형의 문항이 개발될 가능성도 높다.

5

시험에서 이뤄야 하는 목표는 아래와 같이 다양하다. 그러다보면, 여러가지 시험 요소들 사이의 절충tradeoff이 발생할 가능성이 높다.

• 신체 검사 및 의사소통 기술 평가

• 감독하 의료행위 및 독립적 의료행위에 결정에 정보제공

• 임상추론을 평가

• 현대적 의료 행위를 반영

• 형평성과 접근성을 보장

• 수험생 경험 최적화

6

이번 결정에 대하여 일부 학습자와 교육자가 [임상 스킬 평가가 더 이상 중요하지 않다]처럼 잘못된 결론을 내려서는 안 될 것이다. USMLE은 여전히 임상 기술 평가를 중요시하고 있다.

• 교육자와 관리자는 표준이 느슨해지지 않도록 해야하며, 임상 기술 훈련 및 평가에 투입되는 시간과 자원을 지속적으로 우선시해야 한다

• 교육 및 규제 시스템의 모든 당사자parties는 의학교육의 연속체에 걸쳐 공공의 이익에 부합하도록 지속적/독립적/협력적으로 일해야 한다.

• 의학 교육자는 USMLE 시험과 별도로, 의료행위에 필요한 다양한 지식과 기술을 지속적으로 다뤄야 한다.

• USMLE 프로그램은 수험생이 의료행위에 충분히 준비되었는지를 확인하는 기능을 지속적으로 수행해야 한다.