의대에서 교육하고 있습니다.

1. 네덜란드의 의과대학 입학생 추첨선발(폐지됨)
지금은 없어졌지만, 불과 2년여 전까지만 해도 네덜란드에서는 의과대학생 선발 방식에 추첨(national lottery system)이 있었다. 의학교육학 학위과정 초반 언젠가 이러한 사실을 처음 접했을 때 꽤나 놀라웠다. 전 세계적으로도 찾아보기 힘든 선발방법이다보니, 네덜란드에서도 이렇게 선발된 학생들에 대한 연구가 꾸준히 있었다. 추첨 방법의 장점이 없는 것은 아니었겠으나, 현재 해당 방법이 폐지된 것은 이러한 연구의 결과에 근거했을 것이다.  

2. 캐나다 McMaster의과대학의 도전(2020 and...?)
그렇게 한동안 '추첨'이란 것에는 신경쓰지 않고 지냈는데, 어제 우연히 캐나다의 McMaster 의과대학에서 이번 학년도 신입생 선발에 추첨을 활용했다는 사실을 알게 되었다. 

McMaster 의과대학에서 밝힌 이유는 COVID19로 인해서, (여러 대안을 고려해보았지만) 기존의 면접방식(MMI, Multiple Mini-Interview)를 유지하는 것이 불가능했기 때문이다. 발표된 내용만으로 모든 세부사항을 알기는 어렵지만, 해석해보자면 완전히 추첨으로 선발한 것은 아니고, 5000명 이상의 전체 지원자 풀에서, 서류전형을 거쳐 면접 대상자인 상위 552명을 추리고, 이 중에서 다시 상위 100명은 (우선)선발하고, 나머지 452명 중에서 "합격자" "대기자" "불합격자"를 무작위로 나눈한다고 한다. (These applicants will be randomly selected to be placed on the offer of admission list, wait list, and no offer list).
https://mdprogram.mcmaster.ca/.../covid-19-admissions...

이러한 내용은 5월 8일에 발표되었던 것이니 이미 몇 달 전 이야기일 뿐만 아니라, 이렇게 실제로 올해 학생들이 선발되어 입학하였다(그림 하단, "In it's place applicants were offered a position in the class based on their pre-interview rank and a lottery process."). 
https://mdprogram.mcmaster.ca/.../class-of-2023-stats.pdf

3. 몇 가지 흥미로운 사실
(1)McMaster 의과대학은 2001년 MMI라는 면접방법을 개발한 학교이다. 올해 포기한 것이 바로 이 MMI이다.
(2)McMaster 의과대학은 1960년대 PBL이라는 교육방법을 처음 도입한 학교이다. 
(3)McMaster 의과대학의 랭킹은 캐나다에서 1~3위 정도이다(위키피디아). 참고로 캐나다에는 17개 의과대학이 있다.
(4)McMaster 의과대학의 신입생 수는 매년 200명 남짓이다. 참고로 우리나라는 서울의대 입학정원이 135명(정원내)으로 가장 많다.  
(5)McMaster 의과대학은 3년제 교육과정을 운영한다(그림).

네덜란드에는 8개의 의과대학이 있으며 매년 7천~8천명이 2850개의 정원을 놓고 경쟁하게 된다.

의과대학 총 정원은 의료기대수요(expected need)를 예측하는 국가 기관의 의견을 반영하여 정부가 결정하며, 이 정원을 8개 의과대학에 약 1/8씩 나누게 되는데 이 때 가용 임상실습 정원(clerkship places)이 고려사항이 된다.

네덜란드 의과대학에서는 크게 세 가지 방법으로 학생을 선발하는데 그 중 하나인 중앙 선발(centralised procedure)은 학점(GPA)에 따라 가중치를 둔 추첨 방식이다.

2011년까지 네덜란드에서는 최소 50%까지 중앙 선발을 하고, 최대 50%까지 의과대학별(decentralised) 선발을 했으나, 2012년 이후에는, 각 의과대학별 선발이 100%까지 가능해졌으며 (실제로 이뤄지고 있는 것은 0~80%까지 다양함), 나머지는 중앙 선발을 하는 것으로 바뀌었다.

중앙선발, 즉 추첨(lottery)이란 중앙(국가, centralised)에서 학생을 선발하는 것이며, 가중치를 준 추첨 방식이다. 학점에 따라서 다섯 층위로 분류하여 층위별로 그 비율을 달리한다(높을수록 비율 높음, 9 : 6 : 4 : 3, 최고 층위는 우선합격 admitted first choice)

Yes / no로 당락이 갈리는 추첨 방식은 사회적으로 높은 지지를 받고 있지는 못하며, 의과대학별(decentralised) 선발방식이 더 지지를 받고 있다.

여기서 중요한 것은 의과대학 학생에게 중요한 역량이 무엇인가의 문제이다.

Maastricht의과대학은 2011년부터 decentralised 선발방식과 관련한 여러가지 실험을 진행중이며 2014년에는 100% decentralised 선발을 도입할 것이다.

http://www.mft-online.de/files/9.40_fr_omft2013_scherpbier.pdf

1

발달시험(Progress testing)은 오랜 기간 동안 그것을 발명한 네덜란드의 의과대학(the University of Missouri-Kansas City School of Medicine and Maastricht University in the Netherlands)에서만 사용되어왔으나, 점차 더 국제적인 인기를 얻고 있다. 종단적 평가라는 측면에서, 학생을 반복적으로 평가하고, 결과를 결합하여 미래의 역량 및 수행능력에 대한 예측을 하는 것은 직관적으로도 논리적이다. 마치 아동의 발달 모니터링 프로그램과 비슷하다

2

대부분의 발달시험은 주로 학생들의 기능적 지식functional knowledge에 대한 종단적이고 반복적인 평가라는 원칙을 따른다. 문항은 졸업생 수준의 지식을 요구하는 수준에서 출제된다. 개별 시험의 결과를 보상적으로compensatory 결합하여, 학년 말에 진급 결정의 기초자료로 사용한다.

3

발달 시험에서 기대되는 것으로는 다음과 같은 것이 있다.

첫째, 시험 스트레스를 줄이는 것이다. 실제로 중등도 이상의 스트레스를 경험하는 학생의 비율은 낮은 편으로 조사된다. 하지만, 한 번의 시험을 망쳤다는 것이 문제가 되지 않는 만큼, 여러 번의 안 좋은 성적을 만회하는 것 역시 어렵다는 특징이 있다.

둘째, 재시험이 불필요하다. 재시험은 조직에 부담이다. 소수의 학생만을 위한 양질의 시험이어야 하기 때문이다. 또한 어차피 재시험이 있을 것이라는 기대를 하면 노력을 덜 할 우려도 있다.

셋째, 학습에 긍정적인 영향을 준다. 여기에는 논쟁의 여지가 없다. 발달시험이 원래 개발되었던 이유이기도하다. 기본적인 지식이 일정 수준 이상으로 유지되었으며, McMaster에서는 더 지속적인 학습이 더 나은 지식 기반의 구축으로, 나아가 국가 면허시험에 성적으로 이어졌다. 다만, Maastricht에서 발달시험을 총괄시험으로 도입하며 블록시험을 형성시험으로 운영했을 때 지속적인 자기주도학습을 하던 것과 달리, 블록시험이 총괄시험이 되자 단기 암기 방식으로 돌아갔다.

넷째, 예측 타당도가 더 낫다. 종단적인 데이터 수집이 일회성 측정보다 미래의 역량 및 수행능력을 더 잘 예측한다는 의미이다. 일차적으로는 난이도를 일정한 수준으로 유지하는 것이 중요하다. 다만, 일련의 이어지는 시험에서 얻어지는 정보를 어떻게 수학적, 통계적으로 결합하는지의 문제가 있다.

다섯째, 의사결정의 신뢰도가 높아진다. 여러 결과를 종단적으로 결합하기 때문이다. 한 번의 큰 시험보다는다수의 200개 문항 시험을 결합하는 것이 나을 것이다. 단, 문항과 시험 횟수는 한 가지 고려사항이다. 한 연구에서는 200개 문항의 시험을 두 번 보는 것이 100개 문항의 시험을 네 번(심지어 다섯 번) 보는 것보다 더 신뢰할 수 있는 결과(낮은 SEM)를 산출함을 보여주기도 했다. 또한 ‘미응답’ 문항에 대한 점수 계산 (formula scoring)도 고려사항이다.

여섯째, 시험 요령이 출중한 학생이라도 대비하기가 어렵다. 시험에서 다루는 내용이 포괄적이기 때문이다. 전략적인 학습도 어렵다. 의학 지식 전체가 시험범위이기 때문이다. 결국 꾸준한 공부만이 최선의 준비가 된다. 하지만 relevant functional knowledge란 무엇인가? 문항의 합목적성에 대한 합의를 위해서 ‘relevance’의 실현가능한 조작화feasible operationalization이 필요할 것이다.

일곱째, 발달시험은 교육과정에 독립적이다. 졸업생 수준에서의 지식을 테스트하기 위한 시험이기 때문에, (여러 기관의) 공동 생산 / 공동 행정 / 공동 연구에 적합하다. 협업이 쉬운 것은 아니다. 평가 자료의 소유권을 포기해야 할 수도 있기 때문이다.

4

요약하면 다음과 같다.

• 발달시험은 기능적 지식 또는 역량의 발달을 평가하기 위해 일정 간격으로 시행한 동등화된equivalent 시험에 기초한 종단적 접근법이다.

• 발달시험의 가장 큰 장점은 시험-중심 학습 전략을 최소화한다는 것입니다.

• 반복된 시험의 결과를 결합하면 합격 결정의 신뢰도와 예측 타당도를 모두 높일 수 있습니다.

• 발달시험과 관련된 주요 관심사는 개별 테스트의 동등성을 보장하는 것이다.

• 발달시험의 생산과 관리를 공동으로 하는 경우 비용-효율적일 뿐만 아니라, 지속적인 벤치마킹과 품질 개선을 위한 풍부한 원천이 됩니다.

출처: 

Schuwirth, L. W., & van der Vleuten, C. P. (2012). The use of progress testing. Perspectives on medical education, 1(1), 24-30.