1.
의학교육 평가인증, 즉 #의학교육평가원 에서 의과대학을 인증하기 위해 새롭게 도입한 #ASK2019 (Accreditation Standards of KIMEE 2019)는 "세계의학교육연합회(#WFME, World Federation for Medical Education)에서 제시한 Basic Medical Education WFME Global Standards for Quality Improvement(The 2015 Revision)를 근간"으로 하고 있다고 밝히고 있다.

 

2.

즉, WFME라는 기구의 웹사이트에서는 ASK2019의 Template 격인 기준을 찾아볼 수 있다. 이러한 이유로 ASK2019 기준의 상당수는 WFME에서 만든 "영어" 기준을 원문삼아 "한국어"로 번역하여 만들어져 있다.

 

3.

물론 번역이라는 것이 쉽지 않은 일이고, 이 기준이 수많은 회의와 공청회를 거쳐 만들어진 것이지만, 그럼에도 불구하고 95% 정도로 "이것은 오역"이라고 생각하는 기준이 있는데 바로 K.3.2.4의 "학업향상정도에 대한 지침"이라는 표현이다.(그림) (나머지 5%는 빠져나갈 구멍..)

 

4.

원문을 찾아보면 이는 "academic progress"에 대한 guide를 말하는데, 여기서 말하는 academic progress는 "#학업향상"이 아니라 "#진급결정"에 가깝다. 그렇기 때문에 영문에 "decisions about academic progress"라는 표현이 있는 것으로 보는게 자연스럽다(진급여부를 "결정"한다). 

 

또한 Academic progression가 어떻게 쓰이는지를 구글에서 찾아봐도 "얼마나 학업적으로 향상(발전)하고 있느냐"라는 의미보다는 "requirement"이라는 단어를 자주 동반하며, 특히 영국에서 그러한 의미로 쓰이는 듯 하다. 일종의 확증편향일 수도 있지만 영문판을 작업한 Task force에는 영국 대학의 교수가 핵심 멤버로 있다(그림).

 

5.

물론 의평원이 이 작업에 들인 노력과 시간을 고려하면, 이 모든 것에도 불구하고 academic progress를 "학업향상"이라고 번역했을 수도 있다. 그러나 솔직한 마음은 영 동의하기 어려운 것이 사실이다.

 

1.
의학교육평가원(의평원)의 역할은 여러가지가 있겠으나, 그 중에서도 가장 일선 의과대학과 밀접하게 닿아있는 것은 "의학교육 평가인증(판정)"이다. 흔히 "인증평가"라고도 불리는 평가인증은, 간단하게는 각 의과대학 교육에 대해 평가하고, 그 결과에 대하여 '4년 인증' 또는 '6년 인증'과 같은 판정이 내려지는 일련의 절차와 결과를 말한다. 현재 판정 단계는 (조건부인증을 제외하면) 2년, 4년, 6년으로 나뉘는데, 대부분의 의과대학은 4년 인증을 받는 경우가 가장 많다. 일부 의과대학이 6년을 성취해내고, 2년 인증을 받았던 대학은 아직 하나 뿐이다.

 

2.

올해 새로운 의평원 이사장님을 비롯하여 제7기 조직이 꾸려졌고, 나도 어쩌다 그 중 한 위원회에 소속되어 일을 하게 되었다. 그리고 어제 제7기 조직의 합동워크숍에 참석하여 의평원일을 오래 해오신, 혹은 이번에 새로 하게되신 여러 교수님들을 뵐 수 있었다. 이런저런 논의를 하던 중, 문득 이런 질문을 드렸다.

 

"교수님들 대학에서는 (가장 높은 단계인) 6년 인증을 목표로 하시나요? 물론 6년 인증이라는 것이 가장 상위 결과고, 받으면 좋긴 하지만요. 왜냐면, 6년 인증 수준으로 기준을 만족시키기 위해, 있는거 없는거 끌어모으고 만들어내면서 들어가는 노력에 비하면, 6년 인증이란게 그만큼의 실익이 있는지 모르겠어서요. 저는 사실 4년 인증이면 충분하다고 생각해요. 오히려 6년 인증을 받고나서, 이후에 교육이 조금 방치되는 듯한 경우도 있구요"

 

3.

그리고 여기에 대해 한 교수님께 꽤나 의외의 답을 듣게 되었다. 정확한 워딩은 다소 부정확하나, 말씀의 취지는 "이 결과가 의과대학 입시에서 학생들이나 학원가에 영향이 크다"는 것이었다. 그리고 이런 말씀에 (내 오해인진 모르겠으나) 다른 교수님들도 대체로 그렇다고 동의하는 분위기였다.

 

음... 정말 그런가? 물론 교육의 질이 학생의 대학 선택에 영향을 준다면 그만큼 내 입장에서 좋은 일이 없겠으나, 아무리 생각해도 그럴 것 같지 않아서... 설령 고려하더라도 빅5여부, 지리적 위치, 수련병원 규모 등을 다 고려한 다음이 아닐까..? 4년 인증이냐 6년 인증이냐를 기준으로 어느 의대에 갈지를 선택하는 학생이 있더라도, 매우 제한적인 경우에 해당할 것 같은데..

 

분위기나 시간관계상 더 자세히 물어보진 못했는데, 아무튼 나중에라도 학생들 만나면 더 물어봐야겠다.

 

형성평가(FORMative assessment)는 평가가 갖는 "목적"에 따른 구분이자, 목적을 드러내는 단어이다. 그리고 그 목적은 미완성인 무언가의 형태(form)를 보다 완성품에 가까운 모습으로 형성(form)하는 것이다. 형성평가가 표면적으로 지니는 흔한 특징은 바로 이러한 "목적"에서 기인한다. 예를 들어,

 

- (시기) 미완성의 무언가를 대상으로 하기에 과정의 말기보다는 초기와 중기에 하게 되고

- (부담) 최종적인 판단이 아니기 때문에 평가자의 부담이 낮고(성적에 반영되는 비율이 작음)

- (문항) 부담이 낮기 때문에 반드시 문항의 퀄리티가 높아야만 하는 것이 아니고(높아서 나쁠건 없지만)

- (평가자) 위의 연장선상에서, 다양한 평가자를 평가에 활용할 수 있고(자기평가, 동료평가, 환자평가 등)

- (피드백) 완성된 형태로 만드는 목적이 있으므로 개선을 위한 구체적 코멘트와 행동이 뒤따라야 한다.

 

즉, 이런 형성평가의 겉보기 특징은 결국 FORMative라는 목적을 위한 "수단"에 불과하다. 그러나 수단은 목적의 달성을 담보하지 않는다. 좋은 음식을 만들려면 좋은 재료를 갖추는 것이 중요하지만, 좋은 재료가 무조건 좋은 음식을 보장하지 않는 것처럼, 형성평가의 외피만 갖춘다고 형성(FORM)이라는 목적이 달성되지 않는다.

 

그럼에도 "형성평가가 뭔가요?"라는 질문을 받으면 "과목 중간에(시기), 성적에 반영비율이 작은(부담), 퀴즈 등을 가지고(문항), 학생 스스로 혹은 교수자가(평가자), 달성도를 판단하고 부족한 부분을 찾아 개선하는(피드백) 평가"라고 설명할 수 밖에 없다.

 

하지만, 이것은 "OOO는 누군가요?"라는 질문에 "A에서 태어나 B학교를 졸업하고 C를 전공한 뒤 D에 취직해서 E에서 사는 사람"이란 대답이 OOO를 설명해주는 만큼만 충분하다. 물론 OOO를 전혀 모르는 사람에게는 이 정도 소개로 시작해볼 수 있고, 통찰력이 뛰어난 사람은 저 문장으로 OOO를 꿰뚫어 볼지도 모른다. 하지만 적어도 수단 그 자체가 마치 목표인 것 마냥, 혹은 한두개의 외피만 걸치면 충분한 것 마냥 본말을 전도하지는 않아야 한다. 

 

한 사람을 충분히 이해하고, 그 사람과 잘 지내기 위해서는 단순히 A B C D E보다 더 많은 것을 알아야 하고, 거기엔 그 만큼의 시간과 노력이 필요하다. 형성평가도 마찬가지다.

1. 성적처리로 한참 정신없이 지내던 작년 2020년 12월 21일, ASK2019의 template격인 WFME의 2015년 기본의학교육 평가인증 기준(이하 2015 기준)의 업데이트 버전(이하 2020 기준¹)이 나온 것을 뒤늦게 알게 되었다.
2. 훑어봤을 때 눈에 띄는 달라진 점은 다음과 같다.
▣ 변화1. 분량
전체적으로 분량이 크게 줄었다. 그림의 예시로 보여준 1영역 뿐만 아니라, 전체적으로도 30쪽 정도이던 분량이 20쪽 정도로 줄었다. 위 그림에서 보듯 글씨의 밀도를 고려하면 실제 줄어든 분량은 그 이상일 것이다.
▣ 변화2. 영역
영역 자체가 달라졌다². 기존의 9개 영역으로 구분되었던 것이 8개 영역으로 구분되었다. 가장 눈에 띄는 것은 많은 학교를 가장 괴롭히던(!!) ‘7영역’의 타이틀이 ‘프로그램 평가(program evaluation)’에서‘Quality assurance’로 바뀐 것이다. 제목만 바뀐 것이 아니라, 영역에 담긴 내용도 상당히 달라졌다.
▣ 변화3. 지향점
구체적이고 정량적인 요건의 충족보다는 여건과 상황에 맞는 각 대학의 재량권을 좀 더 인정하는 방향으로 바뀌었다. 2020 기준의 서문에서 WFME는 ‘규범적, 절차-중심 요건을 원칙-중심 접근으로 수정하기로 결정하였다’라고 쓰고 있다³.
▣ 변화4. 기준
지향점이 달라진 결과, 기본기준과 우수기준의 구분이 사라졌다. 또한 기준을 서술함에 있어서 must(기본기준)나 should(우수기준)같은 조동사 대신 현재시제(the school has, the policy is…)를 사용하였다. 시제와 조동사 활용 여부에 따른 미묘한 차이가 느껴진다.
▣ 변화5. 가이드, 핵심질문
‘가이드‘와 ‘핵심질문‘ 이 새로 생겼다. 위의 변화3과 연관되어서 ‘무엇을 해야 합니다‘가 아니라 ‘이런 방향으로(guidance)’, ‘이런 질문을 고민해보십시오(key question)‘의 접근인 것이다. ‘무엇을 해야 한다’는 표현이 전혀 없는 것은 아니나, Guidance는 해당 기준에 대한 보완설명에 가까운 경우가 많고, ‘consider’ ‘may’ ‘might’ 등을 자주 사용하고 있다. Key Question은 의문문으로 제시되어 있다.
3. 이제 관심을 두어야 할 부분은 다음과 같다.
◈포인트1. 우리나라 도입 시기
과연 의학교육평가원(KIMEE)은 언제 이 기준을 도입할 것인가? ASK2019라는 새 평가인증 기준은 2018년에 처음 시범시행되었고, 2019, 2020년까지 딱 3년 되었다. 아직 이 기준으로 평가받지 않은 학교도 많다. 물론 WFME에서도 ‘새 WFME 기준이 나왔다고 각 국가에서 사용하던 기존 기준을 바꿔야 함을 의미하지 않는다’고는 말한다⁴. 하지만, 과연?
◈포인트2. 국문화
만약 이 기준이 새롭게 도입된다면, 과연 원래의 취지가 그대로 반영될 수 있는 ‘국문(한국어)’기준이 만들어질 수 있을 것인가?
◈포인트3. 개별 대학의 대응
각 대학에서는 2020 기준에는 없지만, 2015 기준에는 포함된, 그래서 ASK2019에도 포함된 기준에 대해서 어떤 입장을 취하는 것이 현명할 것인가? 대표적으로 위에서도 잠깐 언급한 ASK2019의 7영역에는 “K.7.3.1 의과대학은 학생과 졸업생 코호트에서 사명, 의도한 교육성과, 교육과정, 투입한 자원에 관련된 수행능력을 분석하고 있다.”와 같은 기준이 있다. 참고로 2020기준에는 ‘cohort’라는 단어 자체가 등장하지 않는다. 
◎ Footnote
2 영역(2015, 2020)
▶ 2015기준의 9개 영역: 1. Mission and outcomes; 2. Educational programme; 3. Assessment of students; 4. Students; 5. Academic staff/faculty; 6. Educational resources; 7. Programmeevaluation; 8. Governance and administration; 9. Continuous renewal
▶ 2020기준의 8개 영역: 1. Mission and values; 2. Curriculum; 3. Assessment; 4. Students; 5. Academic staff; 6. Educational resources; 7. Quality assurance; 8. Governance and administration
3 원문
“away from prescriptive, process-based requirements towards a principles-based approach”
4 원문
“The appearance of this new and revised version does not imply that existing national or local standards should be changed”

+ Recent posts