의대에서 교육하고 있습니다.

세계의학교육연맹(World Federation for Medical Education, WFME)은 1972년에 설립된 비영리 비정부기구이다. WFME는 의학교육 인증을 촉진하고, (인증과 관련한) 전문가 합의 스탠다드를 출판하며, 세계 의과대학 명부(the World Directory of Medical Schools)를 유지 관리한다. WFME는 2003년에 의과대학 교육에 대한 일련의 '글로벌 스탠다드'를 발표했으며, 2012년, 2015년, 2020년에 업데이트 버전을 발표하였다. 

외국 의대 졸업생 교육위원회(The Educational Commission for Foreign Medical Graduates, ECFMG)는 1956년에 설립되었다. ECFMG는 미국 의사 인력으로 진입하고자 하는 외국 의대 졸업생(IMG)을 인증하는 민간 비영리 비정부 기구이다. 2010년 ECFMG는 '2023년부터 ECFMG 인증을 신청하는 의사는 적절한 인증을 받은(accredited) 의과대학을 졸업해야 한다'고 발표했다.

WFME는 2010년 ECFMG의 발표에 따라 2012년에 인정 프로그램(recognition programme)을 시작했다. 그리고 이것은 각 의과대학이 ECFMG 판정을 충족하는 기본 방안이 되었다.  

문제는 WFME와 ECFMG의 근본적인 차이점에 있다. 바로 전자의 범위가 전 세계인 반면, 후자의 범위는 국가 단위라는 점이다. 이렇게 본다면 한 국가, 보다 정확하게는 미국의 한 기관이 내린 결정이 전 세계적으로 근본적인 정책 변화를 가져온 것이다.

이는 처음으로 글로벌한 영향력을 갖는 체계적이고 제도적인 의과대학에 대한 규제가 활성화되었다 의미를 지닌다. 물론 WFME는 어디에서도 의학교육 인증 스탠다드 또는 인정 프로그램이 의과대학을 표준화하기 위해 고안되었다고 언급하지 않는다. 하지만 전 세계적으로 적용될 수 있다는 사실(ECFMG 성명서의 존재)은 본질적으로 이를 암시한다.

이러한 의과대학 규제의 '세계화'를 가능하게 한 담론은 크게 두 가지이다.

• 하나는 이타주의(altruism)이다. 이 담론에서 ECFMG 정책은 궁극적으로 전 세계 의학교육을 현대화하고 개선하기 위한 수단이다. 이타주의는 서구가 동양을 현대화하고 개선함으로써 동양을 '문명화'하는 수단이기도 하다.
• 다른 하나는 국수주의(nationalism)이다. 이 담론에서 ECFMG 정책은 궁극적으로 미국의 의료 표준을 유지하고 미국 국민을 보호하기 위한 수단이다. 국수주의는 서구가 신뢰할 수 없는 '야만적인' 동양을 두려워하는 것이기도 하다.

이렇게 보면, ECFMG가 WFME와 연합하는 것은 이 두 가지 담론에 모두 부합한다. 반면 WFME의 이점은 명확하지 않다. ECFMG의 판결이 발표되기 몇 년 전부터 WFME는 이미 '인증기관을 인증'하는 프로그램에 대한 아이디어를 제시했다. 다만 실현되지 못했을 뿐이다.

이러한 상황에서 ECFMG의 선언은 WFME에게 인정 프로그램 참여를 의과대학에 강제할 수 있는 기회를 제공했다. 실제로 WFME 인정 프로그램은 ECFMG 발표 이후 빠르게 발전하고 확대되었다. 이렇게 본다면, WFME가 정책적 야망을 실현하기 위해 ECFMG와 협력하는 권력 관계의 변화를 확인할 수 있다.

출처: Rashid, M. A. (2023). Altruism or nationalism? Exploring global discourses of medical school regulation. Medical Education, 57(1), 31-39. 

1.
의학교육 평가인증, 즉 #의학교육평가원 에서 의과대학을 인증하기 위해 새롭게 도입한 #ASK2019 (Accreditation Standards of KIMEE 2019)는 "세계의학교육연합회(#WFME, World Federation for Medical Education)에서 제시한 Basic Medical Education WFME Global Standards for Quality Improvement(The 2015 Revision)를 근간"으로 하고 있다고 밝히고 있다.

2.

즉, WFME라는 기구의 웹사이트에서는 ASK2019의 Template 격인 기준을 찾아볼 수 있다. 이러한 이유로 ASK2019 기준의 상당수는 WFME에서 만든 "영어" 기준을 원문삼아 "한국어"로 번역하여 만들어져 있다.

3.

물론 번역이라는 것이 쉽지 않은 일이고, 이 기준이 수많은 회의와 공청회를 거쳐 만들어진 것이지만, 그럼에도 불구하고 95% 정도로 "이것은 오역"이라고 생각하는 기준이 있는데 바로 K.3.2.4의 "학업향상정도에 대한 지침"이라는 표현이다.(그림) (나머지 5%는 빠져나갈 구멍..)

4.

원문을 찾아보면 이는 "academic progress"에 대한 guide를 말하는데, 여기서 말하는 academic progress는 "#학업향상"이 아니라 "#진급결정"에 가깝다. 그렇기 때문에 영문에 "decisions about academic progress"라는 표현이 있는 것으로 보는게 자연스럽다(진급여부를 "결정"한다). 

또한 Academic progression가 어떻게 쓰이는지를 구글에서 찾아봐도 "얼마나 학업적으로 향상(발전)하고 있느냐"라는 의미보다는 "requirement"이라는 단어를 자주 동반하며, 특히 영국에서 그러한 의미로 쓰이는 듯 하다. 일종의 확증편향일 수도 있지만 영문판을 작업한 Task force에는 영국 대학의 교수가 핵심 멤버로 있다(그림).

5.

물론 의평원이 이 작업에 들인 노력과 시간을 고려하면, 이 모든 것에도 불구하고 academic progress를 "학업향상"이라고 번역했을 수도 있다. 그러나 솔직한 마음은 영 동의하기 어려운 것이 사실이다.

형성평가(formative assessment)라는 귤이 바다를 건너와 우리나라에 도입되자 탱자가 되었다. Formative assessment에 대한 가장 흔한 번역이 '형성평가'이니 딱히 ASK2019를 탓할 것도 없다. 다만 아쉬운 것은,

(의대에서) #형성평가 라는 단어가 떠올리게 하는 이미지와
(영어로) #Formative_assessment 라는 단어가 함축하는 바가

과연 동일한가?
====
(1) 원문(=귤)

The medical school must provide an appropriate balance of formative and summative assessment to guide both learning and decisions about academic progress. (B 3.2.4) (출처: WFME GLOBAL STANDARDS FOR QUALITY IMPROVEMENT)  

(2) 번역된 결과(=탱자)
K.3.2.4 의과대학은 형성평가와 총괄평가를 균형 있게 실시하고 있다.(출처: ASK2019 의학교육 평가인증 기준)

(3) 원문 해석에 참고할 수 있는 자료(=귤의 유전자 분석)
일반적으로 (하나의 평가에는) 형성적 기능과 총괄적 기능이 결합되어 있다(원문: Formative and summative functions are typically combined, 출처: https://pubmed.ncbi.nlm.nih.gov/20510653/)

학생때 통합과목 수업도 직접 들어보고, 학위과정때 통합과목 평가자료도 분석해보고, 통합과목에 대한 논문도 읽어봐서 생소하거나 몰랐던건 아닌데, 의학교육 평가인증에서 여러 지적을 받은 후에 읽는 논문은 그 전과는 사뭇 다른 느낌으로 문장 하나하나가 뼈를 막 때리네 😭😭😭

===

"단순히 교육내용을 조정coordinate한다고 해서 통합integration이 자동으로 이루어지는 것은 아니다."

"아무리 시간적으로 coordinate되어있더라도, 서로간의 연결 없이 개별 교수들에 의해 개별적으로 강의가 제공된다면 그것은 통합integrated이 아닌 단지 조정coordinated된 과목일 뿐이다."

"두 개의 지식 영역을 단순히 가까이 두는 것 만으로는 충분하지 않다. 그러한 방식은 통합사다리(그림)에서 정확히 가장 낮은 수준의 통합에 해당한다."

"교육과정이 단순 조정coordinate이 아니라 통합integrate되도록 하려면 교수는 다른 수업에서 다뤄진 내용을 언급refer하면서, 다른 수업에서 배운 내용을 기반으로 자신이 가르치는 내용을 구축build on해야 한다."

https://www.ncbi.nlm.nih.gov/pubmed/25319403

[1. Formative vs Summative]

A. 개선에 필요한 피드백을 얻기 위한 형성적 평가와 도달 수준을 확인하기 위한 총괄적 평가

B. 평가인증은 총괄적 평가임과 동시에 엄청난 피드백을 받게 되는 형성적 평가

C. 심한 양가감정을 불러일으키는 이러한 평가에서 과연 무엇이 “좋은 결과” 일까? 

[2. Ethos, Pathos, Logos]

A. “아리스토텔레스 모든 설득 행위에서 세 가지 호소(appeal)를 이야기했다. 이는 에토스, 로고스, 파토스로, 첫째는 저자(writer)에, 둘째는 주장(argument)에, 셋째는 독자(reader)에 초점을 맞춘다.”

B. 에토스는 평가면담에 참여한 사람, 로고스는 평가인증 기준과 보고서.

C. 과연 평가장에서 보여준 에토스는 로고스의 약점을 얼마나 보완해줄 수 있었을까?

[3. How & Why]

A. “'어떻게'에 집착하다보면, 그 일을 '왜' 하는지 잊게 되는 경우가 많아요."

B. ‘어떻게’를 제시한 것이 평가인증 기준이라면, ‘왜’는 의학교육의 이유

C. 왜 의학교육이 (우리 조직에서) 개선되어야 하는가? 외부에서 제시된 '어떻게'를 따른다고 과연 '왜'도 저절로 따라올까?

[4. Skin in the game]

A. “‘스킨 인 더 게임’은 ‘자신이 책임을 안고 직접 현실(문제)에 참여하라’는 뜻을 가진 용어로, 흔히 어떠한 선택과 행동에 내포된 위험과 실패를 회피하는 현상을 지적할 때 언급된다.”

B. 2년 전과는 달리 지금은 의학교육이라는 현실 문제에 책임을 회피할 수 없는 자리

1.
의학교육평가원(의평원)의 역할은 여러가지가 있겠으나, 그 중에서도 가장 일선 의과대학과 밀접하게 닿아있는 것은 "의학교육 평가인증(판정)"이다. 흔히 "인증평가"라고도 불리는 평가인증은, 간단하게는 각 의과대학 교육에 대해 평가하고, 그 결과에 대하여 '4년 인증' 또는 '6년 인증'과 같은 판정이 내려지는 일련의 절차와 결과를 말한다. 현재 판정 단계는 (조건부인증을 제외하면) 2년, 4년, 6년으로 나뉘는데, 대부분의 의과대학은 4년 인증을 받는 경우가 가장 많다. 일부 의과대학이 6년을 성취해내고, 2년 인증을 받았던 대학은 아직 하나 뿐이다.

2.

올해 새로운 의평원 이사장님을 비롯하여 제7기 조직이 꾸려졌고, 나도 어쩌다 그 중 한 위원회에 소속되어 일을 하게 되었다. 그리고 어제 제7기 조직의 합동워크숍에 참석하여 의평원일을 오래 해오신, 혹은 이번에 새로 하게되신 여러 교수님들을 뵐 수 있었다. 이런저런 논의를 하던 중, 문득 이런 질문을 드렸다.

"교수님들 대학에서는 (가장 높은 단계인) 6년 인증을 목표로 하시나요? 물론 6년 인증이라는 것이 가장 상위 결과고, 받으면 좋긴 하지만요. 왜냐면, 6년 인증 수준으로 기준을 만족시키기 위해, 있는거 없는거 끌어모으고 만들어내면서 들어가는 노력에 비하면, 6년 인증이란게 그만큼의 실익이 있는지 모르겠어서요. 저는 사실 4년 인증이면 충분하다고 생각해요. 오히려 6년 인증을 받고나서, 이후에 교육이 조금 방치되는 듯한 경우도 있구요"

3.

그리고 여기에 대해 한 교수님께 꽤나 의외의 답을 듣게 되었다. 정확한 워딩은 다소 부정확하나, 말씀의 취지는 "이 결과가 의과대학 입시에서 학생들이나 학원가에 영향이 크다"는 것이었다. 그리고 이런 말씀에 (내 오해인진 모르겠으나) 다른 교수님들도 대체로 그렇다고 동의하는 분위기였다.

음... 정말 그런가? 물론 교육의 질이 학생의 대학 선택에 영향을 준다면 그만큼 내 입장에서 좋은 일이 없겠으나, 아무리 생각해도 그럴 것 같지 않아서... 설령 고려하더라도 빅5여부, 지리적 위치, 수련병원 규모 등을 다 고려한 다음이 아닐까..? 4년 인증이냐 6년 인증이냐를 기준으로 어느 의대에 갈지를 선택하는 학생이 있더라도, 매우 제한적인 경우에 해당할 것 같은데..

분위기나 시간관계상 더 자세히 물어보진 못했는데, 아무튼 나중에라도 학생들 만나면 더 물어봐야겠다.

Symposium 15 

- 의학교육 평가인증의 결과(4년인증, 6년인증)는 임상의학종합평가의 각 학교별 순위와 관계가 없는 듯 보인다(임종평 성적 10위까지 학교 중 4년인증이 6개, 6년인증이 4개 였으며, 5위까지는 모두 4년인증이었다).

- 각 학교별 해부학 교육(강의, 실습) 시간과 기초의학종합평가에서 해부학 성적과도 관계가 없다. 100시간 정도 교육하는 학교의 성적이 300시간 이상 교육하는 학교의 성적보다 높기도 하다.

Symposium17

<인증(accreditation) 프로세스에서 학생의 역할은? w/발번역>

1. 플로어에서 나온 에피소드 하나: "내가 일본의 한 의과대학에 있은지 2년쯤 되었을 때 이야기이다. 하루는 어느 수업에 들어갔다. 수업 시작 후 퀴즈를 보고, 강의도 하고 약 20분쯤 지났을 때였다. 한 학생이 말했다. "교수님 수업 잘 못 들어오셨는데요". 무척 당황했고, 즉시 강의실을 나왔다. 그리고 며칠 뒤 그 강의실에 있던 한 학생에게 왜 그랬는지를 물었다. "교수님을 stupid하게 만들고 싶지 않았어요". 이 말 덕분에 나는 더 stupid하게 느껴졌다. 하지만 이내 깨달은 것은, 이것은 내가 이 학교에 2년이나 있으면서도 그 기간동안 학생들에게 나의 잘못에 대해서 솔직하게 말할 수 있게 만들지 못한 나의 실패(failure)라는 사실이다. 

2. 플로어에서 나온 에피소드 둘: "우리 이라크는 상당한 위계적 사회이다. 따라서 학생들이 의과대학의 교육 관련 의사결정에 참여하는 것에 큰 저항이 있었다. 물론 이것은 비단 교수-학생 관계에서 뿐만 아니며, 사회 전반에서 더 어린 사람이 더 어른의 결정에 관여하는 것이 자연스럽지 않다. 우리에게 이러한 상황을 개선하는데 도움이 된 것은 학생들의 활동에 먼저 교수님들의 참여를 요청한 것이었다. 학생들이 그저 반대만 하는 young, entitled millenial이 아니라는 것을 보여드릴 수 있었다. 그러자 이제는 교수님들의 회의에 학생들이 참여를 요청받기 시작하였다.

3. 수단 연자: 학생을 단순히 명단에 올리는 것이 아니라, involvement가 필요하며, 더 나아가 engagement가 있어야 한다. 또한 학생들은 먼저 나서서 말하지는 않지만, 아마도 probed 되기를 기다리고 있을지도 모른다. 학생들이 결정에 동의하는지, 어떻게 생각하는지 먼저 물어봐주는 것도 한 방법이다. 

4. 그리스 연자: (학생의 진정한 참여를 유도하려면) "보복"이 없음을 보여줘야 한다. 의견을 낸 사람에게 '아무 일도 생기지 않아야' 한다.

5. 기타
"The biggest culprit is culture"
"Rigid system, Voice (of students) not heard"

#WFME2019 에서 "Next Edition of the WFME Standards"를 주제로 한 세션이 진행되고 있다. 앞으로 소위 "인증기준"을 어떻게 개선할지에 대해서 이야기하고 있는데, 우리나라 의학교육도 이 영향을 피해갈 수는 없을 것 같다.

1. 우리나라 평가인증 기준의 유효기한

무엇보다 가장 궁금한 것은, #ASK2019 이라는 현재 우리나라 의학교육 평가인증(=의과대학 인증)에 사용되는 기준이 WFME Standards의 "현재 버전"을 근간으로 하고 있다는 점이다. 여기서 지칭하는 "현재 버전"이란 WFME에서 2015년에 revision된 standards를 말한다. 이 말은 즉슨, 언제가 될 지는 모르겠지만 "New WFME Standards"가 나오면, ASK2019는 "새로 나온 구 버전"이 된다는 뜻이다.

비유를 하자면, 몇 년 전 출시된 Windows 10에 딱 맞는 프로그램을 새롭게 개발, 올해 출시했는데, 얼마 지나지 않아 Windows 11이 나오는 느낌?

말하자면 ASK2019가 작년에 베타테스팅을 마치고 올해 막 공식적으로 배포/돌아간 프로그램인데, 과연 새 "windows"가 몇 년 내에 나올 것인지에 따라서 #의학교육평가원 도 고민이 깊어질 듯 하다.

2. 개별 학교의 대응

만약 "New WFME Standards"가 몇 년 이내에 출시되고, 이에 따라 우리나라 의학교육 평가인증 기준도 바뀐다고 하면, 개별 대학이 여기에 대처하기는 한층 더 어려워질 것으로 보인다.

사실 이미 Post 2주기 기준에서 ASK2019로 변하는 과정에서 "정량평가"에서 "정성평가"로의 지향점 전환 때문에 일선 대학 입장에서는 난이도가 올라가 있다. 그런데 여기에 더하여, 그냥 정성평가도 아니고, "개별 의과대학의 맥락을 고려한 정성평가"를 제대로 대응하는 것은 평가자 입장에서나 피평가자 입장에서나 한층 더 난이도를 올리는 평가로 보인다.

무엇보다 여전히 현재의 기준조차 "Prescriptive"한 측면이 없지 않은데, 새로운 기준에서는 "우리(의과대학)의 주어진 context를 고려했을 때, 현재 우리가 하고 있는 특정한 교육적 정책 및 의사결정을 어떠한 이유로, 어떠한 과정을 거쳐 이렇게 하고 있는가"를 답해야 할 것이다. 쉽지 않은 문제이다.

<Plenary 1: 평가인증 개요>

1. 캐나다의 경험: 캐나다의 의과대학 평가인증에서는 "social accountability"를 가장 첫 번째 기준(1.1.1)으로 두고 있다. 여러 차례 social accountability를 강조하였는데, 이는 연자의 말처럼 의학교육이 "publicly funded"되기 때문에 강조되고, 가능한 것일지도.
우리나라처럼 private medical school이 3/4인 상황에서 social accountability의 추구는 어떻게 가능할 것인가?

2. 평가인증의 과제: Accreditation의 효과성에 대한 근거(e.g. 의과대학 평가인증이 환자에게 더 도움이 되는가?)는 아직 충분하지 않다. 앞으로 어떻게 더 개선시킬 것인지에, 어떻게 근거를 축적할 것인지에 대한 고민이 필요해 보인다. 

3. 일본의 경험: 처음 눈에 띄었던 것은 평가기준이 불인증-3년-7년으로 나눠진다는 것(우리나라는 2년-4년-6년이다). 한편으로는 반갑게도, 우리나라에서도 어려움을 겪고 있는 기준인 학생평가(student assessment)와 교육프로그램 평가(program assessment)에서 일본의 의과대학들도 마찬가지로 어려움을 겪고 있다는 사실을 알 수 있었다. 

<Plenary 2: 차세대 WFME 평가인증> 

4. 인상깊은 몇 가지 Quotes
"의학교육에는 서구(영/미/호주 등)의 연구결과를 중심으로 한 imperialism이 있다"
"평가인증 기준은 (Box) Ticking이 아니라 Thinking을 유도해야 한다"
"평가인증 기준은 각 상황에 맞는 의사결정을 위한 자율(autonomy in local decision making)을 부여해야 한다.
"평가인증 기준은 처방적(prescriptive)이어서는 안 된다"
"처방적(prescriptive) 기준은 맥락을 충분히 반영(contextual)할 수 없다"
"Education is underpinned by values, not evidences"
"기준이 존재한다는 것은 표준화를 해야한다는 것과 동일한 의미가 아니다(Standard 는 Standardization과 같지 않다)"

5. 현재 평가인증 기준의 문제점
"현재 평가인증 기준은 상당한 업무량을 요구하며, 평균적으로 10.6개월의 준비기간이 걸린 것으로 확인된다. 다음과 같은 개선이 필요하다"
(a) 기준의 숫자를 줄일 것이다.
(b) 불필요한 복잡성을 줄일 것이다.
(c) 의미를 명확히 할 것이다.
(d) 기준 간 상대적 중요도를 조정할 것이다.
(e) 맥락적 요소들을 충분히 반영할 수 있게 할 것이다.

6. 현재 평가인증 기준 중 학생평가(student assessment) 기준에 관하여 다음의 다섯 가지 문제가 있고, 개선이 필요하다.
(a) 기준 간 specificity에 편차가 크다. 
(b) 갯수가 너무 많다. 
(c) 지나치가 처방적(prescriptive)이다. 
(d) 기준의 토대를 이루는 개념틀(underlying conceptual framework)이 부재하다. 
따라서 system of assessment 지향하는 방향으로 수정해야 하며, 이는 각 학교가 insight를 갖도록 촉진할 수 있어야 한다.

1.
의학교육 평가인증에 한참 몰두하다보니 뭘 해도 머리속에 평가니 인증이니 기준이니 하는 것들만 맴돈다. 지금 하려는게 기준에 맞는지, 평가 받는데 필요한지, 이렇게 하면 4년 인증은 넉넉히 받을지. 그러다가 오늘은 문득 전혀 다른 생각이 들었다.
• 이게 정말로 지금 여기에 필요한걸까?
• 평가인증 때문에 뭔가 내가 불필요/덜필요 한걸 하고있는건 아닐까?
• 평가인증이 없었어도 이걸 했을까?
• 평가인증이 없었다면 무얼 하고 있었을까?

2.
"사명감"은 영어사전에 sense of duty라고 번역되어 나온다. 그리고 국어사전에는 "주어진 임무를 잘 수행하려는 마음가짐" 이라고 나온다. 그런데 "사명"은 영어사전에 mission이라고 나온다. 보통 조직이나 기업에서 말하는 사명도 mission (statement)이다.

이렇게 보면 사명감은 뭔가 번역이 크게 잘 못 된 것이 아닌가 하는 느낌을 받는다. 사명-감을 갖는다는 것은 법적/도덕적 의무(duty)나 직무를 충실히 수행하는 것과는 구분된다. 사명-감은, 그보다 조금 더 본질(?)에 가까운, "나는 왜 이 일을 하는가"에 대한 스스로의 답을 찾고 그것을 실천해나가는 일이 아닐까. 

근데 내 사명은 뭘까? "평가인증 잘 통과하는 의대 만들기"는 아닌 것 같은데 말이다.