의대에서 교육하고 있습니다.

[1. Formative vs Summative]

A. 개선에 필요한 피드백을 얻기 위한 형성적 평가와 도달 수준을 확인하기 위한 총괄적 평가

B. 평가인증은 총괄적 평가임과 동시에 엄청난 피드백을 받게 되는 형성적 평가

C. 심한 양가감정을 불러일으키는 이러한 평가에서 과연 무엇이 “좋은 결과” 일까? 

[2. Ethos, Pathos, Logos]

A. “아리스토텔레스 모든 설득 행위에서 세 가지 호소(appeal)를 이야기했다. 이는 에토스, 로고스, 파토스로, 첫째는 저자(writer)에, 둘째는 주장(argument)에, 셋째는 독자(reader)에 초점을 맞춘다.”

B. 에토스는 평가면담에 참여한 사람, 로고스는 평가인증 기준과 보고서.

C. 과연 평가장에서 보여준 에토스는 로고스의 약점을 얼마나 보완해줄 수 있었을까?

[3. How & Why]

A. “'어떻게'에 집착하다보면, 그 일을 '왜' 하는지 잊게 되는 경우가 많아요."

B. ‘어떻게’를 제시한 것이 평가인증 기준이라면, ‘왜’는 의학교육의 이유

C. 왜 의학교육이 (우리 조직에서) 개선되어야 하는가? 외부에서 제시된 '어떻게'를 따른다고 과연 '왜'도 저절로 따라올까?

[4. Skin in the game]

A. “‘스킨 인 더 게임’은 ‘자신이 책임을 안고 직접 현실(문제)에 참여하라’는 뜻을 가진 용어로, 흔히 어떠한 선택과 행동에 내포된 위험과 실패를 회피하는 현상을 지적할 때 언급된다.”

B. 2년 전과는 달리 지금은 의학교육이라는 현실 문제에 책임을 회피할 수 없는 자리

의학교육 평가인증 기준 중에는 "의과대학의 사회적 책무"와 관련해서 설명해야 하는 것이 몇 개 있다. 이 것 때문에 accountability와 responsibility의 차이에 대해서 두어 번 찾아보기도 했는데, 여전히 'response'해야 하는 것이 responsibility이고 'account'해야 하는 것이 accountability라는 모호한 답 밖에 얻지 못하고 말았던 기억이 있다. 이런 고민을 어느 정도 정리해주는 responsibility와 accountability의 차이에 대한 글이기에 감사히 공유.

"의과대학은 어떠한 미래를 만들고자 하는가? 의과대학은 한국이라는 사회의 구성원으로서의 자신의 존재이유에 대한 어떠한 약속을 하고 있는가? 그리고 의과대학의 운영방식과 결과는 이 약속을 제대로 지키고 있는가?"

===
"책임(responsibility)은 결과 지향적 과거 사고의 용어인 반면 책무(Accountability)는 원인에 기반한 미래 사고의 산물이다."

"책임은 어떤 부정적 결과가 산출되서 결과적으로 누구에게 복리 신체 상의 침해를 입혔을 경우 이 결과에 대해 법적 경제적 책임을 물어 과거의 원 상태를 복원할 수 있는지의 문제다. 책임은 새로운 변화가 아니라 과거의 복원에 관심이 집중되어 있다. 또한 항상 책임 소재를 묻는 것이 문제되는 것은 책임을 지는 사람과 역할을 수행한 사람이 다르다는 전제가 있기 때문이다. 일을 시킨 사람이 따로 있고 여기에 고용되어서 시킨대로 일한 사람이 다르다면 책임은 일한 사람이 지는 것이 아니라 권한을 가진 사람이 져야 맞다."

"책무는 미래를 만드는 것과 관련한 개념이다. 또한 책무(Accountability)란 책임과 의무에 대한 주체와 객체가 분리되지 않았다는 것을 전제로 한 개념이다. 어떤 결과에 대해 법적 경제적 책임을 넘어 누가 정당하게 설명할 수 있을 것인지 여기에서 설명이 안 될 경우는 이것을 어떻게 설명가능하도록 만들 것인지의 이 상식적 설명을 가능하게 함을 통해 어떻게 미래를 만들지의 문제에 대한 질문이 책무에 대한 질문이다. 책무의 문제는 경제와 법적 원상복귀를 넘어 어떤 주체가 미래에 대해 약속을 했때 이 약속을 현실로 실현시키고 있는 지의 문제이다."

"책무란 법적 경제적 문제를 넘어서서 어떤 주체가 자신이 공동체의 구성원으로 어떤 존재이유를 구현할 것인지에 대한 약속이 있는지의 문제다. 핵심은 자신의 삶에서는 이 약속을 제대로 지키고 살고 있는지, 언제 이 약속이 실현될 것인지다."

출처: https://www.facebook.com/jeongkoo.yoon/posts/pfbid034CaEQtorLUh7Gc74ZSvq1aeThXCDX8kdfsFXL77CEjQx4xUfqEGixsgUV6CbhhZsl

1.
의학교육평가원(의평원)의 역할은 여러가지가 있겠으나, 그 중에서도 가장 일선 의과대학과 밀접하게 닿아있는 것은 "의학교육 평가인증(판정)"이다. 흔히 "인증평가"라고도 불리는 평가인증은, 간단하게는 각 의과대학 교육에 대해 평가하고, 그 결과에 대하여 '4년 인증' 또는 '6년 인증'과 같은 판정이 내려지는 일련의 절차와 결과를 말한다. 현재 판정 단계는 (조건부인증을 제외하면) 2년, 4년, 6년으로 나뉘는데, 대부분의 의과대학은 4년 인증을 받는 경우가 가장 많다. 일부 의과대학이 6년을 성취해내고, 2년 인증을 받았던 대학은 아직 하나 뿐이다.

2.

올해 새로운 의평원 이사장님을 비롯하여 제7기 조직이 꾸려졌고, 나도 어쩌다 그 중 한 위원회에 소속되어 일을 하게 되었다. 그리고 어제 제7기 조직의 합동워크숍에 참석하여 의평원일을 오래 해오신, 혹은 이번에 새로 하게되신 여러 교수님들을 뵐 수 있었다. 이런저런 논의를 하던 중, 문득 이런 질문을 드렸다.

"교수님들 대학에서는 (가장 높은 단계인) 6년 인증을 목표로 하시나요? 물론 6년 인증이라는 것이 가장 상위 결과고, 받으면 좋긴 하지만요. 왜냐면, 6년 인증 수준으로 기준을 만족시키기 위해, 있는거 없는거 끌어모으고 만들어내면서 들어가는 노력에 비하면, 6년 인증이란게 그만큼의 실익이 있는지 모르겠어서요. 저는 사실 4년 인증이면 충분하다고 생각해요. 오히려 6년 인증을 받고나서, 이후에 교육이 조금 방치되는 듯한 경우도 있구요"

3.

그리고 여기에 대해 한 교수님께 꽤나 의외의 답을 듣게 되었다. 정확한 워딩은 다소 부정확하나, 말씀의 취지는 "이 결과가 의과대학 입시에서 학생들이나 학원가에 영향이 크다"는 것이었다. 그리고 이런 말씀에 (내 오해인진 모르겠으나) 다른 교수님들도 대체로 그렇다고 동의하는 분위기였다.

음... 정말 그런가? 물론 교육의 질이 학생의 대학 선택에 영향을 준다면 그만큼 내 입장에서 좋은 일이 없겠으나, 아무리 생각해도 그럴 것 같지 않아서... 설령 고려하더라도 빅5여부, 지리적 위치, 수련병원 규모 등을 다 고려한 다음이 아닐까..? 4년 인증이냐 6년 인증이냐를 기준으로 어느 의대에 갈지를 선택하는 학생이 있더라도, 매우 제한적인 경우에 해당할 것 같은데..

분위기나 시간관계상 더 자세히 물어보진 못했는데, 아무튼 나중에라도 학생들 만나면 더 물어봐야겠다.

형성평가(FORMative assessment)는 평가가 갖는 "목적"에 따른 구분이자, 목적을 드러내는 단어이다. 그리고 그 목적은 미완성인 무언가의 형태(form)를 보다 완성품에 가까운 모습으로 형성(form)하는 것이다. 형성평가가 표면적으로 지니는 흔한 특징은 바로 이러한 "목적"에서 기인한다. 예를 들어,

- (시기) 미완성의 무언가를 대상으로 하기에 과정의 말기보다는 초기와 중기에 하게 되고

- (부담) 최종적인 판단이 아니기 때문에 평가자의 부담이 낮고(성적에 반영되는 비율이 작음)

- (문항) 부담이 낮기 때문에 반드시 문항의 퀄리티가 높아야만 하는 것이 아니고(높아서 나쁠건 없지만)

- (평가자) 위의 연장선상에서, 다양한 평가자를 평가에 활용할 수 있고(자기평가, 동료평가, 환자평가 등)

- (피드백) 완성된 형태로 만드는 목적이 있으므로 개선을 위한 구체적 코멘트와 행동이 뒤따라야 한다.

즉, 이런 형성평가의 겉보기 특징은 결국 FORMative라는 목적을 위한 "수단"에 불과하다. 그러나 수단은 목적의 달성을 담보하지 않는다. 좋은 음식을 만들려면 좋은 재료를 갖추는 것이 중요하지만, 좋은 재료가 무조건 좋은 음식을 보장하지 않는 것처럼, 형성평가의 외피만 갖춘다고 형성(FORM)이라는 목적이 달성되지 않는다.

그럼에도 "형성평가가 뭔가요?"라는 질문을 받으면 "과목 중간에(시기), 성적에 반영비율이 작은(부담), 퀴즈 등을 가지고(문항), 학생 스스로 혹은 교수자가(평가자), 달성도를 판단하고 부족한 부분을 찾아 개선하는(피드백) 평가"라고 설명할 수 밖에 없다.

하지만, 이것은 "OOO는 누군가요?"라는 질문에 "A에서 태어나 B학교를 졸업하고 C를 전공한 뒤 D에 취직해서 E에서 사는 사람"이란 대답이 OOO를 설명해주는 만큼만 충분하다. 물론 OOO를 전혀 모르는 사람에게는 이 정도 소개로 시작해볼 수 있고, 통찰력이 뛰어난 사람은 저 문장으로 OOO를 꿰뚫어 볼지도 모른다. 하지만 적어도 수단 그 자체가 마치 목표인 것 마냥, 혹은 한두개의 외피만 걸치면 충분한 것 마냥 본말을 전도하지는 않아야 한다. 

한 사람을 충분히 이해하고, 그 사람과 잘 지내기 위해서는 단순히 A B C D E보다 더 많은 것을 알아야 하고, 거기엔 그 만큼의 시간과 노력이 필요하다. 형성평가도 마찬가지다.