1. CBT시험감독을 하다보면 멍때리는 시간이 많다보니 온갖 상상을 하곤 한다. CBT시험감독이라는게 사실 말이 "시험감독"이지, 딱히 역할이랄게 마땅치 않기 때문이다. 이미 모든 학생들의 모니터는 중앙에서 모니터링되고 있다. 문항 순서와 보기는 섞여 나와서 인접한 사람과 문항순서와 답도 다르다. 보안필름 때문에 조금만 모니터 정면에서 비켜나면 애당초 아예 화면이 보이지도 않는다.
어찌 보면 이 상황에서 감독관의 존재의미란, 감독관이 존재하기 때문에 학생들이 마구마구 컨닝페이퍼를 본다거나, 대담하게 옆 사람과 정답을 주고받는 행동을 하지 못하게 하는 것 정도.
그러다보니 실제로는 부정행위를 감시하는 감독관보다는 troubleshooter의 역할이 더 중요한 상황이 더 많다. 문제상황이 발생했을 때 (로그인이 안된다던가, 문제가 이상하다던가, 인터넷이 끊겼다던가) 학생이 손을 들면 찾아가서 문제상황을 확인하고, 적절하게 대처해주는 것이 그 역할이랄까.
2.
수업은 이미 다 녹화되어 있다.
문제는 이미 다 문제은행에 있다.
시험은 최소한의 감독관으로 족하다.
이 상황에서 굳이 "수십시간의 블록강의(기간) 후 일시에 모여서 치르는 시험"이 필요할까?
딱 하나 부족한게 있다면 상상력이 아닐까. 혹은 블록강의에서 등수로 성적(A~F)을 내야 한다는 관습에 너무 익숙해진건 아닐까.
3. 그냥 내년부터는
N개 블록강의를 묶어서,
이미 녹화된 동영상 강의를 스스로 보고,
문제은행에서 1/N씩 무작위 추출된 문항으로,
자율적으로 시험을 보고(몇 번이든),
일정 기준점수를 넘기면 Pass 주면 안될까?
시험 한 번에 못 넘기면 두 번 보는거고, 반대로 일찍 Pass한 학생은 남는 시간을 자율적으로 쓸 수 있겠지.
성적? 그건 그 남는 시간을 얼마나 잘 썼느냐에 따라 달라지겠지.
4.
물론 실제 구현하려면 훨씬 디테일하고 많은 측면에 대한 고려가 필요할 것이다.
문제는 끊임없이 복원(유출)될테니 새로운 문제가 어느 정도는 계속 보충되어야 할테고,
학생이 아무때나 시험볼 수 있을 수는 없을거고, 어느정도 정해진 날 정해진 시간에 봐야할 것이다.
Pass기준도 설정해야 할 거고, 일찍 Pass한 학생들에게 어떤 추가적 교육을 제공할지에 대한 고민도 필요할 것이다.
무엇보다 교수도 학생도 행정도 (적어도 초기엔) 어마어마한 혼란이 불가피할 것이다.
그렇지만, 방향은 이 방향이 맞지 않을까? 말뿐만이 아니라, 진정으로 Competency-based, (& Time-variable)한 교육을 지향한다면 말이다.
CBME는 복잡한 개입(complex service intervention)이다. CBME에서는 교육과정의 연속체를 따라서, 모든 요소가 누적적 학습을 촉진하는 방향으로 다같이 작동한다. 프로그램의 성과는 활동의 일차적 결과인 근위-단기 성과와, 다양한 요인이 작용하여 발생하는 원위-시스템 성과로 분류할 수 있다.이 중 후자는 Kirkpatrick 모델의 네 번째 레벨인 results에 대응되며, 달성하기도, 평가하기도 어렵다.
2
CBME는 복잡한 서비스 개입complex service intervention이다. 복잡성의 주어진 조건에 따라, 그 구성요소가 다양한 조합으로 상호작용하기에, 최종적인 결과도 달라질 수 있다. 육아에 대해 "한 아이를 키우며 얻은 경험이 다른 아이를 잘 키울 것을 보장하지 않는다"는 말은 이를 잘 보여준다. GME에 다음과 같이 적용시켜볼 수 있다.
첫째, 부모-자녀 상호작용이 육아의 중심에 있는 것처럼, 전공의가 독립적인 의사로 발달해나가는 과정에는 교수와 전공의의 상호작용이 있다.
둘째, 아이의 발달에 부모 외에 다른 요소들이 많이 작용하는 것처럼, CBME에도 동일하게 전공의의 발달에 영향을 주는 요인은 다양하다. 결국 가장 중요한 것은 여러 개인들간의 상호작용의 퀄리티이다.
셋째, 맥락context을 고려한다면, 결과적으로 어떤 두 개의 CBME도 완전히 동일할 수는 없다. 이는 CBME프로그램 평가를 어렵게 만드는 요인이다.
우리는 프로그램 평가에 대한 ‘쉽게 합의되고, 정확히 측정되며, 원인과 효과를 잘 설명할 수 있는’ 전통적 접근법에서 벗어나, CBME 프로그램 평가를 ‘기여contribution’과 ‘귀인attribution’으로 나누어 생각해볼 수 있다.
3
귀인 분석attribution analysis은[비교적 빠르게 달성할 수 있는, 명확한 목표를 가지고 있는, 재현 가능한 개입]에 효과적이다. 이러한 조건이 충족되면 프로그램 활동과 성과 사이의 직접적인 인과관계를 추론할 수 있다. 실증주의적 실험 방법이 주로 사용된다.
문제는 복잡성이라는 조건이 성공에 이르는 경로를 개입이 시행되기 이전에 설명하는 것을 어렵게 만든다는 것이다.변수를 통제한다는 것 자체가 매우 어렵다. 왜냐하면 변수를 통제한다는 것은 개입(학습 경험 및 커리큘럼)이 상황에 무관하게 일관되고 재현가능한지 확인하는 작업이기 때문이다. 즉, 기존의 환원주의적 방법만으로는 프로그램이 무슨 영향을 주는지 유의미하게 이해할 수 없다.복잡성complexity이란 조건에서는 "수행된 활동과 관찰된 결과 사이의 모든 연속체와 광범위한 관계"를 조사해야 한다.
4
기여 분석contribution analysis에서 평가의 핵심 질문은 "이 프로그램은 관찰된 성과에 어느 정도의 차이(또는 기여)를 만들어냈습니까?"이다. 기여분석에서 중요한 것은 프로그램이 ‘어떻게’, ‘왜’(how and why) 구현되었는지를 완전히 이해할 수 있도록 블랙박스를 여는 것이다. How and Why를 이해하면 영향경로impact pathway를 기술할 수 있다. 영향경로란, [프로그램 활동]과 [예상 결과]의 가정된 관계를 기술하기 위하여, 이론으로부터 도출한 경로이다. 기여분석의 최종 결과는 주어진 상황에서 [프로그램이 어떻게 생겼는지, 어떻게 차이를 만들었는지, 차이가 발생한 이유는 무엇인지]를 명확히 설명하는 강력하고 신뢰할 수 있는 기여스토리contribution story를 만드는 것이다.
기여분석을 수행하려면 사고의 견고함rigor in thinking이 최우선 과제이다. 이 능력을 바탕으로 다양한 프로그램 활동 사이의 연관성, 근위부 성과와 원위부 성과의 관계, 이 관계의 기저에 깔린 가정을 개연성 있게 설명할 수 있다. ‘사고의 견고함’은 기존의 틀을 벗어나 다양한 가설을 고려하는 능력이며, 추론의 강한 고리와 약한 고리를 식별하는 능력이다. 엄밀한 방법론rigor in methodology도 중요하지만, 그보다 다양한 출처에서 정보를 수집하고, 이를 바탕으로 ‘어떻게 프로그램 활동이 관찰된 결과를 유도했는지’를 해석한다.
5
AA와 CA를 CBME의 잠재적 변화이론potential theory of change에 따라 적용해 볼 수 있다.각 단계는 다음과 같다.
▣ 1단계 해결해야 할 원인 및 결과 문제 해결(Step 1: Set out the cause-and-effect issue to be addressed): CBME가 복잡한 서비스 개입임을 인식하고, 기여 대 귀인의 문제를 포용하는 것이 중요한 첫 번째 단계이다.
▣ 2단계 개연성 있는 변화 이론 개발(Step 2: Develop a postulated theory of change):관심 대상이 되는 성과에 가장 큰 영향을 미칠 가능성이 있는 요인을 식별한다. 근위부 및 원위부 성과가 시간적 선후관계 방식으로 배열되는 결과사슬result chain이 변화 이론theory of change의 백본이다. 성과를 프로그램 활동에 연결하는 것도 결과사슬의 중요 요소이다. 이에 더하여, 성과outcomes와 산출물outputs에 대해 예상되는 가정과 위험을 설명해야 한다.
▣ 3단계 존재하는 증거 수집(Step 3: Gather existing evidence): 3단계는 논리와 증거를 바탕으로 변화이론theory of change을 검증한다. 다양한 증거 중에서 구체적인 증거가 무엇이며, 무엇이 가장 필요한지를 결정하는 것이 핵심이다. 성과에 이르는 과정에서 [프로그램이 어떻게 차이를 만드는지]에 대한 이야기를 하기 위해 복수의 증거 출처(예: 정량적, 정성적, 기존 연구, 문헌)에 의존한다.
▣ 단계 4 기여 스토리 구성하기(Step 4: Assemble the contribution story):이용 가능한 증거를 사용하여 이제 기여 스토리를 구성한다. 신뢰할 수 있는 기여 스토리는 다음의 요소를 갖춰야 한다
• 맥락을 철저히 기술한다.
• 변화 이론이 이치에 맞는다.
• 활동, 활동으로 인한 산출물, 관찰된 성과를 잘 기술한다.
• 변화 이론의 핵심 연결고리를 뒷받침할 증거를 제시하고, 장점과 단점도 논의한다.
• 분석 결과를 충분히 설명한다.
• 기타 영향 인자를 논의한다.
▣ 5단계 추가 근거 찾기(Step 5: Seek out additional evidence): 기여 스토리를 구성하다보면 더 많은 데이터가 필요해질 수 있다. CA의 최종적 목표는 기여 스토리의 신뢰성을 향상시키는 것이기 때문에, 삼각측량은 매우 중요하다. 4단계와 5단계를 수행하는 과정에서 변화이론은 수정될 수 있으며, 실제로도 이 과정은 [프로그램 활동과 성과에 대한 이해를 끊임없이 심화시키는 지속적이고 반복적인 과정]으로 보아야 한다.
▣ 6단계 기여 스토리의 수정 및 강화(Step 6: Revise and strengthen the contribution story):추가로 수집된 증거를 사용하여 더 강력한 기여 스토리를 만든다. CA의 전체 프로세스는 3단계에서 6단계까지의 반복적 접근하는 것이 바람직하다. CA 기반의 프로그램 평가는 일회성 활동이 아니라, 시간의 흐름에 따라 점진적으로 펼쳐지는 이야기를 제공하기 위한 것이다. 현실적으로도 한번에 모든 인과적 요인을 검토하는 것은 너무 어려운 일이다. 특히 CBME와 같이 변화이론이 복잡하다면, 다수의 작고 집중적 평가가 더 바람직할 수 있다.
출처:
Van Melle, E., Gruppen, L., Holmboe, E. S., Flynn, L., Oandasan, I., & Frank, J. R. (2017). Using contribution analysis to evaluate competency-based medical education programs: It’s all about rigor in thinking.Academic Medicine,92(6), 752-758.
CBME는 보건의료 담론에 1970년대 후반에 처음 소개되었으며(McGaghie et al. 1978), 이후 여러 전문직에서 CBME를 탐색해보았지만, 몇 가지 이유로 적절한 관심을 얻지 못했다. 의학교육에는 1990년대 후반에CBME가 다시 도입되었지만,그 때까지도 교육/훈련의 구조나 과정을 더 중시하였고, 역량을 평가하는 것에 어려움을 겪으면서 더 큰 진전은 이루지 못했다.
2
CBME의 몇 가지 특징은 다음과 같다.
사전에 정의된 성과나 역량이 교육과정과 평가를 이끌어간다(drive).
교육기관이나 프로그램이 의도한 성과를 달성하게 만들 능력이 있는지가 중요하다. 수련 과정에서 겪은 의료의 퀄리티가, 수련 이후 커리어의 의료의 퀄리티를 예측하기 때문이다.
CPD단계에서도 수행능력의 지속적 개선을 목표로 할 수 있다. CBME는 본질적으로 로드맵의 역할을 하며, 커리어 전반에 걸친 지속적인 발달을 촉진할 수 있다.
성과에 초점을 둠으로써, 환자와 이해관계자에게 투명성을 제공한다.
의료전문직에게 요구되는 사회적 계약에 따라 의학교육을 재편성(realign)할 잠재력을 가지고 있다.
개인/프로그램/기관을 측정할 수 있는, 환자와 인구집단의 요구를 반영한 성과를 정의하는 것
정의된 성과defined outcome를 달성하기 위해 모든 이해관계자가 책무성을 갖게 하는 것
4
첫째, 규제와 이해관계자의 정렬이다. 많은 규제 정책은 과거의 교육과정 및 평가 방식에 맞춰져 있고, 실제로는 CBME의 시행에 방해가 된다. 의학교육 규제기관은 시대에 뒤떨어진 정책을 개선하고, 평생에 걸친 전문직업적 발전과 성장을 위한 연속성을 협력적으로 지원해야 한다. 교수자는 학습자의 지도에 더 많은 시간과 노력이 필요해질 것이다. 개별화된 학습과 전문직업적인 성장을 촉진하기 위한 평가/관찰/피드백/코칭 기술의 개발이 필요하다. 교육/수련기관은 승진, 업적, 보상 등을 통해 교수개발과 교육에 대한 헌신을 지지해주어야 한다. 교육/수련이 이뤄지는 시스템과 환경을 재설계해야 한다.
5
둘째, 교육 재설계와 임상 재설계의 통합이다.의료서비스의 발전에 따라, 의학교육의 재설계redesign은 의료전달시스템의 재설계를 반영해야 한다. 이러한 정렬alignment이 없다면, 학습자는 새롭게 등장하는 원칙이나 의료모델을 여전히 시대에 뒤떨어지고 비효율적인 임상 학습 환경 속에서 배워야 한다. 역량 있는 trainee는 역량 있는 기관에서만 길러질 수 있다. 임상의료의 재설계 노력과 교육의 재설계 노력은 상호적이어서, 한 쪽의 성공은 다른 쪽의 성공에 달려 있다.지금은 교육이 임상이나 연구 업무에 부차적인 상태인데, 교육을 위한 자금이 임상과 연구 수익에서 나오기 때문이다. 따라서 이 목표를 달성하려면 정책과 펀딩의 상당한 변화가 필요하다.
6
셋째, 성과의 정의이다. 성과는 비단 개별 훈련생 뿐만 아니라, 교육/수련 프로그램, 교육/수련 기관, academic health systems이 추구해야 할 성과도 함께 정의되어야 한다.
7
넷째, 상호 책무성이다. CBME의 가능성을 현실로 만들려면, 개인/기관/규제기구가 정의된 성과 달성을 위한 책무를 다할 수 있게 서로서로 붙잡아줘야(hold one another) 한다. 개별 의사는 교육에 대한 규제기구의 감독을 수용해야 하고, 학습자 개인은 지속적인 전문성 개발과 역량 유지에 대한 자신의 책임을 수용해야 한다. 마찬가지로, 교육/수련 프로그램이나 기관도 긍정적 학습환경 조성, 개인의 성장 촉진, 전문직업적 역량의 개발과 유지에 필요한 규제 기구의 감독을 수용해야 한다. 규제기관은 각 프로그램이나 기관이 주어진 국지적 맥락 속에서 CBME로의 전환이라는 목표를 위해 혁신할 수 있도록 유연성을 허용해야 한다.
출처:
Caverzagie, K. J., Nousiainen, M. T., Ferguson, P. C., Ten Cate, O., Ross, S., Harris, K. A., ... & ICBME Collaborators. (2017). Overarching challenges to the implementation of competency-based medical education.Medical teacher,39(6), 588-593.
