교육프로그램의 기여분석(Contribution analysis): 사고의 견고함

1

CBME는 복잡한 개입(complex service intervention)이다. CBME에서는 교육과정의 연속체를 따라서, 모든 요소가 누적적 학습을 촉진하는 방향으로 다같이 작동한다. 프로그램의 성과는 활동의 일차적 결과인 근위-단기 성과와, 다양한 요인이 작용하여 발생하는 원위-시스템 성과로 분류할 수 있다. 이 중 후자는 Kirkpatrick 모델의 네 번째 레벨인 results에 대응되며, 달성하기도, 평가하기도 어렵다.

 

2

CBME는 복잡한 서비스 개입complex service intervention이다. 복잡성의 주어진 조건에 따라, 그 구성요소가 다양한 조합으로 상호작용하기에, 최종적인 결과도 달라질 수 있다. 육아에 대해 "한 아이를 키우며 얻은 경험이 다른 아이를 잘 키울 것을 보장하지 않는다"는 말은 이를 잘 보여준다. GME에 다음과 같이 적용시켜볼 수 있다.

첫째, 부모-자녀 상호작용이 육아의 중심에 있는 것처럼, 전공의가 독립적인 의사로 발달해나가는 과정에는 교수와 전공의의 상호작용이 있다.

둘째, 아이의 발달에 부모 외에 다른 요소들이 많이 작용하는 것처럼, CBME에도 동일하게 전공의의 발달에 영향을 주는 요인은 다양하다. 결국 가장 중요한 것은 여러 개인들간의 상호작용의 퀄리티이다.

셋째, 맥락context을 고려한다면, 결과적으로 어떤 두 개의 CBME도 완전히 동일할 수는 없다. 이는 CBME프로그램 평가를 어렵게 만드는 요인이다.

 

우리는 프로그램 평가에 대한 ‘쉽게 합의되고, 정확히 측정되며, 원인과 효과를 잘 설명할 수 있는’ 전통적 접근법에서 벗어나, CBME 프로그램 평가를 ‘기여contribution’과 ‘귀인attribution’으로 나누어 생각해볼 수 있다.

 

3

귀인 분석attribution analysis은 [비교적 빠르게 달성할 수 있는, 명확한 목표를 가지고 있는, 재현 가능한 개입]에 효과적이다. 이러한 조건이 충족되면 프로그램 활동과 성과 사이의 직접적인 인과관계를 추론할 수 있다. 실증주의적 실험 방법이 주로 사용된다.

문제는 복잡성이라는 조건이 성공에 이르는 경로를 개입이 시행되기 이전에 설명하는 것을 어렵게 만든다는 것이다. 변수를 통제한다는 것 자체가 매우 어렵다. 왜냐하면 변수를 통제한다는 것은 개입(학습 경험 및 커리큘럼)이 상황에 무관하게 일관되고 재현가능한지 확인하는 작업이기 때문이다. 즉, 기존의 환원주의적 방법만으로는 프로그램이 무슨 영향을 주는지 유의미하게 이해할 수 없다. 복잡성complexity이란 조건에서는 "수행된 활동과 관찰된 결과 사이의 모든 연속체와 광범위한 관계"를 조사해야 한다.

 

4

기여 분석contribution analysis에서 평가의 핵심 질문은 "이 프로그램은 관찰된 성과에 어느 정도의 차이(또는 기여)를 만들어냈습니까?"이다. 기여분석에서 중요한 것은 프로그램이 ‘어떻게’, ‘왜’(how and why) 구현되었는지를 완전히 이해할 수 있도록 블랙박스를 여는 것이다. How and Why를 이해하면 영향경로impact pathway를 기술할 수 있다. 영향경로란, [프로그램 활동]과 [예상 결과]의 가정된 관계를 기술하기 위하여, 이론으로부터 도출한 경로이다. 기여분석의 최종 결과는 주어진 상황에서 [프로그램이 어떻게 생겼는지, 어떻게 차이를 만들었는지, 차이가 발생한 이유는 무엇인지]를 명확히 설명하는 강력하고 신뢰할 수 있는 기여스토리contribution story를 만드는 것이다.

 

기여분석을 수행하려면 사고의 견고함rigor in thinking이 최우선 과제이다. 이 능력을 바탕으로 다양한 프로그램 활동 사이의 연관성, 근위부 성과와 원위부 성과의 관계, 이 관계의 기저에 깔린 가정을 개연성 있게 설명할 수 있다. ‘사고의 견고함’은 기존의 틀을 벗어나 다양한 가설을 고려하는 능력이며, 추론의 강한 고리와 약한 고리를 식별하는 능력이다. 엄밀한 방법론rigor in methodology도 중요하지만, 그보다 다양한 출처에서 정보를 수집하고, 이를 바탕으로 ‘어떻게 프로그램 활동이 관찰된 결과를 유도했는지’를 해석한다.

 

5

AA와 CA를 CBME의 잠재적 변화이론potential theory of change에 따라 적용해 볼 수 있다. 각 단계는 다음과 같다.

 

▣ 1단계 해결해야 할 원인 및 결과 문제 해결(Step 1: Set out the cause-and-effect issue to be addressed): CBME가 복잡한 서비스 개입임을 인식하고, 기여 대 귀인의 문제를 포용하는 것이 중요한 첫 번째 단계이다.

 

▣ 2단계 개연성 있는 변화 이론 개발(Step 2: Develop a postulated theory of change): 관심 대상이 되는 성과에 가장 큰 영향을 미칠 가능성이 있는 요인을 식별한다. 근위부 및 원위부 성과가 시간적 선후관계 방식으로 배열되는 결과사슬result chain이 변화 이론theory of change의 백본이다. 성과를 프로그램 활동에 연결하는 것도 결과사슬의 중요 요소이다. 이에 더하여, 성과outcomes와 산출물outputs에 대해 예상되는 가정과 위험을 설명해야 한다.

 

▣ 3단계 존재하는 증거 수집(Step 3: Gather existing evidence): 3단계는 논리와 증거를 바탕으로 변화이론theory of change을 검증한다. 다양한 증거 중에서 구체적인 증거가 무엇이며, 무엇이 가장 필요한지를 결정하는 것이 핵심이다. 성과에 이르는 과정에서 [프로그램이 어떻게 차이를 만드는지]에 대한 이야기를 하기 위해 복수의 증거 출처(예: 정량적, 정성적, 기존 연구, 문헌)에 의존한다.

 

▣ 단계 4 기여 스토리 구성하기(Step 4: Assemble the contribution story): 이용 가능한 증거를 사용하여 이제 기여 스토리를 구성한다. 신뢰할 수 있는 기여 스토리는 다음의 요소를 갖춰야 한다

• 맥락을 철저히 기술한다.

• 변화 이론이 이치에 맞는다.

• 활동, 활동으로 인한 산출물, 관찰된 성과를 잘 기술한다.

• 변화 이론의 핵심 연결고리를 뒷받침할 증거를 제시하고, 장점과 단점도 논의한다.

• 분석 결과를 충분히 설명한다.

• 기타 영향 인자를 논의한다.

 

▣ 5단계 추가 근거 찾기(Step 5: Seek out additional evidence): 기여 스토리를 구성하다보면 더 많은 데이터가 필요해질 수 있다. CA의 최종적 목표는 기여 스토리의 신뢰성을 향상시키는 것이기 때문에, 삼각측량은 매우 중요하다. 4단계와 5단계를 수행하는 과정에서 변화이론은 수정될 수 있으며, 실제로도 이 과정은 [프로그램 활동과 성과에 대한 이해를 끊임없이 심화시키는 지속적이고 반복적인 과정]으로 보아야 한다.

 

▣ 6단계 기여 스토리의 수정 및 강화(Step 6: Revise and strengthen the contribution story): 추가로 수집된 증거를 사용하여 더 강력한 기여 스토리를 만든다. CA의 전체 프로세스는 3단계에서 6단계까지의 반복적 접근하는 것이 바람직하다. CA 기반의 프로그램 평가는 일회성 활동이 아니라, 시간의 흐름에 따라 점진적으로 펼쳐지는 이야기를 제공하기 위한 것이다. 현실적으로도 한번에 모든 인과적 요인을 검토하는 것은 너무 어려운 일이다. 특히 CBME와 같이 변화이론이 복잡하다면, 다수의 작고 집중적 평가가 더 바람직할 수 있다.

 

 

 

 

 

 

 

 

 

 

 

출처:

Van Melle, E., Gruppen, L., Holmboe, E. S., Flynn, L., Oandasan, I., & Frank, J. R. (2017). Using contribution analysis to evaluate competency-based medical education programs: It’s all about rigor in thinking. Academic Medicine, 92(6), 752-758.