[프로그램 평가] 로직 모델의 단점을 파악하는 5가지 방법

출처: Onyura, B., Mullins, H., & Hamza, D. M. (2021). Five ways to get a grip on the shortcomings of logic models in program evaluation. Canadian Medical Education Journal, 12(6), 96-99.

https://journalhosting.ucalgary.ca/index.php/cmej/article/view/71966

논문의 핵심 내용 정리

 

서론:

• 수십 년간 프로그램 평가에서 논리 모델(logic models)은 필수적인 도구였다.
• 논리 모델은 '어떻게'와 '왜' 특정 개입이 작동하는지를 상대적으로 간단하고 도식적으로 표현한다.
• 논리 모델은 종종 계획된 활동과 예상되는 결과 간의 전략적 의도를 강조하며, 프로그램 이해 관계자와의 의사소통을 돕고, 모니터링 및 평가의 대상 영역을 식별하는 데 사용된다.
• 그러나 논리 모델의 여러 한계로 인해 현재의 평가 이니셔티브에 적합한 도구인지에 대해 의문이 제기되고 있다.

한계점:

1. 복잡성 무시:
   • 논리 모델은 프로그램 구성 요소의 간결한 시각적 종합에 중점을 두며, 프로그램의 기능을 선형적으로 묘사한다.
   • 이는 이해 관계자들이 사회적 및 교육적 개입의 복잡성을 무시하게 만들 수 있다.
     • 예: 가변적 맥락적 요인(자원, 정치적 압력) 및 문화적·가치 차이 등.
2. 문제 해결에 대한 고정된 사고:
   • 주어진 프로그램이 문제에 대한 적절한 해결책이라고 가정하게 만들 수 있다.
   • 이는 문제에 대한 외부 영향을 생각하는 것을 제한하거나 맥락적 적합성을 높이기 위한 적응을 탐구하는 것을 제한할 수 있다.
     • 예: 청소년 자존감 향상을 위한 개입이 인종적 그룹의 체계적 억압을 인식하지 않거나 고려하지 않을 수 있다.
3. 원치 않는 결과 식별 소홀:
   • 개입이 예기치 않은 문제를 초래할 수 있는 가능성을 간과하게 만들 수 있다.
   • 의도하지 않았지만 예측 가능한 부정적 결과가 발생할 수 있다.
     • 예: 문화적 역량 훈련이 오히려 문화적 소수 그룹에 대한 인종차별 표현을 유발하거나, 글로벌 건강 교육 혁신이 훈련 범위를 벗어난 기술 수행에 대한 훈련생의 의지를 증가시킬 수 있다.

해결책:

• 이러한 한계점을 최소화하면서 논리 모델이 제공하는 이점을 누릴 수 있는 다섯 가지 전략이 있다.

1. 부정적 논리 모델 명확화:
   • 부정적 또는 어두운 논리 모델링은 개입이 초래할 수 있는 원치 않는 결과나 피해를 식별하는 데 초점을 맞춘다.
   • 전통적인 논리 모델에 혁신의 잠재적 단점을 추가하여 피해 완화 계획을 세우고, 평가 설계를 통해 원치 않는 결과를 사전에 모니터링할 수 있게 한다.
   • 혁신의 위험과 이점을 균형 있게 공유하는 데 도움이 된다.
2. 논리 분석 수행:
   • 논리 분석은 로직 모델에 제시된 주장을 심층적으로 검토한다.
   • 직접 논리 분석: 프로그램 설계와 구현이 원하는 효과를 달성하기 위한 조건과 일치하는지 평가하는 형성적 과정이다.
   • 역 논리 분석: 프로그램 특성과 유사한 결과를 실현할 수 있는 대안 모델을 비교하는 총괄적 과정이다.
   • 연구 증거나 경험적 전문 지식을 종합하여 논리 분석에 필요한 증거를 제공한다.
   • 논리 분석은 로직 모델의 신뢰성을 확인하는 데 유용하지만, 상당한 노력이 필요하므로 신중한 선택이 필요하다.
3. 전통적 논리 모델 보완:
   • 중첩 논리 모델과 행동 모델 등 더 정교한 설계를 통해 전통적인 논리 모델을 보완할 수 있다.
   • 중첩 논리 모델: 다중 프로그램 시스템의 구조적 복잡성을 분리하여 표시하며, 상위 모델은 간결하지만 다수의 하위 논리 모델로 구성된다.
   • 행동 모델: 프로그램이 특정 결과에 영향을 미치는 경로와 이러한 경로를 활성화하는 방법을 설명한다.
     • 구현 프로토콜, 대상 참가자와 조직의 특성, 일선 실행자의 필수 역량, 프로그램의 생태적 맥락(문화, 규범, 자원) 등을 포함한다.
   • Type 4 논리 모델: 개입의 변화를 유발하는 메커니즘을 설명하고, 목표 결과가 의존하는 맥락적 요소를 보여준다.
     • 프로그램 활동과 자원을 나열하는 대신 개입의 변화를 유발하는 메커니즘을 설명한다.
     • 목표 결과가 의존하는 맥락적 요소를 보여주어, 다양한 활동과 결과가 맥락에 따라 달라질 수 있음을 반영한다.
   • 행동 모델은 구현 과정 평가에 최적의 도구로, 복잡한 맥락적 요인을 반영한다.
4. 로직 모델의 목적 명확화:
   • 로직 모델 사용의 목적을 명확히 하여 기법 사용 방식을 결정한다.
   • 이해 관계자 참여와 합의 형성이 주목적이라면 간단하고 시각적으로 효율적인 전통적 모델이 적합하다.
   • 구현 평가가 우선시되는 경우, 행동 모델이 더 적합하다.
   • 복잡한 모델은 이해 관계자 참여에는 적합하지 않지만, 조직적 맥락에서 개입 개선을 위한 반성에 유용하다.
5. 논리 모델의 주기적 검토 및 업데이트:
   • 논리 모델은 동적이어야 하며, 프로그램의 실행 맥락과 결과가 변화함에 따라 주기적으로 재검토하고 수정해야 한다.
   • 예를 들어, COVID-19 팬데믹과 같은 상황 변화에 따라 논리 모델을 업데이트해야 한다.

 

chen-et-al-2023-using-logic-models-and-the-action-model-change-model-schema-in-planning-the-learning-community-program.pdf

0.50MB

 

 

 

https://logicmodel.extension.wisc.edu/introduction-overview/section-4-what-does-a-logic-model-look-like/4-5-multiple-logic-models/

 

 

결론:

• 논리 모델은 복잡한 개입 정보를 종합하는 실용적인 접근 방식을 제공한다.
• 논리 모델이 필요한 이유를 명확히 하는 것이 모델을 만드는 방법을 결정하는 데 중요하다.
• 다섯 가지 전략은 논리 모델의 한계를 극복하고 그 유용성을 최대화하는 데 도움이 된다.