[프로그램 평가] 비의도 성과: 부정적이거나, 불편하거나, 유해하거나, 보이지 않는 것

1. 평가의 중요성

• 혁신의 장점: 지식, 환경적 특성, 사회적 요구의 빠른 변화에 적응을 촉진한다.
• 혁신 프로그램의 실제 및 다양한 영향을 이해하는 데 평가가 필수적이다.
• 혁신이 위험(risks)을 충분히 고려하지 않고 실행되는 경우가 많다.
• 부정적 또는 해로운 효과의 평가는 소홀히 다루어지고, 이론적으로 충분히 다뤄지지 않았다.

2. 연구 목적

• 건강직업교육(HPE) 프로그램의 바람직하지 않거나 잠재적으로 해로운 효과를 평가한다.
• 현재 평가 및 보고 관행을 증거로 합성하고, 바람직하지 않은 결과를 분류하는 내용 검증을 실시한다.

3. 연구 방법론

• 의학교육 프로그램 평가 연구에 대한 체계적 리뷰를 종합하는 Umbrella Review 수행.
• 평가 방법, 보고 및 결과에 관한 데이터를 추출하고 프레임워크 분석을 통해 분석.
• 다양한 전문가가 참여한 내용 검증 작업을 통해 바람직하지 않거나 잠재적으로 해로운 결과를 분류.

4. 주요 발견

• 바람직하지 않은 결과(undesirable outcome)에 대한 보고가 일반적으로 부족하다.
• 보고된 바람직하지 않은 결과:
  • 학습자 개인에게 미치는 부정적 영향.
  • 학습 성공에 대한 부정적 영향.
  • 지역사회 및 사회 그룹에 미치는 부정적 영향.
• 학문적 의료 기관에서는 해(harm)를 최소화하는 것이 윤리적 의무이다.

5. 바람직하지 않은 결과의 주요 테마

• Implementation Deficits: 프로그램 실행 결함으로 인해 신체적 또는 심리적 위험 증가.
  • 단기 해외 실습 시, 훈련생에게 건강 안전 장비를 제공하지 않음으로써 신체적 또는 심리적 위험 증가.
• Psychological Effects: 정신적 또는 정서적 부정적 결과.
  • 국제 실습 중 학습자가 자신의 존재가 자원 제약 환경에서 환자 치료를 방해한다는 도덕적 고통 경험
  • 모의 환자로 활동하는 청소년이 피드백을 제공하는 것에 대한 불안 경험.
• Group Effects: 특정 그룹에 미치는 부정적 영향.
• Social Effects: 사회적 부정적 영향.
• Opportunity Cost Effects: 효과가 의심되는 개입으로 인해 자원이 낭비되어 잠재적 혜택 상실.
  • 가상 현실 훈련을 사용하는 학습자는 전통적인 훈련 그룹에 비해 개별 학습 기회가 현저히 적음
• Competency Effects: 학습자의 지식이나 기술이 목표 기준 또는 비교 그룹에 비해 발달되지 않거나 감소.
  • 가상 현실 시뮬레이션 훈련을 받는 학습자의 성과 점수가 감소
• Compounding Inequity Effects
  • 기존의 사회적 불평등으로 인해 삶의 질이 저하된 그룹에 개입이 부정적 영향을 미침 (예: 인종차별, 능력주의, 동성애 혐오, 정신 건강 낙인, 빈곤 등).

6. 결론 및 논의

• HPE 혁신의 바람직하지 않은 결과는 과소 연구되고 충분히 보고되지 않음.
• HPE 개입은 개인, 그룹, 역량 개발 및 지역사회에 부정적인 영향을 미칠 수 있음.
• 학습 과정에서 필요한 불편과 피할 수 있는 심리적 해를 구분하는 것이 중요함.
• 건강직업교육 프로그램에서의 평가 및 보고 관행을 개선하고 윤리적 기준을 강화할 필요가 있음.
• 이러한 점들을 바탕으로 건강직업교육 프로그램의 평가 및 보고 관행을 개선하고, 윤리적 기준을 강화하는 노력이 필요하다. 이를 통해 교육 혁신이 바람직하지 않은 결과를 최소화하고, 긍정적인 영향을 극대화할 수 있을 것이다.

 

 

Presenter: Betty Onyura PhD, CE

Authors:

• Dr. Betty Onyura, University of Toronto
• Dr. Deena Hamza, University of Alberta
• Zeenat Ladak, University of Toronto
• Nivetha Chandran, University of Toronto
• Emilia Main, University Health Network
• Abigail Fisher, University of Toronto
• Dr. Qian Wu, Unity Health Toronto
• Dr. Tin Vo, University of Toronto

Abstract: Evaluation is crucial to enhance our understanding of the real and diverse impacts of innovative programs. However, evidence indicates that innovations are frequently implemented without sufficient consideration of risks. Furthermore, when evaluation is focused on verifying anticipated, negative, or unanticipated outcomes can be overlooked.

Our research examines the evaluation of undesirable and potentially harmful program effects within health professions education. First, we (i) synthesized evidence on current evaluation and reporting practices for such effects, followed by (ii) content validation exercise to help categorize such outcomes.

We conducted an Umbrella Review on systematic reviews of evaluative studies of medical education programs. Data pertinent to evaluation methods, reporting, and outcomes were extracted. We used framework analysis to analyze extracted data on undesirable or harmful outcomes. Finally, diverse subject matter experts participated in a content validation exercise to inform categorization of identified undesirable or potentially harmful outcomes.

Our findings indicate a general inattention to the reporting of undesirable outcomes. Undesirable findings that were reported included adverse consequences of innovations to individual learners to successful learning as well as to community and social groups.
Minimizing harms should be an ethical imperative for academic healthcare institutions. Our findings show that, despite the limitations of evaluation and reporting practices, there is evidence of undesirable or harmful consequences of HPE innovations to individuals and groups. Better guidance is needed on how to understand, evaluate and report on such outcomes and distinguish harm that should be mitigated from routine discomforts that may accompany learning within HPE.