[프로그램 평가] 교수개발 프로그램에 성과-로직-모델 접근법

출처: Armstrong, E. G., & Barsion, S. J. (2006). Using an outcomes-logic-model approach to evaluate a faculty development program for medical educators. Academic Medicine, 81(5), 483-488. https://journals.lww.com/academicmedicine/fulltext/2006/05000/using_an_outcomes_logic_model_approach_to_evaluate.15.aspx

Faculty Development 프로그램 평가를 위한 Outcomes-Logic-Model 접근법

서론

• 의사들을 대상으로 한 교수 개발 프로그램과 지속적인 의학 교육(CME)은 오랜 전통을 가지고 있으며, 이는 주로 교실 앞이나 병상에서 지식을 전달하는 전문가로서의 교사를 중심으로 구성되어 왔습니다.
• 이러한 전통에 따라, 이러한 프로그램의 주요 평가 지표는 참여한 의사들의 만족도로 측정되는 경우가 많았으며, 평가 계획과 적절한 결과 측정 기준을 마련하지 못하는 경우가 많았습니다.
• 2000년에 미국 의과대학 협회의 지속적인 의학 교육 자문 그룹은 CME 프로그램의 효율성을 평가하는 새로운 방법과 평가 전략 및 결과를 공유할 것을 권장하였습니다.

최근 변화

• 지난 10년 동안 의학교육은 교수 중심에서 학습자 중심으로 변화하고 있으며, 이는 학습자가 적극적으로 자신의 학습에 참여하도록 지원하는 형태로 바뀌고 있습니다.
• 이러한 "과학적 교수법"은 엄격한 연구를 통해 효과적임이 입증된 교육 원칙에 기반하고 있으며, 학문적 의학에서는 프로그램 평가 방법을 재검토하여 프로그램의 효율성에 대한 신뢰할 수 있는 증거를 얻는 것이 중요합니다.

Outcomes Logic Model의 적용

• 이 보고서에서는 비전통적인 교수 개발 프로그램을 평가하기 위해 outcomes logic model을 사용하는 방법을 설명합니다.
• outcomes logic model은 프로그램 생성에서 실행, 참가자에 대한 결과로 이어지는 경로를 나타냅니다.
• Harvard Macy Institute Program for Physician Educators(HM-PE)에 이 평가 접근법을 적용하였습니다. 이 프로그램은 1994년에 하버드 의과대학에서 다학문적 교수진에 의해 설계 및 실행되었으며, 기존의 교수 개발 프로그램과는 큰 차이가 있었습니다.

프로그램의 목표와 평가

• HM-PE 프로그램은 특정 기술 세트를 향상시키는 것을 넘어, 의사들이 학문적 의학 경력에 대한 관점을 넓히고, 의학교육에 대한 헌신과 열정을 깊게 하는 것을 목표로 하였습니다.
• 이 프로그램은 다음과 같은 "변혁적 학습"을 촉진하도록 설계되었습니다:
  1. 능동적 학습 방법을 사용하는 교육자로서의 역량 강화
  2. 다양한 기관에서 의학교육이 시행되는 방식에 대한 새로운 이해
  3. 의학교육 분야에 대한 확고한 헌신과 의학교육자로서의 정체성 강화
  4. 교차 전문 분야 및 교차 기관의 실천 공동체에 지속적으로 참여

평가의 중요성

• 교수 개발의 평가는 장기적인 영향을 평가하는 경우가 드물며, 개별 경력 경로 또는 의학교육 분야에 대한 헌신의 변화를 추적하는 연구는 거의 없습니다.
• HMS의 의학교육자를 대상으로 한 본 연구에서는 HM-PE 국제 프로그램에 참여한 의사들의 경험이 위의 네 가지 차원에서 어떻게 영향을 받았는지 조사하였습니다.
• outcomes logic model은 프로그램 계획자, 교수진, 의사 참가자 및 기타 이해 관계자에게 평가 접근법이 실행 가능하고 신뢰할 수 있으며 유익한지 여부를 평가합니다.

Outcomes Logic Model의 구성

• 활동은 이전 연구에서 원하는 결과를 예측하는 것으로 입증된 활동으로 식별됩니다.
• 일부 결과는 즉각적이며, 프로그램이 끝난 직후 또는 그 이후에 측정할 수 있습니다.
• outcomes logic model은 이러한 즉각적인 결과가 먼저 달성되어야 중간 또는 장기적인 결과를 위한 기반을 마련할 수 있다고 가정합니다.
• HM-PE의 초기 outcomes logic model은 프로그램이 의도한 대로 실행되었는지, 선택된 즉각적 및 중간 결과가 달성되었는지 평가합니다.

---

평가 방법

• HM-PE 프로그램의 평가를 위해 outcomes logic model을 적용하여 프로그램의 효과성을 측정합니다.
• 이 모델은 즉각적, 중간, 장기적 결과를 평가합니다.

Table 1: Harvard Macy Institute Program for Physician Educators(HMS)용 Outcomes Logic Model

• Inputs: 프로그램에 필요한 자원 (재정 지원, 교수진 및 직원 시간, 시설 등)
• Activities: 프로그램을 통한 활동 (커리큘럼 설계, 지속적인 커리큘럼 업데이트, 네트워킹 시스템 등)
• Outputs: 프로그램 활동의 직접적인 산출물 (참가자 수, 참여 시간, 웹사이트 방문 수 등)
• Outcomes: 프로그램 활동 후 참가자에게 미치는 즉각적 및 중간 혜택 (활동 학습 방법에 대한 지식 증가, 의료 교육에 대한 새로운 이해 등)

 

연구 방법

• 연구 대상: HMS에서 HM-PE 프로그램에 참여한 의학교육자들
• 2001년 외부 연구 평가 기관이 1998, 1999, 2000년 프로그램 참가자 16명을 대상으로 전화 인터뷰를 실시하여 정량적, 정성적 데이터를 수집했습니다.
• 2004년에는 프로그램의 장기적 영향을 평가하기 위해 16명의 의사와 4명의 교수에게 온라인 설문조사를 실시했습니다.
• 이 결과는 프로그램의 즉각적, 중간 결과가 얼마나 달성되었는지를 문서화합니다.

결론

• HM-PE 프로그램은 많은 자원 투입과 다수의 의학교육자 참여로 시작 및 유지되었습니다.
• 프로그램은 참여자의 능동적 학습 방법에 대한 지식 증가와 의학교육자로서의 정체성 강화 등의 즉각적, 중간 결과를 도출했습니다.

이를 통해 교수 개발 프로그램의 효과성을 평가하는 데 있어 outcomes logic model이 유용함을 확인할 수 있습니다.

---

Activities: 프로그램이 미션을 달성하기 위해 하는 일

• 학습 요구 평가: HM-PE에 참여하는 각 참가자는 자신의 기관에서 시행할 의학교육 프로젝트를 식별하고 추구해야 하며, 이는 부서장 또는 학장의 승인을 받아야 합니다. HM-PE 계획자들은 이러한 프로젝트의 서면 설명을 사용하여 프로그램을 참가자의 요구에 맞춥니다.
• 순차적이고 다면적인 활동: HM-PE 프로그램은 10일 간의 겨울 세션과 1주일 간의 봄 세션을 중심으로 진행됩니다. 겨울 세션 동안 각 의사의 프로젝트는 동료 및 교수진과 논의되며, 이메일 또는 전화 대화가 봄 세션 이후에도 계속됩니다. 소그룹 상호작용 세션과 비공식 모임은 참가자들 간의 대화를 촉진하고 전 세계의 동료로부터 배우는 가치를 강조하도록 설계되었습니다.
• 상호작용적이고 실습 기반 학습 기회: HM-PE 교수 학자들은 참가자들이 교육 방법을 실습하고, 협상 및 변화 전략을 탐구하며, 각 의사의 기관 프로젝트를 검토하고 개선하려는 소그룹을 촉진합니다. 실습 교육 활동은 비디오로 녹화되고 동료 검토가 이루어집니다. 프로그램 교수진은 능동적 학습 방법과 다학문적 접근 방식을 모범으로 보여야 합니다.
• 평가: 교육 전략이 왜 선택되었는지, 커리큘럼의 목표가 얼마나 성공적으로 구현되었는지에 대한 증거를 수집합니다. 이를 위해 참가자 평가는 두 거주 기간이 끝난 후 완료되고 분석됩니다. 또한 HM-PE 프로그램의 디렉터는 프로그램 종료 후 몇 달 후 의사 교육자가 제출한 프로젝트 업데이트 보고서를 검토합니다.

Outputs: 프로그램 활동의 직접적인 산출물

• HM-PE 프로그램에 참여한 HMS 의사들로 구성된 코호트입니다. 프로그램이 시작된 12년 동안 29개국에서 1,200명 이상의 의사 및 기타 의료 제공자를 교육했습니다. 그 중 약 5분의 1은 HMS 출신입니다.

Outcomes: 프로그램 활동 중 및 활동 후 참가자에게 미치는 혜택

• 즉각적 결과:
  • 능동적 학습 방법에 대한 지식 증가와 학습자 중심 교육자로서의 역량 강화.
    • 결과 지표: HMS 참가자의 3/4 이상이 능동적 학습 방법에 대한 새로운 지식과 학습자 중심 교육자로서의 역량이 증가했다고 보고할 것입니다.
  • 국내 및 국제적으로 의학교육이 시행되는 방식에 대한 새로운 이해.
    • 결과 지표: HMS 참가자의 3/4 이상이 다양한 의료 기관에서 온 동료들과의 교류로 인해 직접적인 혜택을 얻었다고 식별할 것입니다.
• 중간 결과:
  • HM-PE 프로그램이 "변혁적"이라고 믿게 되어 의학교육 분야에 대한 헌신이 증가하고 의학교육자로서의 정체성이 강화됨.
    • 결과 지표: HMS 의사의 3/4 이상이 프로그램 직후와 5년 후에 의학교육 분야에 대한 헌신이 강화되었다고 보고할 것입니다.
  • 의학교육 분야의 동료들과의 네트워크 확장 및 지속적인 커뮤니케이션 (예: 가상 커뮤니티, 이메일, 협력 활동 등).
    • 결과 지표: HM-PE 의사의 3/4 이상이 프로그램 종료 후에도 서로 및/또는 HM-PE 교수진과 지속적인 교류를 유지하며 프로그램 동안 시작된 가상 커뮤니티를 포함한 의학교육자 네트워크를 확장할 것입니다.

이 결과들은 프로그램의 목표와 일치하며, 학문적, 직업적 발전에 긍정적인 영향을 미치는 것을 확인할 수 있습니다.

---

결과

 

즉각적 결과 달성

HM-PE 프로그램의 핵심 목표는 참가자들이 학습자 중심 교육에 대한 지식과 자신감을 높여 자신의 의료 기관에서 더 많은 능동적 학습 기법을 사용할 수 있도록 하는 것입니다. 연구에서 수집된 기본 데이터는 이 목표가 부분적으로 달성되었음을 보여줍니다.

• 13명(81%)의 참가자가 학생들을 능동적 학습자로 보는 시각이 확대되었다고 응답했습니다.
• 10명(63%)의 참가자가 더 다양한 교육 방법을 인식하게 되었다고 응답했습니다.
• 10명(63%)의 참가자가 강의 빈도가 줄고 다양한 교육 전략을 사용하게 되었다고 응답했습니다.
• 13명(81%)의 참가자가 상호작용 학습을 사용하는 데 자신감을 느낀다고 응답했습니다.

이 데이터는 3/4 이상의 참가자(13명, 81%)가 학생들을 능동적 학습자로 보는 시각이 확대되었고, 상호작용 학습 방법을 사용하는 데 자신감을 느꼈음을 보여줍니다. 약 2/3의 참가자들은 더 다양한 교육 방법을 발견하고 강의보다는 학습자 중심 접근 방식을 더 많이 사용하게 되었다고 보고했습니다. 후자의 두 결과는 75% 목표에 도달하지 못했지만, 이는 코스 계획자들이 의학교육자들에게 최근 몇 년간 기술로 가능해진 학습자 중심 교육 방법론에 대한 경험을 더 많이 제공해야 함을 시사합니다.

 

의사들이 자신이 겪은 변화를 자발적으로 보고한 것에는 명백한 방법론적 한계가 있지만, 인터뷰 중 자발적으로 제공된 댓글들은 프로그램이 그들의 교육 전략에 미친 영향을 보여줍니다. 한 의사는 “이것은 내가 성인 학습 원칙을 능동적으로 적용한 첫 경험이었다”며, “작은 그룹으로 나뉘어 문제를 해결하고, 교사와 학습자 간의 매우 활발한 상호작용이 있었다”고 일반적인 그룹의 감정을 표현했습니다.

 

의학교육의 글로벌 구현 이해의 가치

 

2001년 인터뷰 데이터는 전국 및 국제적으로 다양한 의료 기관에서 온 의학교육자가 대다수인 것이 큰 장점이었고, 75%의 목표 기준을 초과했다고 밝혔습니다. 예를 들어, 13명의 참가자는 이러한 다양성이 동료들 간의 유사한 생각을 지원하는 것을 보여주었으며, 14명은 HMS의 관점 외에도 다른 학교의 동료들로부터 배울 수 있음을 보여주었다고 응답했습니다. 12명은 참가자들의 혼합이 네트워크와 연락처를 확장하는 데 도움이 되었다고 응답했습니다.

 

2004년 설문조사에서 응답자 모두는 전 세계의 의사들이 참여하는 것이 프로그램의 중요한 예상치 못한 이점이라고 동의했습니다. 그들은 다음과 같은 여러 가지 이점을 확인했습니다:

1. HMS 참가자들이 전 세계적으로 의학교육 관행이 어떻게 다른지 알게 함
2. 고정된 사고방식을 벗어나게 하고 “하버드 방식”에서 벗어나게 함
3. 교수 지원 및 자원 문제에 대한 관점을 넓혀 줌
4. 자신의 교육 및 훈련 개선에 도움
5. 코스를 더 신뢰할 수 있게 만듦
6. 글로벌 자원 및 의학교육자와의 연결망을 형성
7. HMS 참가자가 이전에 볼 수 없었던 의학교육 모델 제공

이 결과는 2001년 연구 결과와 일치하며, 88%의 참가자가 HMS 외부의 의사들로부터 배운 방법을 설명했습니다.

2004년 설문조사에서 수집된 댓글은 이 프로그램의 가치를 잘 보여줍니다. 한 응답자는 프로그램을 “눈을 뜨게 하는 경험”이라고 표현하며 “내가 무의식적으로 살던 고립된 세계를 깼다”고 주장했습니다. 또 다른 응답자는 프로그램이 “내 네트워크를 확장시키고 멘토십을 구할 수 있는 선임 동료들의 네트워크를 넓혔다”고 응답했습니다.

---

중간 결과 달성

HM-PE 프로그램은 의사들이 의학교육에 대한 열정과 헌신을 고취시키는 촉매제가 되는 것을 목표로 합니다. 이는 많은 의사들에게 도전적인 경력 선택으로, 의료 기관을 위한 자금을 조달하고 학술적 작업을 통해 종신 재직권을 획득해야 한다는 압박을 받고 있습니다. HM-PE 프로그램은 HMS 내외의 의학교육자들과의 커뮤니티 참여를 장려하여 이메일, 전화, 대면 대화, 프로그램 웹사이트, 리스트서브 및 전국 회의와 HM-PE 동창회를 통해 아이디어를 교환하도록 합니다.

연구에 따르면 의학교육 분야에 대한 헌신은 다음과 같은 요소와 관련이 있습니다:

1. 교육자로서의 자기 인식/정체성 및 자신이 "올바른" 분야에 있다는 느낌
2. 다른 의사들이 유사한 관심사를 공유한다는 인식
3. 유사한 생각을 가진 의사들의 지속적인 커뮤니티에 참여
4. 궁극적으로 의학교육이 경력 경로로서의 인식 및 실행 가능성

2001년 인터뷰에서 대다수의 의사들은 프로그램이 자신들의 삶에 큰 영향을 미쳤으며, 의학교육자로서의 자신감과 신뢰감이 증가했다고 보고했습니다. 한 참가자는 프로그램이 "교육자로서의 정체성을 확고히 했다"고 말했습니다. 인터뷰 데이터는 프로그램의 참가자에 대한 영향을 설명하는 세 가지 범주를 식별했습니다:

• 경력 전환: 약 3분의 1의 의사들에게 프로그램은 경력 경로를 변화시키는 강력한 영향을 미쳤습니다. 이들은 프로그램을 "중요한" 또는 "변화시키는" 순간으로 간주하며, 의학교육에 헌신하게 되었다고 말했습니다. 새로운 방향으로 의학교육을 이끄는 것에 대한 흥분을 표현했습니다.
• 경력 확립 및 확장: 16명의 참가자 중 9명은 능동적 학습, 조직 변화, 의학교육 실습 및 평가 원칙에 대한 지식 증가와 편안함을 제공받았을 뿐만 아니라, 의학교육에 대한 열정을 재확인하고 확대하는 긍정적 영향을 받았다고 보고했습니다.
• 경력 중립: 인터뷰에 응한 두 명의 의사는 프로그램이 자신의 일상 업무나 미래 계획에 큰 영향을 미치지 않았다고 보고했습니다. 한 참가자는 "같은 생각을 가진 동료들의 지원을 받는 것이 중요했다"며, 프로그램이 자신의 커뮤니티 소속감을 지속적으로 유지하게 했다고 말했습니다.

2004년 설문조사에서 의사들은 HM-PE 프로그램이 자신들의 경력에 미친 영향을 세 가지 범주 중 어느 것에 해당하는지 결정했습니다. 네 명의 참가자와 한 명의 교수 학자는 프로그램의 영향을 경력 전환으로 규정했으며, 여섯 명의 참가자와 두 명의 교수 학자는 경력 확립 및 확장으로 보고했습니다. 한 명은 영향을 중립적으로 평가했습니다. 이는 인터뷰 연구 이후 3년이 지난 시점에서 참가자들이 HM-PE 프로그램이 의학교육 분야에 대한 헌신에 지속적인 영향을 미쳤다고 믿고 있음을 보여줍니다.

 

의학교육 동료 네트워크 확장 및 지속적 커뮤니케이션

 

대다수의 참가자들은 프로그램의 비공식 커리큘럼이 공식 커리큘럼만큼이나 중요하다고 보고했으며, 형성된 동료애가 강력한 영향을 미쳤다고 말했습니다. 13명의 의사(81%)는 유사한 생각을 가진 동료들의 지원을 받는 것이 큰 이점이라고 보고했습니다. 한 참가자는 "내게 가장 오래 지속된 것은 커뮤니티의 일원이라는 느낌이다"라고 말하며, 커뮤니티가 코스가 끝난 후에도 지속되었다고 말했습니다.

 

2001년 인터뷰 참가자의 3/4은 프로그램이 연락처 네트워크를 확장시켰다고 보고했습니다. 이메일을 통해 유지된 연락 외에도, 의사들은 의료 회의에서 만나거나 전화로 대화하며, 드물게 다른 의료 기관을 방문했습니다. 네트워킹과 지원은 큰 영향을 미칠 수 있으며, 한 참가자는 프로그램의 새로운 네트워크가 "프로젝트 협력을 위해 남미로 여행을 가게 했으며, 교육 자료를 공유하고, 윤리적 딜레마에 직면한 프로젝트 팀 멤버가 그룹의 조언을 구하는 이메일이 최근에 쏟아졌다"고 보고했습니다. 또 다른 참가자는 "네트워킹은 엄청난 가치가 있었고, 전 세계적으로 내 관심사와 일치하는 사람들과 연락을 할 수 있었다. 코스의 내용은 유용했고, 대인 관계는 중요했다"고 말했습니다.

 

2004년 데이터는 응답자 16명 중 14명(90%)이 HMS 외부에서 만난 의사들과 연락을 유지했으며, 13명(81%)은 조사 직전 12개월 동안 연락을 유지했다고 밝혔습니다. 이로써 프로그램 완료 후 몇 년이 지나도 초기의 연결이 지속되고 있음을 알 수 있습니다. 연락을 유지한 이유로는 조언을 구하거나, 워크숍을 위해 동료를 교수로 초청하거나, 다른 의과대학에서 교수로 초빙되기 위해 등이 있습니다.

---

Using an Outcomes-Logic-Model Approach to Evaluate a Faculty Development Program for Medical Educators: 고찰

고찰

 

이 연구는 HM-PE 프로그램에서 사용된 교수 개발 모델이 대부분의 참가자들에게 원하는 결과를 달성하는 데 성공적이었다는 증거를 제공합니다. HMS 의사가 참가자의 20%를 넘지 않았다는 사실은 프로그램의 성공에 긍정적인 요인으로 작용했습니다. 다양한 배경의 의학교육자들이 서로 모르는 상태에서 긴밀하고 지원적인 에너지를 가진 커뮤니티로 발전했습니다.

 

이러한 결과는 유사한 목표와 비교 가능한 교육 전략을 가진 다른 의학교육자 개발 프로그램의 평가 데이터와 일치합니다. Pololi 등은 포괄적인 평가 방법을 통해 학습 환경에 대한 긍정적인 변화, 특히 학습자 중심의 교육 방법, 개인적 성찰, 교수 간의 동료애를 발견했습니다.

 

제한점

 

연구 결과에서 도출할 수 있는 통찰력에는 몇 가지 제한점이 있습니다. HM-PE 프로그램에 지원한 의사들은 이미 의학교육자로서의 역량을 향상시키려는 경향이 있었을 가능성이 있습니다. 이 프로그램이 주제에 덜 관심이 있거나 두 번의 거주 세션에 시간을 할애할 수 없는 의사 그룹에게 얼마나 효과적일지는 아직 알 수 없습니다. 또한, 데이터는 자발적인 보고에 의존하며, 독립적인 평가(예: 의학교육자의 교수 접근 방식에 대한 사전 및 사후 관찰)는 포함되지 않았습니다. Outcomes logic model은 여기서 제시된 것보다 훨씬 더 복잡할 수 있습니다.

 

그럼에도 불구하고, 이 연구의 결과는 고무적입니다. 단순한 형태이지만 outcomes logic 접근법이 프로그램 디렉터와 다른 이해 관계자에게 실행 가능한 평가 데이터를 제공하고, 프로그램 개선과 효과적인 방법의 문서화 및 공유에 유용함을 확인했습니다.

 

추가 연구 제안

 

Outcomes logic 모델과 여기서 제시된 결과는 장기적인 결과에 대한 향후 연구로 논리적으로 이어집니다. 시간이 지남에 따라 프로그램 참여 후 더 많은 요인이 원인 경로에 영향을 미칠 수 있음을 염두에 두어야 합니다. 예를 들어, 의사들이 의학교육 분야에서 지속적인 학습 계획을 수립하고 자기 평가 전략과 성찰 실천을 계속하는가 하는 결과를 고려할 수 있습니다. 또 다른 결과로는 의학교육자들이 의대생들에게 더 강력한 학습 경험을 제공하고 학생들의 성과를 지표로 사용하는 능력을 갖추는 것입니다.

 

의학교육 경력에 관심을 가진 의사들은 종종 명성, 소득 및 종신 재직권 상태에서 상당한 타협을 해야 합니다. HM-PE 참가자는 프로그램 졸업생 중 의학교육 참여도가 높아진 덕분에 승진한 사람의 수가 가치 있는 장기적 결과 지표가 될 수 있다고 제안했습니다.

 

결론

 

의사 교육자들은 연구, 환자 진료, 변화하는 의료 시스템과의 대응 압박 속에서 헌신적이고 에너지를 유지하는 데 어려움을 겪습니다. Simpson 등은 가정의학 분야의 의사 교육자들에게 활력을 제공하는 주요 원천을 확인했습니다. 연구자들은 동료들로부터의 지속적인 지원 시스템이 있는 의사 교육자들이 협력, 상담, 지원을 통해 활력이 증진되며, 임상 또는 연구 환경에서 제공되는 것과 동일한 수준의 인정과 지원을 받을 때 활력이 증가한다고 제안합니다.