[프로그램 평가] HPE에서 프로그램 평가 재고: '효과가 있었나'를 넘어서

출처: Haji, F., Morin, M. P., & Parker, K. (2013). Rethinking programme evaluation in health professions education: beyond ‘did it work?’. Medical education, 47(4), 342-351.

https://asmepublications.onlinelibrary.wiley.com/doi/10.1111/medu.12091

서론

역사적 배경과 현재의 도전

• 커크패트릭 계층 구조: 거의 40년 동안 보건직 교육 프로그램 평가는 커크패트릭 계층 구조에 크게 의존해 왔습니다. 이 프레임워크는 원래 인적 자원 교육 평가를 위해 고안되었으며 네 가지 수준으로 구성됩니다:
  1. 참여
  2. 태도, 지식 및 기술
  3. 행동 변화
  4. 시스템 수준의 영향 (예: 환자 결과의 개선)
• 비판과 한계: 최근의 비판은 교육 개입이 주요 결과에 미치는 영향이 미미하다는 점을 강조합니다. 계속 교육 프로그램의 메타 분석은 종종 의사 행동 및 환자 관리와 같은 고차원 결과에 대해 작은 효과를 보고합니다.

근본적인 질문과 변화의 필요성

• 부적절한 질문: "유의미한 차이 없음"이라는 빈번한 결과는 우리의 평가 질문이 잘못되었을 가능성을 시사하며, 반드시 개입이 비효율적이라는 것을 의미하지 않습니다.
• 최고 증거 의학 교육 (BEME): 이 운동은 프로그램 평가의 목적을 교육 활동의 가치, 공로 또는 가치를 평가하는 것으로 정의하였으며, 주로 그 효과를 기준으로 합니다.

결과 중심 모델의 한계

• 좁은 범위: 커크패트릭 계층 구조와 같은 모델은 결과에만 초점을 맞추며 보건직 교육의 복잡성을 포착하기에 너무 좁습니다.
• 더 넓은 평가 모델의 요구: 최근에는 프로그램의 맥락, 과정 및 이론을 고려하는 대체 평가 모델이 등장하여 단순한 결과를 넘어서는 깊은 이해를 추구하고 있습니다.

신흥 트렌드와 패러다임 변화

• 평가 범위 확대: 새로운 모델은 커리큘럼 개발자와 연구자들에게 신뢰할 수 있고 유효하며 유용한 정보를 생성하는 것을 목표로 합니다. 이러한 모델은 개입이 어떻게, 왜 작동하거나 작동하지 않는지, 그리고 프로그램이 실행될 때 다른 어떤 요소들이 작용하는지를 이해하는 데 중점을 둡니다.

보건직 교육의 전환점

• 현재 상태: 새로운 평가 트렌드가 등장하고 있지만, 주류 접근 방식은 여전히 결과 중심의 평가입니다.
• 역사적 유사점: 유사한 변화가 약 50년 전에 교육 프로그램 평가 분야에서 일어났습니다.

논문의 목적

• 역사에서 배우기: 이 논문은 더 넓은 교육 프로그램 평가 분야의 교훈을 통해 보건직 프로그램 평가의 현재 진화를 지원하고자 합니다.
• 논문의 구조:
  1. 프로그램 평가의 역사적 뿌리를 추적합니다.
  2. 이 분야에서 현대 패러다임의 진화를 검토합니다.
  3. 이러한 패러다임을 사용한 보건직 교육에서의 신흥 학문을 강조합니다.
  4. 향후 평가 노력에 필수적인 요소를 제시하여, '효과가 있었는가?'를 넘어 '어떻게', '왜', '무엇이 더 일어났는가'라는 질문에 답할 수 있도록 합니다.

---

핵심 내용 요약

1. 커크패트릭 계층 구조: 보건직 교육 평가에서 지배적이지만 범위가 제한적입니다.
2. 현재의 비판: 원하는 결과에 대한 영향이 제한적이며, 이는 우리의 평가 질문과 모델이 부적절함을 시사합니다.
3. 더 넓은 모델의 필요성: 교육 개입의 전체적인 영향을 이해하기 위해 맥락, 과정, 이론을 고려해야 합니다.
4. 신흥 트렌드: 더 포괄적이고 유용한 정보를 생성하는 평가로 전환이 필요합니다.
5. 논문의 목표: 더 넓은 평가 모델 채택을 지지하고, 역사적 변화에서 배우기 위해 작성되었습니다.

이 요약은 원문을 읽지 않은 사람도 논문의 주요 이슈와 주장을 명확히 이해할 수 있도록 돕기 위해 작성되었습니다.

---

교육 프로그램 평가의 역사적 뿌리: 보건직과의 유사성

초기 평가의 기원

• 초기 발전: 프로그램 평가의 시초는 1800년대 후반으로 거슬러 올라가지만, 본격적인 발전은 교육 분야에서 시작되었습니다. Ralph Tyler가 1930~1940년대에 '교육 평가'라는 용어를 처음 사용한 것이 현대 프로그램 평가의 중요한 전환점으로 여겨집니다.
• Tylerian 패러다임: Tyler는 Eight-Year Study 이후 교육 프로그램의 품질을 사전에 정의된 목표를 달성하는 능력으로 평가하는 방법을 제안했습니다. 이는 사전에 정의된 목표와 계획된 결과를 비교하는 선형적이고 계층적인 접근 방식을 요구했습니다.

스푸트니크와 교육 평가의 확장

• 역사적 배경: 1957년 소련의 스푸트니크 위성 발사는 미국에서 위기감을 조성했고, 이는 국가 방위 교육법(National Defense Education Act)의 통과로 이어졌습니다. 이 법은 수학, 과학, 외국어 교육 프로그램의 급속한 확장을 가져왔습니다.
• 평가 접근 방식: Tylerian 접근 방식은 새로운 교육 과정의 목표를 정의하는 데 사용되었으며, 이를 반영한 전국적인 표준화 시험이 만들어졌습니다. 이러한 프로그램의 효과를 평가하기 위해 대규모 필드 실험이 사용되었습니다.

평가의 한계와 교훈

• 비판과 실패: 많은 자금이 투입된 실험적 연구들은 종종 '유의미한 차이 없음'을 보여주었고, 유의미한 결과가 보고될 때도 프로그램의 본질이나 실행 방식에 대한 정보가 부족했습니다. 이는 최근 의학 교육의 '대규모 커리큘럼 실험' 결과가 의문시되는 상황과 유사합니다.
• 결론: 1960년대 후반, 이러한 접근 방식이 프로그램 개선에 대한 통찰력을 제공하지 못하고 프로그램의 '효과'에 대한 질문을 충분히 다루지 못한다는 것이 명백해졌습니다.

보건직 교육과의 평행선

• 유사한 경로: 보건직 교육의 프로그램 평가도 교육 프로그램 평가의 경로를 50년 늦게 따라왔습니다. 결과 중심의 접근 방식으로 개입의 '효과'를 입증하려는 평가 방식은 우리를 과거 평가 학자들과 동일한 패턴으로 빠지게 만들었고, 프로그램의 성공 또는 실패에 기여하는 요인들과 이 요인들의 복잡한 상호작용을 이해하는 데 실패했습니다.

변화의 필요성

• 현대적 패러다임의 등장: 다행히 많은 의학교육자들이 이 경향을 인식하고 새로운 평가 접근 방식을 모색하고 있습니다. 다음 섹션에서는 지난 40년간 등장한 현대적 평가 패러다임의 진화를 추적하고, 이 접근 방식에서 배울 수 있는 교훈과 보건직 교육 프로그램 평가에 사용된 예시를 강조할 것입니다.

---

핵심 내용 요약

1. Ralph Tyler와 교육 평가의 시작: 교육 프로그램 평가의 시초는 Ralph Tyler가 '교육 평가'라는 용어를 사용한 1930~1940년대에 시작되었습니다.
2. Tylerian 패러다임: 사전에 정의된 목표와 결과를 비교하는 선형적이고 계층적인 접근 방식을 제안했습니다.
3. 스푸트니크와 교육 확장: 1957년 스푸트니크 위성 발사 후 미국의 교육 프로그램이 급속히 확장되었고, Tylerian 접근 방식이 사용되었습니다.
4. 평가의 한계: 대규모 필드 실험은 종종 유의미한 결과를 도출하지 못했으며, 프로그램의 본질과 실행 방식에 대한 정보가 부족했습니다.
5. 보건직 교육과의 유사성: 보건직 교육 평가도 유사한 문제를 겪었으며, 결과 중심의 접근 방식은 프로그램의 복잡성을 충분히 이해하지 못했습니다.
6. 변화의 필요성: 새로운 평가 접근 방식이 등장하고 있으며, 현대적 패러다임을 통해 프로그램 평가의 진화를 모색하고 있습니다.

이 요약은 원문을 읽지 않은 사람도 논문의 주요 이슈와 주장을 명확히 이해할 수 있도록 돕기 위해 작성되었습니다.

---

현대 프로그램 평가 패러다임의 진화: 프로그램이 어떻게 그리고 왜 작동하는가

전통적 평가 접근 방식의 한계

• 불만과 변화: Tylerian 시대의 전통적인 평가 접근 방식의 한계로 인해 많은 평가 학자들이 현상 유지에 실망하게 되었습니다. 이에 따라 1960년대 후반부터 교육 평가 이론과 실천에서 여러 패러다임 전환이 일어나기 시작했습니다.
• 선택적 조명: 다양한 프로그램 평가 이론과 모델이 등장했지만, 우리는 필수 요소와 각 모델의 한계를 강조하는 접근 방식을 선택하여 논의하고자 합니다. 추가로 자세한 내용을 원한다면 Alkin과 Christie의 프로그램 평가 유형론 및 Stufflebeam과 Shinkfield의 프로그램 평가 이론, 모델 및 응용에 대한 종합적인 리뷰를 참고하는 것을 추천합니다.

개선 지향적, 사용자 중심 정보 제공 모델

• CIPP 모델: Daniel Stufflebeam의 CIPP (Context, Input, Process, Product) 모델, Robert Stake의 반응적 평가(Responsive Evaluation), Michael Patton의 활용 중심 평가(Utilisation-Focused Evaluation, UFE) 등이 이러한 패러다임 내에서 개발되었습니다. 이 모델들은 프로그램이 운영되는 교육적 맥락이 평가 질문의 명확화, 평가 방법의 선택 및 평가 결과의 해석에 중요한 역할을 한다고 봅니다.
• 평가 질문의 초점: 프로그램 이해 관계자의 요구에 초점을 맞춘 평가 질문을 통해, 결과 측정뿐만 아니라 프로그램 실행에 관련된 교육적 과정도 고려하는 것이 중요합니다.

실제 적용 예시

• Stake의 반응적 평가 모델: Curran 등은 이 모델을 수정하여 캐나다 동부의 농촌 지역에서 근무하는 의사들의 임상 기술 및 평가 프로그램을 평가했습니다. 메타 평가 결과, 다양한 프로그램 이해 관계자의 의견을 수집하여 상충되는 요구, 의견 및 가치를 명확히 하는 데 유용함을 보여주었습니다.
• CIPP 모델의 활용: Steinert 등은 교수진 개발 프로그램을 평가하는 데 CIPP 모델을 사용했습니다. 이 평가에서는 설문조사와 비공식 인터뷰를 통해 핵심 개념의 식별, 전문성 교육 및 평가를 위한 구조화된 프레임워크 제공, 소그룹에서의 사례 분석이 참가자들에게 특히 유용함을 밝혔습니다.

이해 관계자 의사 결정 요구 중심 평가의 한계

• 한계: 이러한 평가가 프로그램 프로세스에 관한 유용한 정보를 제공할 수 있지만, 프로그램이 왜 작동하는지에 대해서는 설명이 부족합니다. 이로 인해 프로그램 프로세스가 의도한 효과를 내지 못할 때 그 이유를 설명하기 어렵습니다.

이론 기반 평가 패러다임

• 주요 목적: 1970년대 중반과 1980년대에 Huey-Tsyh Chen, Stewart Donaldson 등의 작업을 통해 등장한 이론 기반 평가의 주요 목적은 프로그램이 성공하거나 실패하는 이유를 이해하여 프로그램 개선과 '지식 구축'을 도모하는 것입니다. 즉, 이론 기반 평가에서는 프로그램 프로세스와 의도된 결과 사이의 매개 메커니즘을 식별하여 '블랙박스'를 해제하려고 합니다. 이러한 발견은 유사한 상황의 유사한 프로그램에 일반화될 수 있는 가능성을 제공합니다.

---

핵심 내용 요약

1. 패러다임 전환의 필요성: 전통적인 평가 접근 방식의 한계로 인해 새로운 평가 패러다임이 등장했습니다.
2. 개선 지향적 모델: CIPP 모델, 응답 평가, 활용 중심 평가 등이 개발되었으며, 교육적 맥락과 이해 관계자의 요구를 중시합니다.
3. 실제 적용 사례: 여러 프로그램에서 이러한 모델을 사용하여 긍정적인 결과를 얻었습니다.
4. 한계 인식: 이해 관계자 중심 평가의 한계로 인해 프로그램이 왜 작동하는지 설명하는 데 어려움이 있습니다.
5. 이론 기반 평가의 등장: 프로그램의 성공 또는 실패 이유를 이해하고 지식을 구축하기 위한 이론 기반 평가 패러다임이 등장했습니다.

---

현대 프로그램 평가 패러다임의 진화: 프로그램이 어떻게 그리고 왜 작동하는가 (계속)

이론 기반 평가의 중요성

• 중력의 법칙 예시: 뉴턴의 사과가 나무에서 떨어지는 관찰을 예로 들어, 사과의 최종 위치는 '결과', 사과와 나무, 지구의 특성은 '맥락', 사과가 공기를 통과하는 경로는 '과정'으로 볼 수 있습니다. 그러나 사과가 왜 떨어지는지 이해하려면 중력이라는 인력의 존재와 그 작용을 설명해야 합니다. 이와 유사하게, 이론 기반 평가의 지지자들은 프로그램이 왜 작동하는지를 이해하기 위해 평가자들이 프로그램 과정이 결과로 이어지는메커니즘을 설명하는 '타당하고 방어 가능한' 개념적 틀(즉, 이론)을 명확히 해야 한다고 주장합니다.

이론 기반 평가의 단계

• 개념적 틀의 명확화: 이론 기반 평가는 프로그램 설계의 근본적인 개념적 틀을 명확히 하는 것에서 시작됩니다. 이는 프로그램 설계자와 평가자들이 프로그램이 왜 작동할 것인지에 대한 이해를 바탕으로 합니다. 이 이론은 예측을 제공하며, 무엇이 일어날지를 설명합니다. 이 예측을 바탕으로 관련 평가 질문, 변수 및 디자인이 식별되고 실행 계획이 수립됩니다.
• 실행과 평가: 평가 단계에서는 먼저 프로그램 실행이 명확히 된 이론과 일치하는지를 고려합니다. 일치하지 않으면 '실행 실패'가 발생할 수 있습니다. 이후, 무작위 실험과 구조 방정식 모델링과 같은 고급 통계 기법을 통해 프로그램 이론과 의도된 결과 간의 인과 관계를 평가합니다. 실행 계획이 올바르게 수행되고 원하는 결과가 달성되면, 평가자는 명시된 이론이 프로그램 과정과 관찰된 결과를 연결하는 메커니즘을 설명한다고 결론지을 수 있습니다.

적절한 이론 선택

• 프로그램 목표에 따른 이론 선택: 주어진 프로그램에 적절한 이론의 선택은 프로그램이 달성하고자 하는 목표에 크게 의존합니다. 예를 들어, 중환자실의 새로운 간호 인력에게 중심정맥관 관리에 대한 교육을 통해 감염률을 줄이는 프로그램을 고려해봅시다. 이 프로그램의 목표는 새로운 직원의 학습을 촉진하고 행동 변화를 유도하여 최선의 관행을 따르도록 하는 것입니다. 따라서 학습과 행동 변화에 관한 이론이 이 프로그램에 기계적으로 관련이 있을 것입니다. Hodges와 Kuper는 건강 직종 맥락에서 적용 가능한 프로그램 이론을 세 가지로 분류합니다: 생물과학 이론(예: 운동 학습 및 인지 부하 이론), 학습 이론(예: 상황 학습, 성인 학습 이론 및 사회인지 이론), 사회문화 이론(예: 비판적 이론 및 정치경제 이론).

이론 기반 평가의 실례

• Chen의 모델 적용: Parker 등은 Chen의 프로그램 이론 모델을 의학교육 펠로우십 프로그램 평가에 적용하려고 시도했습니다. 이 과정에서 프로그램 요소 간에 이전에 정의되지 않은 긴장이 드러났습니다. 이를 해결하기 위해 조직 개발 문헌에서 '폴라리티 관리'라는 보조 과정을 활용하여 이 긴장과 프로그램의 핵심 강점과의 관계를 더 깊이 이해했습니다. 이를 통해 프로그램 이론의 또 다른 층을 해제하고, 의도된 결과뿐만 아니라 의도되지 않은 결과와 발생한 결과를 더 잘 이해할 수 있게 되었습니다.

다음 섹션으로의 전환

• 복잡한 프로그램의 이해: 다음 섹션에서는 건강 직종 교육을 대표하는 복잡한 프로그램을 깊이 이해하기 위해 발생의 고려가 얼마나 중요한지, 그리고 프로그램 평가에서 발생한 결과, 과정 및 이론이 지금까지 어떻게 다루어져 왔는지에 대해 논의할 것입니다.

---

핵심 내용 요약

1. 이론 기반 평가의 필요성: 프로그램이 왜 작동하는지 이해하려면 타당하고 방어 가능한 개념적 틀을 명확히 해야 합니다.
2. 평가 단계: 개념적 틀의 명확화, 실행과 평가를 통해 프로그램 과정과 결과를 연결하는 메커니즘을 설명할 수 있습니다.
3. 이론 선택: 프로그램 목표에 따라 적절한 이론을 선택해야 합니다.
4. 실례: Chen의 모델을 적용하여 프로그램 요소 간의 긴장을 해결하고 프로그램 이론을 더 잘 이해할 수 있습니다.
5. 다음 섹션으로의 전환: 복잡한 프로그램을 깊이 이해하기 위해 발생의 고려가 중요합니다.

이 요약은 독자가 원문을 읽지 않고도 주요 논점과 주장을 명확히 이해할 수 있도록 작성되었습니다.

---

복잡성 수용: 발생한 모든 것을 평가하여 무엇이 (또) 일어났는지 파악하기

복잡성을 수용하는 평가의 필요성

• 기존 패러다임의 한계: 지금까지 논의된 패러다임들은 프로그램 이론, 과정 및 결과를 사전에 명확히 하는 데 중점을 두고 있습니다. 이는 동일한 조건에서 발생하는 사건이 유사한 결과를 낳는다는 가정에 기초하며, 교육 개입에 대해 일반화 가능한 ‘진리’를 생성하려고 시도합니다.12 그러나 교육 개입은 단일한 실체가 아니라, 복잡하고 비선형적인 방식으로 상호작용하는 역동적인 요소들로 구성되어 있습니다. 이러한 요소들은 변화무쌍한 맥락에 영향을 받으며 예측 불가능성이 규칙이 됩니다. 따라서 목표를 기반으로 예측되는 것에 비해 실제로 일어나는 것을 고려하지 않으면 복잡성을 제대로 설명할 수 없습니다. 즉, 이러한 패러다임들은 '무엇이 (또) 일어났는가?'라는 질문을 하지 않기 때문에 프로그램이 운영되면서 발생하는 의도하지 않은 과정과 결과를 포착할 수 없습니다. 예를 들어, 학부 의학교육에서 숨겨진 커리큘럼의 영향을 고려할 때, 의도하지 않은 효과를 포착하지 못하는 평가는 실제 상황을 놓칠 수 있습니다.

발생을 포착하는 평가 이론의 진화

• Scriven의 '목표 없는 평가': 1970년대 초, Michael Scriven은 '목표 없는 평가'를 제안하며, 프로그램의 실제 효과를 평가해야 한다고 주장했습니다.37 Scriven은 임상 시험에서 블라인드 방식이 사용되는 것처럼, 평가도 프로그램의 목표를 모르는 외부 전문가가 수행해야 한다고 주장합니다. 이는 '공정한' 평가가 가능하냐는 논란이 있지만, 프로그램의 계획된 결과뿐만 아니라 계획되지 않은(즉, 발생한) 결과도 고려해야 한다는 점을 강조합니다. 건강 관리 전문가에게 이 개념의 중요성은 명백합니다. 제안된 치료의 효과를 판단할 때 부작용을 고려하지 않는 것은 명백히 불충분합니다.
• 발전적 평가: Michael Patton은 1990년대 중반에 '발달적 평가' 개념을 발전시키며, 프로그램 디자이너가 그들의 프로그램이 무엇을 개발하고 있는지 이해하려는 욕구에서 이 접근법이 진화했다고 설명합니다. 이 디자이너들은 프로그램이 지속적으로 변화하는 조건, 학습, 맥락에 따라 변하기 때문에 '안정된 상태'에 도달할 것을 기대하지 않습니다.38

발전적 평가 접근법

• 발전과 평가의 동시 진행: Patton은 발전적 평가 접근법에서 발전과 평가 과정 간에 시간적 구분이 없음을 강조합니다. 평가자는 발전 팀의 일원이 되어 프로그램의 진행 과정과 결과를 모니터링합니다. 평가가 실시간으로 이루어지며, 상황에 가장 적합한 방법론적 접근이 선택됩니다. 이는 정량적 방법(예: 수치화된 이해관계자 설문조사), 정성적 방법(예: 인터뷰, 포커스 그룹, ORID [객관적, 반성적, 해석적, 결정적] 모델에 따른 구조화된 이해관계자 대화39) 또는 이러한 접근을 결합한 혼합 방법론이 될 수 있습니다.

핵심 내용 요약

1. 복잡성 수용의 필요성: 기존 패러다임은 교육 개입의 복잡성과 비선형성을 충분히 반영하지 못합니다.
2. 발생을 포착하는 평가: Scriven의 '목표 없는 평가'와 Patton의 '발전적 평가'는 의도되지 않은 결과를 포함한 프로그램의 실제 효과를 평가합니다.
3. 발전적 평가 접근법: 평가자는 프로그램 개발의 일환으로 실시간으로 평가를 수행하며, 상황에 가장 적합한 방법론을 선택합니다.

이 요약은 독자가 원문을 읽지 않고도 주요 논점과 주장을 명확히 이해할 수 있도록 작성되었습니다.

---

복잡성 수용: 발생한 모든 것을 평가하여 무엇이 (또) 일어났는지 파악하기 (계속)

적응을 포착하는 평가의 중요성

• 적응 포착의 개념: Patton의 발전적 평가 접근법은 프로그램이 예측한 대로 실행되었는지를 평가하는 것뿐만 아니라, 프로그램이 어떻게 적응하고 운영되었는지를 평가하는 방법을 제공합니다. 예를 들어, 신규 간호사를 대상으로 중심 정맥 카테터 관리 교육 프로그램을 설계했을 때, 경험이 많은 직원들이 이 프로그램을 리프레셔 코스로 수강하고 싶어한다면, 프로그램 디자이너는 참가자 수를 고려하여 프로그램을 수정할 필요가 있습니다. 이러한 '발생 과정'을 평가에 포함시켜야만 미래 프로그램을 계획할 때 신입 및 경험자 모두를 포함할 수 있습니다.

리얼리스트 평가와 발생의 중요성

• 리얼리스트 평가: 1990년대 후반 Ray Pawson과 동료들은 '리얼리스트 평가'라는 접근법을 제안했습니다. 이는 현실 세계의 개입의 '혼란스러움'을 인정하고 수용합니다. 리얼리스트 관점은 프로그램 이론만으로는 실행 과정에서 발생하는 결과를 충분히 설명할 수 없음을 강조합니다. 예를 들어, 나무에서 떨어지는 잎이 예상치 못한 경로를 따라 바람에 떠다니다가 멀리 떨어질 수 있습니다. 계획된 이론(중력)만으로는 잎이 나무에서 멀리 떨어진 이유를 설명할 수 없습니다.

발생 이론의 중요성

• 발생 이론의 필요성: 계획된 이론만으로는 계획된 결과가 달성되지 않았을 때 설명할 방법이 부족합니다. 리얼리스트 평가에서는 프로그램 이론을 '반복적인 설명 구축 과정'으로 간주합니다. 프로그램이 실행되면서 평가자는 발생하는 과정과 결과를 관찰하고 이를 설명할 수 있는 이론을 구성합니다. 이러한 이론은 지속적으로 새롭게 나타나는 데이터와 비교 및 수정되어야 합니다. 이는 '발생 이론'으로 불리지만, 계획된 이론과 발생 이론을 결합하여 사용하는 것이 더 나은 이해를 제공할 수 있습니다. 예를 들어, 잎이 떨어지는 과정을 설명할 때, 중력(계획된 이론)과 함께 바람이나 공기 저항(발생 이론)을 고려하는 것입니다.

건강 직업 교육에서 발생 연구의 적용

• 최근 연구 사례: 건강 직업 교육에서 발생을 평가한 연구는 드물지만, 몇몇 최근 연구들은 이러한 개념을 적용하려고 시도했습니다. 예를 들어, Parker et al.1은 임상의 과학자 훈련 프로그램을 평가하기 위해 로직 모델과 근거 이론 방법론을 결합하여 계획된 과정과 결과뿐만 아니라 발생 결과도 포착했습니다. 평가 데이터를 사용하여 문헌 검색을 통해 발생 프로그램 이론을 명확히 했고, 이는 프로그램 참가자의 정체성 변화와 논리 모델에서 설명한 사전 결정된 과정 및 결과를 포함했습니다.1

핵심 내용 요약

1. 적응 포착의 중요성: 프로그램의 실제 운영 방식과 참가자 및 이해관계자의 적응 과정을 평가에 포함해야 합니다.
2. 리얼리스트 평가: 현실 세계의 개입의 복잡성과 비선형성을 인정하며, 프로그램 이론을 반복적으로 수정하여 발생 과정과 결과를 설명합니다.
3. 발생 이론과 계획된 이론의 결합: 프로그램의 계획된 이론과 발생 이론을 결합하여 더 나은 이해를 제공합니다.
4. 건강 직업 교육에서의 적용 사례: 최근 연구들이 논리 모델과 근거 이론을 결합하여 프로그램 평가에 발생 개념을 적용하고 있습니다.

---

보충 내용

• 리얼리스트 평가와 리얼리스트 관점: 현실 세계의 개입이 '혼란스러움'을 인정하고, 프로그램 이론만으로는 이러한 개입의 결과를 충분히 설명할 수 없음을 강조합니다. 이는 '강'을 예로 들어 설명되었으며, 리얼리스트 관점은 개입이 일어나는 맥락이 개입 자체로 인해 변화함을 인정합니다.
• 발생 이론: 리얼리스트 평가에서 프로그램 이론은 반복적인 설명 구축 과정으로 간주되며, 발생하는 과정과 결과를 관찰하고 이를 설명할 수 있는 이론을 구성합니다. 이는 지속적으로 새롭게 나타나는 데이터와 비교 및 수정됩니다. 이를 통해 계획된 이론과 발생 이론을 결합하여 프로그램의 실제 효과를 더 잘 이해할 수 있습니다.
• 건강 직업 교육에서의 발생 연구 적용: Parker et al.1의 연구는 로직 모델과 근거 이론을 결합하여 임상의 과학자 훈련 프로그램의 계획된 과정과 결과뿐만 아니라 발생 결과도 포착했습니다. 이는 프로그램 참가자의 정체성 변화를 포함한 발생 프로그램 이론을 명확히 했습니다.

---

교훈: 건강 직업 교육에서 프로그램 평가의 재개념화

요약 및 교훈

• 프로그램 평가의 진화: 지난 몇 십 년간 프로그램 평가 분야에서 일어난 진화는 건강 직업 교육에서도 많은 교훈을 제공합니다. 계획된 결과에만 초점을 맞춘 평가 전략은 미래의 요구를 충족시키기에 충분하지 않다는 점이 분명합니다. 따라서 현대적인 평가 패러다임을 계속 도입해야 합니다. 그렇지 않으면, 평가에서 선형적이고 유연하지 않은 접근 방식을 고수하게 되어, 의사 결정, 지식 생성 또는 개입의 가치 판단에 필요한 정보를 제공하지 못하게 됩니다.
• 계획된 결과 평가의 중요성: 이 논문의 목적은 계획된 결과의 평가를 배제하고, 개입이 '작동했는지' 여부를 묻는 것을 제외하려는 것이 아닙니다. 대신, 이 질문이 평가 과정에서 어떤 위치를 차지해야 하는지에 대한 비판적 성찰을 촉진하고, '어떻게', '왜', '무엇이 (또) 일어났는지'라는 다른 중요한 질문들에 답할 수 있는 정보를 수집하도록 하는 것입니다.

프로그램 평가의 핵심 요소

• 평가 진화의 역사 추적: 지난 50년간의 프로그램 평가의 진화를 추적하면서, 우리는 이 역사를 반복하지 않기 위해 이 진화에서 얻은 교훈을 강조했습니다. 이는 우리가 묻고 있는 질문과 이 질문에 답하기 위해 평가해야 하는 프로그램의 필수 요소 간의 연결 고리를 그릴 수 있게 해주었습니다.
• 평가의 필수 요소 요약 (그림 1 요약):
  1. 프로그램 이론: 개입이 작동하는 방식에 대한 이론적 기초.
  2. 과정 평가: 프로그램 실행 중 발생하는 과정 및 활동.
  3. 결과 평가: 의도된 결과와 예기치 않은 결과 모두를 포함.
  4. 맥락 평가: 프로그램이 작동하는 환경과 상황.

프로그램 평가 재개념화의 필요성

• 복잡성 수용: 건강 직업 교육에서의 프로그램 평가는 단순히 '작동했는지' 여부를 묻는 것에 그치지 않고, 프로그램이 어떻게 작동했는지, 왜 그렇게 되었는지, 그리고 예기치 않은 결과와 과정은 무엇이었는지를 평가해야 합니다.
• 현대적인 평가 패러다임의 도입: 프로그램 평가를 더 유연하고, 비선형적으로 접근하여 복잡한 현실을 반영해야 합니다. 이는 의사 결정, 지식 생성 및 개입의 가치 판단을 더 잘할 수 있게 합니다.

결론

이 논문은 건강 직업 교육에서 프로그램 평가의 접근 방식을 재고하고, 현대적인 평가 패러다임을 통합하는 필요성을 강조합니다. 이를 통해 우리는 더 나은 평가 전략을 개발하고, 프로그램의 효과성과 적응성을 더 잘 이해할 수 있습니다.

이 요약은 논문의 마지막 섹션에서 강조된 주요 내용과 교훈을 포함하여 독자가 원문을 읽지 않고도 핵심 내용을 이해할 수 있도록 작성되었습니다.

---

평가 필수 요소: 그림 1 설명

이 그림은 논문에서 설명된 프로그램 평가 과정의 7가지 필수 요소를 나타냅니다. 각 요소에 연관된 평가 질문도 명확히 제시하고 있습니다.

그림 설명:

• 전체적인 구조: 그림의 원은 프로그램이 운영되는 더 큰 맥락(context)을 나타내며, 이는 프로그램에 영향을 미치고 프로그램에 의해 수정됩니다.
• 계획된 이론 (Planned Theory):
  • 질문: "왜 이 프로그램이 의도된 효과를 가져올 것인가?"
  • 초점: 프로그램 설계자는 프로그램이 어떻게 작동해야 하는지(계획된 과정)를 명확히 하여 계획된 결과를 달성해야 합니다.
• 맥락 (Context):
  • 질문: "프로그램이 어떤 맥락에서 운영되고 있는가?"
  • 초점: 프로그램이 운영되는 환경과 상황을 평가합니다.
• 과정 평가 (Process Evaluation):
  • 계획된 과정 (Planned Process):
    • 질문: "프로그램이 우리가 의도한 방식대로 작동했는가?"
  • 발생 과정 (Emergent Process):
    • 질문: "프로그램이 (또 다른 방식으로) 어떻게 작동하고 있는가?"
• 결과 평가 (Outcome Evaluation):
  • 계획된 결과 (Planned Outcome):
    • 질문: "우리가 의도한 결과를 달성했는가?"
  • 발생 결과 (Emergent Outcome):
    • 질문: "프로그램이 어떤 (다른) 결과를 낳고 있는가?"
• 발생 이론 (Emergent Theory):
  • 질문: "왜 이러한 일이 발생하고 있는가?"
  • 추가 질문: "발생하는 일에 대한 다른 설명이 있는가?"

주요 개념:

• 대시 선 (Dashed Line): 이 선은 이러한 관계들이 선형적이지 않음을 나타냅니다. 즉, 계획된 과정과 발생 과정 모두가 계획된 결과 또는 발생 결과로 이어질 수 있습니다.
• 맥락의 역할: 프로그램이 운영되는 환경(맥락)은 프로그램에 영향을 미치고, 프로그램 실행 후 다시 수정될 수 있습니다.
• 평가의 시작과 끝: 평가는 프로그램 구상 시점에서 계획된 이론의 명확화로 시작하여 프로그램 종료 시점에서 계획된 결과의 평가로 끝납니다. 프로그램 전달 중에는 발생 과정과 결과를 평가하여 무엇이 (또) 일어났는지를 포착합니다. 마지막으로, 발생 과정과 결과의 이유에 대한 추가 설명을 찾고 계획된 이론을 넘어서는 대체 메커니즘을 명확히 합니다.

---

주요 내용 정리: 건강 직업 교육에서 프로그램 평가의 재개념화

이 논문은 건강 직업 교육에서 프로그램 평가의 접근 방식을 재고하고, 보다 포괄적이고 복잡성을 수용하는 평가 방법을 제안합니다. 저자는 프로그램 평가에서 고려해야 할 핵심 요소와 이를 통해 얻을 수 있는 교훈을 중심으로 설명합니다.

프로그램 평가의 핵심 질문들

1. 프로그램이 어떻게 작동하는가?
   • 프로그램 평가자는 단순히 결과뿐만 아니라 과정도 포착해야 합니다. 이는 프로그램이 의도한 대로 실행되었는지를 확인하는 데 중요합니다.
2. 프로그램이 왜 작동하는가?
   • 프로그램 평가에는 프로그램 이론의 평가가 포함되어야 하며, 이를 통해 프로그램 과정이 결과로 이어지는 메커니즘을 설명할 수 있어야 합니다.
3. 무엇이 (또) 일어났는가?
   • 계획된 이론, 과정, 결과만으로는 충분하지 않습니다. 평가자는 발생하는 과정과 결과를 포착하고, 이를 설명할 수 있는 발생 이론을 생성해야 합니다. 이는 프로그램이 실행되는 순간 발생하는 현상을 설명할 수 있어야 합니다.
4. 교육적 맥락의 중요성
   • 모든 프로그램은 특정 교육적 맥락에서 운영되며, 이 맥락을 고려하지 않고는 평가가 완전할 수 없습니다. 또한 프로그램이 실행됨에 따라 이 맥락은 변화하며, 이러한 변화를 포착하는 것이 미래 프로그램 계획에 필수적입니다.

선형적이지 않은 관계

• 계획된 이론과 발생 이론: 계획된 과정이 계획된 결과로 이어질 수 있지만, 예기치 않은 결과를 초래할 수도 있습니다. 마찬가지로, 발생 과정은 발생 결과로 이어지거나, 계획된 결과로 이어질 수도 있습니다. 이는 프로그램이 어떻게 작동하는지를 설명하기 위해 계획된 이론과 발생 이론 모두를 명확히 하는 것이 중요함을 강조합니다.

평가의 설계와 방법론 선택

• 대화의 시작: 저자는 특정 평가 모델이나 방법론을 제시하는 것이 아니라, 건강 직업 교육에서 프로그램 평가가 무엇이어야 하는지에 대한 대화를 시작하고자 합니다. 이는 평가해야 할 요소를 이해하는 데서 시작하여, 적절한 평가 전략을 선택하는 데 도움을 주는 개념적 틀을 제공합니다.
• 모델과 방법의 선택: 평가자가 선택한 접근 방식의 고유한 편견을 인식하고, 가장 적절한 접근 방식의 조합을 결정하는 반성적 과정으로 보아야 합니다. 다양한 모델과 방법을 조합하여 모든 관련 요소를 평가에 포함시키는 것이 중요합니다.

통합적 접근의 필요성

• '둘 중 하나'가 아닌 '둘 다' 선택: 서로 반대되는 특성을 가진 모델들을 조합하여 사용함으로써 더 포괄적인 평가를 수행할 수 있습니다. 이는 평가의 다양한 요구를 충족시키기 위한 현명한 접근 방식입니다.

평가의 설계와 방법론 선택

• 러시아 인형 비유: 프로그램 평가 과정은 러시아 인형을 여는 것처럼 시작합니다. 먼저 평가해야 할 초월적인 개념을 이해한 다음, 적절한 모델과 방법을 선택합니다. 이는 평가 전략을 선택하기 전에 평가의 개념적 '레이어'를 이해해야 한다는 점을 강조합니다.
• 모델과 방법의 선택: 평가자가 선택한 접근 방식의 고유한 편견을 인식하고, 가장 적절한 접근 방식의 조합을 결정하는 반성적 과정으로 보아야 합니다. 다양한 모델과 방법을 조합하여 모든 관련 요소를 평가에 포함시키는 것이 중요합니다.
• 완벽한 모델을 찾는 것이 아님: 프로그램 평가 접근 방식을 선택하는 것은 '완벽한 모델'을 찾는 보물 찾기라기보다는, 평가자가 자신의 선택에 내재된 편견을 인식하고, 이용 가능한 접근 방식을 가장 적절하게 조합하는 반성적 과정입니다.

통합적 접근의 필요성

• '둘 중 하나'가 아닌 '둘 다' 선택: 서로 반대되는 특성을 가진 모델들을 조합하여 사용함으로써 더 포괄적인 평가를 수행할 수 있습니다. 이는 평가의 다양한 요구를 충족시키기 위한 현명한 접근 방식입니다. 많은 프로그램 평가자들이 이러한 철학을 받아들여, 서로 반대되는 견해의 특성을 결합하여 그들의 필요를 충족시키고 있습니다.

결론

이 논문은 건강 직업 교육에서 프로그램 평가의 접근 방식을 재고하고, 현대적인 평가 패러다임을 통합하는 필요성을 강조합니다. 이를 통해 우리는 프로그램의 효과성과 적응성을 더 잘 이해할 수 있으며, 다양한 평가 방법을 통해 모든 관련 요소를 포착할 수 있습니다.

---

논문의 마지막 부분 정리

최종 제언

논문의 마지막 부분에서는 건강 직업 교육에서 프로그램 평가 방식을 개선하기 위해 필요한 몇 가지 근본적인 변화를 강조합니다.

1. 평가를 하나의 과정으로 보기
   • 프로그램 전달 후에 평가를 하는 순간적인 접근 방식 대신, 평가를 자체적으로 하나의 과정으로 간주해야 합니다.
   • 최근 건강 직업 교육 문헌에서 등장한 '평가 프로그램(programmes of assessment)' 개념처럼, '평가 프로그램(programmes of evaluation)'으로 전환해야 합니다.
   • 프로그램 평가가 프로그램의 설계, 계획, 실행, 수정의 모든 단계에 걸쳐 이루어져야 합니다. 이를 통해 프로그램 자체와 그 효과뿐만 아니라, 프로그램이 운영되는 맥락이 어떻게 변화하는지를 총체적으로 이해할 수 있습니다.
2. 다양한 이해관계자와 방법을 포함
   • 평가에는 여러 이해관계자가 참여하고, 다양한 방법이 사용되어야 합니다. 이를 통해 프로그램과 그 효과를 더 잘 이해할 수 있습니다.
   • 평가와 개발 과정 간의 임의적 구분을 없애고, 이 두 활동을 서로 상호 보완적인 연속적이고 반복적인 과정으로 보아야 합니다. 이는 점진적인 프로그램 변화를 이끌어내며, 프로그램, 맥락, 개입 간의 관계를 깊이 이해할 수 있게 합니다.

결론

• 전통적 결과 중심 모델의 한계
  • 전통적인 '결과 중심' 평가 모델은 건강 직업 교육의 복잡성을 다루기에 충분하지 않습니다.
  • 이에 따라, 건강 직업 교육 분야에서는 복잡성을 다룰 수 있는 대안적인 평가 접근 방식을 도입하기 시작했습니다. 이는 50년 전 프로그램 평가의 광범위한 분야에서 발생한 변화와 유사합니다.
• 현대적 평가 패러다임의 중요성
  • 현대적 평가 패러다임의 진화는 교육적 맥락, 계획된 및 발생한 과정과 결과, 그리고 계획된 및 발생한 이론을 평가하는 것의 중요성을 강조합니다.
  • 이러한 요소들을 평가함으로써 프로그램이 작동했는지 뿐만 아니라, 어떻게, 왜, 그리고 무엇이 (또) 일어났는지를 이해할 수 있습니다.
• 개입과 결과 간의 관계 이해
  • 이 모든 요소를 수용함으로써, 개입과 결과 간의 관계를 이해하기 시작할 수 있습니다. 이를 통해 궁극적으로 우리가 추구하는 목표인 향상된 환자 치료를 달성할 수 있는 개입을 구축할 수 있을 것입니다.