[프로그램 평가] 프로그램 평가 모델과 관련 이론(AMEE Guide No. 67)

의료 교육 프로그램 평가

정의와 범위

• 프로그램 평가는 의료 교육 프로그램을 감독하는 사람에게 필수적인 책임입니다.
• "프로그램"은 단일 수업 세션에서부터 의과 대학, 대학원 교육, 또는 지속적인 전문 개발 과정까지 포괄할 수 있습니다.
• 이러한 모든 프로그램에는 강력한 평가 계획이 필요합니다.

자료와 문헌

• 여러 기사, 가이드, 교과서가 프로그램 평가에 대한 상세한 개요와 실질적인 조언을 제공합니다 
• 의료 교육자는 이러한 자료를 잘 숙지하여 평가 실무를 향상시켜야 합니다.

가이드의 목적

• 이 가이드는 의료 교육자가 일반적인 프로그램 평가 접근법의 이론적 기반을 이해하는 데 도움을 주기 위해 작성되었습니다.
• 이론적 원칙을 이해함으로써 더 창의적이고 효과적인 평가 실무를 수행할 수 있습니다.
• 이 가이드는 새로운 프로그램을 개발하거나 기존 프로그램을 검토하거나 외부 평가자를 참여시키는 교육자에게 유익합니다.

교육 프로그램에서의 변화의 중요성

변화에 중점

• 교육 프로그램은 근본적으로 변화와 관련이 있습니다. 학습자, 교사, 관리자, 다양한 이해관계자가 모두 변화를 추구합니다.
• 효과적인 프로그램 평가는 변화가 발생하는지, 그 변화의 본질이 무엇인지, 변화가 성공적인지를 평가해야 합니다.
• 평가 계획은 의도된 변화와 의도되지 않은 변화를 모두 고려하여 프로그램의 지속적인 발전을 안내하는 정보를 제공해야 합니다.

평가에서의 복잡성

• 전통적인 평가 실무는 단순한 선형 원인-결과 관점을 사용하였습니다.
• 현대의 평가 접근법은 교육 프로그램을 복잡한 시스템으로 인식하고, 요소 간의 비선형 관계와 결과를 고려합니다.
• 평가자는 복잡한 변화 과정을 연구하고, 프로그램의 복잡성을 이해함으로써 평가 작업을 강화할 수 있습니다.

가이드의 구조

1. 프로그램 평가 정의
   • 프로그램 평가의 간략한 정의와 의료 교육에서의 중요성.
2. 평가의 필요성
   • 교육 프로그램 평가가 필요한 다양한 이유, 예를 들어 프로그램의 질 향상, 책임감 보장, 지속적인 개선 촉진 등을 논의합니다.
3. 평가 모델의 이론적 기반
   • 일반적인 평가 모델을 뒷받침하는 이론적 원칙을 개략적으로 설명합니다.
   • 특정 상황에 적합한 이론을 선택하는 것이 중요함을 강조합니다.
4. 일반적인 프로그램 평가 모델
   • 널리 사용되는 여러 평가 모델을 설명합니다.
   • 각 모델과 관련된 평가 질문의 예를 제공합니다.
   • 각 모델의 강점과 한계를 논의합니다.

교육자를 위한 권장 사항

• 특정 교육 맥락에 적합한 이론을 식별합니다.
• 필요에 가장 적합한 평가 모델을 선택합니다.
• 적절한 평가 질문을 설정합니다.
• 평가 질문에 맞는 데이터 수집 방법을 선택합니다.

요약

• 효과적인 프로그램 평가는 의료 교육 프로그램의 성공과 발전에 필수적입니다.
• 이론적 기반을 이해하고 변화 관련 결과에 초점을 맞춤으로써 평가 과정을 향상시킬 수 있습니다.
• 이 가이드는 프로그램 평가 모델에 대한 포괄적인 개요를 제공하여 교육자가 정보에 입각한 결정을 내리고 평가 실무를 개선하는 데 도움을 줍니다.

---

프로그램 평가 정의

기본 개념

• 평가란 자신이 가진 정보를 바탕으로 가치 판단을 내리는 과정입니다 (Cook 2010; Durning & Hemmer 2010).
• 교육 프로그램 평가는 정보를 사용하여 교육 프로그램의 가치나 유용성에 대한 결정을 내리는 것입니다 (Cook 2010).
• 보다 공식적으로, 교육 프로그램 평가는 프로그램의 설계, 실행, 결과와 관련된 정보를 체계적으로 수집하고 분석하여 프로그램의 질과 효과를 모니터링하고 개선하는 과정입니다 (ACGME 2010a).

평가의 목적

• 프로그램 평가의 목적은 평가 과정을 통해 프로그램의 성공에 기여하는 요소를 밝혀내고 이를 기반으로 필요한 조치를 취하는 것입니다 (Durning & Hemmer 2010).
• 프로그램 평가에서는 프로그램 내부 및 외부에서 발생하는 변동의 원인을 식별하고, 이러한 변동이나 결과가 바람직한지 여부를 판단하려고 합니다.
• 평가 과정의 정의를 내리는 모델은 이 작업의 형태를 결정합니다.

평가에 필요한 정보

• 프로그램 평가에 필요한 정보는 일반적으로 측정 과정을 통해 수집됩니다.
• 특정 평가 도구, 전략, 또는 평가 과정의 선택은 프로그램의 성공 또는 단점을 이해하기 위해 정의된 평가 질문에 따라 결정됩니다.
• 이 가이드에서는 "평가"를 정보를 수집하여 판단을 내리기 위한 측정 또는 전략으로 정의합니다.
• 많은 의료 교육 프로그램에서 훈련생 평가 데이터를 프로그램 평가 과정에 중요한 역할을 합니다. 그러나 필요한 평가 데이터는 훈련생 성과 데이터 외에도 다양한 출처에서 나올 수 있습니다.
• 평가는 수집된 모든 평가 데이터를 검토, 분석, 판단하는 과정입니다.

프로그램 평가의 필요성

평가의 필요성

• 교육자는 프로그램을 평가해야 하는 내부적, 외부적 이유를 가지고 있습니다.
• 주요 외부적 이유는 의료 교육 인증 기관의 요구사항 (ACGME 2010b; LCME 2010), 교육 혁신을 지원하는 자금 출처, 그리고 교육자가 책임을 지고 있는 다른 그룹이나 개인들입니다.
• 강력한 프로그램 평가 과정은 책임성을 지원하면서 교육자가 프로그램에 대한 유용한 지식을 얻고 지속적인 프로그램 개발을 유지하도록 돕습니다 (Goldie 2006).

평가 모델의 진화

• 평가 모델은 항상 이러한 다양한 필요를 지원하지 않았습니다.
• 오랜 기간 동안 평가 전문가들은 단순히 프로그램 결과를 측정하는 데 중점을 두었습니다 (Patton 2011).
• 많은 전통적인 평가 모델은 이 제한적이지만 중요한 목적을 위해 여전히 사용 가능합니다.
• 새로운 평가 모델은 프로그램 내의 동적 과정을 이해하고 프로그램 개선에 추가적인 중점을 둘 수 있도록 지원합니다 (Stufflebeam & Shinkfield 2007; Patton 2011).
• 이 가이드에서는 오래된 준실험적 평가 모델과 최근 이론에 의해 영향을 받은 강력한 새로운 모델을 설명합니다. 의료 교육에서 흔히 사용되는 평가 접근법을 선택하여 여러 이론적 기반을 설명하였지만, 이 제한된 공간에서는 포함할 수 없는 다른 유용한 접근법도 있습니다. 가이드 말미에 제시된 추천 도서를 통해 다른 평가 접근법에 대한 정보를 얻을 수 있습니다.

요약

• 프로그램 평가는 프로그램의 질과 효과를 모니터링하고 개선하는 데 필수적입니다.
• 평가 모델의 진화는 프로그램 결과를 단순히 측정하는 것에서 프로그램 내의 동적 과정을 이해하고 개선하는 방향으로 발전하였습니다.
• 이 가이드는 교육자가 다양한 평가 모델과 이론적 기반을 이해하고 효과적인 평가를 수행할 수 있도록 돕습니다.

---

교육 프로그램 평가 모델을 알리는 이론들

이제 일반적으로 사용되거나 유용한 평가 모델을 설명하기 위해 관련 이론들을 살펴보겠습니다. 교육 평가 모델은 교육 이론을 염두에 두고 개발된 것이 아니라, 일반적으로 과학과 지식에 대한 사고를 형성한 이론들이 평가 모델의 개발을 뒷받침했습니다. 따라서 이러한 이론들 중 일부와 그것들이 평가 전문가들의 사고에 미친 영향을 설명하기 위해 약간의 역사적 접근 방식을 취하겠습니다. 이러한 이론들은 현재 교육자들이 평가 모델을 선택하는 데에도 유용합니다.

환원주의 (Reductionism)

역사적 배경

• 많은 교육 평가 접근법은 계몽주의 시대에 뿌리를 두고 있습니다. 이 시기에는 신의 개입 모델에서 실험과 조사 모델로 이해가 전환되었습니다 (Mennin 2010c).
• 지식이 축적되면서 무질서에서 질서로의 이동이 기대되었습니다. 현상은 그 구성 요소를 분해하고 이해함으로써 이해될 수 있었습니다.

기본 개념

• 환원주의는 전체(또는 결과)를 구성 요소의 기여를 조사하고 이해함으로써 이해하고 예측할 수 있다는 관점입니다. 이는 지난 5세기 동안 의학을 특징지은 과학적 접근의 중요한 부분입니다.
• 환원주의적 관점은 교육 평가의 주요 부분에서도 지배적이었습니다 (Stufflebeam & Shinkfield 2007).

선형성 가정

• 인과 관계 분석 접근법은 프로그램 요소 간의 관계에서 선형성을 가정합니다. 즉, 특정 프로그램 요소의 변화는 예측 가능한 결과에 영향을 미칠 것으로 기대됩니다.
• 작은 변화는 작은 영향을, 큰 변화는 큰 영향을 미칠 것으로 예상됩니다.
• 이러한 선형성 가정은 논리 모델 (Logic Model)과 Before, During, and After 모델과 같은 인기 있는 평가 모델에서도 명확하게 나타납니다 (Frechtling 2007; Durning et al. 2007; Durning & Hemmer 2010).

환원주의적 사고

• 환원주의적 또는 선형적 사고 방식은 결과에 기여하는 요소를 알게 되면 프로그램의 성공 또는 실패를 설명할 수 있다고 제안합니다.
• 이러한 인과 관계 패러다임은 여러 평가 모델에 명확하게 영향을 미칩니다.

요약

• 환원주의는 프로그램의 구성 요소를 분석하여 전체를 이해하려는 과학적 접근입니다.
• 이 접근법은 선형적 관계를 가정하고, 변화가 예측 가능한 결과를 초래한다고 봅니다.
• 이러한 관점은 많은 교육 평가 모델에 여전히 영향을 미치고 있으며, 프로그램 평가의 역사와 현재 접근법을 이해하는 데 중요한 개념입니다.

---

시스템 이론 (System Theory)

환원주의와의 대비

• 환원주의적 접근 방식은 의학과 의학교육에 큰 진보를 가져왔지만, 그 한계에 대한 우려는 최소한 아리스토텔레스의 “전체는 부분의 합보다 크다”는 격언으로 거슬러 올라갈 수 있습니다.
• 교육 프로그램, 인간, 우주 등 우리가 보는 최종 산물은 단순히 개별 구성 요소의 합산 그 이상입니다.
• 결과는 단순히 구성 요소로 설명되지 않으며, 이러한 요소들 간의 관계와 환경(맥락)이 중요합니다.
• 이러한 인식은 시스템 이론의 형성으로 이어졌습니다.

베르탈란피의 일반 시스템 이론

• 베르탈란피(Ludwig von Bertalanffy)는 1920년대에 일반 시스템 이론을 제안했습니다. 이는 당시 지배적이던 환원주의적 전통에서 벗어나 시스템에 초점을 맞춘 주요 진보였습니다.
• 그는 “생물체의 근본적인 특성은 그 조직에 있으며, 단일 부분과 과정의 조사로는 생명 현상의 완전한 설명을 제공할 수 없다”고 주장했습니다 (Bertalanffy 1972).
• 베르탈란피는 시스템을 “서로 및 환경과 상호작용하는 요소들의 집합”으로 보았습니다. 이 관계는 정적이 아니라 역동적이며 변화합니다.

일반 시스템 이론의 핵심 개념

• 일반 시스템 이론은 특정 종류에 관계없이 일반 시스템이나 그 하위 클래스에 적용되는 모델, 원칙, 법칙이 존재한다고 주장합니다 (Bertalanffy 1968).
• 이는 동물, 인간, 사회적 상호작용 모두를 시스템으로 간주하며, 교육 프로그램 역시 구성 요소와 이들 간의 상호작용으로 이루어진 사회적 시스템입니다.
• 따라서 교육 프로그램을 이해하기 위해서는 시스템 이론과 일치하는 평가 접근이 필요합니다.

시스템의 구조적 유사성

• 다양한 분야에서 구조적 유사성이나 동형성이 나타나며, 본질적으로 매우 다른 존재들의 행동을 지배하는 원칙들 간의 대응이 존재합니다.
• 예를 들어, 특정 박테리아 세포의 성장 법칙은 박테리아, 동물 또는 인간의 인구에 적용될 수 있으며, 유전학 또는 일반 과학 분야의 출판물 수로 측정되는 과학 연구의 진전에도 적용될 수 있습니다 (Bertalanffy 1968).

시스템 변화와 개방 시스템

• 일반 시스템 이론은 변화가 시스템의 본질적인 부분임을 포용합니다. 베르탈란피는 시스템을 "폐쇄 시스템"과 "개방 시스템"으로 나누었습니다.
• 폐쇄 시스템에서는 아무 것도 출입하지 않으며, 개방 시스템에서는 구성 요소와 환경 간의 교환이 일어납니다. 베르탈란피는 생명 시스템이 개방 시스템이라고 믿었습니다.
• 시스템에서 평형은 아무 것도 변하지 않는 상태를 의미하며, 이는 실제로 죽어가는 시스템을 나타낼 수 있습니다. 반면, 개방 시스템에서의 정상 상태는 요소와 상호관계가 균형을 이루는 상태로, 여전히 활동적입니다 (Bertalanffy 1968).
• 개방 시스템에는 동일한 최종 상태나 결과가 다양한 출발점과 다양한 방법으로 도달할 수 있는 동등결과성(equifinality)이 존재합니다. 이는 의학교육을 통해 의사가 되는 학생들과 유사합니다.

복잡성 이론 (Complexity Theory)

• 일반 시스템 이론 이후, 다양한 시스템 원칙을 다루기 위한 여러 이론들이 등장했습니다.
• 그 중 하나인 복잡성 이론은 의학교육에서 중요성이 커지고 있으며, 평가 선택에 미치는 영향을 추가적으로 고려할 필요가 있습니다.

요약

• 시스템 이론은 환원주의적 접근 방식에서 벗어나 시스템의 구성 요소와 이들 간의 상호작용을 강조합니다.
• 베르탈란피의 일반 시스템 이론은 다양한 분야에 적용될 수 있는 공통 원칙을 제안하며, 교육 프로그램을 사회적 시스템으로 봅니다.
• 개방 시스템에서는 변화와 상호작용이 지속적으로 일어나며, 이는 교육 프로그램의 특성과 일치합니다.
• 복잡성 이론은 시스템 이론의 발전된 형태로, 의학교육에서 평가 접근 방식에 중요한 영향을 미치고 있습니다.

---

복잡성 이론 (Complexity Theory)

복잡성 이론의 개요

• 환원주의 이론에 기반한 선형 모델은 평형 상태에 있는 현상을 설명하는 데 적합할 수 있습니다. 그러나 교육 프로그램은 거의 평형 상태에 있지 않습니다.
• 의학교육 프로그램은 다양한 내적 및 외적 요인에 영향을 받으며, 이는 프로그램 참가자들의 특성, 이해관계자나 규제 기관의 영향, 지식의 변화, 전문 실습 패턴, 프로그램이 운영되는 환경 등을 포함합니다 (Geyer et al., 2005).
• 의학교육 프로그램은 다양한 구성 요소와 이들 간의 상호작용으로 이루어진 복잡한 시스템으로 특징지어집니다. 전체 시스템은 개별 구성 요소를 따로따로 조사하여 설명할 수 없습니다 (Mennin, 2010b).
• 이는 교육 연구에서 관심 결과의 변동성 중 많은 부분이 시스템이나 프로그램에서 식별된 요인으로 설명되지 않는 현상을 설명할 수 있습니다. 즉, 프로그램 전체에서 발생하는 현상은 환원주의적 또는 선형적 접근 방식으로는 완전히 이해할 수 없습니다.

복잡성 이론의 본질

• 복잡성 이론과 복잡성 과학은 모호성과 불확실성을 예상하는 시스템의 풍부함과 다양성을 수용하려는 시도입니다. 복잡성 과학은 "불균형 상태에 있는 개방 시스템 내에서 다수의 요인 간 비선형 동적 상호작용을 연구"합니다 (Mennin, 2010c).
• 복잡성 개념과 원칙은 서로 중첩된 생명 시스템의 불확실성과 비선형성에 잘 맞습니다. 복잡성 이론은 교육 프로그램의 불확실성과 모호성을 평가할 때 이를 수용하게 해줍니다.
• 모호성과 불확실성은 좋거나 나쁜 것이 아니라 단순히 예상되고 기대되는 것입니다. 따라서 교육 프로그램을 평가할 때는 이러한 불확실성을 탐구해야 합니다. 복잡성 이론은 교육자들이 과도하게 단순화된 모델에 의존하지 않도록 초대합니다.
• 복잡하게 생각한다는 것은 관계적이고 시스템적인 관점을 채택하는 것입니다. 이는 어떤 사건이나 개체를 그 자체로가 아니라 그 관계의 측면에서 보는 것을 의미합니다 (Doll & Trueit, 2010).

맥락의 중요성

• 복잡성 이론은 프로그램의 맥락을 강조하며, 이는 환경이 활동을 형성하는 역할을 한다는 것을 깨닫게 합니다 (Doll & Trueit, 2010).
• 즉, 프로그램의 성공을 평가할 때는 프로그램 참가자들과 관련된 요소뿐만 아니라 참가자들 간의 관계, 그리고 그들이 활동하는 환경과 이 환경이 참가자들에게 미치는 영향을 포함해야 합니다.

프로그램 평가 모델에 대한 복잡성 이론의 영향

• 복잡성 이론은 프로그램 평가 모델 선택에 영향을 미칠 수 있습니다. 예를 들어, CIPP 평가 모델에서 맥락(Context) 연구는 프로그램 효과성을 평가하는 접근 방식을 형성하는 데 중요한 역할을 하며, 프로그램 과정(Process) 연구는 별도로 중요한 요소로 간주됩니다 (Stufflebeam & Shinkfield, 2007).
• 프로그램 요소 간의 관계를 이해하려는 필요성은 다양한 이해관계자의 관점을 포함하여 프로그램 평가를 개발하도록 교육자들을 촉구합니다. 각 이해관계자는 프로그램 구성 요소 간의 관계를 반영하는 중요한 요소를 나타낼 것입니다.
• 'Before, During, After' 평가 모델(Durning et al., 2007; Durning & Hemmer, 2010)은 문헌에서 설명되었지만 이 가이드에서는 논의되지 않았습니다. 그러나 이 모델은 복잡성 이론의 관점에서 해석될 수 있습니다. 이 모델은 선형적이거나 질서 정연한 성격을 가지고 있지만, 각 프로그램 단계에서 가능한 복잡성을 포괄적으로 상상하고 각 단계에서 중요한 요소와 관계를 폭넓게 생각할 수 있도록 합니다.

복잡성 이론의 적용

• Doll은 "플라톤과 아리스토텔레스 시대 이후 서양 지적 사상의 특징인 확실성을 추구하는 것이 끝났다. 상황에 대한 하나의 정답은 없으며, 모든 상황에서 따를 수 있는 최선의 관행 공식도 없고, 특정 행위나 관행이 원하는 결과를 낳을 것이라는 보장도 없다"고 제안합니다 (Doll & Trueit, 2010).
• 적절하게 선택된 평가 모델은 학문적 관리자와 교육자들이 프로그램의 진정한 복잡성을 수용하는 유용한 프로그램 평가를 구조화할 수 있게 해줍니다. 복잡성 이론은 프로그램의 요구를 더 효과적으로 충족하는 평가 모델을 선택할 수 있는 다른 유용한 관점을 제공합니다. 이는 교육자들이 그들의 작업에 대해 지나치게 좁거나 단순화된 접근 방식을 피하도록 합니다.

요약

• 복잡성 이론은 교육 프로그램이 평형 상태에 있지 않고 다양한 내적 및 외적 요인에 영향을 받는 복잡한 시스템으로 이해될 수 있음을 강조합니다.
• 불확실성과 모호성을 정상적인 부분으로 받아들이며, 이러한 특성을 평가에 포함시켜야 합니다.
• 맥락과 관계의 중요성을 강조하며, 다양한 이해관계자의 관점을 포함한 평가 접근 방식을 촉구합니다.
• 복잡성 이론은 교육 프로그램의 복잡성을 효과적으로 수용할 수 있는 평가 모델을 선택하는 데 유용한 관점을 제공합니다.

---

일반적인 평가 모델

"교육 평가"는 교육 프로그램을 평가하는 접근 방식의 가족으로 이해하는 것이 가장 좋습니다. 선택한 평가 모델을 통해 교육자는 계획을 체계화하고 중요한 정보를 간과하지 않도록 할 수 있습니다.

이 가이드에서는 네 가지 모델을 설명합니다:

1. 실험적/준실험적 접근
2. Kirkpatrick의 접근법
3. 논리 모델 (Logic Model)
4. 맥락/투입/과정/결과(CIPP) 모델

이 네 가지 모델은 현재 일반적으로 사용되며, 각 모델의 이론적 배경에 따라 다양한 가능성을 제공합니다. 각 모델은 전형적인 평가 질문과 평가자가 기대할 수 있는 결과를 포함하여 자세히 설명됩니다.

실험적/준실험적 모델

역사적 배경

• 실험적 및 준실험적 설계는 1960년대 중반에 교육 평가로 적용되기 시작한 초기 설계 중 하나입니다 (Stufflebeam & Shinkfield, 2007).
• 환원주의 이론적 기반에서 기인한 이 설계는 프로그램 요소와 원하는 프로그램 결과 간의 선형 인과 관계 가정을 신중하게 검증하는 평가자의 노력에 따라 연구 결과의 타당성이 결정됩니다.

장점과 한계

• 이러한 설계는 생물과학의 발전에 큰 기여를 했지만, 의학교육과 같은 복잡한 환경에서는 덜 유용합니다.
• 진정한 실험적 설계는 통제된 조건 하에서 시행하기 어려워 주로 준실험적 설계가 사용됩니다.
• 외부 타당성이 낮고, 연구 설계의 한계로 인해 결과가 높이 집중된 연구 결과로 귀결되는 경향이 있습니다.

주요 준실험적 설계

1. Intact-Group Design
   • 학습자를 두 그룹으로 무작위로 배정합니다. 한 그룹은 평가 중인 프로그램을 사용하고, 다른 그룹은 기존 프로그램을 사용합니다.
   • 무작위 배정을 통해 그룹 내 모든 요인을 통제하려고 합니다.
   • 그룹 간 예기치 않은 차이를 모니터링하고 조정해야 합니다.
   • 프로그램 유형(입력)과 결과 간의 선형 관계 가정을 논리적으로 방어해야 합니다.
2. Time-Series Experimental Design
   • 단일 개인 또는 그룹의 행동을 시간 경과에 따라 연구합니다.
   • 프로그램 도입 전과 도입 후의 행동을 비교하여 프로그램 효과를 평가합니다.
   • 신뢰할 수 있는 변화를 평가하기 위해 충분한 관찰이 필요합니다.
   • 프로그램 외부 요인의 영향을 분리하지 못하는 한계가 있습니다.
3. Ex Post Facto Experiment Design
   • 학습자를 그룹이나 조건에 무작위로 배정하지 않습니다.
   • 이미 완료된 프로그램의 데이터를 분석합니다.
   • 관련된 사전 프로그램 참가자 데이터를 활용하여 공변량으로 사용해야 합니다.
   • 공변량이 프로그램 결과와 중간 정도로 상관될 때 프로그램 효과를 감지하기 어려울 수 있습니다.

평가자가 기대할 수 있는 것

• 의학교육자들에게 익숙한 환원주의적 접근 방식은 편안함을 제공합니다.
• 선형 인과 관계 가정이 필요하며, 복잡한 교육 프로그램에서는 이러한 가정을 입증하기 어렵습니다.
• 윤리적 고려 사항으로 인해 무작위 배정이 학습자를 유용한 학습 경험에서 제외시키는 경우 주의가 필요합니다.
• 높은 내부 타당성을 중요시하는 경우 실험적 및 준실험적 설계를 선택할 수 있지만, 외부 타당성이 낮은 경향이 있습니다.
• 단독으로 사용되는 경우 교육 활동의 결과에 대한 정보를 제공할 수 있지만, 왜 결과가 발생했는지에 대한 증거는 제공하지 않습니다.

요약

• 실험적 및 준실험적 모델은 프로그램 요소와 결과 간의 선형 관계 가정을 바탕으로 합니다.
• 복잡한 교육 환경에서는 실행하기 어려울 수 있으며, 외부 타당성이 낮을 수 있습니다.
• 이러한 모델은 주로 프로그램 결과에 대한 정보를 제공하지만, 결과의 원인을 설명하지는 않습니다.
• 평가자는 각 모델의 장단점을 고려하여 자신에게 적합한 모델을 선택해야 합니다.

---

Kirkpatrick의 네 단계 평가 모델

Kirkpatrick의 네 단계 접근법은 교육 프로그램에서 학습자 결과를 평가하는 모델로 널리 인기를 끌어왔습니다 (Kirkpatrick, 1996). 이 모델의 주요 기여는 프로그램 결과에 대한 명확한 초점과 단순한 학습자 만족도 이상의 결과에 대한 명확한 설명입니다. Kirkpatrick은 프로그램 결과를 평가하기 위해 네 가지 계층적 "수준"의 데이터를 수집할 것을 권장했습니다:

1. 학습자 만족도 또는 프로그램에 대한 반응: 학습자들이 프로그램에 대해 어떻게 생각하는지를 평가합니다.
2. 프로그램으로 인한 학습 측정: 프로그램에 기인한 학습(예: 습득한 지식, 향상된 기술, 변화된 태도)을 측정합니다.
3. 학습자가 교육받은 맥락에서의 행동 변화: 학습자가 훈련받은 맥락에서의 행동 변화를 평가합니다.
4. 프로그램의 최종 결과: 프로그램이 더 큰 맥락에서 미치는 최종 결과를 평가합니다.

1단계: 학습자 만족도 또는 반응

• 평가자는 원하는 반응(만족도 등)을 결정하고 학습자에게 프로그램에 대해 어떻게 생각했는지 묻습니다.
• 예를 들어, 프로그램이 학습에 유용했는지, 개별 구성 요소가 가치 있었는지 등을 묻습니다.

2단계: 학습 측정

• 참여자가 프로그램 동안 배운 것을 평가합니다.
• 지식 및 기술 테스트를 사용하여 프로그램과 다른 학습 기회와의 연결을 시도합니다.
• 적절한 대조군을 사용하여 이 측면을 조사하는 것이 좋습니다.

3단계: 행동 변화

• 학습자가 훈련받은 맥락에서 지식과 기술을 적용하는 것을 평가합니다.
• 예를 들어, 프로그램의 지식과 기술을 사용하는 포스트그라듀에이트 트레이니의 실습을 관찰하고, 원하는 표준과 비교하여 평가합니다.

4단계: 프로그램의 최종 결과

• 프로그램의 더 큰 맥락에서 일정 기간 후 관찰된 학습자 결과를 평가합니다.
• 예를 들어, 환자 결과, 비용 절감, 개선된 의료 팀 성과 등에 대한 프로그램의 영향을 평가합니다.

장점 및 한계

장점

• 프로그램 결과에 대한 유용한 분류 체계를 정의합니다 (Holton, 1996).
• 학습자 만족도, 학습된 내용, 행동 변화, 최종 결과에 이르는 계층적 평가를 통해 종합적인 프로그램 평가가 가능합니다.

한계

• 학습에 영향을 미치는 중재 변수(예: 학습자 동기, 다양한 진입 수준의 지식 및 기술)를 고려하지 않습니다 (Holton, 1996).
• 중요한 프로그램 요소와 프로그램 맥락 간의 관계, 자원 사용의 효과성 등을 반영하지 않습니다.
• 교육 프로그램과 그 결과 간의 인과성을 가정해야 합니다.

평가자에게 제공하는 것

Kirkpatrick의 접근법은 프로그램 결과를 정의하는 데 유용한 방법을 제공합니다. 그러나 이 모델만으로는 교육 프로그램의 완전한 평가를 수행하거나 프로그램이 작동하는 이유를 밝히는 데이터를 제공하기 어렵습니다 (Bates, 2004). 다른 모델과 함께 사용하면 Kirkpatrick의 네 단계는 보다 완전한 평가 모델의 프로그램 결과 요소를 정의하는 데 유용할 수 있습니다.

요약

• Kirkpatrick의 네 단계 모델은 교육 프로그램 결과를 평가하는 체계적인 방법을 제공합니다.
• 학습자 만족도, 학습된 내용, 행동 변화, 프로그램의 최종 결과를 포괄하는 평가 체계를 제공합니다.
• 이 모델은 다른 평가 모델과 함께 사용하면 더욱 유용하며, 단독으로는 프로그램 작동의 이유를 밝히는 데 한계가 있습니다.

참고 문헌

• Kirkpatrick, D. L. (1996). Evaluating training programs: The four levels. Berrett-Koehler Publishers.
• Holton, E. F. (1996). The flawed four-level evaluation model. Human Resource Development Quarterly, 7(1), 5-21.
• Bates, R. (2004). A critical analysis of evaluation practice: The Kirkpatrick model and the principle of beneficence. Evaluation and Program Planning, 27(3), 341-347.

표 1: Kirkpatrick의 네 단계 모델과 다른 평가 모델의 통합

평가 수준	Kirkpatrick 모델 평가 요소	통합 모델에서의 역할
1단계: 반응	학습자 만족도 평가	프로그램 만족도 및 수용도 측정
2단계: 학습	지식, 기술, 태도 변화 측정	학습 효과 및 성과 평가
3단계: 행동	학습자의 행동 변화 평가	실제 적용 및 실습 평가
4단계: 결과	프로그램의 최종 결과 평가	장기적 영향 및 프로그램 효과성 평가

---

Logic Model

Logic Model은 시스템 이론의 영향을 받아 프로그램 구성 요소 간의 관계와 프로그램의 맥락에서의 상호 관계에 주의를 기울입니다 (Frechtling, 2007). 이 모델은 주로 프로그램 계획 중에 사용되지만 평가 접근 방식으로도 강력한 지원을 제공합니다. 교육 계획 및 평가에서 강력한 선형 접근 방식을 취하는 Logic Model은 단순한 형태에서는 프로그램 평가 과정을 지나치게 단순화할 수 있으며, 교육자가 필요로 하는 결과를 제공하지 못할 수 있습니다. 그러나 피드백 루프와 프로그램 요소 간의 순환 상호 작용 가능성을 주의 깊게 고려하면, Logic Model은 교육 프로그램에 대한 평가 구조를 제공할 수 있습니다. 이 모델은 현재 일부 미국 자금 지원 기관에서 홍보되거나 요구되고 있어 이를 아는 것이 유용합니다.

 

Logic Model의 구조는 Stufflebeam의 CIPP 평가 모델과 유사한 특징을 공유하지만, 교육 혁신이 내재된 시스템과 변화 과정에 중점을 둡니다. 이 접근 방식은 프로그램의 교육 방법과 원하는 결과 간의 관계가 명확히 이해된다는 가정에 기초하고 있어, 가장 단순한 형태의 Logic Model은 대부분의 교육 맥락의 비선형 복잡성을 과소평가할 수 있습니다. Logic Model은 교육자가 프로그램을 동적 시스템으로 명확히 이해하고, 의도된 결과와 의도하지 않은 결과를 모두 문서화할 계획을 세울 때 가장 잘 작동합니다.

 

Logic Model의 네 가지 기본 구성 요소는 정의하기 쉽습니다 (Figure 1). 각 구성 요소의 명세에 도입되는 복잡성 수준은 평가자의 기술이나 프로그램 디렉터의 자원에 따라 다를 수 있습니다. Logic Model을 프로그램 계획에 사용할 때, 대부분의 사람들은 원하는 결과에서 시작하여 다른 구성 요소로 역방향으로 작업하는 것이 유용하다고 생각합니다 (Frechtling, 2007). 복잡한 프로그램의 경우, Logic Model은 여러 계층으로 확장될 수 있습니다. 여기서는 네 가지 필수 요소의 기본 사항만 다루지만, 보다 복잡한 프로그램에 적합한 다중 계층 Logic Model의 세부 사항은 텍스트에서 쉽게 찾을 수 있습니다 (Frechtling, 2007).

Logic Model 구성 요소

Inputs

• Logic Model의 Inputs는 교육 프로젝트나 프로그램에 기대되거나 실제로 제공될 모든 관련 자원, 물질적 및 지적 자원을 포함합니다.
• Inputs에는 자금원(이미 확보된 자금 또는 확보될 자금), 시설, 교수 기술, 교수 시간, 직원 시간, 직원 기술, 교육 기술, 기관 문화의 관련 요소(예: 학과장 또는 학장의 지원)가 포함될 수 있습니다.
• 프로그램의 Inputs를 정의하는 것은 새로운 프로그램의 시작점 또는 기존 프로그램의 현재 상태를 정의합니다.
• 자원의 포괄적인 기록은 후에 프로그램을 모방하려는 다른 사람들에게 프로그램을 설명하는 데도 유용합니다.

Activities

• Logic Model의 두 번째 구성 요소는 교육 프로그램을 위해 계획된 일련의 "처치", 전략, 혁신 또는 변화를 자세히 설명합니다.
• 활동은 일반적으로 모델에서 지정된 순서대로 발생하도록 예상됩니다.
• 활동의 명확한 순서는 이전 활동의 실행 후 또는 실행 중에 일어나는 일이 이후 활동에 영향을 미칠 수 있음을 인정합니다.

Outputs

• Outputs는 프로그램 활동 또는 활동의 일부가 진행 중이거나 완료되었음을 나타내는 지표입니다.
• Logic Model 구조는 각 활동에 최소한 하나의 Output이 있어야 한다고 규정하지만, 하나의 Output이 여러 활동과 연결될 수 있습니다.
• 교육 프로그램의 경우, Outputs는 계획된 교육 행사에 참석한 학습자의 수(활동), 프로그램에 기여할 교수의 특성(예: "적절한 전문 지식을 갖춘 교수 모집"이 프로그램 활동인 경우), 교육 모듈의 수(예: "교육 모듈 생성"이 활동인 경우)를 포함할 수 있습니다.

Outcomes

• Outcomes는 프로그램 활동의 결과로 의도된 단기, 중기 및 장기 변화를 정의합니다.
• Outcomes는 학습자가 지식 또는 기술 습득을 입증하는 것(예: 관련 지식 테스트에서 성취 기준을 충족하거나 지정된 기술을 입증하는 것), 프로그램 참가자가 실습에서 새로운 지식 또는 기술을 구현하는 것, 프로그램 참가자의 환자 건강 상태 변화를 포함할 수 있습니다.
• Outcomes는 개인, 그룹 또는 조직 수준에서 명시될 수 있습니다(예: 교육을 지원하기 위한 학과 인프라의 변화).

장점 및 한계

장점

• Logic Model은 프로그램 계획 및 평가의 명확한 구조를 제공합니다.
• Inputs, Activities, Outputs, Outcomes의 명확한 정의를 통해 평가자와 프로그램 관리자가 프로그램의 모든 측면을 명확히 이해하고 계획할 수 있습니다.

한계

• 프로그램의 교육 방법과 원하는 결과 간의 관계가 명확히 이해된다는 가정에 기초하고 있어, 대부분의 교육 맥락의 비선형 복잡성을 과소평가할 수 있습니다.
• 프로그램 요소 간의 상호작용 및 피드백 루프를 충분히 고려하지 않을 경우, 단순한 형태의 Logic Model은 지나치게 단순화될 수 있습니다.

결론

Logic Model은 교육 프로그램 평가에 있어 강력한 도구로, 프로그램 요소 간의 명확한 관계를 정의하고, 체계적인 평가를 가능하게 합니다. 그러나 프로그램의 복잡성을 완전히 반영하려면 피드백 루프와 상호작용을 고려한 확장된 모델을 사용하는 것이 좋습니다. Logic Model은 Stufflebeam의 CIPP 모델과 함께 사용하여 더욱 종합적인 평가를 제공할 수 있습니다.

참고 문헌

• Frechtling, J. A. (2007). Logic modeling methods in program evaluation. Jossey-Bass.

---

Logic Model의 추가 요소

Logic Model은 네 가지 기본 요소 외에도 프로그램의 맥락(Context)과 영향(Impact)에 세심한 주의를 기울입니다. 맥락은 프로그램이 진행되는 환경의 중요한 요소로, 사회적, 문화적, 정치적 특징을 포함합니다. 예를 들어, 정부 또는 인증 기관이 커리큘럼에 새로운 주제를 포함하도록 명령하는 것은 관련 정치적 요인입니다. 학습자의 특성은 관련 사회적 요인일 수 있습니다. 프로그램의 환경적 특징을 고려하여 프로그램 채택을 제한하거나 지원할 수 있는 요소를 문서화하면 계획자들이 중요한 프로그램 요소를 식별하는 데 도움이 됩니다.

 

Impact는 프로그램 또는 개입 후 발생하는 의도된 변화와 의도되지 않은 변화를 포함합니다. 장기적 결과로, 매우 넓은 범위에 영향을 미치는 변화(예: 특정 그룹의 건강 결과 개선)는 Logic Model 접근법에서 결과(Outcomes)보다는 Impact로 정의될 수 있습니다.

Logic Model 평가 질문

Logic Model 접근법에서 사용될 수 있는 일반적인 평가 질문은 다음과 같습니다:

• 각 프로그램 활동이 계획대로 실행되었는가? 계획된 활동에서 변경이 발생했다면, 어떤 변경이 이루어졌으며 왜 필요한가?
• 예상된 인원이 참여했는가? 예상대로 참여했는가? 필요한 기술과 경험을 가지고 있었는가?
• 활동이 모든 학습자의 요구를 얼마나 잘 충족시켰는가, 특히 프로그램이 특별히 관심을 가지는 학습자 그룹의 요구를 얼마나 잘 충족시켰는가?
• 프로그램 실행에 어떤 장애물이 있었는가? 이를 수용하기 위해 계획된 프로그램이 어떻게 수정되었는가?
• 교수진이 관련된 교수 개발에 참여했는가? 어떤 기술이나 지식을 습득했는가? 프로그램 활동에서 배운 내용을 얼마나 잘 구현했는가?
• 프로그램 활동에 참여한 참가자들은 활동의 효과, 접근성 등을 어떻게 평가했는가?
• 학습자의 성취 결과는 무엇이었는가?
• 학습자가 임상 실습에서 배운 내용을 얼마나 자주 또는 잘 적용했는가?
• 프로그램 실행 후 관련 환자 결과는 어떻게 변했는가?

Logic Model의 장점

Logic Model 접근법은 새로운 교육 프로젝트나 혁신을 계획하거나 프로그램을 수정할 때 매우 유용할 수 있습니다. 이 모델은 교육 계획자가 프로그램 자원(Inputs), 프로그램 전략 또는 치료(Activity), 프로그램 활동의 즉각적인 결과(Outputs), 원하는 프로그램 성취(Outcomes) 간의 의도된 연계를 명시적으로 정의하도록 요구하기 때문에, 교육 프로그램이 실행될 때 실제로 의도된 결과에 집중할 수 있도록 보장합니다.

 

Logic Model은 프로그램의 사회적, 문화적, 정치적 맥락이 계획된 교육 프로그램 또는 혁신과 어떻게 관련되는지를 고려합니다. 여러 사람이 프로그램 계획, 실행, 평가에 참여할 때 특히 유용합니다. 모든 팀원이 프로그램의 Logic Model 설계에 기여하면, 프로그램 활동과 원하는 결과에 대한 공동 이해에 도달하기 위한 대화가 더 잘 이루어질 가능성이 높습니다.

Logic Model의 잠재적 문제점

Logic Model을 사용할 때 고려해야 할 몇 가지 잠재적 문제점이 있습니다. 그 고유한 선형성(Patton, 2011)은 평가자가 프로그램 실행 중 모델을 맹목적으로 따르고 예상치 못한 결과를 찾지 않거나 프로그램 중간의 변경을 유연하게 수용하지 못하게 할 수 있습니다. 이러한 함정을 인식한 평가자는 Logic Model 접근법을 보완하기 위해 모든 프로그램 결과를 포착하고 프로그램 실행 중 필요에 따라 프로그램 활동과 Logic Model을 조정하는 추가 전략을 사용할 것입니다.

 

Logic Model 접근법은 프로그램 활동과 결과 간의 인과 관계를 입증하는 증거를 생성하지 않습니다. 관찰된 결과의 원인을 밝히기 위한 경쟁 가설을 테스트할 수 없습니다. 그러나 신중하게 구현하면 프로그램과 후속 결과에 대한 충분한 기술 데이터를 생성할 수 있습니다.

결론

Logic Model 접근법은 프로그램 자원, 활동, 출력, 결과 간의 명확한 연계를 정의하여 교육 프로그램 계획 및 평가를 체계화하는 데 강력한 도구가 될 수 있습니다. 그러나 프로그램의 복잡성을 충분히 반영하려면 피드백 루프와 상호 작용을 고려한 확장된 모델을 사용하는 것이 좋습니다. Logic Model은 Stufflebeam의 CIPP 모델과 함께 사용하여 더욱 종합적인 평가를 제공할 수 있습니다.

참고 문헌

• Frechtling, J. A. (2007). Logic modeling methods in program evaluation. Jossey-Bass.
• Patton, M. Q. (2011). Developmental evaluation: Applying complexity concepts to enhance innovation and use. Guilford Press.

---

CIPP (Context/Input/Process/Product) 모델

개요
CIPP 모델은 Daniel Stufflebeam에 의해 제안된 평가 접근법으로, 기존의 실험적 설계 모델에 대한 개선 및 대안으로 개발되었습니다 (Stufflebeam & Shinkfield, 2007). 1971년에 처음으로 소개된 CIPP 모델은 프로그램의 무언가를 입증하기보다는 프로그램 개선에 중점을 두고 있습니다. 이 모델은 교육 및 비교육 평가 설정에서 그 유용성이 잘 문서화되었습니다. CIPP 모델은 프로그램 요소 간의 복잡하고 역동적이며 종종 비선형적인 관계를 이해하는 평가자에게 강력한 평가 접근 방식을 제공합니다.

 

CIPP 모델은 프로그램의 모든 단계를 다루며, 프로그램 계획, 실행, 최종 평가에 이르는 네 가지 상호 보완적 평가 연구로 구성되어 있습니다. 첫 세 가지 요소는 형성적 평가에 유용하며, 네 번째 요소는 총괄적 평가에 적합합니다.

CIPP 모델의 네 가지 요소

1. Context 평가 연구
   • 새로운 프로그램을 계획할 때 일반적으로 수행됩니다.
   • 프로그램 목표와 우선순위를 정의하고, 관련 요구, 문제, 자산 및 기회를 평가합니다.
   • 기존 프로그램을 변경하거나 적응할 때도 유용합니다.
   • 데이터 수집 방법:
     • 문서 검토
     • 인구통계 데이터 분석
     • 인터뷰
     • 설문조사
     • 기록 분석(예: 시험 결과, 학습자 성과 데이터)
     • 포커스 그룹
2. Input 평가 연구
   • 교육 프로그램을 계획하거나 교육 제안을 작성할 때 자원 할당이 필요한 경우 유용합니다.
   • 다양한 접근 방식의 실행 가능성 또는 비용 효율성을 평가합니다.
   • 새로운 프로그램을 계획할 때 자금 할당 또는 기타 중요한 자원 할당에 대한 명확한 정당성을 설정합니다.
   • 데이터 수집 방법:
     • 문헌 검토
     • 모범 프로그램 방문
     • 전문가 상담
     • 요구를 충족하기 위해 관심 있는 사람들로부터 제안 초청
3. Process 평가 연구
   • 프로그램의 실행을 평가합니다.
   • 프로그램 실행 중 또는 후에 수행하여 형성적 정보를 제공하고, 프로그램 결과를 해석하는 데 도움을 줍니다.
   • 프로그램 실행 중에 데이터를 수집하여 지속적인 프로그램 개선을 지원합니다.
   • 데이터 수집 방법:
     • 관찰
     • 문서 검토
     • 참가자 인터뷰
4. Product 평가 연구
   • 프로그램 결과에 중점을 둡니다.
   • 긍정적 및 부정적 결과, 의도된 및 의도되지 않은 결과, 단기 및 장기 결과를 평가합니다.
   • 프로그램의 영향을 평가하고, 지속 가능성 및 프로그램의 이식 가능성을 분석합니다.
   • 데이터 수집 방법:
     • 이해관계자의 판단
     • 유사 프로젝트 또는 프로그램과의 비교 연구
     • 프로그램 목표 달성 평가
     • 프로그램 결과에 대한 그룹 인터뷰
     • 선택된 참가자의 사례 연구
     • 설문조사
     • 프로젝트 효과에 대한 참가자 보고서

CIPP 모델의 유용성

CIPP 모델은 프로그램의 다양한 단계를 체계적으로 평가할 수 있는 강력한 도구입니다. 프로그램 계획, 실행 및 최종 평가에 이르는 모든 단계를 포괄하여 프로그램 개선과 결과 평가를 지원합니다. 각 단계의 평가를 통해 프로그램의 목표 달성 여부를 체계적으로 분석하고, 필요한 경우 프로그램 활동을 조정할 수 있습니다.

결론

CIPP 모델은 프로그램 계획, 실행 및 평가의 모든 단계를 다루는 종합적인 평가 접근 방식입니다. Context, Input, Process, Product의 네 가지 요소를 통해 프로그램의 다양한 측면을 체계적으로 평가할 수 있습니다. 이 모델은 프로그램의 복잡성을 이해하고, 프로그램 개선과 결과 평가에 유용한 데이터를 제공하는 데 강력한 도구로 작용합니다.

참고 문헌

• Stufflebeam, D. L., & Shinkfield, A. J. (2007). Evaluation theory, models, and applications. Jossey-Bass.

---

CIPP 모델을 사용할 때 교육자들이 기대해야 할 것들

개요
CIPP (Context/Input/Process/Product) 모델은 교육 프로그램 평가를 위한 포괄적인 프레임워크를 제공하며, 계획, 실행, 최종 평가 등 모든 단계를 다룹니다. 이는 형성적(진행 중) 평가와 총괄적(회고적) 평가 모두를 지원하여 다양한 프로그램 단계와 목적에 맞게 유연하게 활용될 수 있습니다.

주요 기대 사항

1. 포괄적인 평가

• 맥락(Context): 프로그램의 성숙도, 다른 요소와의 의존성, 프로그램 전후 및 진행 중 환경을 고려하여 교육 환경을 평가합니다.
• 투입(Input): 학습자 특성 및 준비 상태, 교원 전문성과 가용성, 학습 기회, 자금 지원의 적절성, 리더십 지원 등 이용 가능한 자원을 평가합니다.
• 과정(Process): 프로그램 실행 과정을 분석하여 특정 결과가 발생한 이유를 이해하고 개선할 수 있는 영역을 식별합니다.
• 산출(Product): 이전 평가의 맥락에서 결과를 해석하고, 프로그램의 효과를 입증하기보다 지속적인 개선을 강조합니다.

2. 교육 맥락에 대한 주의

• 교육 환경과 프로그램에 미치는 영향을 상세히 고려합니다.
• 프로그램의 단계(예: 초기 실행 vs. 확립된 프로그램)와 다른 교육 요소와의 관계를 평가합니다.

3. 다양한 투입 요소

• 학습자와 교원 특성, 자원 가용성, 프로그램 자금 등 다양한 투입 요소를 포괄적으로 분석합니다.
• 프로그램에 영향을 미치는 모든 관련 요소를 고려합니다.

4. 과정 이해

• 프로그램에 관련된 과정을 이해하고 개선하는 데 중점을 둡니다.
• 프로그램 결과의 이유를 설명하여 목표 지향적인 개선을 가능하게 합니다.

5. 결과 중심

• 이전 평가 단계에서 얻은 정보를 바탕으로 지속적인 개선을 강조합니다.
• 의도된 결과와 의도되지 않은 결과 모두에 대한 통찰을 제공하여 프로그램의 영향을 폭넓게 이해할 수 있게 합니다.

6. 이해 관계자에 대한 정보 제공

• 다양한 이해 관계자에게 프로그램의 개선 영역 및 결과 해석에 대한 상세한 정보를 제공합니다.
• 프로그램 생애 주기 전반에 걸쳐 책임성과 투명성을 지원합니다.

CIPP 모델의 효과적인 사용

1. 계획 및 준비

• 새로운 프로그램의 초기 단계에서 시작하는 것이 이상적이며, 철저한 계획이 필요합니다.
• 완료된 프로그램의 회고적 평가에도 유용하게 적용될 수 있습니다.

2. 다양한 데이터 수집 방법

• 특정 평가 질문에 맞게 다양한 데이터 수집 기법을 사용합니다.
• 문서 검토, 인터뷰, 설문 조사, 포커스 그룹, 관찰 연구 등을 포함할 수 있습니다.

3. 적절한 데이터 분석

• 각 데이터 세트는 데이터 유형과 평가 목표에 맞는 적절한 방법으로 분석해야 합니다.
• 결과가 유효하고 신뢰할 수 있으며 실행 가능하도록 합니다.

4. 지속적 및 회고적 적용

• 형성적 평가를 지원하여 지속적인 프로그램 개선을 위한 데이터를 제공합니다.
• 프로그램 결과에 대한 철저한 회고적 평가를 가능하게 합니다.

장점과 도전 과제

장점

• 포괄적 프레임워크: 맥락에서 결과에 이르기까지 프로그램의 모든 측면을 다룹니다.
• 개선 중심: 프로그램의 효과를 입증하기보다는 개선을 우선시합니다.
• 이해 관계자 참여: 다양한 이해 관계자에게 귀중한 정보를 제공하여 투명성과 책임성을 지원합니다.

도전 과제

• 자원 집중: 데이터 수집과 분석에 상당한 시간, 노력 및 자원이 필요합니다.
• 복잡성: 여러 출처와 평가 단계를 통합하고 관리하는 복잡성을 포함합니다.
• 계획 요구 사항: 효과적으로 구현하기 위해 철저한 계획과 조정이 필요합니다.

결론

CIPP 모델을 선택하는 교육자들은 상세하고 자원 집중적인 평가 과정을 준비해야 합니다. 이 모델의 포괄적 특성과 지속적 개선에 대한 초점은 교육 프로그램 평가를 위한 강력한 도구를 제공하며, 귀중한 통찰을 제공하고 책임성을 촉진합니다. 그러나 효과적으로 사용하려면 철저한 계획, 적절한 데이터 수집 및 정밀한 분석이 필요하여 의미 있고 실행 가능한 결과를 보장해야 합니다.

---

결론

교육 프로그램은 본질적으로 변화에 관한 것입니다. 이는 학습자의 지식, 기술, 태도의 변화, 교육 구조의 변화, 교육 지도자의 개발 등을 포함합니다. 이러한 프로그램을 설계하고 실행하는 교육자들은 프로그램의 복잡성을 잘 이해하고 있으며, 이러한 복잡성은 효과적인 프로그램 평가에 상당한 도전 과제를 제기합니다. 학문적 관리자는 인기 있는 평가 모델의 발전에 영향을 미친 이론을 고려함으로써 다양한 평가 모델이 자신들에게 제공할 수 있는 통찰을 얻을 수 있습니다.

 

평가 모델 이론의 이해

• 환원주의 이론의 엄격한 선형성: 실험적 및 준실험적 평가 모델에 반영된 엄격한 선형성은 교육 프로그램의 복잡성을 수용하기에 너무 제한적일 수 있습니다.
• Kirkpatrick의 4단계 모델: 프로그램 구성 요소와 결과 사이의 선형 관계를 가정하지만, 평가자가 관련 학습자 결과를 식별하는 데 유용할 수 있습니다.
• 로직 모델: 프로그램 계획 중 유익하며, 평가 구성 요소 간의 의도된 관계를 명시하지만, 프로그램이 진화함에 따라 지속적인 업데이트가 필요할 수 있습니다. 시스템 이론에 근거하여 프로그램의 맥락을 평가 연구에 통합하도록 촉진합니다.
• CIPP 모델: 시스템 이론과 어느 정도 복잡성 이론에 일치하며, 진행 중인 프로그램 개선을 지원하는 연구뿐만 아니라 완료된 프로그램 결과의 총괄적 연구를 포함할 수 있을 만큼 유연합니다.

의료 교육자를 위한 선택

• 의료 교육자는 이들 개별 모델 또는 이들의 조합(Table 1)을 선택하여 자신의 프로그램에 적합한 평가 모델을 개발할 수 있습니다.

평가 모델의 비교

평가 모델	주요 특징	장점	한계
환원주의 이론 기반 모델	엄격한 선형성	명확한 원인과 결과 관계	프로그램 복잡성 반영 어려움
Kirkpatrick의 4단계 모델	학습자 결과 중심	결과 식별 용이	선형 관계 가정
로직 모델	시스템 이론 기반, 맥락 포함	계획 단계에서 유익	지속적 업데이트 필요
CIPP 모델	시스템 및 복잡성 이론 기반	유연성, 진행 중 및 총괄적 평가 모두 지원	자원 집중적

 

교육 프로그램의 복잡성을 고려할 때, 적절한 평가 모델을 선택하는 것은 프로그램의 성공적인 평가와 지속적인 개선을 보장하는 데 중요합니다. 각 모델의 장점과 한계를 이해하고, 프로그램의 특성과 목적에 맞는 모델을 선택함으로써, 교육자들은 보다 효과적이고 의미 있는 평가를 수행할 수 있을 것입니다.