Wilson Centre

[프로그램 평가] 평가 이론 나무(AN EVALUATION THEORY TREE)

Meded. 2024. 5. 16. 04:41

 

평가 이론 나무의 구조

  • 나무의 비유: 평가 이론의 목적과 발전을 나무로 묘사하여 평가의 기초와 다양한 학자들의 작업을 시각적으로 표현.
  • 뿌리: 사회적 책임, 체계적 사회 조사, 인식론
    • 사회적 책임: 정부 기관이 자금을 지원하는 프로그램 평가의 중요한 동기. 프로그램과 사회 개선을 위한 방법.
    • 체계적 사회 조사: 책임성 결정을 위한 방법적이고 정당한 절차 사용. 평가 모델의 주요 출처.
    • 인식론: 지식의 본질과 유효성에 관한 철학적 논의. 가치 주장, 보편적 주장, 진리의 본질에 대한 논의 포함.

나무의 가지

  • 중앙 가지 (방법론): 체계적 사회 조사 뿌리에서 자라남. 평가 연구 방법론에 초점.
    • 목적: 맥락적 제약을 고려하여 가능한 가장 엄격한 지식을 얻기 위한 노력.
  • 가치 부여 가지: Michael Scriven과 Robert Stake의 작업에서 시작. 평가 대상에 가치를 부여하는 것이 중요.
    • 객관주의와 주관주의로 나뉨.
    • 객관주의: 공공적으로 관찰 가능한 사실에 기반한 가치 판단.
    • 주관주의: 인간 행동의 주관적 의미에 중점.
  • 사용 가지: Daniel Stufflebeam과 Joseph Wholey의 작업에서 시작. 평가 정보의 사용 방식에 대한 명확한 관심.
    • 목적: 평가 정보의 사용자에 대한 초점.

가지들 간의 관계

  • 상호 연관성: 세 가지 가지는 독립적으로 보기보다는 서로 관계 있음.
    • 중앙 가지와 가치 부여 가지의 연결: 객관주의 가치 평가 이론가들은 방법론에 대한 2차적 관심을 가짐.
    • 가치 부여 가지와 사용 가지의 연결: 주관주의 가치 평가 이론가들은 사용에 대한 2차적 관심을 가짐.
    • 사용 가지와 방법론 가지의 연결: 사용에 중점을 두는 이론가들은 엄격한 방법에 대한 2차적 관심을 가짐.

평가 이론 나무의 의미

  • 시각적 표현: 주요 이론가들의 기여를 시각적으로 표현.
  • 이론적 접근법의 발전: 특정 접근법의 초기 및 가장 주목할 만한 기여를 한 이론가들 포함.
  • 예시: Theory-Driven Evaluation을 발전시킨 Chen.

결론

  • 기초 논의: 사회적 책임, 사회 조사, 인식론에 대한 논의.
  • 주요 가지 논의: 각 가지에 대한 자세한 설명.

Social Accountability 핵심 정리

  • 역할과 정의
    • 기본 정의: "설명" 또는 "답변할 수 있는" 과정을 의미.
    • 다양한 차원: 보고, 정당화 분석 등 포함.
    • 실질적 책임: 단순 정보 제공을 넘어, 실제 책임을 묻는 단계 필요.
  • Alkin의 세 가지 책임 유형
    1. 목표 책임 (Goal Accountability):
      • 목표 설정의 적절성을 평가.
      • 주로 관리 및 거버닝 보드의 책임.
    2. 과정 책임 (Process Accountability):
      • 목표 달성을 위한 절차의 적절성을 평가.
      • 관리 및 프로그램 운영자가 주로 책임.
    3. 결과 책임 (Outcome Accountability):
      • 목표 달성 정도를 평가.
      • 관리 및 프로그램 운영자가 주로 책임.
  • 평가 이론에서의 반영
    • Michael Scriven: 목표 평가에서 평가자의 역할 중시.
    • Daniel Stufflebeam의 CIPP 모델: 과정 책임에 중점.
    • 대부분의 평가 노력: 결과 책임에 중점.
  • 현대 평가
    • 목표 책임 중점: 기관 성과 개선을 목표.
    • 과정 책임: 덜 강조되지만 여전히 중요한 평가 기초.
      • 예: 학교 인증 시스템, 학교 검사관 전통.
  • GAO (미국 정부 회계 감사국)
    • 독립적, 초당파적: 정부의 예산 사용 조사.
    • 목표: 공적 자금 사용, 연방 프로그램 및 활동 평가.
    • 미션: 정책 및 자금 결정 지원을 위한 분석 및 추천 제공.
  • 사회적 책임의 중요성
    • 평가의 정당화: 정보 생성 및 의사 결정 과정의 기본 요소로서 평가의 위치와 정당성 부여.
    • 정부 및 프로그램 수준에서의 적용: 정부 후원 프로그램 및 정책뿐만 아니라 개별 프로그램 수준에서도 적용 가능.

Social Inquiry 핵심 정리

  • 정의와 개념
    • 사회적 조사: 다양한 사회적 환경에서 그룹의 행동을 체계적으로 연구하는 방법.
    • 중심 질문: "왜 사람들은 사회적 그룹에서 그렇게 행동하는가?"
  • 역사적 배경
    • 초기 이론가들: Hobbes, Montesquieu, Rousseau 등이 사회 그룹에 대해 체계적으로 연구했으나 주로 사색적 접근.
    • 19세기 이후: Karl Marx, Emile Durkheim, Max Weber 등의 작업을 통해 경험적 데이터 수집과 분석 시작.
  • 방법론적 논쟁
    • 적절한 방법론: 사회 현상을 연구하는 데 물리과학의 방법론이 적용 가능한지에 대한 지속적인 논쟁.
    • 경험적 접근: Marx와 Durkheim은 통계 자료 등을 사용하여 사회 생활에 대한 판단을 형성.
    • 실험적 접근: 심리학의 실험 방법 도입, 주로 치료의 효과성 평가에 중점.
  • 질적 접근
    • 인류학적 접근: 민족지학 및 질적 연구, 설명과 예측보다는 해석과 이해에 중점.
    • Clifford Geertz: "Thick Description"으로 대표되는 해석적 사회과학 강조.
  • 철학적 논쟁
    • 과학적 방법의 적용성: Tashakkori & Teddlie (1998) 등이 설명한 바와 같이 과학적 방법이 사회 생활 연구에 적용 가능한지에 대한 철학적 논쟁.
    • 이론과 관찰의 관계: 사회과학자들이 연구 대상에 도덕적 입장을 취하는 것이 적절한지, 그리고 그것이 연구자의 객관성을 훼손할 수 있는지에 대한 논의.
  • 평가 이론에서의 적용
    • 실험 심리학과 정량적 사회학의 영향: 방법론 가지에서 뚜렷이 나타남.
    • 인류학적 개념: Stake의 작업에서 "Thick Description"과 같은 개념이 나타남.
    • 과학 철학의 영향: Scriven의 평가에 대한 사고방식에 큰 영향을 미침.

평가에서의 인식론: 주요 개념 및 패러다임

정의와 범위

  • 패러다임: 연구와 평가에서 방법론, 목적, 가정, 가치 등을 포함한 세계관이나 관점입니다. 보통 다음을 포함합니다:
    • 존재론 (Ontology): 현실의 본질.
    • 인식론 (Epistemology): 무엇이 알 수 있으며 누가 알 수 있는가.
    • 방법론 (Methodology): 어떻게 지식을 얻을 수 있는가.

평가에서의 주요 인식론적 패러다임 세 가지

  1. 후실증주의 (Postpositivism)
    • 핵심 신념:
      • 과학의 목표는 진리를 측정하는 것이며, 관찰은 오류가 있으므로 완전한 진리를 얻을 수 없음을 인식합니다.
      • 비판적 실재론: 현실에 접근할 수는 있지만 완전히 알 수는 없습니다.
      • 인과관계는 관찰 가능하며 예측자를 설정할 수 있지만, 항상 일정한 의문이 남습니다.
    • 방법론:
      • 과학적 탐구 과정에서 가치와 편견을 인지하고 통제합니다.
      • 객관적이고 경험적인 방법을 강조합니다.
    • 주요 영향:
      • Campbell의 작업과 같은 평가의 방법론 가지에 명확히 나타납니다.
  2. 구성주의 (Constructivism)
    • 핵심 신념:
      • 주관적인 경험과 신념 체계에 따라 여러 현실이 존재합니다.
      • 지식은 개인에 의해 구성되며, 맥락과 경험에 기반합니다.
      • 탐구는 가치에 의해 영향을 받으며, 편견을 인정하고 포함합니다.
    • 방법론:
      • 귀납적 논리 사용: 특정 사례를 통해 더 넓은 원리를 유추합니다.
      • 일반화보다 지역적 관련성을 강조합니다.
      • 인과관계는 상호 의존적이라고 봅니다.
    • 주요 영향:
      • 구성주의와 상대주의 개념은 Stake, Guba, Lincoln의 작업과 같이 평가 이론 나무의 가치 가지에 영향을 미칩니다.
  3. 실용주의 (Pragmatism)
    • 핵심 신념:
      • 객관성과 주관성을 연속선상에서 봅니다.
      • 연역적 논리와 귀납적 논리를 함께 사용합니다.
      • 절대적인 "진리"는 존재하지 않으며, 여러 현실의 설명이 있으며 특정 시간에 더 타당한 설명이 존재합니다.
      • 인과관계를 효과와 연결할 수 있지만 절대적인 확신은 불가능합니다.
      • 가치가 탐구 과정에 중요한 역할을 합니다.
    • 방법론:
      • 후실증주의와 구성주의 접근법을 결합합니다.
      • 실용적인 적용과 평가 결과의 도구적 사용에 초점을 맞춥니다.
    • 주요 영향:
      • Patton과 같이 평가 결과의 도구적 사용을 촉진하는 사람들에게 영향을 미칩니다.

평가 이론에서의 응용 및 영향

  • 후실증주의: 경험적이고 객관적인 측정을 강조하며, 한계와 오류를 인정합니다.
  • 구성주의: 지식의 주관적 성격과 맥락의 중요성을 강조하여 평가의 가치와 해석적 접근에 영향을 미칩니다.
  • 실용주의: 실용적인 고려사항과 이론적 엄격함을 균형 있게 조화시켜, 평가의 사용 가지에 영향을 미치고 평가 결과의 적용성과 유용성을 증진합니다.

요약

인식론은 평가 이론의 근간으로서 지식이 어떻게 이해되고, 구성되며, 평가 관행에서 적용되는지를 다룹니다. 후실증주의, 구성주의, 실용주의 관점의 통합은 사회적 탐구와 평가의 복잡성을 다루는 포괄적인 틀을 제공합니다. 이러한 이해는 평가자가 적절한 방법론을 선택하고, 가치와 편견의 역할을 인식하며, 궁극적으로 평가의 효과와 관련성을 향상시키는 데 도움을 줍니다.

평가 이론 나무: 방법론 가지

도입

  • 초기 연구와 평가의 지배적인 방법론은 실증주의와 후실증주의였습니다.
  • 사회 과학에서의 응용 연구는 잘 설계된 실험 연구와 기타 통제를 중요시합니다.
  • 이러한 이론의 근본은 Donald Campbell과 Campbell & Stanley (1966)의 작업에 기반합니다.

주요 인물 및 개념

Donald Campbell

  • 별칭: "실험 사회의 방법론자"
  • 주요 업적:
    • 현장 연구에서의 편향 제거에 관한 획기적인 연구.
    • 실험 및 준실험 디자인에 관한 논문 (Campbell, 1957; Campbell & Stanley, 1966).
    • 인과 추론을 방해하는 많은 위협을 배제하는 방법 제안.
  • 중요 논문: Experimental and Quasi-Experimental Designs for Research (1966)
    • 내적 타당성 (Internal Validity): 실험이 적절히 통제된 정도.
    • 외적 타당성 (External Validity): 실험 결과의 적용 가능성.
    • 준실험 디자인:
      • 완전한 실험이 아닌 경우 대안으로 제시.
      • 무작위 할당이 불가능하거나 바람직하지 않은 상황에서 적용.
      • 비교 대상이 있지만 무작위성이 결여된 디자인.
  • 영향:
    • 사회 과학 연구 방법론 강좌의 기초.
    • 새로운 연구 디자인 아이디어의 촉진.
    • Suchman이 평가에 적용하면서 Campbell의 이름이 평가 분야에서 두드러지게 됨.
    • 정성적 방법의 잠재적 적합성을 논한 논문 (Campbell, 1975a, 1975b).

Campbell & Stanley (1966) 논문의 주요 공헌

  • 실험 연구의 조건:
    • 무작위화가 핵심.
  • 준실험 디자인의 개발:
    • 현장 연구의 복잡한 상황을 다루기 위한 대안.
    • 윤리적, 실천적 이유로 무작위 할당이 불가능한 경우 적용.
    • 비교 대상과 개입 또는 처치가 포함되지만, 통제 정도는 낮음.
  • 사회 과학 연구에 대한 영향:
    • 실험 디자인의 한계를 인식하고 준실험 디자인을 통해 새로운 연구 접근법 제시.
    • 대안적 사고를 더 수용하는 분위기 형성.

평가에서의 Campbell의 역할

  • 방법론적 영향:
    • 실험과 준실험 접근법을 통해 평가가 수행되는 방식을 형성.
    • 그의 견해는 학생, 동료, 공저자들에게 큰 영향을 미침.
    • 평가 방법론 가지의 중심 인물로 자리매김.
    • Lee Cronbach와의 대조점 제공.

요약

  • Donald Campbell의 작업은 사회 과학 및 평가 방법론에 혁신적인 기여를 했습니다.
  • 실험 및 준실험 디자인에 대한 그의 연구는 평가 이론 나무의 방법론 가지를 형성하고, 평가자들에게 큰 영향을 미쳤습니다.
  • Campbell의 접근법은 무작위화와 통제의 중요성을 강조하면서도, 현실적인 현장 연구 상황을 고려한 준실험 디자인을 제안함으로써, 사회 과학 연구에 새로운 길을 제시했습니다.

평가 이론 나무: Edward Suchman

도입

  • Edward Suchman은 이 평가 이론 나무의 버전에 포함되지 않았지만, 그의 작업은 평가에 중요한 영향을 미쳤습니다.
  • 특히, Campbell의 작업을 평가 담론에서 중요하게 자리매김하는 데 큰 기여를 했습니다.

주요 업적 및 개념

평가 연구 (Evaluative Research)

  • 주요 저서: Evaluative Research (1967)
    • 연구 방법을 평가에 적용한 첫 번째 대규모 설명서.
    • 평가를 연구의 한 형태로 간주.
    • 실험적 (및 준실험적) 디자인의 필요성을 강조하며 Campbell (1957)과 Campbell & Stanley (1966)의 작업을 인용.
  • 평가와 평가 연구의 구분:
    • 평가: "가치 판단의 사회적 과정" (상식적 사용).
    • 평가 연구: 과학적 연구 방법과 기법을 사용하는 연구 형태.
    • 평가 연구의 유형을 명시하는 형용사로서 '평가적' 사용을 주장.
    • 초기 "평가 가이드"의 주요 결함은 실험 디자인의 부재라고 지적.
    • 과학적 방법으로 평가 연구를 수행하는 것의 중요성을 강력히 주장.

행정적 맥락의 인식

  • 주요 견해:
    • 평가 연구자는 과학적 기준뿐만 아니라 연구의 유용성을 결정하는 행정적 기준도 인식해야 함.
    • 이러한 관점은 Rossi, Weiss, Chen, Cronbach 등 다른 방법론 연구자들에게도 영향을 미침.
  • 평가 연구의 목표:
    • 주어진 프로그램이나 절차가 원하는 결과를 달성하는 정도를 결정하는 것.
    • 평가 프로젝트의 "성공"은 서비스 개선에 있어 관리자의 유용성에 크게 좌우됨.
  • 가치와 가정의 역할:
    • 평가 목표의 형성에 영향을 미치는 가치와 가정을 인식.
    • 평가와 행정적 역할의 상호 연결에 대한 광범위한 논의.
    • 주로 결과 평가 후의 두 번째 순환 단계에서 판단이 중요시됨.
    • Suchman의 주요 초점은 방법론에 있음.

평가의 다섯 가지 범주

  • Suchman의 영향은 특히 Peter Rossi의 작업에서 많이 드러남.
  • 평가의 다섯 가지 범주:
    1. 노력 (Effort): 발생하는 활동의 양과 질.
    2. 성과 (Performance): 노력의 결과를 측정하는 기준.
    3. 성과의 적절성 (Adequacy of Performance): 전체 필요량에 대한 성과의 적절성 정도.
    4. 효율성 (Efficiency): 인적 및 금전적 비용 측면에서 대체 경로 또는 방법의 검토.
    5. 과정 (Process): 프로그램이 작동하는 방식과 이유 또는 작동하지 않는 이유.

요약

  • Edward Suchman은 Campbell의 작업을 평가 연구에 중요한 접근 방식으로 홍보하였고, 평가 방법론에 큰 영향을 미쳤습니다.
  • 그의 저서와 이론은 평가 연구를 과학적 방법으로 수행하는 것의 중요성을 강조하며, 행정적 맥락을 고려한 접근 방식을 제안했습니다.
  • Suchman의 평가 범주는 후속 연구자들에게 지속적인 영향을 미쳤으며, 평가 방법론의 다양한 측면을 포괄하는 기초를 제공했습니다.

평가 이론 나무: Robert Boruch

도입

  • Robert Boruch의 평가 철학은 Donald Campbell의 작업과 유사하며, 특히 무작위 현장 실험을 이상적인 평가 접근 방식으로 간주합니다.
  • Boruch는 평가를 체계적이고 엄격한 무작위 연구 설계를 적용하여 사회 문제의 정도를 측정하고 사회적 개입 프로그램의 실행, 상대적 효능 및 비용 효율성을 평가하는 과정으로 봅니다.

주요 업적 및 개념

무작위 현장 실험 (Randomized Field Experiments)

  • Boruch의 정의:
    • 무작위 현장 실험은 무작위 할당을 통해 개입의 효과를 평가하는 실험.
    • Campbell과 Stanley의 준실험적 설계와 구별됨.
    • 무작위 실험은 프로그램 유발 차이가 없는 경우, 그룹이 통계적으로 동등하게 만들어 내부 타당성을 극대화함.
    • 무작위 할당은 해석적 문제를 피하고, 그룹 간 공정한 비교를 보장하여 결과의 신뢰성을 높임.

체계적 연구 접근 방식

  • Boruch의 주장:
    • 모든 프로그램(사회, 교육, 복지)은 무작위 통제 실험 방법을 사용하여 체계적으로 연구해야 함.
    • 이는 사회적 변화의 순효과를 효과적으로 식별하는 데 도움을 줌.
  • Berk et al. (1985):
    • 인과 추론 및 일반화를 조사할 때 무작위 실험이 특히 유용함.
    • 무작위 할당은 실험 그룹과 통제 그룹이 평균적으로 동등하게 만들어 인과 관계를 명확하게 함.
    • 사회 정책 실험은 알려진 모집단에서 표본을 추출하고, 피험자를 무작위로 할당하여 신뢰할 수 있는 일반화를 가능하게 함.

교육 연구에서의 무작위 실험

  • Evidence Matters (2002):
    • 교육 연구에서 무작위 실험의 중요성을 강조.
    • 효과적인 교육 개입을 식별하기 위해 무작위 실험의 도입을 주장.
    • 이는 Scientific Research in Education (2002)과 함께 출판되었으며, 교육 연구에서 무작위 통제 실험(RCT)의 증가를 명시적으로 요구함.
    • 두 출판물은 No Child Left Behind 법안 하에서 교육 연구 자금 지원 방식을 형성하는 데 중요한 역할을 함.

평가 이론 나무에서의 위치

  • Boruch는 Campbell의 실험적 영향의 직접적인 연장선상에 위치함.
  • 다른 Campbell의 제자들과 비교하여, Boruch는 준실험이나 평가의 더 광범위한 정의보다는 무작위 실험을 강력히 지지함.

요약

  • Robert Boruch는 무작위 현장 실험을 평가의 가장 효과적인 방법으로 간주하며, 이는 Donald Campbell의 영향을 강하게 받음.
  • 그는 평가를 체계적이고 엄격한 연구 설계로 간주하며, 사회 문제의 정도를 측정하고 사회적 개입의 효능 및 비용 효율성을 평가하는 데 중점을 둠.
  • 교육 연구에서 무작위 실험의 중요성을 강조한 그의 작업은 교육 정책 및 연구 자금 지원 방식에 큰 영향을 미침.

평가 이론 나무: Thomas Cook

도입

  • Thomas Cook는 무작위 현장 실험을 평가 질문에 답하는 가장 과학적인 설계로 보지만, 이를 구현하는 것이 사회적 및 교육적 프로그램 평가 연구에서 어려울 수 있음을 강조합니다.
  • Cook는 준실험적 설계를 통해 이러한 어려움을 해결하고자 했으며, Campbell과 Stanley의 작업을 확장했습니다.

주요 업적 및 개념

준실험적 설계 (Quasi-Experimental Designs)

  • Campbell과 Stanley (1966):
    • Experimental and Quasi-Experimental Designs for Research에서 준실험적 설계 대안 제시.
    • 준실험은 사전 및 사후 테스트를 포함하며 그룹을 비교하지만 무작위 할당을 포함하지 않음.
  • Cook와 Campbell의 확장:
    • 1970년대에 Cook와 Campbell은 Campbell과 Stanley의 작업을 확장하고 새로운 준실험적 설계를 제안.
    • 준실험적 설계에서 잘 인식되지 않은 내적 타당성 위협(예: 불만에 의한 무력감)에도 주목.
    • Campbell은 준실험적 설계를 비판하며 고전 실험 설계를 지지했으나, Cook는 계속해서 준실험적 설계의 지지자로 남아있었음.

맥락적 요인과 평가 방법론

  • 맥락적 요인:
    • Cook는 평가 연구의 맥락적 요인과 이러한 요인이 평가 연구에 미치는 영향에 관심을 가짐.
    • 샘플링 문제와 무작위 선택의 대안, 방법론, 평가 맥락 및 이해관계자 참여에 대해 광범위하게 저술.
  • 다양한 설계 및 방법론의 중요성:
    • Cook는 평가를 적절히 수행하기 위해 다양한 설계와 방법론을 사용하는 것이 중요하다고 주장.
    • 평가자는 특정 평가에 적합한 방법을 선택해야 하며, 모든 평가에 동일한 방법을 사용하는 것을 피해야 한다고 강조.

이해관계자 참여

  • 이해관계자와의 협력:
    • Cook는 평가 질문을 결정할 때 이해관계자를 포함하는 것이 중요하다고 인식.
    • 평가자가 연구 질문을 형성할 때 의사 결정자나 다른 이해관계자와 협의하지 않으면, 일반적인 프로그램 목표가 모호하거나 잠재적 사용자에게 중요하지 않을 수 있음.
    • 이해관계자와 평가자가 함께 평가할 내용을 결정해야 한다고 제안.

평가 이론 나무에서의 위치

  • Cook는 Campbell의 작업을 준실험적 방법으로 확장한 인물로, 평가 이론 나무의 방법론 가지에 위치.
  • 그는 평가 연구에서 이해관계자의 역할과 맥락적 요인의 중요성을 강조하며, 다양한 설계와 방법론의 필요성을 강조함.

요약

  • Thomas Cook는 무작위 현장 실험의 어려움을 해결하기 위해 준실험적 설계를 지지하고 이를 확장.
  • 그는 평가 연구에서 맥락적 요인과 이해관계자 참여의 중요성을 강조하며, 다양한 설계와 방법론을 사용하여 평가를 적절히 수행하는 것이 중요하다고 주장.
  • 그의 작업은 평가 이론 나무에서 Campbell의 실험적 영향을 준실험적 방법으로 확장하는 데 기여함.

평가 이론 나무: Lee J. Cronbach

도입

Lee J. Cronbach는 평가 방법론 및 사회과학 연구 분야에서 중요한 인물로, 다양한 기여를 통해 평가 이론에 중요한 영향을 미쳤습니다. 그의 작업은 주로 방법론 가지에 위치하지만, 정책 형성 커뮤니티에 대한 평가의 활용에 대한 관심 때문에 사용 가지의 방향으로도 위치합니다.

주요 업적 및 개념

Cronbach's Coefficient Alpha

  • 신뢰도 평가 도구:
    • Cronbach의 Coefficient Alpha는 심리측정에서 신뢰도를 평가하는 데 널리 사용되는 도구입니다.
    • 이는 설문지나 테스트의 항목 간 일관성을 측정하는 지표로, 평가 도구의 내적 일관성을 높이는 데 중요한 역할을 합니다.

일반화 가능성 이론 (Generalizability Theory)

  • 평가의 외적 타당성:
    • 일반화 가능성 이론은 특정 평가 결과를 다른 상황이나 모집단으로 일반화하는 방법을 연구합니다.
    • 이는 평가 연구에서 외적 타당성을 중시하는 Cronbach의 접근 방식을 반영합니다.

구성 타당성 (Construct Validity)

  • 평가의 정확성:
    • 구성 타당성은 평가 도구가 측정하려는 개념을 정확히 측정하는지 여부를 검증하는 과정입니다.
    • 이는 평가 연구에서 결과의 정확성과 신뢰성을 보장하는 중요한 요소입니다.

평가에 대한 접근 방식

Ralph Tyler의 영향

  • 현장 지향적 접근:
    • Cronbach는 Ralph Tyler의 학생으로, 이는 그의 작업에 현장 지향적인 요소를 도입하는 데 기여했습니다.
    • 이는 많은 사회과학 연구자들의 작업에서 발견되지 않는 특징입니다.

정책 연구 및 평가의 활용

  • 정책 형성 커뮤니티:
    • Cronbach는 평가를 정책 연구의 일환으로 보며, 평가가 정책 형성 커뮤니티에 중요한 역할을 해야 한다고 주장했습니다.
    • 그는 평가가 단순한 "go/no-go" 결정 모델이 아닌, 광범위한 문제를 다루고 정치적 타협을 필요로 한다고 보았습니다.

UTOS와 *UTOS

  • 평가의 외적 타당성:
    • Cronbach는 평가자가 평가하는 샘플을 "utos"로, 샘플링된 모집단을 "UTOS"로 정의했습니다.
    • 그는 평가 결과를 다른 모집단으로 일반화할 때의 외적 타당성을 가장 중요한 영역으로 보았습니다.
    • "UTOS"와 다른 모집단을 "*UTOS"라고 지칭하며, 이는 일반화 가능성을 높이는 것을 목표로 합니다.

폭넓은 문제 초점 (Bandwidth)

  • 폭넓은 이슈 다루기:
    • Cronbach는 평가가 소수의 문제에 대한 절대적인 정확성을 달성하기보다는 광범위한 관련 문제를 다루는 것이 더 중요하다고 강조했습니다.
    • 이는 *UTOS로 일반화할 수 있는 데이터를 제공하기 위해 인과 설명이나 질적 방법의 "두꺼운 기술(thick description)"을 사용하는 접근을 제안했습니다.

이해관계자 참여

  • 정책 형성 커뮤니티의 가치:
    • Cronbach는 정책 형성 커뮤니티의 가치를 존중하고, 이들이 평가 질문을 형성하는 데 기여할 수 있도록 하는 것이 중요하다고 보았습니다.
    • 이는 평가가 중요한 문제를 다루고, 프로그램이 왜 효과가 있는지 명확히 하는 데 도움이 됩니다.

평가 이론 나무에서의 위치

  • Cronbach는 평가 이론 나무에서 방법론 가지에 위치하지만, 사용 가지 방향으로도 위치합니다.
  • 이는 Weiss의 영향으로 정책 형성 커뮤니티를 대상으로 하는 평가 활용에 대한 Cronbach의 아이디어를 반영합니다.

요약

Lee J. Cronbach는 평가 방법론과 사회과학 연구에서 중요한 인물로, 그의 작업은 평가의 외적 타당성, 이해관계자 참여, 정책 형성 커뮤니티에 대한 평가 활용을 중시합니다. 그의 이론은 평가 이론 나무의 방법론 가지에 위치하며, 사용 가지 방향으로도 확장됩니다.

평가 이론 나무: Peter Rossi

도입

Peter Rossi는 평가 연구 분야에서 중요한 인물로, 그의 기여는 특히 이론 주도 평가와 포괄적 평가의 개념화에 중점을 둡니다. 그의 작업은 초기에는 실험적 설계에 초점을 맞추었으나, 시간이 지나면서 보다 폭넓은 평가 접근 방식을 수용하게 되었습니다.

주요 업적 및 개념

Evaluation: A Systematic Approach 교과서

  • 평가 연구의 체계적 접근:
    • Rossi의 첫 번째 교과서 Evaluation: A Systematic Approach는 Campbell과 Stanley의 설계 고려사항에 크게 의존했습니다.
    • 이 책은 평가 연구의 중요한 텍스트로 자리매김했으며, 다양한 이론가들의 영향을 받아 질적 데이터 수집, 평가 활용, 이해관계자의 역할 등을 포함하게 되었습니다.

포괄적 평가 (Comprehensive Evaluation)

  • 사회 연구 절차의 체계적 적용:
    • Rossi는 포괄적 평가를 "사회적 개입 프로그램의 개념화와 설계, 실행 및 유용성을 평가하는 사회 연구 절차의 체계적 적용"으로 정의했습니다.
    • 이는 평가를 사회 연구의 일환으로 보는 Rossi의 시각을 반영합니다.

맞춤형 평가 (Tailored Evaluations)

  • 프로그램 단계에 맞춘 평가:
    • Rossi는 비판에 대응하여 맞춤형 평가를 개발했습니다.
    • 그는 평가가 프로그램의 단계에 맞추어져야 하며, 예를 들어, 이미 진행 중인 프로그램에 대한 평가에서는 현재 작업에 초점을 맞춰야 한다고 제안했습니다.

이론 주도 평가 (Theory-Driven Evaluation)

  • 이론적 프로그램 모델의 사용:
    • Rossi는 Weiss 및 Chen과 함께 이론 주도 평가의 기초를 제공했습니다.
    • 이 접근 방식은 상세한 프로그램 이론을 구축하고 이를 평가에 활용하는 것으로, 내적 타당성과 외적 타당성을 동시에 고려할 수 있도록 합니다.
    • Rossi는 이 접근 방식이 Campbell과 Cronbach의 접근 방식을 어느 정도 융합한 것이라고 주장했습니다.

평가에 대한 접근 방식

초기 실험적 설계 강조

  • 내적 타당성에 중점:
    • Rossi의 초기 작업은 실험적 설계를 중시하며 내적 타당성에 더 큰 비중을 두었습니다.
    • 그러나 그는 시간이 지나면서 내적 타당성의 우선순위에 대해 의문을 제기하고 외적 타당성의 중요성을 인정하게 되었습니다.

광범위한 평가 가능성 제시

  • 폭넓은 청중을 위한 접근:
    • Rossi는 그의 텍스트를 통해 폭넓은 평가 가능성을 제시하고, 다양한 청중의 관심을 끌기 위해 노력했습니다.
    • 최근 판본에서는 평가 방법의 다양성과 광범위한 접근 방식을 반영하여 더 넓은 청중을 겨냥한 내용이 포함되었습니다.

평가 이론 나무에서의 위치

  • Rossi는 평가 이론 나무의 방법론 가지에 위치하지만, 그의 작업은 포괄적 평가와 이론 주도 평가에 대한 관심으로 인해 더 넓은 평가 접근 방식을 반영합니다.

요약

Peter Rossi는 평가 연구 분야에서 중요한 인물로, 초기에는 실험적 설계에 중점을 두었으나, 시간이 지나면서 보다 폭넓은 평가 접근 방식을 수용했습니다. 그의 작업은 평가 이론 나무의 방법론 가지에 위치하며, 맞춤형 평가 및 이론 주도 평가를 통해 내적 타당성과 외적 타당성을 동시에 고려하는 접근 방식을 제시합니다.

평가 이론 나무: Carol Weiss

도입

Carol Weiss는 평가 분야에서 중요한 기여를 한 인물로, 특히 평가 사용과 정치적 의사결정 맥락에서의 연구로 잘 알려져 있습니다. 그녀의 연구는 평가가 무엇을 할 수 있는지에 대한 우리의 사고를 크게 확장시켰습니다.

주요 업적 및 개념

평가 사용의 유형

  • 개념적 사용 (Conceptual Use):
    • 평가 결과가 직접적인 정책 결정에 사용되지 않더라도, 이해를 돕는 방식으로 사용되는 경우를 말합니다 (Weiss, 1979, 1980).
  • 계몽적 사용 (Enlightenment Use):
    • 평가 결과가 장기적으로 더 미묘하고 간접적인 방식으로 사용되는 경우를 의미합니다 (Weiss, 1980).
  • 강제적 사용 (Imposed Use):
    • 연방 자금 지원 기관이 과학적 증거가 있는 프로그램만 운영하도록 요구하는 것과 같은 강제적 사용입니다 (Weiss, Murphy-Graham, & Birkeland, 2005; Weiss et al., 2008).

증거 기반 정책 결정 (Evidence-Based Policy Making)

  • Weiss는 경험적 연구를 바탕으로 보다 증거 기반의 정책 결정을 옹호합니다.
  • 그녀는 평가 연구가 시간의 시험을 견딜 수 있도록 가장 엄격한 방법을 사용해야 한다고 주장합니다.

정치적 맥락에서의 평가

  • Weiss는 평가를 정치적 활동으로 간주하며, 평가 결과가 정치적 맥락에서 어떻게 영향을 미치고 영향을 받는지를 탐구합니다.
  • 그녀는 평가 과정이 정치적 상황에 영향을 미친다는 점을 강조합니다:
    • 프로그램은 정치적 힘에 의해 만들어지고 유지됩니다.
    • 정부의 상위 계층은 정치에 내재되어 있습니다.
    • 평가 행위 자체가 정치적 의미를 지닙니다 (Weiss, 1991).

의사 결정 축적 (Decision Accretion)

  • Weiss는 의사 결정이 "작은 선택의 축적, 작은 옵션의 닫힘, 이용 가능한 대안의 점진적 좁아짐"의 결과라고 주장합니다 (Weiss, 1976).
  • 그녀는 정책 연구를 통해 장기적인 평가 연구의 특성을 조사하여 신뢰할 수 있는 평가 연구의 중요성을 강조합니다.

평가에 대한 접근 방식

연구 방법론 및 정치 이론의 영향

  • Weiss의 초기 평가 작업은 연구 방법론자, 정치 이론가, 민주주의 사상의 해설자들로부터 영향을 받았습니다.
  • 그녀는 평가를 신중하게 수행된 연구와 유사하게 간주하며, 이는 많은 저서에 문서화되어 있습니다.
  • Weiss의 첫 번째 평가 교과서인 Evaluation Research는 연구 방법론 과정을 위한 보조 텍스트로 작성되었습니다.

평가와 정치의 상호작용

  • Weiss는 평가가 정치적 맥락에서 어떻게 사용되고 영향을 미치는지를 강조합니다.
  • 그녀는 평가 결과가 다른 입력 없이 고립된 채로 사용되지는 않는다고 주장합니다.

평가 이론 나무에서의 위치

  • Weiss는 평가 이론 나무의 정치 가지에 위치하며, 평가가 정치적 맥락에서 어떻게 사용되는지에 대한 연구로 잘 알려져 있습니다.

요약

Carol Weiss는 평가 사용과 정치적 의사결정 맥락에서의 연구로 평가 분야에 중요한 기여를 했습니다. 그녀는 평가를 신중하게 수행된 연구와 유사하게 간주하며, 정치적 맥락에서 평가의 역할을 강조합니다. Weiss는 평가 결과가 직접적인 정책 결정에 사용되지 않더라도 이해를 돕는 방식으로 사용될 수 있다는 개념적 사용과, 장기적으로 더 미묘하고 간접적인 방식으로 사용될 수 있다는 계몽적 사용을 소개했습니다.

평가 이론 나무: Huey T. Chen

도입

Huey T. Chen은 이론 기반 평가(theory-driven evaluation) 개념과 실천을 발전시키는 데 큰 기여를 한 인물로 잘 알려져 있습니다. 그는 Peter Rossi와 공동 저술을 많이 했으며, 이 주제에 대한 책과 여러 논문을 저술했습니다. Chen은 통제된 실험이 무작위 배정을 통해 순 효과를 추정하는 데 유용하다는 점을 인정하면서도, 효과가 나타나지 않는 경우 그 실패 원인을 파악하는 데 한계가 있다고 지적합니다.

주요 업적 및 개념

이론 기반 평가

  • 이론 기반 평가의 정의:
    • 이론 기반 평가는 사전 지식과 이론을 사용하여 치료 과정 및 구현 시스템의 모델을 구축하고, 실험 및 준실험을 주요 연구 설계로 사용하여 보다 효율적이고 원하는 효과를 달성하는 데 필요한 정보를 제공하는 평가 방법입니다 (Chen & Rossi, 1983).
  • 실험적 패러다임의 보완:
    • Chen은 실험적 패러다임의 지배를 인정하지만, 사회 개입의 이론적 모델을 개발하여 이를 보완해야 한다고 강하게 믿습니다. 그는 이론에 대한 주목이 부족하면 평가 연구의 결과가 좁고 왜곡된 이해를 제공할 수 있다고 경고합니다 (Chen & Rossi, 1983).

부수적 효과 및 의도하지 않은 결과

  • 부수적 효과 및 의도하지 않은 결과의 식별:
    • Chen은 프로그램의 공식 목표와 관련된 잠재적 효과뿐만 아니라 사회 과학 지식과 이론을 사용하여 목표를 초과하는 효과를 식별하는 것의 필요성을 강조합니다. 그는 프로그램이 어떻게 작동할 것으로 예상되는지에 대한 그럴듯하고 방어 가능한 모델을 구축하려고 합니다 (Chen & Rossi, 1983).

타당성 문제 해결

  • 내적 및 외적 타당성:
    • Chen은 Campbell과 Cronbach가 제기한 타당성 문제를 인정하지만, 이 문제를 해결할 수 있다고 믿습니다. 그는 이론 기반 평가가 내적 및 외적 타당성을 모두 달성할 가능성을 높이며, 이는 무작위 실험과 구조 방정식 모델링을 통한 인과관계 연구를 통해 달성될 수 있다고 주장합니다 (Chen & Rossi, 1987).

평가 방법론

  • 사회 과학 지식과 전통적 연구 방법의 사용:
    • Chen은 사회 과학 지식과 전통적인 연구 방법을 사용하여 평가를 수행하는 데 중점을 둡니다. 그의 작업은 사회 과학의 방법론적 전통에 뿌리를 두고 있기 때문에 평가 나무의 방법론 가지에 위치합니다.

요약

Huey T. Chen은 이론 기반 평가의 개념과 실천을 발전시키는 데 중요한 역할을 했으며, 이는 평가 연구가 더 효율적이고 효과적인 방법을 제공하는 데 기여합니다. 그는 통제된 실험의 한계를 보완하기 위해 이론적 모델을 개발하고, 사회 과학 지식과 전통적 연구 방법을 활용하여 평가를 수행합니다. Chen은 부수적 효과와 의도하지 않은 결과를 식별하는 데 주목하며, 내적 및 외적 타당성을 모두 달성할 수 있는 방법을 제시합니다.

평가 이론 나무: Gary Henry와 Melvin Mark (with George Julnes)

도입

Gary Henry와 Melvin Mark는 George Julnes와 함께 Emergent Realist Evaluation (ERE)를 개발하며 평가에 대한 새로운 접근 방식을 제시했습니다. 그들은 사회적 향상이 평가의 궁극적인 목표가 되어야 한다고 주장하며, 포스트실증주의와 구성주의 전통을 결합한 새로운 이론을 통해 평가의 이해를 확장했습니다.

주요 개념 및 업적

Emergent Realist Evaluation (ERE)

  • ERE의 정의:
    • ERE는 사용, 방법론, 평가 가치를 재구성한 포괄적인 새로운 평가 모델입니다. 이 모델은 생성 메커니즘의 연구를 우선시하고, 다중 분석 수준에 주의를 기울이며, 혼합 방법을 적절하게 사용하는 평가 방법론입니다 (Henry, Julnes, & Mark, 1998).
  • 주요 초점:
    • ERE는 프로그램의 기저 메커니즘을 이해하는 데 중점을 두며, 평가자가 어떤 메커니즘이 작동하고 어떤 메커니즘이 작동하지 않는지를 식별하는 연구 질문을 다룹니다. 이는 특정 프로그램 또는 프로그램 이론의 일반화 가능한 지식 기반을 향상시키기 위한 노력입니다 (Mark et al., 1998).

가치 조사 및 민주적 정책 촉진

  • 가치 조사의 방법:
    • ERE는 이해관계자의 가치를 조사하는 세 가지 방법을 제시합니다:
      1. 설문조사 및 표본 추출: 잠재적 이해관계자를 조사 및 표본 추출하는 방법.
      2. 질적 방법: 인터뷰 및 포커스 그룹을 사용하여 그들의 필요와 관심사를 파악하는 방법.
      3. 철학적 관점에서 평가 맥락 분석: 공평성, 평등, 자유 등의 문제에 초점을 맞춘 평가 맥락을 광범위한 철학적 관점에서 분석하는 방법 (Mark et al., 1998).
  • 민주적 정책 촉진:
    • Henry (1996)는 다양한 이해관계자 그룹의 가치를 이해하고, 합의 및 갈등 영역을 포함하는 것이 민주적 정책을 촉진하는 데 도움이 된다고 주장합니다.

경쟁적 정교화 및 원칙적 발견

  • 경쟁적 정교화:
    • 대안적 프로그램 이론과 타당성 위협을 탐구하며 연구 결과의 대안적 설명을 배제하는 과정입니다. 이는 이상적으로 각 관련 메커니즘을 실험적으로 테스트하여 가장 큰 영향을 미치는 메커니즘을 식별하는 데 중점을 둡니다 (Mark et al., 1998).
  • 원칙적 발견:
    • 실무자가 경험적으로 테스트된 이론을 개발하기 전에 프로그램이 평가될 때 사용됩니다. 프로그램 메커니즘을 발견하는 접근 방식에는 탐색적 데이터 분석, 그래픽 방법 (Henry, 1995), 회귀 분석 등이 포함됩니다 (Mark et al., 1998).

평가 영향

  • 평가 영향의 이론:
    • Henry와 Mark는 평가 영향 이론을 확장하여 평가가 개인, 대인, 집단 수준에서 영향을 미칠 수 있는 메커니즘, 측정 가능한 결과, 영향의 형태를 설명합니다 (Henry & Mark, 2003; Mark & Henry, 2004).

평가 나무에서의 위치

  • Henry와 Mark는 사회 과학 방법을 사용하여 사회적 향상을 촉진하려는 노력 덕분에 평가 나무의 방법론 가지에 위치합니다. 그들은 Tom Cook 다음에 위치하며, 가치 가지로 기울어집니다.

평가 이론 나무: Ralph Tyler

도입

Ralph Tyler는 현대 프로그램 평가의 주요 출발점 중 하나로 간주되는 The Eight-Year Study를 통해 평가 이론에 큰 영향을 미쳤습니다. 그는 교육 목표의 명세화와 결과 측정에 중점을 두며, 평가의 목적을 프로그램 가설의 타당성을 검증하는 것으로 정의했습니다.

주요 개념 및 업적

Objectives-Oriented Evaluation (목표 지향 평가)

  • 정의 및 구성 요소:
    • 목표 지향 평가란 교육 목표의 진술, 목표의 주요 유형으로 분류, 각 유형의 목표를 행동 측면에서 정의 및 세분화, 학생들이 이러한 행동을 나타낼 수 있는 상황 식별, 각 유형의 목표에 대한 증거를 얻기 위한 유망한 방법 선택 및 시도, 예비 시도에 근거한 더 유망한 평가 방법 선택 및 개선, 결과 해석 및 사용 방법 고안 등으로 구성됩니다 (Tyler, 1942).
  • 목표 지향 평가의 중요성:
    • Tyler는 목표 지향 평가가 교육 평가의 본질임을 강조하며, 의도된 결과(목표)와 실제 결과를 비교하는 절차를 통해 평가의 유효성을 높이는 방법을 제안했습니다.

Norm-Referenced Tests (규준 지향 검사)에 대한 비판

  • Tyler는 프로그램 평가에서 규준 지향 검사의 적용 가능성을 거부했습니다. 그는 너무 많은 또는 너무 적은 응답자가 정답을 맞힌 항목을 버리는 방식이 학생들이 배우는 내용을 충분히 반영하지 않는다고 주장했습니다.

영향 및 후속 연구

  • 목표 지향 평가의 지속적인 영향:
    • 목표 지향 평가는 수십 년 동안 교육에 강력한 영향을 미쳤습니다. Bloom, Englehart, Furst, Hill, Krathwohl (1956)는 인지 영역에 대한 교육 목표의 분류체계를 개발했으며, Krathwohl, Bloom, Masia (1964)는 정서적 영역에 대한 분류체계를 개발했습니다. 이러한 노력은 사용자들이 목표 명세화에 많은 시간과 노력을 투자하도록 장려했습니다.
  • 후속 연구 및 이론:
    • Metfessel과 Michael (1967)는 Tyler의 평가 단계 진행을 따르면서 대체 도구의 범위를 확장하는 데 주의를 기울였습니다.
    • Hammond (1973)는 Tyler의 견해를 포함하여 교육 목표의 행동적 차원을 정의하고, 교육 및 기관의 정의를 포함한 모델을 제안했습니다.
    • Popham (1973, 1975)는 Tyler 모델을 따라 "행동 목표 명세"를 지지하며, 초기 연구에서 개별 교육 목표의 범위를 좁게 설정함으로써 평가를 수행하는 데 필요한 목표의 수가 많아지는 문제를 제기했습니다. 후속 연구에서는 관리 가능한 수의 광범위한 목표에 집중할 것을 제안했습니다 (Popham, 1988).

평가 나무에서의 위치

  • Ralph Tyler는 교육 측정에 대한 주목을 평가의 본질로 여겼기 때문에 평가 나무의 방법론 가지에 위치합니다. 그는 원래 평가 이론에 큰 영향을 미쳤으나, 그의 전체적인 방법론 가지에 대한 영향력은 제한적이라고 판단되어 방법론 가지의 하위 가지에 배치되었습니다.

평가 이론 나무: Valuing Branch

도입

평가 과정에서 가치 평가에 초점을 맞춘 평가자들이 있습니다. 이들은 평가에서 사실(fact)과 가치(value)의 구분에 중요한 관심을 가지고 있으며, 이는 18세기 스코틀랜드 철학자 David Hume이 명확히 구분한 것입니다. 사실과 가치의 구분은 평가의 근본적인 이슈로, 이는 Michael Scriven과 Robert Stake의 작업에 중요한 영향을 미쳤습니다.

주요 개념 및 업적

Objectivist Influenced (객관주의적 영향)

  • Michael Scriven:
    • 주장: 평가에서 가치 판단은 필수적입니다. 평가자는 평가 대상의 품질과 효과에 대한 관찰 가능한 데이터를 기반으로 가치 판단을 해야 합니다.
    • 철학적 배경: Scriven의 논리학 훈련은 그의 체계적이고 객관적인 평가 접근 방식을 뒷받침합니다. 그는 평가에서 객관적인 정보 획득을 중시하는 평가 접근 방식을 제안합니다.

Subjectivist Influenced (주관주의적 영향)

  • Robert Stake:
    • 주장: 인간 활동은 물리적 세계와 다르며, 현실은 지속적으로 변화하는 동적 과정입니다. 진리는 항상 특정한 참조 틀에 상대적입니다.
    • 방법론:
      • Stake는 'The Countenance of Educational Evaluation'에서 주관주의적 사고의 단서를 제시했으며, 'responsive evaluation'에서 명시적으로 'preordinate evaluation'(객관적인 정보를 얻기 위한 평가)를 거부합니다.
      • 그는 사례 연구를 통해 평가 대상의 문제, 개인적 관계, 복잡성을 포착하고, 평가 대상의 가치를 판단하는 대응 접근 방식을 옹호합니다.

영향 및 후속 연구

  • 객관주의 vs. 주관주의:
    • Scriven: 객관적인 정보와 체계적 접근 방식을 강조하여 평가의 본질을 정의했습니다. 그의 논리는 평가에서의 가치 판단이 관찰 가능한 데이터에 기반해야 한다고 주장합니다.
    • Stake: 복잡성, 대화, 의미에 대한 주관적인 접근 방식을 통해 평가를 진행하며, 이는 평가 연구에서 가치 주장에 정보를 제공하는 중요한 방법론으로 사용되었습니다.

평가 나무에서의 위치

  • Objectivist Influenced:
    • Michael Scriven은 평가 나무의 기반에서 객관주의적 영향을 받은 부분에 위치합니다. 그의 작업은 평가에서 체계적이고 객관적인 접근 방식을 강조하며, 가치 판단을 평가의 필수 요소로 봅니다.
  • Subjectivist Influenced:
    • Robert Stake는 주관주의적 영향을 받은 부분에 위치합니다. 그의 초기 주관주의적 평가 개념화와 접근 방식은 복잡성, 대화, 의미를 중시하며, 이러한 접근 방식은 평가 연구에서 중요한 영향을 미쳤습니다.

이렇게 객관주의와 주관주의적 접근 방식을 모두 포함하는 Valuing Branch는 평가 이론의 다양한 관점을 반영하며, 평가의 복잡성과 가치를 다각도로 이해할 수 있게 합니다.

Michael Scriven의 평가 이론 요약

주요 공헌

  • 가치 판단의 정의: 평가자는 가치 판단을 명확히 정의해야 함.
  • 사회적 요구: 평가자는 공익을 위해 가치 판단을 수행해야 함. 공익이란 모든 잠재적 소비자를 의미함.
  • 명확한 이론: 가치 평가에 대한 명확하고 일반적인 이론을 제시한 최초의 주요 평가 이론가로 평가받음 (Shadish et al., 1991).

평가자의 역할

  • 적절한 기준 설정: 평가자는 가치 판단을 위해 적절한 기준을 결정하고 이를 공개적으로 제시해야 함.
  • 정보 제공의 한계: 단순히 정보를 제공하고 최종 판단을 비전문가에게 넘기는 것을 비판함.
  • 비교의 중요성: 평가에서는 적절한 대안을 찾아 비교하는 것이 중요함.

Modus Operandi (MO) 방법

  • 원인 목록 작성: 가능한 원인의 목록을 작성한 후 두 단계로 좁힘.
  • 단계 1: 효과 이전에 존재했던 잠재적 원인을 결정.
  • 단계 2: 사건의 사슬에 맞는 완전한 MO를 찾아 실제 원인을 결정.
  • 편향 제어: "공동 원인 및 과잉 결정" 사례를 찾아내고 전문가 컨설턴트를 통해 바람직하지 않은 효과를 조사함.

Goal-Free Evaluation

  • 목표 없는 평가: 평가자는 프로그램의 목표를 시작점으로 삼지 않고, 어떤 프로그램 결과를 조사할 것인지 결정함.
  • 실제 성취 식별: 이를 통해 프로그램의 실제 성취와 비성취를 더 잘 식별할 수 있음.
  • 단일 가치 판단: 프로그램의 가치에 대한 단일한 가치 판단("좋다" 또는 "나쁘다")을 요구함.

필요 평가

  • 진실의 결정: 프로그램이 "필요"를 얼마나 충족하는지를 통해 평가함.
  • 평가자의 독립성: 평가 결과는 평가자의 견해에 독립적이지 않음.

초학문적 특성

  • 고유 지식 기반: 평가가 고유한 지식 기반을 가지고 다른 학문 분야를 도구로 활용하는 초학문적 학문임.
  • 알파 학문: 평가를 "알파 학문"으로 설명함.

평가 이론 나무에서의 위치

  • 객관주의적 영향: 객관주의적 영향의 기반에 위치하여 가치 판단을 중심 요소로 강조함.

참고 문헌

  • Scriven, M. (1972b). "Goal-Free Evaluation."
  • Scriven, M. (1983). "Evaluation Bias."
  • Scriven, M. (1986). "Valuing in Evaluation."
  • Scriven, M. (1991, 2001, 2003). "Evaluation as a Transdiscipline."
  • Shadish, W. R., Cook, T. D., & Leviton, L. C. (1991). "Foundations of Program Evaluation."

Scriven의 이론은 평가자가 가치 판단을 명확히 하고, 이를 통해 프로그램의 진정한 가치를 평가하는 데 중점을 두며, 평가 분야에 큰 영향을 미쳤습니다.

Henry Levin의 평가 이론 요약

주요 공헌

  • 비용 분석: 프로그램의 전반적인 가치를 평가하는 중요한 경제 기반 전략으로 비용 분석을 사용함.
  • 교육 정책 연구: 수십 년 동안 비용 분석을 개발, 홍보, 사용하여 프로그램 평가 결론 도출.

비용 분석의 전략

  • 계획 단계 비용 분석: 프로그램의 비용을 사전에 추정하고 실행 가능성을 평가.
  • 진행 중 비용 분석: 진행 중인 프로그램의 비용을 추적.
  • 비용 효과성 절차: 여러 프로그램 중 목표 결과를 가장 경제적으로 달성하거나 같은 비용으로 가장 큰 결과를 도출하는 프로그램을 결정.
  • 비용-편익 분석: 프로그램의 비용을 고객이나 사회에 대한 금전적 영향(또는 혜택)과 비교.

비용 연구 준비

  • 비용 정의: 비용이 어떻게 정의되고 어떤 비용이 중요한지 평가자가 명확히 이해해야 함.
  • 명확한 요구: 평가자와 이해 관계자가 필요한 비용 전략과 각 전략의 작동 방식을 명확히 해야 함.

참고 문헌

  • Levin, H. (2005). "Cost Analysis in Evaluation."
  • Levin, H., & McEwan, P. (2001). "Cost-Effectiveness Analysis."

Robert Stake의 평가 이론 요약

주요 공헌

  • 응답적 평가: 평가에서 이해 관계자의 관점을 통합하고 사례 연구를 통해 이를 표현함.
  • 지식의 맥락 의존성: 참된 가치는 없으며, 지식은 맥락에 따라 다름.
  • 주관주의적 입장: 여러 현실이 존재하며, 이해 관계자의 관점을 평가에 포함해야 함.

주요 저서

  • "The Countenance of Educational Evaluation" (1967)
  • "Program Evaluation, Particularly Responsive Evaluation" (1974)
  • "Case Studies in Science Education" (1979)

평가자의 역할

  • 관점 통합: 이해 관계자의 관점을 평가에 통합하지만, 참여 이론가와 달리 평가자가 최종 결정을 내림.
  • 비민주적 결정: 평가자는 참가자의 관심사를 고려하여 결정을 내리지만, 이는 비민주적일 수 있음.
  • 참가자의 이익: 평가자는 참가자의 이익을 판단하고 보고서에 포함할 내용을 결정함.

가치 합의

  • 기존 가치 합의 발견: 평가자는 참가자들 사이의 기존 가치 합의를 발견해야 하며, 새로운 합의를 창출하지 않아야 함.
  • 독립적 판단: 독자가 자신의 판단을 내릴 수 있도록 새로운 데이터와 기존 정보를 제공해야 함.

평가 이론에 대한 기여

  • 이해 관계자 참여: 응답적 평가에서 이해 관계자 참여의 개념을 강조함.
  • 가치 지지: 평가자가 대안적 가치를 표현할 수 있도록 기반을 제공함.

참고 문헌

  • Stake, R. E. (1967). "The Countenance of Educational Evaluation."
  • Stake, R. E. (1974). "Program Evaluation, Particularly Responsive Evaluation."
  • Stake, R. E., & Easley, J. (1979). "Case Studies in Science Education."
  • Abma, T. A., & Stake, R. E. (2001). "The Art of Case Study Research."

Elliott Eisner의 평가 이론 요약

주요 공헌

  • 교육 미식주의: 전통적인 평가 접근 방식에 대한 부정적인 인식에 대응하여 "교육 미식주의" 개념을 제안함.
  • 정량적 방법 거부: "기술적 과학주의"와 실험적, 준실험적 설계를 사용하는 연구 모델의 광범위한 사용을 거부함.
  • 평가 지도: 평가가 의미 있는 것과 사소한 것을 구별하고 알려진 것의 의미를 이해하는 정교하고 해석적인 지도가 필요함을 주장.

핵심 개념

  • 미식주의(connoisseurship): 보는 것에 대한 지식, 미묘한 차이를 구별하는 능력, 경험을 이해하는 능력.
    • 예: 미식가는 배우는 방법을 알고, 이미지를 읽고, 더 많은 작품의 질을 경험할 수 있음.
  • 비평(criticism): 경험을 어떤 형태로든 공개적으로 표현하는 것.
    • 비평의 세 가지 측면:
      1. 비판적 묘사: 평가자가 자신의 감각을 통해 사건, 반응, 상호 작용 등을 묘사함.
      2. 기대: 평가자가 본 것을 이해하고 의미를 찾으려 함.
      3. 가치 판단: 발생한 일의 가치를 평가하는 것.

평가자의 역할

  • 선택적 인식: 평가자는 수업에서 중요하게 생각하는 것을 찾고, 교육적 중요성을 판단함.
  • 가치 판단: 평가자가 데이터를 수집하고 최종 가치를 판단하는 역할을 수행함.
  • 주제 전문성: 평가자는 평가 분야의 전문가로서 프로그램의 가치를 판단할 권한이 있음.

평가 방법론

  • 주관주의적 데이터 수집: 집중 관찰을 통해 정량적 및 정성적 측정을 포함하여 데이터를 수집함.
  • 정성적 평가 강조: 평가 과정에서 정성적 작업을 강조함.

참고 문헌

  • Eisner, E. (1976). "Educational Connoisseurship."
  • Eisner, E. (1985, 1991a, 1991b, 1998). "The Enlightened Eye."
  • Eisner, E. (1991b). "The Enlightened Eye: Qualitative Inquiry and the Enhancement of Educational Practice."

Ernest House의 평가 이론 요약

주요 공헌

  • 사회 정의를 위한 평가: House는 평가가 의사 결정자에게 중요한 자원을 적절히 배분하는 데 필요한 정보를 제공해야 한다고 강조하며, 기존의 평가 이론의 공리주의적 틀을 비판함.
  • 가치 중립성 거부: 평가가 결코 가치 중립적일 수 없으며, 평가자는 사회 정의를 지향해야 한다고 주장함.

핵심 개념

  • 공리주의 비판: House는 공리주의가 대안 중에서 최대의 선이나 행복을 추구하는 도덕 이론이라고 설명하면서, 평가가 이러한 공리주의적 접근보다는 이해관계자의 요구에 더 반응적이어야 한다고 주장함.
  • 정의 이론: House는 Rawls의 정의 이론을 바탕으로 평가가 사회 정의를 목표로 해야 한다고 주장함. 평가자는 다양한 이해관계자, 특히 권력 없는 사람들의 요구와 입장을 이해하고 이를 사회 정의와 균형 있게 고려해야 함.
  • 평가자의 역할: 평가자는 가난하고 권력 없는 사람들의 대변인 역할을 수행해야 하며, 평가 과정에서 수집된 정보와 그 분석을 통해 사회 정의를 실현해야 함.

평가 방법론

  • 윤리적 오류: House는 평가에서 발생할 수 있는 몇 가지 윤리적 오류를 지적함. 여기에는 고객주의, 계약주의, 관리자주의, 방법론주의, 다원주의/엘리트주의, 상대주의 등이 포함됨.
  • 포괄적 참여: House와 Kenneth Howe는 평가자가 권위를 수용하되 권력을 남용해서는 안 된다고 주장함. 포괄적 참여는 모든 이해관계자의 편견을 방지하고 권력 유무에 관계없이 평가에 참여하도록 장려함.
  • 대화: 이해관계자의 기여가 신중하게 고려될 수 있도록 정직한 대화를 유도함.
  • 심의: 각 기여를 평가하여 정확한 결론을 도출하는 과정.

평가 철학

  • 가치-사실 연속체: House는 평가가 가치와 사실을 분리할 수 없으며, 이는 "명백한 사실"과 "단순한 가치" 사이의 연속체 상에 존재한다고 주장함.
  • 사회 구조에 대한 영향: House는 평가가 권력과 사회 구조에 미치는 영향을 인식하고, 기존의 억압적 구조를 변화시키거나 유지할 수 있는 방법으로 사용될 수 있다고 설명함.
  • 사회 정의: 평가의 주요 목적은 사회 정의를 촉진하는 것이며, 저평가된 그룹을 명시적으로 고려하지 않는 평가는 본래 목적을 달성하지 못한다고 주장함.

참고 문헌

  • House, E. (1991). "Utilitarianism and Evaluation."
  • House, E. (1993). "Professional Evaluation: Social Justice."
  • House, E., & Howe, K. (1999). "Deliberative Democratic Evaluation."

House의 평가 이론은 사회 정의와 가치 참여를 강조하며, 평가자가 이해관계자의 요구와 사회 정의를 균형 있게 고려하도록 요구합니다.

Jennifer C. Greene의 평가 이론 요약

주요 공헌

  • 가치 참여적 평가(Value-Engaged Evaluation): Greene는 프로그램의 가치를 결정하기 위해 합의를 형성하는 데 평가를 사용해야 한다고 주장함.
  • 포괄적 참여: 이해관계자의 참여를 강조하며, 혼합 방법 설계와 현장 작업을 평가에 통합함.

핵심 개념

  • 가치 참여적 접근: Greene의 접근법은 Stake의 반응적 평가(1975, 2005)와 House와 Howe의 민주적 평가(1999) 원칙을 통합함.
    • 포함(Inclusion): 모든 합법적인 이해관계자의 관점과 가치를 고려함.
    • 대화(Dialogue): 이해관계자의 기여가 신중하게 고려되도록 정직한 대화를 유도함.
    • 심의(Deliberation): 각 기여를 평가하여 정확한 결론을 도출하는 과정.

평가 방법론

  • 프래그머틱 정당화: 이해관계자 참여가 평가 활용 가능성과 조직 학습을 증가시킨다고 주장함.
  • 해방적 정당화: 이해관계자의 기술과 기여를 인정하고 그들을 사회 변화의 주체로서 권한을 부여함.
  • 심의적 정당화: 프로그램 또는 정책 대화에 모든 관련 이익을 포함하고 공정성과 평등의 민주적 원칙에 기반한 대화와 심의를 강조함.

평가 철학

  • 사회적, 관계적 차원: Greene의 접근법은 평가 실천의 사회적 및 관계적 차원을 강조하며, 평가 설계는 프로그램 맥락에 따라 개발되어야 함.
  • 혼합 방법: 평가에 혼합 방법 설계와 현장 작업을 사용하여 다양한 이해관계자의 관점과 경험을 포괄함.

참고 문헌

  • Greene, J. C. (2000). "Challenges in Practicing Deliberative Democratic Evaluation."
  • Greene, J. C. (2005). "Evaluators as Stewards of the Public Good."

Greene의 평가 이론은 가치 참여와 포괄적 참여를 강조하며, 다양한 이해관계자의 관점과 경험을 고려하는 혼합 방법 설계를 평가에 통합합니다.

Egon Guba와 Yvonna Lincoln의 평가 이론 요약

주요 공헌

  • 이해관계자 중심의 평가: Guba와 Lincoln은 이해관계자가 평가에서 가치를 부여하는 주요 인물이라고 봄.
  • 구성주의 패러다임: 단일 현실이 아닌 다중 현실이 존재하며, 사람들의 인식과 해석에 따라 현실이 구성된다고 주장함.

핵심 개념

  • 네 번째 세대 평가(Fourth Generation Evaluation): Guba와 Lincoln의 평가 방법론은 이해관계자의 주장, 우려, 문제를 조직 요소로 사용하는 반응적 초점과 구성주의 방법론을 결합함.
    • 최대 변이 표본 추출: 다양한 이해관계자를 식별하고 인터뷰하여 다양한 개별 구성 요소를 테이블에 올림.
    • 해석학적 순환: 데이터 수집과 분석의 지속적인 상호 작용을 통해 공동 구성이 형성됨.

평가 방법론

  • 협상 과정: 평가자는 다양한 이해관계자의 구성을 조정하고 협상 과정을 통해 더 잘 정보화되고 정교한 구성을 도출함.
  • 평가자의 역할: 평가자는 새로운 정보를 도입하여 그룹 내 구성을 확장하고 해결되지 않은 문제를 우선 순위화하며, 협상 의제를 준비하고 협상을 수행함.

평가 철학

  • 사실과 가치의 상호 의존성: Guba와 Lincoln은 사실과 가치가 상호 의존적이며, "사실"은 가치 틀 내에서 의미를 가지며 가치가 내포된다고 주장함.
  • 평가자의 가치 역할: 평가자는 자신의 외부 구성 요소를 도입하여 비판받을 수 있도록 하며, 평가자는 주관적으로 중요한 요소를 인식함.

참고 문헌

  • Guba, E. G., & Lincoln, Y. S. (1989). "Fourth Generation Evaluation."

Guba와 Lincoln의 평가 이론은 다중 현실을 반영하는 이해관계자의 관점을 평가에 통합하고, 협상 과정을 통해 공동 구성을 도출하는 것을 강조합니다.

Donna Mertens의 평가 이론 요약

주요 공헌

  • 포괄적/변혁적 평가 모델(Inclusive/Transformative Model of Evaluation): Mertens는 다양성과 다양한 그룹의 포함을 강조함.
  • 변혁적 패러다임: 사회 정의와 인권과 관련된 윤리적 관점을 포함하여 네 가지 철학적 가정을 기반으로 함.

핵심 개념

  • 포괄성: Mertens의 모델은 소외된 그룹을 포함하는 데 중점을 두며, 평가자가 결정권자가 아니라 포함을 지지하는 역할을 함.
  • 변혁적 목표: 기존 상태를 도전하여 사회를 변혁하려는 목표를 지님. 사회 불평등을 해결하고 평등을 촉진하는 도구로 평가를 사용함.

평가 방법론

  • 포괄적 질문: 평가 계획 단계에서 평가자는 다음 질문을 통해 포괄성을 확인해야 함:
    • 다양한 성별, 능력, 연령, 계층, 문화, 민족, 가족, 소득, 언어, 지역, 인종, 성적 지향을 포함하고 있는가?
    • 다양한 사람들을 배제하는 장벽을 세우고 있는가?
    • 다양한 그룹을 위한 적절한 데이터 수집 전략을 선택했는가, 선호하는 의사소통 방식을 제공하고 있는가?

평가 철학

  • 사회 정의와 인권: Mertens의 변혁적 패러다임은 사회 정의와 인권에 중점을 두며, 포괄적 평가를 통해 사회적 불평등을 해결하고자 함.
  • 윤리적 초점: 평가자는 윤리적 가정에 기반하여 소외된 그룹을 포함하고, 평가 과정에서 편향을 배제함으로써 공정성을 유지해야 함.

주요 목표

  • 현상 유지 도전: 현상 유지를 도전하여 사회 변혁을 추구함.
  • 포괄적 평가: 프로그램의 전체 맥락에서 평가를 수행하여 한 그룹을 다른 그룹보다 더 옹호하지 않도록 함.

참고 문헌

  • Mertens, D. M. (1999). "Inclusive Evaluation: Implications of Transformative Theory for Evaluation."
  • Mertens, D. M. (2009). "Transformative Research and Evaluation."

Mertens의 평가 이론은 다양성과 소외된 그룹의 포함을 강조하며, 사회 정의와 인권을 중심으로 변혁적 패러다임을 통해 사회를 변화시키고자 하는 목표를 지향합니다.

사용(branch)의 평가 이론

사용(branch)의 평가 이론은 평가 결과가 의사 결정 및 조직 변화에 직접 활용되도록 보장하는 것을 목표로 합니다. 이 이론은 의사 결정 지향 이론에서 시작하여, 평가가 의사 결정에 정보를 제공하고 영향을 미치는 중요성을 강조하는 방향으로 발전했습니다. 이 branch의 이론가들은 평가가 실질적이고 실행 가능한 영향을 미치도록 설계하는 것을 목표로 합니다.

주요 이론가 및 이론

  1. 의사 결정 지향 이론:
    • 이러한 이론은 주요 프로그램 이해 관계자, 특히 평가를 의뢰하는 사람들이 정보에 입각한 결정을 내리도록 돕는 평가를 설계하는 것을 우선시합니다.
    • 목표는 이해 관계자에게 프로그램 개선을 위한 필요한 정보를 제공하는 것입니다.
  2. 활용 이론:
    • 의사 결정 지향 이론을 기반으로, 활용 이론가들은 평가 결과가 정보 제공뿐만 아니라 실제로 영향을 미치도록 하는 데 중점을 둡니다.
    • 그들은 평가가 의사 결정, 조직 변화 및 프로그램에 대한 개념적 이해를 촉진하도록 설계하는 것을 목표로 합니다.
  3. 평가 영향력:
    • 평가 영향력은 평가 과정 및 결과가 평가 현장이나 다른 장소에서 미래에 이해 또는 지식의 변화를 간접적으로 초래할 수 있는 능력을 포함하여 사용 개념을 확장합니다.

다니엘 스터플빔(Daniel Stufflebeam)과 CIPP 모델

다니엘 스터플빔은 CIPP 평가 모델을 개발한 것으로 유명한 사용 branch의 주요 인물입니다. 그의 모델은 의사 결정 과정에서 평가의 중요성을 강조하며 네 가지 유형의 평가로 구성됩니다:

  • 맥락(Context) 평가: 프로그램 목표를 결정하기 위한 필요를 식별합니다.
  • 투입(Input) 평가: 전략 및 설계를 결정하는 데 도움을 줍니다.
  • 과정(Process) 평가: 현재 프로그램의 단점을 식별하여 실행을 개선합니다.
  • 결과(Product) 평가: 프로그램의 지속 또는 재조정을 결정하기 위한 결과를 측정합니다.

CIPP 모델의 주요 특징:

  • 순환 과정: CIPP 모델은 일회성 이벤트가 아닌 지속적인 과정입니다. 평가자는 설계를 하나의 과정으로 보고 의사 결정자에게 지속적인 정보를 제공하여 서비스를 지속적으로 개선할 수 있도록 해야 합니다.
  • 유연성: 평가자는 신중하게 설계된 평가 계획을 따르면서도 유연성을 유지하고 필요에 따라 평가를 조정해야 합니다.
  • 이해 관계자 참여: 스터플빔의 접근 방식은 평가 질문 정의, 평가 계획 수립, 초안 보고서 검토 및 결과 배포를 위해 대표 이해 관계자 패널을 참여시키는 것을 포함합니다. 이러한 참여는 평가가 이해 관계자의 가장 중요한 질문에 답하고 의사 결정에 유용한 정보를 제공하도록 보장합니다.
  • 실무 표준: 스터플빔은 유용성, 실현 가능성, 적절성 및 정확성을 포함한 전문 표준 준수를 강조합니다. 이러한 표준은 평가가 유용하고, 현실적이며, 윤리적이고, 기술적으로 적절함을 보장합니다.

영향 및 구현:

  • 정식 계약: 스터플빔은 평가자와 고객이 평가 과정, 책임 및 일정에 대한 공식적인 서면 계약을 체결할 것을 권장합니다. 이는 책임을 보장하고 합의된 조건을 준수하도록 합니다.
  • 형성적 및 총괄적 정보: 평가에서는 이해 관계자에게 프로그램 개선 및 책임성을 촉진하기 위해 형성적(진행 중) 및 총괄적(최종) 정보를 제공합니다.
  • 포괄적 평가: 다양한 이해 관계자 관점을 포함하여, 스터플빔의 접근 방식은 프로그램 가치를 종합적으로 평가할 수 있도록 하여 관련 가치 관점이 대표되도록 합니다.

결론적으로, 스터플빔의 CIPP 모델로 대표되는 사용 branch의 평가 이론은 평가가 의사 결정에 직접 정보를 제공하고 영향을 미치도록 설계하는 데 중점을 둡니다. 이해 관계자 참여와 전문 표준 준수를 강조하여 평가가 실용적이고, 영향력 있으며, 프로그램 개선에 유용하도록 합니다.

조셉 홀리(Joseph Wholey)

조셉 홀리의 학문적 훈련과 대규모 프로그램 평가에 대한 노출로 인해 그를 방법론 branch에 배치할 것으로 예상할 수 있습니다. 실제로, 홀리의 초기 저술은 방법론 지향적 이론가인 서치먼(Suchman)의 이론과 일치하는 이론적 관점을 나타냈습니다. 그러나 연방 정부 프로그램에 오랫동안 참여하면서 프로그램 관리자들의 필요에 민감하게 반응하게 되었고, 여러 면에서 그의 초점은 스터플빔의 의사 결정자에 대한 관심과 유사합니다. 홀리의 많은 저술들은 평가를 관리 개선의 도구로 사용하는 것에 중점을 두고 있습니다.

홀리는 조직을 관리하는 복잡성을 인식하고 있으며, 평가를 "효과적인 관리를 자극하는" 중요한 과정으로 봅니다. 그는 평가 정보를 얻는 것이 비용이 많이 든다는 점을 인식하고 "순차적 정보 구매"를 위한 네 단계 절차를 제안합니다. 이 절차의 첫 번째 단계는 평가 가능성 평가(evaluability assessment)로, 조직과 문제를 평가하는 초기 평가를 수행하여 평가 결과가 프로그램 관리자에게 유용할 가능성을 평가합니다.

다른 세 단계는 다음과 같습니다:

  1. 신속 피드백 평가(rapid-feedback evaluation): 기존의 쉽게 수집할 수 있는 정보에 초점을 맞춥니다.
  2. 성과 모니터링(performance monitoring): 프로그램 성과를 측정하고, 보통 이전 성과나 기대 성과와 비교합니다.
  3. 집중 평가(intensive evaluation): 비교 또는 통제 그룹을 사용하여 프로그램 활동의 효과를 더 잘 추정합니다.

홀리의 평가 작업은 관리적 이익, 특히 단기적인 도구적 활용에 초점을 맞추고 있으며, 이는 그가 사용 branch에 자연스럽게 속하는 이유입니다.

엘리노어 첼림스키(Eleanor Chelimsky)

엘리노어 첼림스키는 미국 정부 회계감사국(GAO)의 평가 부서를 설립하고 이끈 인물로 가장 잘 알려져 있습니다. GAO는 가장 큰 독립적인 내부 평가 부서로, 그녀의 역할은 미국 정부의 세 부문 모두에게 정보를 제공해야 한다는 필요성과 공공 책임의 필요성을 인식하여 평가 활용에 대한 독특한 관점을 개발하게 했습니다. 첼림스키는 평가가 민주주의 정부에 네 가지 이유로 중요하다고 주장합니다:

  1. 의회의 감독을 지원하기 위해
  2. 정책 결정을 위한 강력한 지식 기반을 구축하기 위해
  3. 기관이 정책 및 프로그램 계획, 실행, 결과 분석 및 학습 지향적인 방향 개발을 도울 수 있도록 하기 위해
  4. 평가 결과를 통해 정부 활동에 대한 대중 정보를 강화하기 위해

첼림스키의 작업은 개별 주 사용자보다는 의회 소위원회, 특정 정부 기관의 구성원 또는 일반 대중과 같은 더 큰 사용자 그룹에 초점을 맞추고 있습니다. 그녀는 특정 이해관계자를 평가 과정에 참여시키기보다는 목표 청중이 정보를 소비할 가능성을 높이기 위한 전략을 설명합니다.

첼림스키는 평가가 정치적 환경에서 사용되기 위해서는 정확성과 신뢰성이 필수 조건이라고 주장하며, 가능한 한 엄격한 평가 연구를 수행해야 한다고 강조합니다. 그녀의 방법론의 유연성은 사용 branch에 포함된 주요 이유 중 하나입니다.

마빈 알킨(Marvin Alkin)

마빈 알킨은 초기에는 평가와 의사 결정에 관한 문제에 집중한 것으로 알려졌습니다. 그의 초기 모델(1972)은 스터플빔의 CIPP 모델과 많은 유사점을 가지고 있었지만, 주요 차이점은 과정과 결과가 총괄적 및 형성적 차원을 모두 가진다는 점이었습니다.

최근의 저술에서 알킨은 평가의 사용을 높이기 위해 평가자와 잠재 사용자 간의 상호작용을 강조하는 "사용자 지향(user-oriented)" 관점을 취합니다. 그는 평가가 단순히 의사 결정자와 관련되어 있다고 생각하는 것만으로는 충분하지 않으며, 평가자가 평가 사용이 실제로 이루어지도록 돕는 의무가 있다고 주장합니다.

알킨의 접근 방식에서 두드러진 요소는 프로그램 맥락에 대한 철저한 검토를 평가 수행의 지침으로 삼는다는 점입니다. 그는 평가자가 가치 판단의 주된 역할을 수행하는 것을 강하게 반대하며, 평가 과정 초기에 주요 사용자와 함께 잠재적 결과 데이터에 대한 가치 체계를 설정하는 것을 선호합니다.

알킨의 발전된 위치는 프로그램 설정 내에서 평가 활용에 중점을 둔 패튼(Patton)의 초점과 밀접하게 관련되어 사용 branch에 배치되었습니다.

이와 같이, 각 이론가는 평가의 사용을 강조하며, 평가 결과가 실질적으로 활용되고 조직의 변화와 개선을 촉진하도록 설계된 다양한 접근 방식을 발전시켰습니다.

Michael Patton의 Utilization-Focused Evaluation (UFE)에 대한 주요 내용을 개조식으로 정리하면 다음과 같습니다:

Utilization-Focused Evaluation (UFE) 개요

  • 주요 이론가: Michael Patton
  • 발전 시기: 1978, 1986, 1997, 2008
  • 기본 원칙: 평가자는 평가 결과를 실제로 사용할 가능성이 있는 개인(주요 예상 사용자)을 찾아야 한다.

UFE의 주요 단계

  1. 주요 예상 사용자 식별:
    • 평가의 첫 번째 단계로, 주요 예상 사용자를 포함한 예상 사용자를 식별한다.
  2. 사용자들의 평가에 대한 집중과 활용에 대한 헌신 개발:
    • 평가의 초점과 평가 활용에 대한 사용자들의 헌신을 개발한다.
  3. 방법, 설계, 측정에 대한 참여:
    • 사용자들이 평가 방법, 설계, 측정에 적극적으로 참여하도록 한다.
  4. 사용자 참여:
    • 사용자들이 평가 결과를 직접 해석하고 판단을 내리도록 한다.
  5. 추가 확산에 대한 결정:
    • 평가 결과의 추가 확산 여부를 결정한다.

UFE의 본질

  • 개인 요소 (Personal Factor):
    • 평가 결과가 사용될 가능성은 평가에 이해관계가 있으며 결과에 관심이 있는 사람들을 식별함으로써 크게 증가한다.
    • 주요 예상 사용자를 식별하는 것에 중점을 둔다.
    • 사용자의 활용에 대한 헌신을 개발해야 한다.
    • 사용자가 평가의 모든 단계에 적극적으로 참여하도록 유도하여 “buy-in”을 촉진한다.

평가의 관련성 및 활용성 증대

  • 활동적-반응적-상호작용적-적응적 접근:
    • 평가자는 예상 사용자를 식별하고 질문을 집중하는 데 적극적이어야 한다.
    • 평가 상황을 지속적으로 학습하면서 반응적이어야 한다.
    • 상황과 조건이 변화함에 따라 평가 질문과 설계를 수정하는 데 적응적이어야 한다.
    • 상호작용은 이러한 세 가지 활동의 필수적인 부분이다.
  • 유연성:
    • 예상 사용자의 필요를 더 잘 충족시키기 위해 사전에 지정된 평가 질문과 문제를 수정할 수 있는 유연성을 갖춘다.

최근 이론적 확장

  • 과정 활용 (Process Use):
    • 평가 결과뿐만 아니라 평가 과정 자체가 활용될 수 있음을 강조한다.
  • 발전적 평가 (Developmental Evaluation):
    • 평가자가 프로그램의 설계 팀이나 관리 팀의 일원이 되어 평가 방법에 대한 논의를 촉진하고 개입을 개발하는 역할을 한다.
    • 이로 인해 평가자는 관리 컨설팅 역할을 맡게 된다.

이와 같이 Patton의 UFE는 평가의 실제 활용을 극대화하기 위해 예상 사용자들을 중심으로 평가를 설계하고, 유연하고 적응적인 접근 방식을 통해 사용자의 필요에 맞추어 평가를 조정하는 데 중점을 둡니다.

David Fetterman의 Empowerment Evaluation에 대한 주요 내용을 개조식으로 정리하면 다음과 같습니다:

Empowerment Evaluation 개요

  • 주요 이론가: David Fetterman
  • 발전 시기: 1994, 1996, 1998, 2001
  • 기본 원칙: 프로그램 평가의 수혜자들이 자립을 추구하도록 장려하는 과정으로, 주로 훈련, 촉진, 옹호, 조명, 해방을 포함한다.

Empowerment Evaluation의 목표

  • 자립 촉진: 프로그램 참가자들이 자신의 평가를 수행할 수 있도록 하여 의존성을 줄이고 자립을 촉진한다.
  • 평가자의 역할: 외부 평가자는 코치 또는 추가 촉진자의 역할을 하며, 참가자에게 지속적인 자기 평가와 책임성을 위한 지식과 도구를 제공한다.

Empowerment Evaluation의 형태

  1. 평가 능력 구축:
    • 평가자가 프로그램 참가자들에게 자체 평가를 수행하는 방법을 가르치고 평가 연구를 수행할 수 있도록 훈련하여 자립성을 높인다.
  2. 코칭 및 촉진:
    • 평가자가 코치로서 참가자들이 자체 평가를 수행하도록 촉진하며, 평가의 방향을 설정하고 문제에 대한 이상적인 해결책을 제안하고 사회 변화를 이끄는 역할을 맡는다.

평가자의 역할 및 기대

  • 조명 및 해방 촉진자: 평가자는 프로그램 참가자들이 전통적인 역할과 기대에서 벗어나 스스로를 해방할 수 있도록 돕는 조명 및 해방 촉진자의 역할을 한다.

평가의 지속적 과정

  • 지속적인 평가: 프로그램의 가치를 평가하는 것이 평가의 끝점이 아니다. 가치와 가치는 정적이지 않기 때문에 Fetterman은 평가를 지속적인 과정으로 본다.
  • 동적이고 반응적인 접근: 자기 평가 과정과 실천의 내면화 및 제도화를 통해 동적이고 반응적인 평가 접근법이 개발되어 인구, 목표, 가치 평가 및 외부 요인의 변화를 수용할 수 있다.

Empowerment Evaluation과 Participatory Evaluation의 차이

  • 목표 차이:
    • Participatory Evaluation: 이해 관계자가 평가의 모든 측면에 참여하여 설계, 실행, 분석, 해석을 결정하며, 목표는 활동을 통해 평가 활용도를 높이는 것이다.
    • Empowerment Evaluation: 자기 평가를 통해 평가와 관련된 사람들을 정치적 또는 해방적 방식으로 권한을 부여하는 것을 목표로 한다.

주요 포인트 요약

  • 자립을 통한 권한 부여: 프로그램 참가자들이 자체 평가를 통해 자립하도록 돕는다.
  • 지속적인 평가 과정: 평가를 단발성 활동이 아닌 지속적인 과정으로 봄.
  • 평가자의 역할 변화: 평가자가 단순한 관찰자가 아니라 코치와 촉진자의 역할을 하여 참가자들이 자립적으로 평가를 수행하도록 지원한다.
  • 참여 평가와의 차별점: 참여 평가와 유사하지만, 목표와 접근 방식에서 차이가 있음.

J. Bradley Cousins의 Participatory Evaluation에 대한 주요 내용을 개조식으로 정리하면 다음과 같습니다:

Participatory Evaluation 개요

  • 주요 이론가: J. Bradley Cousins
  • 발전 시기: 1992, 1995, 1998, 2005
  • 기본 원칙: 프로그램 평가의 활용도를 높이기 위해 프로그램 직원의 평가 참여를 통해 buy-in을 유도한다.

주요 개념 및 접근법

  • 활용도 증대: 평가 활용도를 높이기 위해 참여를 중요하게 여긴다.
  • 주요 사용자 조직화: Patton의 주요 예상 사용자 개념을 확장하여 주요 사용자 그룹을 조직화하는 중요성을 주장한다.
  • 구조적, 지속적, 적극적 참여: 평가 설계는 주요 사용자들의 구조적, 지속적, 적극적인 참여를 반영한다.

Practical Participatory Evaluation

  • 정의:
    • Cousins & Earl (1995): "훈련된 평가 인력과 실무 기반의 의사결정자가 파트너십을 이루어 수행하는 응용 사회 연구"
    • 목표: 조직의 학습 능력을 향상시키기 위한 전략을 채택하여 프로그램 이해 및 개선을 목적으로 한다.
  • 협력:
    • 주요 사용자와 평가자: 평가 과정에서 협력자로 인식된다.
    • 조직 개발의 일환: 활용이 조직 내에서 이루어지며 조직 개발의 일환으로 가장 잘 달성된다.
  • 학습과 책임 분담:
    • 조직 직원과 평가자가 책임을 공유하며, 평가자는 기술 평가 능력을 훈련하고 감독하여 직원들이 새로운 평가를 조정할 수 있도록 한다.
    • 시간이 지나면서 평가자는 도구 설계, 데이터 분석, 기술 보고와 같은 기술 활동만을 담당하는 컨설턴트 역할을 맡는다.

최근 연구 및 확장

  • 조직 학습 시스템:
    • Cousins, Goh, & Clark (2005): 평가를 조직 학습 시스템으로 이해하기 위한 연구 확장.

평가 방법론의 강조

  • 엄격한 방법론 사용: 참여 과정에서 엄격한 방법론을 사용하여 궁극적으로 활용도를 높이는 것을 목표로 한다.
  • 실험 심리학 훈련: Cousins의 초기 실험 심리학 훈련이 엄격한 방법론 사용을 설명함.

주요 포인트 요약

  • Buy-in 유도: 프로그램 직원의 평가 참여를 통해 평가 활용도를 높인다.
  • 구조적 참여: 주요 사용자들의 구조적, 지속적, 적극적인 참여를 통해 평가를 설계한다.
  • 조직 개발과의 통합: 평가 활용이 조직 개발의 일환으로 이루어진다.
  • 협력적 접근: 주요 사용자와 평가자가 평가 과정에서 협력자로서 함께 일한다.
  • 학습 능력 강화: 조직의 학습 능력을 향상시키는 전략을 채택하여 프로그램의 이해와 개선을 도모한다.

Hallie Preskill의 평가 이론

개요

  • 주요 초점: 평가 과정을 통한 조직 학습 및 개발
  • 영향: Patton의 활용 중심 접근법(특히 과정 사용)과 Cousins의 참여 평가 모델

주요 개념

  • 변혁적 학습:
    • 정의: 개인, 팀, 조직이 목표를 달성하는 데 필요한 정보를 식별하고, 검토하고, 이해하는 과정
    • 핵심 요소:
      • 임상 접근법: 조직의 현재 필요, 맥락 설정, 역사적 배경에 초점을 맞춘 평가
      • 경계 넘기: 평가자는 프로그램 직원과 긴밀히 협력하며 학습 과정을 안내하는 역할을 해야 함
      • 조직 진단: 조직의 학습 능력을 평가하여 평가 결과를 틀짓고 현실적인 목표를 설정
  • 평가 과정:
    • 맞춤형 평가: 주요 사용자의 필요에 맞춰 평가 조정
    • 프로그램 직원의 참여 유도: 평가에 프로그램 직원의 참여를 높여 활용도 증가
    • 성찰과 대화: 성찰과 개방적인 대화를 장려하여 변혁적 학습 촉진

방법 및 기법

  • 임상 접근법:
    • 응답적 평가: 조직의 필요와 맥락에 초점을 맞춤
    • 대화 촉진: 평가 결과의 이해와 구현을 강화
  • 긍정 탐구(Appreciative Inquiry, AI):
    • 철학: 과거의 성공과 최고 경험을 기반으로 미래 행동 설계 및 실행
    • 결핍 기반 접근법과의 대조: 문제에 집중하지 않음으로써 무력감과 피로감을 줄임
    • 이점: 긍정적이고 강점 기반 언어를 사용하여 창의성, 열정, 미래에 대한 흥미 증가

적용 및 결과

  • 변혁적 학습:
    • 원활한 통합 생성: 프로그램 작업, 연구, 평가, 조직 개발의 융합
    • 조직 변화: 평가 결과를 통해 성찰과 지속적인 학습을 촉진하여 최종적으로 활용도 증가
  • 평가에서의 긍정 탐구:
    • Preskill의 적용(2004): 긍정 탐구 원칙을 평가에 적용하여 평가 과정 및 결과 활용도 향상
    • 결과: 조직 변화와 학습에 대한 헌신 증가

요약

  • Hallie Preskill의 작업은 평가를 통해 조직 학습과 개발을 촉진하는 중요성을 강조합니다.
  • 그녀의 접근법은 임상 평가, 경계 넘기, 긍정 탐구 기법을 통합하여 변혁적 학습과 평가 활용도를 높입니다.
  • 결핍 대신 강점과 성공에 집중함으로써 긍정적이고 참여도가 높은 효과적인 평가 과정을 촉진합니다.

Jean King의 평가 이론

개요

  • 주요 초점: 참여 평가 모델 개발
  • 영향: 다양한 참여적, 사용자 중심, 역량 구축 접근법

주요 개념

  • 장기적 참여:
    • 조직과의 장기적 협력: 공동의 이해를 발전시키고, 시간이 지남에 따라 평가 역량을 지속적으로 구축할 수 있는 구조를 개발
    • 연장된 참여: 조직과 장기간 협력하여 평가 역량을 증진
  • 단기적 평가:
    • 인터랙티브 평가 실천(Interactive Evaluation Practice, IEP):
      • 정의: 사람들이 평가 연구를 수행하면서 결정 내리고, 행동하고, 성찰하는 것을 의도적으로 참여시키는 행위
      • 목적: 평가의 사용 가능성을 높이기 위해 참여적 환경 조성
      • 요구 사항: 참여자 간의 경험에 대한 공동 의미 공유, 높은 수준의 대인 관계 및 조직 신뢰

방법 및 기법

  • 참여적 환경 조성:
    • 의사소통과 토론: 참여자 간의 공동 의미 창출을 위한 의사소통 및 토론 장려
    • 리더 육성: 평가 과정에서 리더를 식별하고 육성하는 데 주력
      • 리더 역할: 평가 과정에 사람들을 유치하고, 학습을 촉진하며, 어려움이 발생할 때에도 지속적으로 참여하도록 도움
  • 신뢰 구축:
    • 기본 요구 사항: 성공적인 참여 평가를 위한 신뢰 구축
    • 대인 관계 역학: 평가 중 발생하는 대인 관계 역학에 세심한 주의를 기울임

평가자의 역할

  • 역할 정의: 평가자의 역할은 리더, 관리자, 현명한 상담자의 부분적 역할을 모두 포함
  • 성찰적 실천가: 연구의 주요 전환점에서 성찰적 실천가로 행동하는 것이 중요

적용 및 결과

  • IEP의 정의: 평가를 체계적인 탐구 과정으로 정의, 프로그램 또는 정책의 특성, 활동, 결과에 대한 신뢰할 수 있는 정보를 제공
  • 참여적 환경: 평가 과정에서 신뢰와 공동의 의미 창출을 통해 참여적 환경을 조성하여 평가의 성공 가능성을 높임

요약

  • Jean King의 작업은 평가 과정에서 조직과 참여자 간의 신뢰 구축과 공동 의미 창출의 중요성을 강조합니다.
  • 인터랙티브 평가 실천(IEP)은 사람들을 적극적으로 참여시키는 것을 목표로 하며, 평가자의 다양한 역할을 강조합니다.
  • King의 접근법은 장기적이고 단기적인 평가 모두에서 효과적인 참여와 신뢰 구축을 통해 평가의 활용도를 높입니다.

마지막 비고

이 장을 쓰면서 두 가지 주요 도전 과제에 직면했습니다. 첫째, 이론가들의 관점과 입장을 정리하면서 특정 가지에 대한 구체적인 배치를 해야 했습니다. 둘째, 나무에 포함할 이론가들을 결정해야 했습니다.

 

첫 번째 문제를 고려해보겠습니다. 이론 나무는 궁극적으로 세 가지 차원 중 하나가 각 이론가에게 가장 중요한 우선 순위라는 관점에 기반하고 있습니다. 의사 결정을 내리고 이러한 판단을 내리기 어려웠던 과정을 설명하기 위해 구체적인 예를 들어보겠습니다. 첫 번째 나무 버전을 작성할 때, 한 학생이 과제의 일환으로 David Fetterman에게 평가 이론적 입장에 영향을 준 요소들에 대해 문의했습니다. 그는 세 가지를 언급했습니다: (1) 인류학적/민족지적 (Spindler와 Pelto가 가장 두드러짐), (2) 사회 정의 (House가 가장 두드러짐), (3) 평가 활용 (Patton과 Alkin이 가장 두드러짐). 이제, 그를 어디에 배치해야 할까요?

 

교육 인류학/민족지학에 중점을 두면 그를 방법론 중심에 배치할 수 있을 것입니다. 이는 Fetterman에게 가장 중요한 평가 요소가 민족지학적 방법을 사용하는 것이라는 것을 의미할 것입니다. 비록 그가 평가에서 질적 방법을 선호하지만, 그의 작업은 그러한 방법의 사용에만 국한되지 않습니다. 사회 정의에 중점을 두면 평가의 목적이 평가 결과가 사회 정의 이상을 지지하는 방식으로 가치를 부여하는 것을 의미합니다. Fetterman에게 사회 정의는 프로그램 개선을 위해 다른 사람에게 의존하는 것을 제거하는 것을 통해 실현됩니다; 이는 특정 사회 정의 이상에서 파생된 기준을 충족하는지 여부에 따라 프로그램을 평가하는 것을 의미하지 않습니다. 마지막으로, 활용에 중점을 두면 주요 관심사가 평가 결과의 활용이 발생하는 것임을 의미합니다. Fetterman의 경우, 활용은 과정 사용, 즉 평가 수행 과정이 권한 부여로 이어지는 것입니다.

 

Fetterman이 교육 인류학 및 민족지학 작업을 통해 평가로 이끌렸을 수 있습니다 (Fetterman, 1984, 1988; Fetterman & Pitman, 1986 참조). 초기 저작에서 Fetterman은 참가자 관찰을 민족지학적 교육 평가의 주요 요소로 식별하고 데이터 해석 및 분석에 문화적 관점을 사용하는 것의 중요성을 강조합니다. 그는 연구자의 시각이 아닌 평가에 참여한 사람들의 시각을 통해 데이터를 해석할 것을 강력히 옹호합니다. 그러나 이러한 인류학적 뿌리에도 불구하고, 그는 나중에 평가의 주요 초점을 다른 방식으로 생각하기 시작했습니다; 즉, 민족지학은 다른 주요 동기를 가진 평가를 수행하기 위한 주요 방법론이 되었습니다.

 

또한 Fetterman의 작업을 분석할 때 다른 질문이 생깁니다: 주요 초점이 사회 정의를 달성하는 방식으로 결과에 가치를 부여하는 것인가, 아니면 평가의 활용, 특히 과정 사용과 관련된 것인가? 우리는 Fetterman이 설명한 바와 같이, 권한 부여의 행위가 평가에 참여하는 과정에 초점을 맞추고 있다고 생각합니다; 즉, 개인들이 평가 활동에 참여하도록 훈련함으로써 그들은 권한을 부여받습니다. 평가 활용의 언어에서, 권한 부여 평가란 도구적 과정 사용을 포함합니다. 따라서 사회 정의에 대한 깊은 관심과 인류학/민족지학적 방법에 대한 강한 선호 (및 초기 평가 뿌리)를 인식하면서도, 우리는 Fetterman을 활용 가지에 배치하기로 했습니다. 이론가의 가지 배치는 항상 이처럼 어렵지는 않았지만, 항상 신중한 고려와 트레이드오프 분석이 필요했습니다.

 

두 번째 문제는 나무에 포함할 평가 이론을 결정하는 것입니다. 이 문제는 1장에서 평가 방법론자, 평가 분석가, 평가 해석자/교사, 평가 이론가 사이의 구별을 지정하면서 어느 정도 다루어졌습니다. 이론 선택에 대한 추가 제한은 특정 분야 (예: 교육, 사회 복지, 공공 건강)에서 평가에 초점을 맞추는 것이 아니라 일반 평가 이론가에 초점을 맞추는 것입니다. 따라서 Steckler와 Linnan (2002) 또는 Astin (1991)과 같은 이론가의 평가 작업은 포함되지 않았습니다.

 

이 책은 북미에 거주하고 일하는 사람들의 이론적 관점을 나타냅니다. 물론, 영어 또는 다른 언어로 작성된, 영어로 번역되지 않은 다른 지역의 광범위한 이론적 견해도 있습니다. 이 장에서는 포함되지 않았지만, 유럽과 오스트랄라시아 이론가들의 작업이 이후 장에서 논의되며, 그 중 일부는 마지막 장에서 설명된 확장된 이론 나무에 포함됩니다.

 

더 제한적인 북미 이론가에 초점을 맞추면서, Barry MacDonald와 John Owen을 이 버전의 나무에서 삭제했습니다. 이는 두 사람이 북미 외부 (영국과 호주)에 거주하고 그들의 저술이 이들 국가의 작업과 관련이 있기 때문입니다. 우리는 또한 Eisner를 나무에서 삭제했지만, 그의 작업에 대한 설명을 이 장에 포함하기로 했습니다. 이는 Eisner의 주요 주장이 평가자가 분야별 지식과 전문성을 갖추는 것의 중요성에 중점을 두고 있기 때문이며, 이 문제에 대한 논쟁은 오늘날에도 여전히 존재합니다. 그럼에도 불구하고, 그의 감정적 접근 방식은 처방적 평가 접근 방식으로서 덜 관련이 있습니다. 마지막으로, Thomas Owen, Robert Wolf, Malcolm Provus의 아이디어는 당시 혁신적이었지만, 오늘날 이론적 작업이 평가 분야에 영향을 미친다는 증거가 거의 없기 때문에, 우리는 현재 버전의 나무에서 이 이론가들도 삭제했습니다.

 

'Wilson Centre' 카테고리의 다른 글

[전문직업성] 정체성 안전이 전문직 정체성 형성에 미치는 영향  (0) 2024.05.18
[테크놀로지] 테크놀로지-강화 의학교육: 허상과 희망을 넘어서  (0) 2024.05.18
캐나다와 한국의 의과대학 교수 비교(Feat. ChatGPT 4o)  (0) 2024.05.16
[프로그램 평가] 비의도 성과: 부정적이거나, 불편하거나, 유해하거나, 보이지 않는 것  (0) 2024.05.14
[인증] 합목적성: 글로벌 평가인증의 맥락적 적절성 확보 필요성  (0) 2024.05.11

'Wilson Centre'의 다른글

  • 현재글[프로그램 평가] 평가 이론 나무(AN EVALUATION THEORY TREE)

관련글

댓글

티스토리툴바