Wilson Centre

[프로그램 평가] 평가 이론 나무(AN EVALUATION THEORY TREE)

Meded. 2024. 5. 21. 09:54

Introduction

  • Evaluation Theory Tree: 알킨(Alkin)의 평가 이론 트리의 수정판 제시
    • 평가의 철학적 기초와 이론들을 시각적으로 표현
    • 평가 이론의 세 가지 초점: 활용(Use), 방법(Method), 가치(Valuing)
    • 이론들이 실제 평가 실무에 어떻게 적용되는지 보여줌
    • 사회 정의와 문화적 이슈를 직접 다루는 평가 이론의 확장된 집합 제시

Roots of the Evaluation Theory Tree

  • Social Accountability: 정부 기관이 자금을 지원하는 프로그램을 개선하고 사회를 발전시키는 중요한 동기
  • Systematic Social Inquiry: 책임성을 결정하는 체계적이고 정당한 절차 사용
  • Epistemology: 지식의 본질과 유효성을 다루는 철학
    • 가치 주장, 보편적 주장, 진리의 본질 등의 평가 우려사항

Branches of the Evaluation Theory Tree

  • Methods Branch:
    • 사회적 탐구의 뿌리에서 성장
    • 주로 상황적 제약 내에서 가능한 가장 엄격한 지식 획득에 초점
    • 주로 실증주의적 관점을 반영
  • Valuing Branch:
    • 평가의 중요한 정의 활동
    • 두 가지 기본 관점으로 분할: 객관주의와 주관주의
    • 객관주의: 공공에서 관찰 가능한 사실에 근거한 가치 판단
    • 주관주의: 인간 행동의 주관적 의미를 반영
  • Use Branch:
    • 평가 연구는 사용될 의도로 수행
    • 특정 결정에서부터 조직 학습 및 프로그램 직원과 조직의 평가 역량 구축까지 다차원적 사용
    • 정보 및 의사결정 필요가 우선시되는 부분

Relational Nature of Branches

  • Interdependence: 각 가지는 독립적이지 않고 상호 관계가 있음
    • 3D 공간에서 트리 가지의 관계 표현
    • 주요 강조점과 부차적 강조점을 반영하여 이론 위치 지정
    • 방법론적 중요성을 강조하는 이론은 객관주의 가치 평가와 관계
    • 주관주의 가치 평가를 강조하는 이론은 사용과의 관계

Theory Writers

  • Key Contributors: 각 접근법에 대한 주요 이론가 식별 및 설명
    • 예: Rossi와 Weiss는 이론 기반 평가 접근법에 기여, Chen은 이를 종합하고 발전시킴

Tree Roots: Social Accountability

  • 역할 인식: 평가는 특정 프로그램이나 정책의 실행 결과로 이루어진 성과를 체계적으로 제공하는 데 중요한 역할을 함.
    • Mark, Henry, and Julnes (2000)은 평가의 네 가지 목적 중 하나로 책임성을 강조.
    • Alkin (1972)은 목표 책임성, 과정 책임성, 결과 책임성의 세 가지 유형의 책임성을 정의.
  • 책임성의 유형:
    • 목표 책임성 (Goal Accountability):
      • 적절하고 합리적인 목표 설정 여부를 평가.
      • 주로 목표 없는 평가에서 중요하게 다룸.
    • 과정 책임성 (Process Accountability):
      • 목표 달성을 위한 절차의 적절성 및 실행 여부를 평가.
      • CIPP 모델의 '과정' 섹션에서 두드러짐.
    • 결과 책임성 (Outcome Accountability):
      • 설정된 목표가 얼마나 달성되었는지를 평가.
      • 많은 평가 노력의 주요 초점.
  • 현대 평가:
    • 목표 책임성에 중점을 둔 평가는 주로 기관 성과 개선을 목표로 함.
    • 정책 결정이나 정부의 다른 결정에 자주 사용됨.
    • 과정 책임성 전통은 현재는 덜 논의되지만 초기 평가 활동에 중요한 영향을 미침.
      • 예: 과거의 학교 평가에서 유럽 전통의 학교 검사관.
      • 현대의 예로는 중등학교, 사립학교, 대학의 인증 시스템.
        • 평가 팀이 사이트를 방문하여 관찰하고 보고서를 작성.
        • 결과는 기관이 책임을 지고 인증을 받아야 하는지 여부에 대한 판단.
  • 미국 정부 회계 사무국 (GAO):
    • 독립적이고 비당파적인 기관으로 연방 정부의 세금 사용을 조사.
    • 임무: 공공 자금 사용 검토, 연방 프로그램 및 활동 평가, 의회에 대한 재정 감사 및 프로그램 검토를 통한 지원 제공.
    • 이 개념은 공식 권위 있는 개인이나 그룹에 대한 보고 제공을 포함.
    • GAO의 활동은 행정부가 의회와 미국 국민들에게 책임을 지도록 설계됨.
  • 사회적 책임성의 중요성:
    • 평가를 의사 결정에 필요한 체계적인 정보를 생성하는 근본적인 과정으로 위치시킴.
    • 정부 후원 프로그램과 정책의 구성 내에서 또는 보다 국지화된 프로그램 수준에서 발생 가능.

Tree Roots: Social Inquiry

  • 사회적 탐구의 정의:
    • 사회적 환경에서 다양한 방법을 사용하여 그룹 내 개인 행동을 체계적으로 연구.
    • 인간 행동이 단순히 자연적 또는 심리적 차원만이 아니라 독특한 사회적 차원을 가짐을 인식.
  • 역사적 배경:
    • 17세기와 18세기: 토마스 홉스, 몽테스키외, 장자크 루소 등이 사회 그룹을 체계적으로 연구.
      • 이들의 연구는 주로 사색에 기반을 둠.
    • 19세기 중후반: 칼 마르크스, 에밀 뒤르켐, 막스 베버 등의 연구를 통해 사회 그룹에 대한 경험적 데이터 수집 및 분석 시작.
  • 사회적 탐구 방법론:
    • 물리 과학 방법의 적용 논쟁:
      • 마르크스와 뒤르켐은 통계 자료를 광범위하게 사용하여 사회 생활에 대한 판단 형성.
      • 심리학은 실험 방법을 도입, 특정 처치가 원하는 효과를 가져오는지 여부를 탐구.
      • 사회 과학에 물리 과학의 방법을 적용하는 것에 대한 논쟁이 계속됨.
    • 인류학의 영향:
      • 민족지학과 질적 연구 방법론 개발.
      • 설명 및 예측보다는 해석과 이해에 중점.
      • 클리포드 기어츠의 "Thick Description"은 해석적 사회 과학의 고전적 예로, 예측이 아닌 의미에 중점.
  • 철학적 논쟁:
    • 과학의 방법이 사회 생활 연구에 적용될 수 있는지 여부에 대한 철학적 논쟁.
    • 주요 질문:
      • 이론과 관찰의 관계는 무엇인가?
      • 사회 과학자는 연구 대상에 대해 도덕적 입장을 가져야 하는가?
      • 도덕적 입장이 연구자의 객관성을 훼손할 수 있는가?
  • 평가 이론에의 영향:
    • 실험 심리학과 정량적 사회학의 영향은 방법론 가지에 뚜렷하게 나타남.
      • 예: Robert Stake의 반응적 평가에는 인류학과 관련된 "thick description" 개념 포함.
    • 과학 철학에서 제기된 문제는 Michael Scriven의 평가 실천 및 학문에 대한 사고에 명백히 영향 미침.

Tree Roots: Epistemology

  • 패러다임 정의:
    • 패러다임은 세계관 또는 관점으로, 연구와 평가의 경우 방법론, 목적, 가정, 가치 등을 포함.
    • Mathison (2005)에 따르면, 패러다임은 존재론(실재의 본질), 인식론(무엇이 알 수 있으며 누가 그것을 알 수 있는가), 방법론(지식을 어떻게 얻을 수 있는가)으로 구성됨.
  • 인식론의 중요성:
    • 평가 이론에서 지식의 본질에 대한 논의를 다룸.
    • 평가 이론에 영향을 미치는 세 가지 주요 사상: 실증주의, 구성주의, 실용주의.
  • 실증주의에서 후기 실증주의로의 전환:
    • 실증주의:
      • 과학의 목표는 진리를 발견하는 것.
    • 후기 실증주의:
      • 과학의 목표는 진리를 측정하는 것이지만, 모든 관찰에는 오류가 있으며 완전한 진리는 도달할 수 없다고 봄.
      • 비판적 실재론: 진리의 완전한 이해에 접근할 수 있지만 완전히 도달할 수 없음.
      • 인과관계는 관찰 가능하며 예측자를 설정할 수 있지만, 항상 약간의 의심이 남음.
      • 가치와 편견은 과학적 탐구의 맥락에서 통제될 수 있음.
      • 이 생각은 Donald Campbell의 실험 평가와 방법론 가지의 다른 이론들에서 명백하게 드러남.
  • 구성주의:
    • 해석주의의 한 요소:
      • 단일한 실재가 아닌 여러 가지 구성된 실재가 존재함.
      • 주관성만이 실재로서, 개인의 신념 체계를 통해서만 미지의 것이 알려질 수 있음.
      • "알려진" 것은 각 개인의 과거 경험과 상황에 따라 다름.
      • "아는 자"와 "알려진 것"은 상호 연관됨.
    • 가치 연관성:
      • 탐구는 가치가 연관되며, 편견을 인정하고 고려하는 것이 더 나음.
      • 유도 논리가 규칙으로, 특정 사례를 통해 더 넓은 법칙을 추론하지만, 일반화보다는 지역적 관련성이 더 중요함.
      • 인과관계는 구별할 수 없으며, 모든 것은 상호 영향을 미침.
    • 진리 상대주의:
      • 절대적인 진리는 없으며, 모든 진리는 특정 참조 프레임에 상대적임.
      • 구성주의와 유사하게 진리의 개념을 제시.
  • 실용주의:
    • 객관성과 주관성을 연속선상의 두 위치로 보고, 연역적 및 유도적 논리를 함께 사용해야 한다고 주장.
    • 후기 실증주의 및 구성주의 패러다임의 공리를 동일하게 받아들이지 않음.
    • 외부 실재에 관한 개념에서는 후기 실증주의와 유사하지만, 다중 설명의 현실을 믿음.
    • 특정 시점에서 하나의 설명이 더 타당하다고 여김.

Tree Branches: Methods

연구의 시작과 초기 방법론

  • 초기 연구는 실증주의 및 후기 실증주의 연구 방법론이 지배.
  • 많은 평가 이론가들이 방법론적 관심을 가지고 있으며, 응용 연구를 프로그램 평가의 기원으로 봄.
  • 사회 과학에서 응용 연구는 잘 설계된 실험 연구와 기타 통제에 의존.
  • Donald Campbell (1957)의 초기 작업과 Campbell and Stanley (1966)의 실험 및 준실험 설계와 접근 조건에 관한 연구가 중요.

Objectives-Based Evaluation: Ralph Tyler

  • Ralph Tyler의 Eight-Year Study:
    • 현대 프로그램 평가의 주요 출발점 중 하나로 간주.
    • 많은 미래 평가 이론가들에게 영향을 미침.
    • Madaus and Stufflebeam (1989)는 Tyler의 아이디어를 인정:
      • 학습 성과의 분류, 간접 측정의 직접 지표 검증 필요성, 형성 평가 개념, 내용 숙달, 의사 결정 지향 평가, 기준 참조 및 목표 참조 테스트 등.
    • 평가의 목적은 프로그램 직원의 가설을 검증하는 것.
    • 교육 평가라는 용어를 1930년대에 처음 사용.
    • 목표와 실제 결과를 비교하는 절차를 설명.
  • Tyler의 Objectives-Based Evaluation:
    • 교육 목표를 명확히 하고 이를 주요 유형으로 분류.
    • 각 유형의 목표를 행동 용어로 정의하고 정제.
    • 학생들이 이러한 행동 유형을 보여줄 수 있는 상황 식별.
    • 각 목표 유형에 대한 증거를 얻기 위한 유망한 방법 선택 및 시도.
    • 초기 시도를 바탕으로 유망한 평가 방법 선택 및 개발.
    • 결과 해석 및 사용 수단 고안.
    • Bloom, Englehart, Furst, Hill, Krathwohl (1956)과 Krathwohl, Bloom, Masia (1964)가 인지적 및 정서적 영역의 교육 목표 분류법을 개발.
  • 객체 기반 평가의 지속적인 영향:
    • 수십 년간 교육에 강력한 영향을 미침.
    • 처음 출판된 "Evaluation Roots"의 트리 버전에서 위치가 변경됨.
    • 처음에는 교육 평가 분야에 큰 영향을 미친 접근법의 영향력을 반영하기 위해 위치가 정해졌으나, 방법론 가지에 대한 전체적인 영향이 처음 예상했던 것보다 작다고 판단되어 하위 가지로 재배치.

Experimental Methods: Donald Campbell

  • Donald Campbell:
    • Shadish와 동료들 (1991)은 Donald Campbell을 "실험하는 사회의 방법론자"라고 언급.
    • 현장 연구에서 편향 제거에 관한 선구적인 작업으로 유명.
    • 실험 및 준실험 설계에 대한 논문으로 평가 분야에서 잘 알려짐 (Campbell, 1957; Campbell & Stanley, 1966).
    • 실험 설계와 실용적인 준실험 설계에 초점을 맞추어 "인과 추론을 배제하는 많은 위협을 제거"하려 함 (Shadish et al., 1991, p. 122).
  • Campbell & Stanley (1966):
    • 실험적 및 준실험적 연구 설계:
      • 20세기에 출판된 학술 작품 중 사회 과학 연구에 큰 영향을 미침.
      • 세 가지 주요 영역을 발전시킴:
        1. 진정한 실험 연구를 수행하기 위해 필요한 조건을 설명하고 무작위 배정 강조.
        2. 실험이 적절히 통제되는 정도를 내부 타당성, 실험 결과의 적용성을 외부 타당성으로 정의.
        3. 실험이 완벽하지 않으며 널리 적용될 수 없음을 인정하고, 진정한 실험의 대안으로 준실험 설계를 자세히 설명.
    • 사회 과학의 변화:
      • Campbell과 Stanley (1966)는 실험 설계가 모든 연구 설계 중 가장 엄격하다고 간주.
      • 많은 맥락에서 실험이 실현 가능하거나 바람직하지 않음을 인정.
      • 실험의 대안으로 준실험 설계를 설명.
      • 무작위 배정이 항상 실현 가능하거나 윤리적이지 않은 상황에서 준실험 설계가 적용됨.
      • 준실험 설계는 실험의 무작위 배정이 없는 것이 특징.
  • Campbell과 Stanley의 영향:
    • 1966년 원고는 새로운 연구 설계 아이디어를 촉진하고, 거의 모든 사회 과학 연구 방법론 강좌의 기초가 됨.
    • 준실험 설계의 도입과 긍정적인 반응은 사회 과학 연구에 대한 대안적 사고를 더욱 수용할 수 있는 분위기를 조성.
    • Campbell (1975a, 1975b)은 질적 방법의 적절성에 관한 논문도 작성하였으나, 기본적으로 실험주의자였음.
    • 실험 방법은 방법론 가지의 기초를 이루며, 실험 설계, 준실험 설계, 타당성의 원칙은 다른 접근법의 기초와 대조점을 제공.
  • 다른 평가 접근법:
    • 사회 시스템 개선을 위한 평가 (Lee Cronbach), 목표 없는 평가 (Michael Scriven), 반응적 평가 (Robert Stake) 등 다른 접근법의 발전을 위한 대조점을 제공.

Randomized Field Experiments: Robert Boruch

  • 랜덤화 현장 실험:
    • 정책 분야에서 평가 질문을 다루기 위한 선호 접근법으로 간주.
    • Campbell과 Stanley (1966)의 원고 이후 몇 십 년 동안 Campbell은 많은 영향력 있는 평가 학자들과 훈련하고 협력함.
    • Robert Boruch는 평가에서 랜덤화 현장 실험의 강력한 옹호자.
    • Boruch (1997)는 연구 설계 간의 차이점을 설명:
      • 랜덤화 현장 테스트는 준실험과 다름.
      • 준실험 설계는 무작위 배정을 사용하지 않고, 다른 방법을 통해 치료 차이에 대한 경쟁 설명을 배제하려 함.
  • 평가와 과학적 연구의 유사성:
    • 체계적인 엄격한 랜덤화 연구 설계의 체계적인 적용이 사회 문제의 정도를 측정하고, 사회 개입 프로그램의 구현, 상대적 효과, 비용 효율성 비율을 평가하는 데 사용됨 (Boruch, Snyder, & DeMoya, 2000).
    • Boruch는 랜덤화 현장 실험이 사회 프로그램 효과의 가장 명확한 추정을 얻는 가장 효과적인 방법이라고 주장 (Boruch et al., 2000).
  • 랜덤화 실험의 절차:
    • 개별 또는 집단을 두 개의 치료 그룹 중 하나에 무작위로 배정.
    • 이 절차는 프로그램으로 인한 차이가 없는 경우 그룹이 통계적으로 동일하게 되도록 하여 평가의 내부 타당성을 극대화.
    • 랜덤화 실험은 그룹 간 공정한 비교를 보장하여 결과에서 우연의 역할에 대한 정당한 진술을 할 수 있음.
  • 사회적, 교육적, 복지 프로그램 연구:
    • Boruch (1997)는 모든 프로그램이 체계적으로 연구되어야 하며, 유효하고 신뢰할 수 있는 증거를 수집하기 위해 랜덤화된 통제 실험 방법을 사용해야 한다고 주장.
    • 실험 설계 접근법은 중요한 사회적 결과에 대한 변화의 순효과를 효과적으로 구별할 수 있도록 사회적 변화를 도입 가능 (Berk, Boruch, Chambers, Rossi, & Witte, 1985).
    • Berk와 동료들 (1985)은 랜덤화 현장 실험이 인과 추론을 조사하고 다른 대상과 설정으로 일반화하려는 목표가 있을 때 특히 유용하다고 주장.
  • 교육 연구에서의 랜덤화 실험:
    • "Evidence Matters: Randomized Trials in Education Research" (Mosteller & Boruch, 2002)는 교육 연구에서 효과적인 개입을 식별하기 위해 랜덤화 실험의 사용 증가를 주장.
    • 이 책은 National Research Council (2002)의 "Scientific Research in Education"과 동시에 출판되어 교육 연구에서 RCT(무작위 통제 시험)의 증가를 명시적으로 요청.
    • 이 두 출판물은 교육 연구에서 RCT를 위한 주요 주장을 제공하고, No Child Left Behind (2001) 법안 하에서 교육 연구 자금이 배정되는 방식을 형성하는 데 도움.
  • Campbell의 영향:
    • 랜덤화 현장 실험은 Campbell의 실험 설계에 대한 이론적 원칙에서 직접 파생됨.
    • Thomas Cook과 같은 Campbell의 다른 동료와 멘토는 준실험과 같은 다른 접근법을 더 강하게 옹호하거나 평가를 더 넓게 정의하려고 시도.

Quasi-Experimentation: Thomas Cook

  • 랜덤화 현장 실험:
    • 일부 사회 과학자와 정책 분석가에게 가장 엄격한 설계로 간주됨.
    • 그러나 Thomas Cook는 사회 및 교육 프로그램 평가 연구에서 맥락적 요인으로 인해 랜덤화 현장 실험을 구현하는 것이 불가능할 수 있다고 지적.
  • Quasi-Experimental Designs:
    • Campbell과 Stanley의 고전적 저서 "Experimental and Quasi-Experimental Designs for Research" (1966)은 대안으로 준실험 설계를 제시.
    • 준실험 설계는 현장 연구의 실험적 통제의 어려움을 다루며, 특히 무작위 배정 문제를 해결.
    • 일반적으로 준실험은 사전 및 사후 테스트를 포함하며 그룹을 비교하지만 무작위 배정을 포함하지 않음.
    • Cook과 Campbell (1976, 1979)은 Campbell과 Stanley의 초기 작업을 확장하여 새로운 준실험 설계를 제시하고 덜 인식된 내부 타당성 위협(예: 기각된 좌절)을 설명.
  • Campbell과 Cook의 견해 차이:
    • Campbell은 준실험 설계 사용을 옹호하는 자신의 입장에 갈등을 느껴 후에 준실험 설계 사용을 비판하고, 준실험 설계가 고전적 랜덤화 설계의 타당한 대안이라고 제안함으로써 불의를 저질렀다고 언급.
    • 그러나 Cook은 준실험 설계를 강력히 옹호하고 그 사용에 계속 집중하며 준실험 설계와 관련된 연구 분야를 발전시키는 데 큰 영향을 미침.
  • Cook의 기여:
    • Cook은 준실험과 관련된 여러 주요 영역에서 문제를 확장.
    • 방법론, 평가 연구, 사회 개혁에 대한 관심을 가지고 평가의 맥락적 요인과 이러한 요인이 준실험 연구의 구현에 미치는 방식에 대해 집중.
    • Cook은 당시의 다른 방법론 중심 이론 작가들과 달리 평가 질문을 결정할 때 이해관계자를 참여시키는 중요성을 인식.
    • 평가자들이 연구 질문을 형성할 때 의사 결정자나 기타 관심 있는 당사자들과 상담하지 않아 일반적인 프로그램 목표가 모호하거나 많은 잠재 사용자에게 중요하지 않다고 설명.
  • 이해관계자 참여:
    • Cook은 평가자들이 준실험을 구현할 때 이해관계자와 협력하여 평가에서 무엇을 조사해야 하는지 결정할 것을 제안.
    • Cook이 발전시킨 준실험 방법을 Campbell의 실험 방법을 따르는 위치에 배치하고, 사용 지점에 가까운 위치에 둠.

Emergent Realist Evaluation (ERE): Melvin Mark and George Julnes

개요:
Emergent Realist Evaluation (ERE)은 Gary Henry와 Melvin Mark의 George Julnes와의 협력을 통해 개발된 종합적인 평가 모델입니다. ERE는 사용, 방법론, 가치 평가에 대한 재개념화를 제안하며, 사회 개선을 평가의 주요 동기로 삼습니다.

 

주요 특징:

  1. 생성 메커니즘 연구에 우선순위 부여: ERE는 프로그램의 근본적인 메커니즘을 이해하는 데 중점을 둡니다.
  2. 다중 수준 분석: 다양한 분석 수준에 주의를 기울입니다.
  3. 혼합 방법 사용: 혼합 방법론이 적합합니다.

목적:
ERE는 프로그램의 원인적 연결을 식별하고 특정 프로그램 또는 프로그램 이론의 일반화 가능한 지식 기반을 향상시키는 것을 목표로 합니다. 이를 위해 작동하는 메커니즘과 작동하지 않는 메커니즘을 식별하는 연구 질문에 주로 초점을 맞춥니다.

 

이해관계자 가치 조사:

  • ERE 평가자는 이해관계자의 가치를 결정하여 평가가 대중 및 기타 관련 이해관계자가 가장 관심을 가질 프로그램 효과를 조사하는지 확인해야 합니다.
  • Henry (1996)는 다양한 이해관계자 그룹의 가치, 합의 및 갈등 영역을 이해하는 것이 민주적 정책을 촉진하는 데 도움이 된다고 주장했습니다.
  • 가치 조사를 위한 세 가지 방법:
    1. 가능한 이해관계자 조사 및 표본 추출
    2. 인터뷰 및 포커스 그룹과 같은 질적 방법을 사용하여 필요와 우려 사항 파악
    3. 철학적 관점에서 평가 맥락 분석, 형평성, 평등, 자유와 같은 문제에 초점

경쟁적 정교화와 원칙적 발견:

  • 경쟁적 정교화: 대안적 설명을 배제하는 과정으로, 대안적 프로그램 이론과 타당성 위협을 탐구합니다. 이는 프로그램 메커니즘에 대한 사전 지식과 관련 메커니즘을 실험적으로 테스트하는 연구 설계가 필요합니다.
  • 원칙적 발견: 실무자들이 경험적으로 테스트된 이론을 개발하기 전에 프로그램을 평가할 때 사용됩니다. 탐색적 데이터 분석, 그래프 방법, 회귀 분석 등의 접근 방식이 포함됩니다.

평가 영향력 연구 확장:
Mark와 Henry는 평가 영향력 연구로 이론적 작업을 확장했습니다. 평가 영향력은 개인, 대인 관계, 집단 수준에서 발생할 수 있으며, 각 수준은 특정 메커니즘, 측정 가능한 결과, 영향 형태로 설명됩니다.

 

사회 개선 강조:
ERE는 사회 개선을 강조하며 가치 지향적 접근 방식을 취하지만, 사회 과학 방법론 사용에 중점을 두기 때문에 Cook의 준실험 관점을 따르는 방법론 가지에 위치합니다.

Theory-Driven Evaluation: Huey-Tsyh Chen

개요:
Theory-driven evaluation(TDE)은 Huey-Tsyh Chen이 개발한 개념으로, 사회 과학 이론을 활용하여 프로그램 평가를 체계적으로 수행하는 접근법입니다. 이 접근법은 Peter Rossi와의 협력 작업을 포함하여 Chen의 주요 저서와 논문에서 제시되었습니다.

주요 특징:

  1. 이론 기반 모델 구축: TDE는 사회 과학 이론과 사전 지식을 활용하여 프로그램의 처리 과정과 실행 시스템의 모델을 구축합니다. 이를 통해 평가가 보다 효율적이고 원하는 효과를 달성하는 방법에 대한 정보를 제공할 수 있습니다.
  2. 실험적 패러다임 수용: TDE는 실험적 패러다임을 수용하지만, 사회적 개입의 이론적 모델 개발이 이를 보완해야 한다고 강조합니다. 이론에 대한 관심 부족은 프로그램의 좁고 왜곡된 이해를 초래할 수 있습니다.
  3. 잠재적 효과 및 부작용 식별: 프로그램 이론은 명시적 목표와 관련된 프로그램의 잠재적 효과를 식별하며, 이론 구성을 통해 프로그램의 부수적 효과와 의도하지 않은 결과도 탐색합니다.
  4. 내적 타당도와 외적 타당도의 조화: TDE는 내적 타당도와 외적 타당도 간의 긴장을 해소하려고 시도합니다. Chen은 이론에 근거한 평가가 각 타당도를 달성할 가능성을 높일 수 있다고 주장합니다.

주요 인용문:

  • "우리는 실험과 준실험을 지배적인 연구 설계로 받아들이지만, 이러한 장치들은 사전 지식과 이론을 활용하여 치료 과정과 구현 시스템의 모델을 구축하여 평가를 보다 효율적으로 만들고 원하는 효과를 달성하는 방법에 대한 정보를 제공해야 한다." (Chen & Rossi, 1983, p. 300)
  • "이론에 대한 관심 부족의 불행한 결과는 평가 연구의 결과가 종종 프로그램의 좁고 왜곡된 이해를 제공한다는 것이다." (Chen & Rossi, 1983, p. 284)
  • "Campbell과 Cronbach가 제기한 내적 타당도와 외적 타당도 간의 상충 문제에 대해 우리는 내적 타당도를 다루면서 다른 유형의 타당도를 심각하게 희생시켜야 한다는 문제를 확신하지 않는다." (Chen & Rossi, 1987, p. 97)

방법론적 기반:
TDE는 사회 과학 연구의 방법론적 전통과 프로그램 이론 개발을 위한 사회 과학 지식 및 이론의 사용을 중시하기 때문에 방법론 가지에 위치합니다.

사회 시스템 개선을 위한 평가: Lee J. Cronbach

  • 방법론적 기여:
    • 크론바흐의 알파 계수
    • 일반화 가능성 이론
    • 구성 타당성
  • 평가 접근법:
    • 방법론 및 사회 과학 연구에서 강한 뿌리를 두고 있어 방법론 가지에 위치함.
    • 실험적 접근법보다 더 넓은 평가 관점을 반영.
    • Ralph Tyler의 학생으로서 개선에 중점을 둠.
    • Carol Weiss의 영향을 받아 단일 의사 결정자와 "go/no-go" 결정 모델을 거부.
  • 정책 연구 초점:
    • "정책 형성 커뮤니티"에 초점을 맞춘 평가.
    • 잠재적인 정치적 조정을 필요로 함.
    • 즉각적인 도구적 사용보다 계몽을 위한 평가 활용에 더 중점을 둠.
  • 평가의 영역:
    • 단위(인구), 처치, 관찰(결과), 설정을 나타내는 기호를 사용하여 네 가지 영역 정의 (UTOS).
    • 외부 타당도가 주요 관심사로, 연구된 인구를 넘어선 결론의 타당성을 평가 (*UTOS).
  • 평가의 폭(bandwidth):
    • 소수의 문제에서 절대적 정확성(fidelity)을 달성하는 것보다 관련된 광범위한 문제에 중점을 둠.
    • 인과 설명 또는 질적 방법(두꺼운 서술)을 통해 *UTOS로의 일반화.
    • 하위 인구 집단(sub-UTOS)을 검사하여 다른 영역으로의 일반화를 강화.
  • 정책 형성 커뮤니티의 가치에 대한 민감성:
    • 평가자는 가장 중요한 평가 질문에 대한 의견을 반영해야 함.
    • 일반화에 기여하고 정책 형성 커뮤니티에서 가장 관련성 있는 문제를 다루는 데 초점.
    • 프로그램이 작동하는 이유를 명확히 하고 중요한 그룹 또는 미결정 그룹에 영향을 미침.
  • 평가자의 역할:
    • 평가자는 독자가 자신의 판단을 내릴 수 있도록 정보를 제공하는 교육자로 간주됨.
    • 개인적인 가치 체계를 프로그램에 강요하거나 프로그램에 대한 요약 판단을 내리지 않음.
    • Scriven의 철학자 왕, Campbell의 진리의 수호자, 또는 Wholey의 관리의 종과는 다름.
  • 평가 이론 트리에서의 위치:
    • 방법론 가지에 위치하며, 사용 가지 방향으로 기울어짐.
    • Carol Weiss의 정책 형성 커뮤니티를 위한 계몽 사용에 관한 글의 영향을 반영.

Tailored Evaluation: Peter Rossi

배경:

  • Peter Rossi는 영향력 있는 평가 교과서의 저자로 잘 알려져 있음.
  • 첫 번째 판 "Evaluation: A Systematic Approach" (Rossi, Freeman, & Wright, 1979)은 Campbell과 Stanley (1966)의 설계 고려사항에 크게 의존.
  • 8판 (Rossi, Lipsey, & Henry, 2019)까지 출판되었으며, 질적 데이터 수집, 평가 활용, 이해관계자의 역할 등 다양한 논의 포함.

초기 작업과 실험 설계:

  • Rossi의 초기 저작은 실험 설계의 사용을 강조.
  • 그러나 Rossi는 실험주의자로만 설명될 수 없음.
  • 사회 개입 프로그램의 개념화, 설계, 구현, 유용성을 평가하는 종합적 평가와 이론 기반 평가의 개념화에 크게 기여.

종합적 평가로의 전환:

  • 실험 모델에서 벗어나 종합적 평가 비전을 확장.
  • 구현, 사용, 내적 및 외적 타당성 문제에 관심을 가짐.
  • 비판에 대응하여 평가 초점을 정밀하게 하는 맞춤형 평가 접근법 개발.

맞춤형 평가 (Tailored Evaluation):

  • 프로그램의 단계에 맞춘 방법 사용을 제안.
  • 예: 이미 진행 중인 프로그램 평가 시 현재 작업에 집중.
  • 프로그램 이론을 상세히 기술하여 평가를 안내하는 접근법.
  • 내적 타당성과 외적 타당성을 조화시키는 방법으로 평가.

이론 기반 평가와의 연결:

  • Weiss와 Chen과 함께 이론 기반 평가의 기초적인 사고 제공.
  • 이 접근법은 포괄적 평가의 특정 유형으로 볼 수 있음.
  • Campbell의 실험 평가와 Cronbach의 사회 시스템 개선을 위한 평가를 융합하여 프로그램 모델을 통해 내적 타당성을, 유사점과 차이점을 조사하여 외적 타당성을 다룸.

평가의 다면적 관점:

  • Shadish와 동료들 (1991)은 종합적 평가가 다면적이고 광범위한 관점을 제시한다고 언급.
  • 최신판 (Rossi et al., 2019)은 광범위한 청중의 관심을 끌기 위해 다양한 평가 가능성을 포괄적으로 보여주는 데 중점을 둠.

Evidence-Based Policy Use: Carol Weiss

Carol Weiss의 기여 및 영향:

  • 중요한 개념의 정립 및 방어:
    • 개념적 사용: 이해를 위한 사용 (Weiss, 1979, 1981).
    • 계몽적 사용: 더 미묘하고 간접적인 장기적 사용 (Weiss & Bucuvalas, 1980).
    • 강제된 사용: 연방 자금 지원 기관이 과학적 성공 증거를 보고한 프로그램만 운영하도록 요구 (Weiss, Murphy-Graham, & Birkeland, 2005; Weiss et al., 2008).

증거 기반 정책 결정:

  • 주장: 증거 기반 정책 결정을 위한 더 많은 증거 기반 정책 형성 필요.
  • 결론: 가장 효과적인 평가는 시간이 지나도 유효한 평가, 즉 엄격한 방법을 사용한 일반화 가능한 평가.

초기 작업 및 영향:

  • 영향받은 이론가: 연구 방법론자, 정치 이론가, 민주적 사고를 설명한 학자들 (예: Rousseau, Federalist Papers).
  • 평가와 연구의 연관성: 평가를 철저히 수행된 연구와 유사하게 보는 입장.

평가의 정치적 맥락:

  • 정치적 활동으로서의 평가:
    • 프로그램은 정치적 힘에 의해 창조되고 유지됨.
    • 정부의 상위 계층은 정치에 깊이 연루됨.
    • 평가 행위 자체가 정치적 의미를 가짐.
  • 결정 축적 (Decision Accretion): 작은 선택의 축적, 작은 옵션의 폐쇄 및 대안의 점진적 축소가 결정에 영향을 미침 (Weiss, 1976).

평가 연구의 지속 가능성:

  • 평가 연구의 특성: 장기적으로 신뢰할 수 있는 연구의 특성 연구.
  • 연구 품질 강조: 조직 내 논쟁에서 연구를 탄약으로 사용하기 위해 높은 연구 품질이 중요 (Weiss & Bucuvalas, 1980).

평가의 개념적 및 계몽적 사용:

  • Weiss의 견해: 평가의 가장 큰 기여는 개념적 또는 계몽적 사용.
  • 연구 방법론 중시: 전통적 과학적 엄격함과 사용 사이에서 전자를 선택 (Shadish et al., 1991).

Valuing

가치 평가 (Valuing) 접근법:

  • 인식론 (Epistemology)에서 기원: 평가 과정에서 가치 평가에 관련된 문제에 집중하는 평가 접근법의 한 갈래.
  • 사실과 가치의 구분:
    • 18세기 스코틀랜드 철학자 David Hume에 의해 구분됨.
    • 두 번째 근원인 사회적 탐구에서 사실과 가치를 엄격하게 구분하여 다룸.
    • Greene (2009)는 진리(또는 사실)가 특정 시간과 장소에서 사람들이 구성하는 의미에 의해 안내된다고 주장하는 구성주의적 관점 제시.

주요 이슈:

  • 가치 주장 정당성: House와 Howe (1999)에 의해 설명됨.
  • 보편적(정당화 가능한) 주장: 보편성과 그 정당성에 대한 논의.
  • 구성주의적 관점: 진리나 사실이 특정 맥락에 따라 달라진다는 주장.

철학적 이론 반영:

  • 분류: 평가 접근법을 더 잘 반영하기 위해 두 갈래로 분리.
    • 객관주의적 영향: 방법론적 접근으로 향하는 왼쪽 팔.
    • 주관주의적 영향: 다른 방향으로 향하는 오른쪽 팔.
    • 영향의 사용: 여기서 '영향'이라는 단어 사용을 강조.

기반 이론:

  • 목표 없는 평가 (Goal-Free Evaluation): Scriven (1967, 1972a).
  • 응답적 평가 (Responsive Evaluation): Stake (1967, 1974).
    • 두 이론은 개념적 기반 및 실천 절차 측면에서 평가 분야에 큰 영향을 미침.

상대주의 및 주관주의 철학:

  • 철학적 입장: 인간 활동이 물리적 세계와는 다르며, 현실은 지속적이고 동적인 과정이라는 주장.
    • Scriven의 가치 평가와 차이점: 상대주의 또는 주관주의 철학을 옹호하며, 인간 활동의 동적 특성을 강조.

Stake의 기여:

  • Stake (1967): 교육 평가의 외관(The Countenance of Educational Evaluation)에서 주관주의적 사고를 제시.
  • Stake (1974): 프로그램 평가, 특히 응답적 평가(Program Evaluation, Particularly Responsive Evaluation)에서 사전 평가(preordinate evaluation)를 명시적으로 거부.
    • 사례 연구를 사용하여 평가 대상의 복잡성과 개인적 관계를 포착하고 평가 대상의 가치를 판단하는 응답적 접근을 주장.
  • 초기 주관주의적 개념화: Stake의 초기 주관주의적 평가 접근법 개념은 평가 연구에서 복잡성, 대화, 의미에 주목하는 다른 학자들에게 중요한 영향을 미침.

Goal-Free Evaluation: Michael Scriven

Michael Scriven의 목표 없는 평가 (Goal-Free Evaluation):

  • 개념: 평가자가 프로그램의 목표를 출발점으로 삼지 않고, 평가할 프로그램 결과를 직접 결정하는 방식.
  • 핵심 요소: 프로그램의 성과와 성취되지 않은 부분을 더 잘 파악하기 위함.
  • 단일 가치 판단: 프로그램의 가치를 “좋다” 또는 “나쁘다”로 단일하게 판단.
    • 이는 여러 결과 판단을 하나의 가치 판단으로 종합하는 것을 요구.

방법론:

  • 니즈 기반 평가: 프로그램이 사회와 개인의 필요를 얼마나 충족시키는지를 평가.
    • Shadish et al. (1991): Scriven의 평가 개념이 필요의 정의에 의존한다고 주장.
    • 이해관계자 의견 반영 부족: 이해관계자의 의견을 직접 반영하지 않음으로써 정책 결정에 평가 결과를 활용하는 데 한계가 있음.

철학적 배경:

  • 철학, 수학, 수리 논리학 훈련: 이러한 배경을 통해 신뢰할 수 있는 무편견 판단을 할 수 있다고 확신.

주요 기여:

  • 평가자의 역할: 평가자가 가치 판단을 명확히 정의.
    • 사회적 요구: 사회는 가치를 판단할 필요가 있으며, 평가는 가치 판단의 과학이라고 주장.
    • 공공 이익 봉사: 평가자는 공공의 이익을 위해 봉사해야 함. 이는 모든 잠재적 소비자를 포함.

Consumer Reports와의 유사성:

  • 비교 기준 설정: 평가자가 판단 기준을 설정하고 이를 공개.
  • 경쟁 대안 식별: 평가 대상과 유사한 다른 대안도 평가.

MO (Modus Operandi) 방법:

  • 원인 프로파일링: 범죄 행위를 프로파일링하는 절차와 유사.
    • 잠재적 원인 목록: 평가자는 잠재적 원인의 목록을 작성하고, 사건의 연쇄를 따져 실제 원인을 결정.
    • 정확성 및 편향 통제: 공동 원인(co-causation)과 과잉 결정(over determination)을 고려하여 평가.

평가의 초과학성:

  • 초학문(transdiscipline): 평가가 자체의 독특한 지식 기반을 가지고 있으면서 다른 학문을 도구로서 지원.
    • 알파 학문: 논리학 및 통계학과 마찬가지로 모든 학문이 평가 과정을 통해 가치를 판단한다는 주장.

평가의 중심 요소로서의 가치 평가:

  • 객관주의적 영향: Scriven의 접근법은 가치 평가를 평가의 중심 요소로 자리 잡게 함.
    • 평가 분야의 발전: 그의 사상은 평가 분야에서 가치 평가의 중요성을 강조하는 방향으로 나아감.

Educational Connoisseurship: Elliott Eisner

Elliott Eisner의 교육적 감식안 (Educational Connoisseurship):

  • 개념 소개: 1976년 Journal of Aesthetic Education에서 처음으로 소개됨. 이후 여러 저서와 논문을 통해 확장됨 (1985, 1991a, 1991b, 1998).
  • 전통적 평가 비판: 표준화된 테스트나 기준참조 테스트와 같은 심리학적 원칙에 기반한 교육 결과에 초점을 맞춘 전통적 평가 방법을 비판.
    • 기술적 과학주의 (Technological Scientism) 거부: 실험적 및 준실험적 설계를 사용하는 연구 모델의 과도한 사용 거부.
    • 정량적 방법의 한계: "중요한 것들"은 정량적으로 측정될 수 없다고 주장. 정량적 기법은 유용한 정보를 제공할 수 있지만, 평가에는 정교하고 해석적인 지도가 필요함.

평가 이론의 핵심 개념:

  • 감식안 (Connoisseurship)과 비평 (Criticism):
    • 감식안: 무엇을 보고 있는지에 대한 지식, 미묘한 차이를 구별할 수 있는 능력, 경험을 이해하는 능력.
      • 감식가: 보는 것, 듣는 것, 이미지나 텍스트를 읽는 법을 배우고, 그 결과로 작업의 품질을 더 많이 경험할 수 있는 사람.
    • 비평: 경험을 대중에게 알리는 과정.
      • 비평의 첫 번째 차원 - 비평적 기술 (Critical Description): 평가자가 감각을 사용하여 이벤트, 반응, 상호작용 등을 묘사.
      • 비평의 두 번째 차원 - 기대 (Expectation): 평가자가 본 것을 이해하려고 시도하고, "이것의 의미는 무엇인가?"를 묻는 것.

비평 과정에서의 가치 판단:

  • 지각의 선택성: 감식가는 모든 것을 묘사하지 않고, 중요한 요소를 선택하여 묘사.
    • 교육적 비평의 중요 요소: "무엇이 발생하고 있는지의 교육적 중요성에 대한 가치 판단을 내리는 것이 교육 비평의 중요한 특징 중 하나" (Eisner, 1991b, p. 176).

평가자의 역할:

  • Eisner와 Scriven의 공통점: 평가자가 프로그램의 최종 가치를 결정하는 전문가로 간주됨.
    • 차이점: Eisner는 평가자가 평가 주제 영역 (예: 교육, 공중 보건)에 대한 전문 지식, 감식안, 경험에 기반하여 프로그램의 가치를 판단할 권한이 있다고 주장.

평가의 위치:

  • 객관주의적 측면: 교육적 감식안은 주로 질적 측정을 강조하지만, 정량적 측정도 포함하는 강렬한 관찰을 사용하여 가치 부여의 객관주의적 측면에 위치함.

Cost Analyses: Henry Levin

개요:

  • 중요성: 비용 분석은 프로그램의 전반적인 가치를 평가하기 위한 핵심 영역. 경제학 기반 전략을 통해 프로그램이나 정책의 가치를 결정.
  • Henry Levin: 수십 년 동안 비용 분석을 개발, 촉진 및 사용하는 교육 정책 연구자 및 평가자.

비용 분석의 목적과 적용:

  • 프로그램의 계획 단계:
    • 비용 추정: 프로그램의 잠재적 비용을 예측하고 실행 가능 여부를 평가.
  • 진행 중인 프로그램:
    • 비용 추적: 진행 중인 프로그램의 비용을 추적하여 관리.

비용 효과 분석 (Cost-Effectiveness Analysis):

  • 목표 달성: 여러 프로그램 중 목표를 가장 경제적으로 달성하는 프로그램 결정.
  • 비용 대비 성과: 동일한 비용을 지출한 여러 프로그램 중 가장 큰 성과를 내는 프로그램 결정.

비용-편익 분석 (Cost-Benefit Analysis):

  • 사회적 및 경제적 영향: 프로그램의 비용을 클라이언트 또는 사회에 미치는 금전적 영향(또는 편익)과 비교하여 평가.

비용 분석의 준비 단계:

  • 비용 정의: 비용이 어떻게 정의되는지, 어떤 비용이 중요한지, 이를 평가하는 최선의 방법에 대해 고려.
  • 전략 선택: 비용 분석 전략이 다를 수 있으므로, 평가자와 이해 관계자가 필요한 것을 명확히 하고 각 전략이 어떻게 작동하는지 이해하는 것이 중요.

위치 및 분류:

  • 가치 부여 분기: 비용 분석 접근법은 특정 방법론적 접근을 사용하여 프로그램의 객관적 가치 판단을 알리는 방법으로서 가치 부여 분기에서 방법론 분기로 향하는 방향에 위치.

Levin의 기여:

  • 비용 분석 전략 개발: 프로그램 실행 전과 실행 중 비용을 결정하는 경제학 기반 전략 제공 (Levin, 2005; Levin & McEwan, 2001).
  • 프로그램 평가에의 적용: 비용-효과 분석과 비용-편익 분석을 통해 프로그램의 경제적 가치를 평가하는 절차 제시.

주요 참고문헌:

  • Levin, H. M. (2005). "Cost-Effectiveness Analysis: Methods and Applications."
  • Levin, H. M., & McEwan, P. J. (2001). "Cost-Effectiveness Analysis: Methods and Applications."

Responsive Evaluation: Robert Stake

개요:

  • 로버트 스테이크 (Robert Stake): 평가 분야의 초기 개척자 중 한 명으로, '응답 평가(Responsive Evaluation)' 개념의 창시자.
  • 주요 저작: 'The Countenance of Educational Evaluation' (1967), 'Program Evaluation, Particularly Responsive Evaluation' (1974), 'Case Studies in Science Education' (1979) 등이 있음.
  • 핵심 신념:
    1. 절대적인 참된 가치는 없다 (지식은 맥락에 따라 다름).
    2. 이해관계자의 관점은 평가의 필수적인 요소.
    3. 사례 연구는 이해관계자의 신념과 가치를 나타내고 평가 결과를 보고하는 가장 좋은 방법.

반응적 평가의 개념:

  • 사례 연구: 평가 대상에 대한 '두꺼운 서술(thick description)'을 제공하는 필수 방법. 사례 연구는 평가 대상의 질을 결정하는 데 필요한 증거를 구축하는 것만큼이나 초기 품질 인식을 다듬는 작업과도 관련.
  • Stake의 견해:
    • 관찰과 판단의 일체성: 평가 대상에 대한 관찰과 판단은 같은 행위의 일부.
    • 평가자의 역할: 이해관계자의 의견을 듣고, 협의하고, 때로는 협상하지만, 주기적으로 비민주적으로 이해관계자의 이익을 결정하는 것이 평가자의 임무.
    • 가치 합의: 이해관계자 간의 가치 합의는 발견되어야 하며, 평가자가 존재하지 않는 합의를 창출해서는 안 됨.

Stake와 이해관계자의 참여:

  • Stake는 많은 평가 과정에서 이해관계자의 참여에 반대하고, 평가가 평가자의 임무임을 주장.
  • 평가자의 역할은 참여자의 의견을 듣고, 평가의 결정을 내리며, 새로운 데이터를 제공하여 독자와 클라이언트가 자체 판단을 내릴 수 있도록 하는 것.

반응적 평가의 위치 및 영향:

  • 평가 이론 나무에서의 위치: 반응적 평가는 '가치 부여(valuing)' 분기에 위치.
  • 영향: Stake의 접근법은 이해관계자의 참여와 평가 과정에서의 가시성에 주목하여 다양한 평가 이론에 큰 영향을 미침.
  • 비교: '사용 이론(use theories)'와 달리 응답 평가는 이해관계자의 포함 동기가 사용 촉진에 중점을 두지 않음. 응답 반응적 주관주의적 논거는 Guba와 Lincoln의 '제4세대 평가(fourth-generation evaluation)' 접근법에서도 나타남.

주요 참고문헌:

  • Stake, R. E. (1967). "The Countenance of Educational Evaluation."
  • Stake, R. E. (1974). "Program Evaluation, Particularly Responsive Evaluation."
  • Stake, R. E., Easley, J. A., & Anastasiou, L. (1979). "Case Studies in Science Education."
  • Abma, T. A., & Stake, R. E. (2001). "Stake's Responsive Evaluation: Core Ideas and Issues."

Deliberative Democratic Evaluation: Ernest House

개요:

  • 어니스트 하우스 (Ernest House): 평가 분야에서 중요한 역할을 한 연구자로, 평가가 자원 할당을 결정하는 데 있어 중요한 정보를 제공해야 한다고 주장.
  • 주요 저작: 하우스는 'Deliberative Democratic Evaluation' 접근법을 통해 평가가 사회 정의를 촉진해야 한다고 주장.

핵심 개념:

  • 비판: 하우스는 공리주의(utilitarianism) 프레임워크를 비판하며, 이는 정책이 대안 중 최대의 총 행복을 촉진할 때 도덕적으로 옳다는 이론임.
  • 사회 정의: 하우스는 사회 정의를 추구하는 데 있어 이해관계자들에게 응답하는 것이 기존의 평가 개념보다 우수하다고 주장.
  • 평가자의 역할: 평가자는 이해관계자 중에서 가장 들리지 않는 목소리를 우선시해야 한다고 주장.

John Rawls의 정의 이론:

  • 비가치 중립성: 하우스는 평가가 결코 가치 중립적일 수 없으며, 사회 정의의 방향으로 기울어야 한다고 주장.
  • 평가자의 임무: 다양한 이해관계자의 필요와 입장을 이해하고, 특히 권력이 없는 사람들의 필요를 이해하는 것.
  • 균형 잡기: 평가자는 수집된 정보와 자신의 사회 정의 인식을 균형 있게 결합해야 함.
  • 윤리적 오류: 하우스는 평가에서 클라이언트주의, 계약주의, 관리주의, 방법론주의, 다원주의/엘리트주의, 상대주의를 '윤리적 오류'로 언급하며, 이들은 평가의 이론적 목표와 일치하지 않음을 강조.

평가의 세 가지 기준:

  1. 포함 (Inclusion): 평가에서 권력이 있는 이해관계자들의 편향을 해결하고, 권력이 있는 자와 없는 자 모두를 평가에 참여시키는 것.
  2. 대화 (Dialogue): 이해관계자들의 기여가 잘 고려되고 정직하게 평가될 수 있도록 하는 것.
  3. 심의 (Deliberation): 각 기여를 저울질하여 정확한 결론을 도출하는 것.

평가와 가치:

  • 가치-사실 연속체: 사실과 가치는 상호 배타적이지 않으며, '명백한 사실'과 '단순한 가치' 사이에 중간 지대가 있음.
  • 평가 과정: 초기 대화를 통해 수집된 선호와 가치를 바탕으로 민주적 원칙에 따른 심의를 거쳐 평가적 사실 진술로 나아가는 것.

사회 정의와 평가:

  • 평가의 영향: 하우스는 평가가 권력과 사회 구조에 영향을 미치며, 억압적인 구조를 유지하거나 바꿀 수 있음을 인정한 첫 이론가로 평가됨.
  • 사회 정의 촉진: 하우스의 이론적 접근은 평가가 사회 정의를 촉진해야 함을 강조.

주요 참고문헌:

  • House, E. R. (1991, 1993). "Evaluating with Validity" and "Professional Evaluation: Social Impact and Political Consequences."
  • House, E. R., & Howe, K. R. (1999). "Values in Evaluation and Social Research."

Values-Engaged Evaluation: Jennifer C. Greene

개요:

  • 제니퍼 C. 그린 (Jennifer C. Greene): 평가가 프로그램의 가치를 결정하는 데 사용되어야 하며, 프로그램의 가치를 결정하기 위한 일련의 기준에 대한 합의를 도출해야 한다고 주장.

핵심 개념:

  • 가치 참여 평가 (Values-Engaged Evaluation): 평가가 프로그램의 맥락에 반응하고, 모든 관련 이해관계자의 관점과 가치를 고려하며, 사회적 및 관계적 측면을 강조해야 한다는 접근법.
  • 주요 요소:
    • 맥락 반응성: 평가 설계는 프로그램의 맥락에 맞춰 개발됨.
    • 민주적 참여: 모든 정당한 이해관계자의 관점과 가치를 고려, 특히 평가 과정에서 소외된 사람들을 중요시.
    • 사회적 관계적 측면: 평가 실천에서 사회적 및 관계적 차원에 주목.

Stake와 House의 영향:

  • 반응적 평가 (Responsive Evaluation): Stake (1975, 2005)에서 비롯된 요소들.
  • 심의적 민주주의 평가 (Deliberative Democratic Evaluation): House & Howe (1999)에서 비롯된 세 가지 기준인 포괄성, 대화, 심의를 포함.
  • 참여 평가 (Participatory Evaluation): 이해관계자의 참여를 중시하는 점에서 유사.
  • 혼합 방법론 (Mixed-Methods Designs): 평가에서 혼합 방법론과 현장 연구의 사용.

이해관계자 관점 포함의 세 가지 정당화:

  1. 실용적 정당화 (Pragmatic Justification):
    • 이해관계자 참여는 평가 활용도와 조직 학습의 가능성을 증가시킴.
  2. 해방적 정당화 (Emancipatory Justification):
    • 이해관계자의 기술과 기여를 인정하고 그들을 사회적 변화의 주체로서 권한을 부여하는 것.
  3. 심의적 정당화 (Deliberative Justification):
    • 프로그램 또는 정책 대화에 모든 관련 이해관계자를 포함시켜 공정성과 평등의 민주적 원칙 및 대화적이고 심의적인 민주적 담론에 기반을 둔 대화를 보장해야 한다는 것.

그린의 주장은 다음과 같다:

  • 평가가 교육적 결과의 가치를 표면화하고 정당화하는 데 사용될 수 있으며, 이해관계자를 공유된 가치 이해로 이끌 수 있다.
  • 평가자는 편견을 줄이고 연구 결론을 알리기 위해 관련되고 중요한 이해관계자의 관심사, 가치, 관점을 포함시켜야 한다 (House & Howe, 2000).

주요 참고문헌:

  • Greene, J. C. (2000). "Understanding Social Programs through Evaluation."
  • Greene, J. C. (2005). "Evaluation, Democracy, and Social Change."
  • House, E. R., & Howe, K. R. (1999). "Values in Evaluation and Social Research."

결론:

  • 가치 참여 평가: 제니퍼 그린의 접근법은 적응적 평가와 심의적 민주주의 평가의 영향을 받았으며, 평가가 맥락에 반응하고 다양한 이해관계자의 관점을 통합하여 사회 정의를 촉진해야 한다는 점을 강조합니다. 이 접근법은 평가 실천에서 편견을 줄이고 공정성을 보장하는 데 중점을 둡니다.

Culturally Responsive Evaluation (CRE): Rodney Hopson

개요:

  • 문화적으로 반응하는 평가 (CRE): 프로그램의 문화적 맥락을 평가 설계 및 과정에 통합하는 접근법.

핵심 개념:

  • 문화적 맥락: 프로그램 커뮤니티의 인구 통계적 특성을 넘어서는 개념.
    • 사회 구조 인식: 인종, 계급, 성별 등의 시스템이 연구에 참여하는 사람들에게 미치는 영향을 인식해야 함 (SenGupta, Hopson, & Thompson-Robinson, 2004).
  • 교차 문화적 맥락: 평가자, 펀더, 프로그램 이해관계자가 서로 다른 문화적 배경을 가지고 있는 경우가 많음.
    • 문화적 관점 통합: 평가자는 커뮤니티에 특정 문화적 관점을 강요하기보다는 프로그램의 문화적 맥락을 이해하고 통합해야 함.

문화적 책임 평가의 원칙과 실천:

  • 평가자의 자기 인식: 평가자는 자신의 위치, 권력, 특권이 평가 실천에 미치는 영향을 검사해야 함 (American Evaluation Association, 2011).
  • 문화적 가치와 신념의 형성: 문화가 가치와 신념을 형성하기 때문에, 프로그램의 가치를 진정으로 대표하려면 평가가 프로그램의 문화적 맥락에 반응해야 함 (SenGupta et al., 2004).

실천 방법:

  • 이해관계자의 참여: 평가 과정 전반에 걸쳐 프로그램 이해관계자를 참여시킴.
    • 평가 질문 작성: 이해관계자와 함께 평가 질문 작성.
    • 방법론 개발: 평가 방법론 개발에 이해관계자 참여.
    • 성공의 측정 기준 결정: 평가의 성공 기준 결정에 이해관계자 참여.
    • 소외된 인구 포함: 덜 들리는 목소리, 예를 들어, 소외된 인구 및 취약 계층의 이해관계자를 포함해야 함 (Hood et al., 2015).

결과:

  • 문화적으로 일관된 평가: 평가 설계의 유연성을 통해 커뮤니티의 가치를 반영하는 평가가 이루어짐.
    • 인식론적 접근: 평가 방법론은 단일한 진리 개념을 거부하고, 커뮤니티의 역사적, 사회적, 문화적 맥락에서 지식을 이해해야 함.
    • 권력 관계 대응: 평가 과정에서 커뮤니티의 지식을 소외시키거나 제외하는 불평등한 권력 관계에 대응할 수 있는 평가 방법론 사용 (Tillman, 2002).

유효성 및 유용성:

  • 커뮤니티와 일치하는 연구: 문화적 통합을 통해 연구 결과가 커뮤니티의 가치와 목표에 부합하게 됨.
    • 유효성 증가: 연구 결과의 유효성과 커뮤니티에 대한 유용성이 증가됨 (Kirkhart, 2010; Trickett & Espino, 2004).
  • 공평성 촉진: 평가를 공평성을 촉진하는 도구로 사용하고자 함 (American Evaluation Association, 2011).

주요 참고문헌:

  • Hood, S., Hopson, R., & Kirkhart, K. (2015). "Culturally Responsive Evaluation."
  • SenGupta, S., Hopson, R., & Thompson-Robinson, M. (2004). "Cultural Context in Evaluation."
  • Tillman, L. C. (2002). "Culturally Sensitive Research Approaches."
  • Kirkhart, K. (2010). "Evaluation for Social Equity."
  • Trickett, E. J., & Espino, S. L. (2004). "Culturally Sensitive Evaluation."

결론:

  • 문화적 책임 평가: Rodney Hopson과 Stafford Hood의 문화적으로 반응하는 평가 접근법은 프로그램의 문화적 맥락에 맞춰 평가를 설계하고, 다양한 이해관계자의 관점을 통합하며, 사회적 정의를 촉진하는 데 중점을 둡니다. 이 접근법은 평가가 커뮤니티의 가치와 목표에 부합하게 하여 결과의 유효성과 유용성을 높입니다.

Transformative Evaluation: Donna Mertens

개요:

  • 포괄적/변혁적 평가 (Inclusive/Transformative Evaluation): Donna Mertens가 제안한 이 평가 접근법은 네 번째 세대 평가(fourth-generation evaluation)와 숙의적 민주주의 평가(deliberative democratic evaluation)의 원칙에 강하게 기반을 두고 있으며, 문화적 관련성을 주요 강조점으로 합니다.

핵심 개념:

  • 다양성 강조: 다양한 집단의 포함과 억압적 시스템에 대항하는 의도적 작업을 통해 형평성을 촉진.
  • 변혁적 패러다임: 네 가지 철학적 가정을 포함:
    • 실재의 본질: 현실의 본질
    • 지식의 본질 및 연구자와 커뮤니티 간의 관계: 지식의 본질과 연구자와 커뮤니티 간의 관계
    • 탐구의 본질: 탐구의 본질
    • 윤리의 본질: 사회 정의 및 인권과 관련 (Mertens & Hesse-Biber, 2013).

평가자의 역할:

  • 소외 집단의 포함: 평가자는 의사 결정자가 아니라 소외된 집단을 포함시키는 역할을 함 (Mertens, 2009).
  • 문화적 반응성 및 불평등 문제 해결: 문화적으로 반응하며 불평등을 해결하고 억압에 관한 지식을 제공하며, 모든 이해관계자 집단의 요구에 맞는 방법 설계.
  • 신뢰 관계 구축: 이해관계자와의 신뢰 관계 구축 및 평가 역량 강화.

평가 계획 단계의 질문:

  • 다양한 집단의 포함:
    • "우리는 다양한 능력, 연령, 계층, 문화, 민족성, 성 정체성, 가족, 소득, 언어, 위치, 인종 및 성 정체성을 가진 사람들을 포함하고 있는가? 다양한 사람들을 배제하는 장벽은 무엇인가?"
  • 억압적 시스템의 역할 및 대처:
    • "기존의 억압적 시스템이 평가에서 어떤 역할을 할 수 있는가? 권력 차이를 해결하고 풀뿌리 지식을 가치 있게 만들기 위해 어떻게 대처할 수 있는가?"
  • 다양한 집단을 위한 적절한 데이터 수집 전략 선택:
    • "다양한 집단을 위한 적절한 데이터 수집 전략을 선택했는가? 선호하는 의사소통 방식을 제공하고 있는가?"

포괄적/변혁적 평가의 목표:

  • 편견 억제: 편견을 억제하는 방식으로 프로그램의 전체 맥락에서 평가를 수행.
  • 사회 변혁: 현상 유지에 도전하고, 지역 및 글로벌 평가를 통해 사회를 변혁하는 것을 목표로 함.
    • Chelimsky의 인용: "현상 유지에 도전하는 것은 우리의 가장 중요한 임무이며 우리의 작업을 정당화하는 최고의 이유입니다" (Mertens, 1999, p. 2).

주요 참고문헌:

  • Mertens, D. M. (1999). "Inclusive Evaluation: Implications of Transformative Theory for Evaluation."
  • Mertens, D. M. (2009). "Transformative Research and Evaluation."
  • Mertens, D. M., & Hesse-Biber, S. (2013). "Mixed Methods and Credibility of Evidence in Evaluation."

결론:

  • 포괄적/변혁적 평가: Donna Mertens의 포괄적/변혁적 평가 접근법은 평가 과정에서 다양한 집단의 포함을 통해 사회 정의를 촉진하고, 억압적 패러다임에 대항하며, 평등을 증진하고자 합니다. 평가자는 이해관계자와 협력하여 신뢰를 구축하고, 평가 역량을 강화하며, 불평등과 편견을 해결하는 평가 방법을 설계해야 합니다.

Indigenous Evaluation: Fiona Cram and Jill Chouinard

개요:

  • Indigenous Evaluation: 이 접근법은 문화적 대응 평가(culturally responsive evaluation)에서 발전하여 원주민 커뮤니티의 특정 요구를 다루기 위해 만들어졌습니다. 이 접근법은 원주민의 식민지 경험, 주권 국가로서의 정치적 지위, 그리고 자결권을 인정하는 것을 포함합니다.

역사적 배경:

  • 식민주의와 연구의 역사: 과거의 연구 및 평가 작업은 원주민 커뮤니티에 혜택을 주지 못하고, 결핍 렌즈를 사용하거나 문화적으로 부적절한 프레임워크를 강요하며, 비윤리적인 관행을 사용하여 원주민을 잘못 대표하고 착취했습니다 (LaFrance & Nichols, 2010; Smith, 2012).

주요 개념:

  • 커뮤니티 참여: 원주민 평가 접근법은 커뮤니티 참여, 문화적 생명력, 평가 역량 구축을 중심으로 합니다 (Chouinard & Cram, 2020).
  • 강력한 관계 구축: 평가자는 커뮤니티 구성원들과 긴밀히 협력하여 평가 과정 전반에 걸쳐 그들의 지식을 통합하고 신뢰성을 구축합니다 (Kovach, 2010).
  • 윤리적 책임: 평가자는 커뮤니티에 대해 "관계적으로 책임 있는" 방식으로 평가를 개발해야 하며, 이는 과정의 각 단계에서 이해관계자의 통찰을 구하는 것을 의미합니다 (Bowman-Waapalaneexkweew, 2018).

평가 과정:

  • 사전 협의: 평가가 시작되기 전에 커뮤니티 구성원들과 협의하여 그들의 목표, 기대, 참여 의사를 확인합니다 (LaFrance, Nichols, & Kirkhart, 2012).
  • 지속적 참여: 평가 과정 전반에 걸쳐 이해관계자를 참여시키며, 이는 평가의 방향을 결정하고 계약이 끝난 후에도 평가 노력을 지속할 수 있는 지식과 기술을 개발하는 데 중요합니다 (Robertson, Jorgensen, & Garrow, 2004).

참여적 평가 및 권한 부여 평가:

  • 참여적 평가 및 권한 부여 평가: 이 방법들은 원주민 접근법과 밀접하게 관련되어 있으며, 커뮤니티가 평가의 방향을 결정하고 평가 노력을 계속할 수 있는 지식과 기술을 개발하는 데 중점을 둡니다.

결론:

  • 탈식민주의 및 자결 노력: 원주민 평가 접근법은 식민주의에 도전하고 자결 노력을 지원하는 평가를 개발하는 데 필수적입니다.

주요 참고문헌:

  • Bowman-Waapalaneexkweew (2018)
  • Chouinard, J. A., & Cram, F. (2020). "Indigenous Evaluation: An Integrated Approach."
  • Kovach, M. (2010). "Indigenous Methodologies: Characteristics, Conversations, and Contexts."
  • LaFrance, J., Nichols, R., & Kirkhart, K. E. (2012). "Culture writes the script: On the centrality of context in Indigenous evaluation."
  • Robertson, R., Jorgensen, M., & Garrow, C. (2004). "Indigenous Evaluation Frameworks: A Guide for Evaluators."

요약:
원주민 평가 접근법은 원주민의 경험과 자결권을 인정하며, 커뮤니티 참여를 중심으로 신뢰성과 윤리적 책임을 강조합니다. 이 접근법은 과거의 억압적 연구 관행에 도전하고, 커뮤니티의 평가 역량을 구축하여 탈식민주의와 자결 노력을 지원하는 것을 목표로 합니다.

Fourth-Generation Evaluation: Egon Guba and Yvonna Lincoln

개요:

  • Fourth-Generation Evaluation: Guba와 Lincoln은 평가에서 이해관계자들을 주요 인물로 간주하며, 평가자는 다양한 현실을 반영하는 사람들 간의 협상을 촉진하는 역할을 합니다. 이 접근법은 건설주의적 패러다임에 기반을 두고 있습니다.

주요 개념:

  • 다양한 현실: Guba와 Lincoln은 단일한 현실 대신, 개인들이 자신들의 현실을 구성한다고 보았습니다. 평가자는 이러한 구성들을 끌어내어 상호 연결시키고, 관련 정보를 결합하여 보다 정교한 구성으로 합의에 도달하도록 합니다.
  • 네 번째 세대 평가: 네 번째 세대 평가(1989)는 이해관계자의 주장, 우려, 문제를 조직 요소로 사용하고, 구성주의적 방법론을 사용하여 다양한 이해관계자들 간의 판단적 합의를 도출하는 접근법입니다.

평가자의 역할:

  • 협상 촉진: 평가자는 이해관계자들 간의 협상을 촉진하여 공동 구성(construction)을 도출합니다. 이를 위해 최대 변이 표본추출을 사용하여 다양한 이해관계자를 식별하고, 순차적으로 인터뷰하여 다양한 개인의 구성을 테이블에 올려놓습니다.
  • 해석학적 원: 데이터 수집과 분석의 연속적인 상호작용을 정의하는 "해석학적 원"을 통해 공동 구성이 형성됩니다.

평가 과정:

  • 정보 제공 및 확장: 평가자는 그룹 내 구성들을 테스트하고 확장하며, 해결된 주장, 우려 및 문제를 정리하고, 해결되지 않은 문제에 대한 정보를 수집하며, 협상 의제를 준비하고, 협상을 수행하며, 사례 연구로 보고합니다.

결론:

  • 가치화: 네 번째 세대 평가 접근법은 평가자 또는 다른 사람들에 의해 가치화를 촉진하는 역할을 강조합니다. 이는 사실과 가치가 상호 의존적이라는 믿음에 기반을 두고 있습니다. 평가자는 의미 있는 구성 요소를 식별하고, 상황에 맞춰 반응하며, 해석학적 접근을 통해 중요한 요소를 도출합니다.

주요 참고문헌:

  • Guba, E. G., & Lincoln, Y. S. (1989). "Fourth Generation Evaluation."

요약:
네 번째 세대 평가 접근법은 다양한 현실을 반영하는 이해관계자 간의 협상을 촉진하는 평가자의 역할을 강조합니다. 이는 건설주의적 패러다임에 기반을 두고 있으며, 해석학적 접근을 통해 공동 구성을 도출하는 과정을 포함합니다.

Equitable Evaluation: Asa Hilliard III

개요:

  • Equitable Evaluation: Asa Hilliard III의 공헌은 평가에서 흑인 학자들의 기여를 적절히 인정하고 기록하는 데 중점을 두고 있으며, 평가 이론과 방법론에 중요한 영향을 미쳤습니다.

역사적 배경:

  • 학자들의 공헌: Hilliard 외에도 Aaron Brown, Leander Boykin 등 흑인 학자들이 평가 연구에 중요한 기여를 했습니다. Boykin은 효과적인 평가를 위한 지침 원칙을 제공했습니다 (1949).

주요 개념:

  • 교육과 해방: Hilliard는 Brown vs. Board of Education 판결 이후 학교 관찰에서 영향을 받아 교육 시스템에 해방과 평등을 통합했습니다. 그는 아프리카 디아스포라와 아프리카계 미국인의 역사를 유럽 중심적 렌즈에서 벗어나 가르치는 것을 강조했습니다 (Jamison, 2019).
  • 평가의 정의: Hilliard는 평가를 "민주적 참여의 사회적 및 교육적 과정의 일부"로 설명합니다 (Hood & Hopson, 2008, p. 416).

평가 접근법:

  • 평등 평가: Hilliard의 평가 이론은 주로 흑인 커뮤니티와 소수자 그룹을 위한 맥락에서 가치를 중시하며, 이러한 원칙은 다양한 맥락에 적용될 수 있습니다. 그는 대규모 표준화 시험의 편견에 대한 복잡성을 다루었으며, 그의 평가 이론은 주 및 지역 프로그램 평가에 주로 적용됩니다.
  • 문화적으로 대응하는 평가: Hilliard의 작업은 문화적으로 대응하는 평가 이론의 발전에 기여했으며, Hopson과 Hood와 같은 저명한 학자들에게 영향을 미쳤습니다.

평가 과정:

  • 민주적 참여: Hilliard는 평가를 통해 전통적으로 소외된 사람들을 교육 관련 평가 작업과 사회 전반에서 권한을 부여하는 과정으로 사용해야 한다고 주장했습니다. 그는 평가적 탐구에서 평등과 민주주의를 우선시했습니다.

결론:

  • 가치 중심의 평가: Equitable Evaluation은 가치 중심의 평가 이론 나무의 가지에 위치하며, 정의를 중심으로 평가 과정을 형성하는 여러 형태의 평가와 밀접하게 연결되어 있습니다. 그의 이론은 실용적 적용을 통해 학교에서 흑인 및 소수자 학생과 교육자의 교육 개선을 목표로 했습니다.

주요 참고문헌:

  • Hood, S., & Hopson, R. K. (2008). "Evaluation for Equity."
  • Hood, S., Hopson, R. K., & Kirkhart, K. E. (2015). "Culturally Responsive Evaluation and Assessment."
  • Jamison, D. (2019). "Hilliard’s Contributions to Education and Evaluation."

요약:
Asa Hilliard III의 Equitable Evaluation 접근법은 흑인 커뮤니티와 소수자 그룹을 위한 평등과 민주적 참여를 강조하며, 평가를 권한 부여의 과정으로 사용합니다. 이 접근법은 문화적으로 대응하는 평가 이론의 발전에 기여하고, 교육 시스템의 불평등을 해결하기 위한 실용적 적용을 통해 학교 교육을 개선하는 것을 목표로 합니다.

Use Branch of Evaluation Theory

개요:

  • Use Branch: 이 갈래는 주로 의사결정 지향 이론에서 시작되었습니다. 이러한 이론들은 평가가 주요 프로그램 이해관계자들이 프로그램 의사결정을 돕기 위해 설계되어야 한다는 핵심 원칙을 유지합니다. 최근에는 평가의 영향력 개념이 포함되면서 평가 사용에 대한 확장이 이루어졌습니다.

주요 개념:

  • 의사결정 지향 이론: 평가를 프로그램 의사결정에 도움을 주기 위해 설계하는 것을 목표로 합니다. CIPP 모델(Stufflebeam)이 가장 잘 알려진 이론 중 하나입니다.
  • 활용 이론: 초기 의사결정 지향 이론에서 발전하여 평가 결과가 의사결정, 조직 변화, 프로그램에 대한 개념적 이해에 영향을 미치도록 설계된 평가를 포함합니다.

평가 사용의 정의:

  • 평가 영향력: 평가 과정, 제품, 또는 결과가 간접적으로 이해 또는 지식의 변화를 일으키는 능력입니다. 이는 특정 평가 연구의 결과로 직접적인 프로그램 사이트 사용에 중점을 둡니다.

주요 학자 및 이론:

  • Daniel Stufflebeam: CIPP 모델의 창시자로, 평가가 프로그램 개선에 직접적인 영향을 미치도록 설계되었습니다.
  • Michael Quinn Patton: 개발적 평가(developmental evaluation) 이론의 창시자로, 평가가 혁신과 복잡한 환경에서의 변화 촉진을 목적으로 합니다.
  • Joseph Wholey: 활용 중심 평가(utility-focused evaluation)의 주요 이론가로, 평가가 정책과 프로그램의 실질적인 개선에 기여하도록 하는 것을 목표로 합니다.
  • Jean King: 참여적 평가(participatory evaluation) 이론가로, 평가 과정에서 이해관계자의 참여를 촉진하여 평가 결과가 실제로 사용되도록 합니다.

주요 이론 및 모델:

  1. CIPP 모델 (Stufflebeam):
    • Context Evaluation: 프로그램의 환경 및 조건을 평가합니다.
    • Input Evaluation: 필요한 자원과 전략을 평가합니다.
    • Process Evaluation: 프로그램 실행 과정을 평가합니다.
    • Product Evaluation: 프로그램의 결과와 효과를 평가합니다.
  2. Developmental Evaluation (Patton):
    • 목표: 혁신적인 프로그램과 복잡한 환경에서의 변화를 지원하는 평가 접근법입니다.
    • 특징: 지속적인 피드백 제공, 학습 중심, 프로그램 발전 촉진.
  3. Utilization-Focused Evaluation (Wholey):
    • 목표: 평가 결과가 실질적인 프로그램 개선에 사용되도록 합니다.
    • 특징: 평가 설계와 실행 과정에서 이해관계자의 필요와 관심을 반영합니다.
  4. Participatory Evaluation (King):
    • 목표: 평가 과정에서 이해관계자의 적극적인 참여를 촉진하여 평가 결과의 실질적인 사용을 보장합니다.
    • 특징: 공동 작업, 역량 강화, 이해관계자의 주도적 역할 강조.

결론:

  • Use Branch의 중요성: 평가가 프로그램 의사결정에 직접적인 영향을 미치고 실질적인 변화를 촉진하는 데 중점을 둡니다. 이 갈래의 학자들과 이론들은 평가 결과가 실제로 사용되도록 하는 다양한 접근법을 개발하였습니다.

Use Branch: Daniel Stufflebeam and the CIPP Model

개요:

  • Daniel Stufflebeam: Guba와 함께 CIPP 모델을 개발하여 의사결정 과정을 중심으로 하는 평가 접근법을 만들었습니다.
  • CIPP 모델: Context, Input, Process, Product의 약자로, 각각의 평가 유형을 나타냅니다.

CIPP 모델의 구성 요소:

  1. Context Evaluation:
    • 목표: 프로그램 목표를 결정하기 위해 필요를 식별합니다.
    • 활용: 프로그램이 해결하고자 하는 문제와 환경을 이해하는 데 도움을 줍니다.
  2. Input Evaluation:
    • 목표: 전략과 설계를 결정하기 위해 필요한 정보를 제공합니다.
    • 활용: 프로그램의 계획과 자원 할당에 대한 결정을 돕습니다.
  3. Process Evaluation:
    • 목표: 현재 프로그램의 결점을 식별하여 구현을 개선합니다.
    • 활용: 프로그램 실행 중 발생하는 문제를 찾아내고 개선할 수 있도록 합니다.
  4. Product Evaluation:
    • 목표: 프로그램의 결과를 측정하여 지속 여부나 방향 전환에 대한 결정을 내립니다.
    • 활용: 프로그램의 성과를 평가하고, 미래 계획에 대한 정보를 제공합니다.

CIPP 모델의 주요 특징:

  • 순환 과정: 평가가 주기적으로 이루어지며, 설계는 유연성을 유지하면서 신중하게 계획됩니다.
  • 지속적인 정보 흐름: 평가자들은 의사결정자들에게 지속적인 정보를 제공하여 프로그램이 지속적으로 개선될 수 있도록 합니다.

전문가 기준과의 연계:

  • CIPP 평가는 The Program Evaluation Standards(Joint Committee on Standards for Educational Evaluation, 1994)에 맞춰 이루어집니다.
  • 전문가 기준의 네 가지 영역:
    • Utility: 평가가 의도된 사용자의 정보 요구를 충족합니다.
    • Feasibility: 평가가 현실적이고 신중하며 외교적이고 검소해야 합니다.
    • Propriety: 평가가 합법적이고 윤리적이며, 관련자들의 복지를 존중합니다.
    • Accuracy: 평가가 프로그램의 가치나 자격을 결정하는 기능에 대해 기술적으로 적절한 정보를 제공해야 합니다.

평가의 실행:

  • 이해관계자 패널: 대표적인 이해관계자 패널과의 협력을 통해 평가 질문을 정의하고, 평가 계획을 수립하며, 초안 보고서를 검토하고, 결과를 배포합니다.
  • 정기적인 상호작용: 평가자는 패널에게 형성적 정보를 제공하여 프로그램과 평가에 대한 결정을 내릴 수 있도록 합니다.

CIPP 모델의 주요 이점:

  • 포괄적인 평가: 프로그램의 가치와 성과에 대한 포괄적인 평가를 제공합니다.
  • 이해관계자 참여: 이해관계자(주로 의사결정자)를 참여시켜 평가가 가장 중요한 질문을 다루도록 하고, 의사결정을 돕는 시기적절하고 관련성 있는 정보를 제공합니다.
  • 책임 기록: 평가 결과의 활용을 촉진하고, 다양한 이해관계자의 관점을 포함하여 프로그램의 가치를 포괄적으로 평가할 수 있도록 합니다.

결론:

  • Use Branch에서의 위치: CIPP 모델은 의사결정에 직접적인 영향을 미치는 평가 접근법으로, 평가의 사용을 촉진하는 첫 번째 접근법으로 자리 잡고 있습니다.

Use Branch: Joseph Wholey and Results-Oriented Evaluation

개요:

  • Joseph Wholey: 대규모 프로그램 평가에 대한 학문적 훈련과 경험을 통해 개발된 이론이 주로 연방 정부 프로그램에서의 관리자와 정책 결정자의 필요에 민감하게 대응하는 결과 지향 평가 접근법을 강조합니다.

Results-Oriented Evaluation의 주요 특징:

  • 관리 개선: Wholey는 평가를 조직 관리의 중요한 과정으로 보고, 관리의 효율성을 자극하기 위한 수단으로 사용합니다.
  • 중심 초점: 평가의 사용을 통해 관리 개선을 목표로 하며, 주로 프로그램 관리자와 정책 결정자에게 초점을 맞춥니다.

순차적 정보 획득 전략 (Sequential Purchase of Information):

  1. 평가 가능성 평가 (Evaluability Assessment):
    • 목표: 초기 평가 (또는 사전 평가)를 통해 조직과 문제에 대해 평가를 수행할 수 있는지 확인합니다.
    • 활용: 프로그램 관리자에게 유용할 가능성이 있는 평가 결과의 실행 가능성을 고려합니다.
  2. 신속 피드백 평가 (Rapid-Feedback Evaluation):
    • 목표: 기존의 쉽게 수집할 수 있는 정보를 중심으로 빠른 피드백을 제공합니다.
    • 활용: 조직이 신속하게 대응하고 개선할 수 있도록 지원합니다.
  3. 성과 모니터링 (Performance Monitoring):
    • 목표: 프로그램의 성과를 측정하며, 주로 이전 또는 예상 성과와 비교합니다.
    • 활용: 프로그램의 진행 상황과 성과를 지속적으로 추적하여 관리자가 정보에 기반한 결정을 내릴 수 있도록 합니다.
  4. 집중 평가 (Intensive Evaluation):
    • 목표: 비교 그룹 또는 통제 그룹을 사용하여 프로그램 활동의 효과성을 더 정확하게 추정합니다.
    • 활용: 프로그램이 실제로 어떤 결과를 초래했는지를 명확히 이해합니다.

결론:

  • Use Branch에서의 위치: 결과 지향 평가는 평가가 관리에 미치는 잠재적인 이익(특히 단기적 도구적 활용)에 중점을 두며, 이를 통해 프로그램 성과를 개선하는 데 초점을 맞춥니다.
  • 관리 개선: 평가 결과를 통해 프로그램 관리자와 정책 결정자가 실질적인 변화를 도모할 수 있도록 돕습니다.
  • 비용 인식: 평가 정보 획득의 비용을 인식하고, 순차적 정보 획득 전략을 통해 비용 효율적인 평가를 지향합니다.

Use Branch: Eleanor Chelimsky and Practical Policy Evaluation

개요:

  • Eleanor Chelimsky: 미국 정부 책임감사원(GAO)의 평가 부서를 설립하고 이끌며, 평가 활용에 대한 독특한 관점을 개발했습니다. 이를 실용적 정책 평가(Practical Policy Evaluation)라고 부르며, 정부의 세 가지 주요 부문에 정보를 제공하고 대중의 책임을 보장하기 위해 필요합니다.

Practical Policy Evaluation의 주요 특징:

  • 평가 목적: Chelimsky는 평가의 주된 목적이 “듣고 싶지 않을 수도 있는 사람들에게 진실을 말하는 것”이라고 주장합니다.
  • 정부 평가의 필요성: 민주 정부에서 공공 정책, 프로그램, 및 실천을 평가하는 것은 다음 네 가지 이유로 근본적입니다:
    1. 의회 감독 지원: 의회가 정부 프로그램과 정책을 효과적으로 감독할 수 있도록 정보를 제공합니다.
    2. 정책 결정 지식 기반 강화: 정책 결정에 필요한 강력한 지식 기반을 구축합니다.
    3. 기관 능력 개발: 기관이 정책 및 프로그램 계획, 실행, 결과 분석 및 학습 지향적 방향을 개선할 수 있도록 돕습니다.
    4. 공공 정보 강화: 평가 결과를 배포하여 정부 활동에 대한 대중 정보를 강화합니다.

Practical Policy Evaluation의 접근 방식:

  • 큰 사용자 그룹: 개별 주요 사용자가 아니라 의회 소위원회, 특정 정부 기관의 구성원, 일반 대중 등 큰 사용자 그룹에 초점을 맞춥니다.
  • 평가 프로세스에서 특정 이해 관계자의 관여: 특정 이해 관계자의 관여보다는 타겟 청중에게 정보를 소비할 가능성을 높이기 위한 전략에 초점을 맞춥니다.
  • 투명성과 사용: 최종 보고서에는 조직 책임자의 서면 응답이 포함되어 투명성을 증진하고 사용을 촉진합니다.

정치적 성격의 평가:

  • 엄격한 평가 연구: 정치적 환경에서 평가 사용이 일어나기 위해서는 절차와 실행에서 탁월함이 타협될 수 없으며, 정확성과 신뢰성이 필수적입니다.
  • 방법론적 유연성: 다양한 질문 유형에 적합한 다양한 방법을 개발하였으며, 이는 실용적 정책 평가를 사용하는 이유 중 하나입니다.

Practical Policy Evaluation의 구체적 절차:

  • 최적의 방법론 선택: GAO는 다양한 질문 유형에 맞는 폭넓은 방법론을 개발했습니다. 이는 특정 평가 상황에 적합한 최적의 방법을 사용하는 유연성을 제공합니다.
  • 보고서 작성 및 배포: 최종 평가 보고서에는 평가 대상 기관의 책임자의 서면 응답이 포함되며, 이는 투명성을 보장하고 평가 결과가 실제로 사용되도록 합니다.
  • 정확성과 신뢰성: 평가의 정확성과 신뢰성은 평가 결과가 정치적 환경에서 활용되기 위해 필수적입니다. 이를 위해 절차와 실행에서 최고 수준의 기준을 유지합니다.

결론:

  • Use Branch에서의 위치: 실용적 정책 평가는 정치적 환경에서 평가 사용의 잠재적 이익에 중점을 두며, 이를 통해 공공 정책 및 프로그램의 성과를 개선하려는 목표를 가지고 있습니다.
  • 다양한 사용자 그룹: 평가 결과는 의회, 정부 기관, 일반 대중 등 다양한 사용자 그룹에 유용한 정보를 제공하기 위해 설계됩니다.
  • 엄격한 기준 준수: 평가의 정확성과 신뢰성을 유지하기 위해 엄격한 절차와 기준을 준수합니다.

Use Branch: Marvin Alkin and Context-Sensitive Evaluation

개요:

  • Marvin Alkin: 평가와 의사 결정에 초점을 맞춘 초기 연구에서 시작하여, 평가의 사용성을 높이기 위한 요소를 연구하며 발전시켰습니다. 그의 초기 모델은 CIPP 모델과 유사했지만, 과정과 결과의 총괄적(summative) 및 형성적(formative) 측면을 인식하는 것이 주요 차이점입니다.

Context-Sensitive Evaluation의 주요 특징:

  • 총괄적 및 형성적 평가: 과정(process)과 결과(product)는 총괄적 및 형성적 차원에서 평가될 수 있습니다. 예를 들어, 과정은 프로그램 문서를 통해 총괄적으로 평가될 수 있으며, 결과는 성과 검토를 통해 형성적으로 평가될 수 있습니다.
  • 고품질 평가 절차: 평가 절차의 품질을 높여 광범위한 영향력 있는 이해 관계자들이 평가를 활용할 수 있도록 하는 것을 목표로 합니다. 이를 위해 평가자의 의무와 개인적인 헌신이 필요합니다.
  • 평가자의 개인적 요소: Alkin은 평가자가 평가 사용을 보장하기 위해 개인적인 헌신이 필요하다고 주장합니다. 사용은 도구적(instrumental) 또는 개념적(conceptual) 성격을 가지며, 특정 프로그램에 집중됩니다.

Context-Sensitive Evaluation의 접근 방식:

  • 프로그램 맥락의 철저한 검토: 프로그램 맥락을 철저히 검토하여 평가를 수행하는 가이드로 삼습니다. 이는 평가의 유용성을 높이는 중요한 요소로 작용합니다.
  • 평가자의 가치 판단 역할: Alkin은 평가자가 가치 판단을 내리는 주요 역할을 맡는 것에 반대합니다. 대신, 초기 평가 과정에서 주요 사용자와 협력하여 가치 판단 체계를 설정합니다. 이 과정에서 다양한 시뮬레이션 결과를 제시하고, 그에 대한 판단을 구합니다.
  • 사실적 데이터 제시: 의도된 주요 사용자와의 사전 판단 과정이 불가능한 경우, 평가 데이터는 가치 판단 없이 최대한 사실적으로 제시됩니다. 단, 극단적인 경우에는 평가자가 가치 판단을 내릴 수 있습니다.

결론:

  • Use Branch에서의 위치: Context-Sensitive Evaluation은 평가의 사용성을 높이기 위해 프로그램 맥락을 철저히 검토하고, 평가자의 가치 판단 역할을 최소화하며, 주요 사용자와의 협력을 통해 평가 결과를 유용하게 만드는 접근 방식입니다.
  • 평가자의 헌신: 평가자가 평가 사용을 보장하기 위해 개인적인 헌신이 필요하며, 이는 평가의 품질과 유용성을 높이는 중요한 요소입니다.
  • 사실적 데이터: 평가 데이터는 가능한 한 사실적으로 제시되어야 하며, 이는 평가의 신뢰성과 유용성을 높이는 데 기여합니다.

활용 중심 평가 (Utilization-Focused Evaluation, UFE): 마이클 패튼

개요:

  • 마이클 패튼: 활용 중심 평가(UFE)를 개발하여 평가 결과가 실제로 필요로 하는 사람들에게 효과적으로 사용되도록 하는 실용적인 접근 방식을 제안했습니다. 패튼은 평가 과정 전반에 걸쳐 "주요 예상 사용자(primary intended users)"와의 적극적인 참여가 중요하다고 강조합니다.

UFE의 주요 요소:

  1. 주요 예상 사용자 식별:
    • UFE의 첫 번째 단계는 평가의 실제 사용자가 될 가능성이 높은 개인을 식별하는 것입니다. 이 주요 예상 사용자는 평가 결과에 이해관계가 있으며 그 결과에 개인적으로 관심을 가지고 있습니다.
  2. 사용자의 헌신 개발:
    • 이러한 예상 사용자가 평가의 초점과 활용에 대한 헌신을 개발하는 것이 중요합니다. 이를 위해 평가 과정에 적극적으로 참여시켜 이들의 참여를 촉진합니다.
  3. 방법, 설계 및 측정에의 참여:
    • 주요 예상 사용자는 평가에 사용되는 방법, 설계 및 측정 기술을 결정하는 데 참여해야 합니다. 이는 평가가 그들의 필요와 상황에 적합하도록 보장합니다.
  4. 결과 해석 및 판단에의 참여:
    • 사용자는 평가 결과를 해석하고 이러한 결과를 기반으로 판단을 내리는 데 적극적으로 참여해야 합니다. 이는 평가 결과가 의미 있고 실행 가능하도록 보장합니다.
  5. 결과 배포에 대한 결정:
    • 마지막 단계는 평가 결과가 적절한 청중에게 도달하고 효과적으로 사용되도록 배포 방법을 결정하는 것입니다.

개인적 요소:

  • 개인적 헌신: 연구에 따르면 평가가 활용될 가능성을 높이는 주요 요소는 이해관계자의 개인적 헌신입니다. 평가 결과에 깊은 관심을 가진 사람들을 식별하고 참여시키는 것이 평가의 활용 가능성을 높입니다.

활동적-반응적-상호작용적-적응적 접근:

  • 활동적: 평가자는 예상 사용자를 식별하고 평가 질문에 초점을 맞추기 위해 적극적으로 행동해야 합니다.
  • 반응적: 평가자는 평가 상황에 대한 새로운 정보를 학습하고 이에 반응해야 합니다.
  • 상호작용적: 예상 사용자와의 지속적인 상호작용이 필수적이며, 이들의 필요와 관점을 이해해야 합니다.
  • 적응적: 평가자는 상황의 변화와 이해의 증대에 따라 평가 질문과 설계를 유연하게 수정할 준비가 되어 있어야 합니다.

이론적 영향과 위치:

  • 중요한 영향: 패튼의 UFE는 활용 가지(use branch)에서 다른 모델에 큰 영향을 미쳤습니다. 실용적인 적용과 사용자 참여에 중점을 둬 평가가 관련성과 실행 가능성을 확보할 수 있게 합니다.
  • 활용 가지의 중간 위치: UFE는 활용 가지의 중간 위치에 있어 이론과 실용적 적용의 균형을 나타냅니다.

요약

마이클 패튼의 활용 중심 평가(UFE)는 주요 예상 사용자가 평가 과정 전반에 걸쳐 참여하도록 함으로써 평가 결과가 실제로 활용될 수 있도록 하는 접근 방식입니다. 이 접근 방식은 평가가 관련성 있고 실행 가능하며 변화하는 상황에 적응할 수 있도록 보장합니다. 사용자의 헌신과 참여를 통해 평가 결과가 효과적으로 활용될 가능성을 높입니다.

임파워먼트 평가 (Empowerment Evaluation): 데이비드 페터맨

개요:

  • 데이비드 페터맨: 임파워먼트 평가(1996, 2001)를 개발한 인물로, 이 접근 방식은 프로그램 평가의 수혜자들이 자율적으로 평가를 수행하도록 격려하는 과정을 포함합니다. 페터맨은 임파워먼트 평가가 훈련, 촉진, 옹호를 통해 수혜자들이 자율성을 갖도록 하고, 이를 통해 계몽과 해방을 이루는 것을 목표로 한다고 설명합니다.

임파워먼트 평가의 목표:

  • 자율성 촉진: 프로그램 참여자들이 의존성 대신 자율성을 가지도록 돕습니다.
  • 자체 평가 수행: 외부 평가자는 코치나 추가 촉진자 역할을 하며, 클라이언트에게 지속적인 자체 평가와 책임성을 위한 지식과 도구를 제공합니다.

임파워먼트 평가의 두 가지 형태:

  1. 자체 평가 훈련:
    • 평가자는 프로그램 참여자들이 자체적으로 프로그램 평가를 수행하도록 가르칩니다.
    • 프로그램 직원이 평가 연구를 수행하도록 훈련시키며, 이들을 더 자립적으로 만듭니다.
    • 주요 목표는 평가 역량을 구축하는 것입니다.
  2. 코치로서의 평가자:
    • 평가자는 코치로서 역할을 하여 다른 사람들이 수행하는 평가를 촉진합니다.
    • 평가자는 참여자들이 평가 방향을 설정하고, 이상적인 해결책을 제안하며, 사회 변화를 이루는 데 적극적으로 참여할 수 있도록 돕습니다.
    • 모든 임파워먼트 평가자는 "조명하고 해방하는 촉진자"로서 프로그램 참여자들이 전통적인 역할과 기대에서 벗어날 수 있도록 지원합니다.

임파워먼트 평가의 핵심 개념:

  • 프로그램의 가치 평가가 목표가 아님: 평가의 가치는 고정된 것이 아니며, 평가는 지속적인 과정으로 간주됩니다.
  • 지속적인 자체 평가: 자체 평가 과정과 관행의 내재화 및 제도화를 통해 인구, 목표, 평가 가치 및 외부 요인에 맞추어 역동적이고 대응적인 평가 접근 방식을 개발할 수 있습니다.

임파워먼트 평가의 활용:

  • 이용성: 이해관계자의 임파워먼트를 통해 활용성을 높이는 것을 목표로 합니다.
  • 개념적 활용: 임파워먼트의 일환으로 개념적 활용이 이루어집니다.

이론적 위치:

  • 활용 가지: 임파워먼트 평가는 활용 가지(use branch)에 위치하며, 이는 평가가 단순한 가치 평가를 넘어 참여자들의 자율성을 촉진하고 지속적인 개선을 목표로 한다는 점을 반영합니다.

요약

데이비드 페터맨의 임파워먼트 평가는 프로그램 참여자들이 자율적으로 평가를 수행하도록 격려하는 접근 방식입니다. 평가자는 코치나 촉진자로서의 역할을 하며, 참여자들이 평가 과정에 적극적으로 참여하고 자율성을 가지도록 돕습니다. 이를 통해 지속적인 자체 평가와 사회 변화를 이끌어냅니다. 임파워먼트 평가는 활용 가지에 위치하며, 평가의 주요 목표는 이해관계자의 자율성을 높이는 것입니다.

실용적 참여 협력 평가 (Practical Participatory Collaborative Evaluation): J. 브래들리 커즌스

개요:

  • J. 브래들리 커즌스: 실용적 참여 평가(practical participatory evaluation, P-PE)의 개념을 발전시킨 학자로, 이는 초기 활용 개념에서 확장된 것입니다. 커즌스는 평가 활용을 위해 사용자 참여가 필수적이라고 주장합니다.

평가 활용의 중요성:

  • 사용자 참여: 평가의 활용을 위해 프로그램 관련자들이 평가 과정에 협력하는 것이 중요합니다.
  • 사용자 개인 요소: 알킨과 패튼 등의 연구를 반영하여, 평가에서 사용자 개인 요소의 중요성을 강조합니다.

커즌스의 실용적 참여 평가(P-PE):

  • 정의: 실용적 참여 평가(P-PE)는 훈련된 평가자와 실무 기반의 의사 결정자가 협력하는 응용 사회 연구입니다. 주요 사용자가 평가자와 협력자로 명시적으로 인식됩니다.
  • 목표: 조직의 학습 능력을 향상시키기 위한 전략을 채택하는 프레임워크에 기반을 두고 있습니다. 프로그램을 이해하고 개선하기 위한 정보를 제공하는 것을 목표로 합니다.
  • 조직 개발: 조직의 개발 과정의 일환으로 평가를 수행하는 것이 평가 활용을 증가시키는 최선의 방법입니다.

평가 과정의 특징:

  • 구조화된 참여: 평가 과정에서 사용자들이 지속적이고 적극적으로 참여합니다.
  • 책임 공유: 조직 직원과 평가자가 책임을 공유하며, 평가자는 평가 기술을 가르치고 감독합니다.
  • 기술적 활동: 평가자는 도구 설계, 데이터 분석, 기술 보고 등의 기술적 활동을 담당합니다.

실용적 참여 평가와 임파워먼트 평가의 차이점:

  • 목표 차이: 참여 평가와 임파워먼트 평가는 유사한 관행을 사용하지만 목표가 다릅니다.
    • 임파워먼트 평가: 정치적 또는 해방적 방식으로 자율 평가를 촉진하는 것을 목표로 합니다.
    • 실용적 참여 평가: 이러한 활동을 통해 평가 활용을 증가시키는 것을 목표로 합니다.

이론적 위치:

  • 활용 가지: 협력 평가는 활용 가지에 위치하며, 이는 평가의 주요 목표가 사용자 참여를 통해 평가 활용을 증가시키는 것을 반영합니다.
  • 방법론 가지: 커즌스는 참여 과정에서 엄격한 방법을 사용하여 최종적으로 평가 활용을 증가시키는 것을 목표로 합니다. 이러한 방법론적 접근에 대한 수용성을 반영하여 협력 평가를 방법론 가지로 확장합니다.

요약

J. 브래들리 커즌스의 실용적 참여 협력 평가는 사용자 참여를 통해 평가 활용을 증대시키는 접근 방식입니다. 평가자는 프로그램 관련자와 협력하여 평가를 수행하며, 조직의 학습 능력을 향상시키고 프로그램 개선을 목표로 합니다. 이 접근 방식은 평가의 활용을 증가시키기 위해 사용자 참여를 강조하며, 엄격한 방법을 통해 평가의 품질과 관련성을 높입니다.

학습 지향 평가 (Learning-Oriented Evaluation): Hallie Preskill

개요:

  • Hallie Preskill: Rosalie Torres 및 다른 공저자들과 함께 학습 지향 평가를 발전시켰습니다. 이 접근법은 평가 과정과 결과를 통해 지속적인 학습을 제공하고, 이를 통해 평가 활용을 촉진하는 것을 목표로 합니다.

목표:

  • 변혁적 학습: 평가 과정에서 조직 내 변혁적 학습을 창출하는 것을 목표로 합니다. 변혁적 학습은 개인, 팀, 그리고 조직이 목표 달성을 위해 필요한 정보를 식별하고, 검토하고, 이해하는 과정입니다.
  • 변혁적 학습 지원: 변혁적 학습을 지원하기 위해, 평가자는 다음과 같은 접근 방식을 사용해야 합니다.
    1. 임상적 접근: 조직의 현재 필요, 상황 설정, 역사적 배경에 초점을 맞추어 평가를 수행합니다.
    2. 전통적 경계 초월: 평가자와 프로그램 직원 간의 전통적 경계를 초월하여 학습 과정을 안내하는 조력자가 됩니다.
    3. 조직의 학습 능력 진단: 조직의 학습 능력을 진단하여 평가 결과를 위한 맥락적 설정을 제공하고, 현실적인 목표와 기대치를 설정합니다.

평가 과정의 특징:

  • 임상적 접근: 조직의 필요와 맥락에 맞춘 평가를 통해, 조직과 그 구성원의 필요에 반응하며, 성찰과 대화 창출을 촉진합니다.
  • 경계 초월: 평가자는 프로그램 직원과 협력하여 평가 결과를 이해하고 구현하며, 필요한 조치를 파악하는 데 도움을 줍니다. 이를 통해 프로그램 작업, 연구, 평가, 조직 개발이 원활하게 통합됩니다.
  • 조직의 학습 능력 진단: 평가자는 조직의 학습 능력을 진단하고, 진단 결과를 공유하여 성찰과 변혁적 학습, 그리고 궁극적인 활용을 촉진합니다.

긍정적 탐구(AI)와의 연계:

  • 긍정적 탐구(AI): 과거의 성공과 피크 경험을 바탕으로 미래 행동을 설계하고 구현하는 접근법입니다.
    • 철학: 문제 기반 접근법보다 긍정적 탐구가 더 효과적이고 효율적이라는 점을 강조합니다.
    • 효과: 긍정적이고 강점 기반의 언어를 사용하여 참가자의 창의성, 열정, 미래에 대한 기대를 증진시킵니다.

위치:

  • 활용 가지: 학습 지향 평가는 평가 과정과 결과의 활용을 증가시키기 위한 철학과 원칙을 포함하고 있으며, 조직 변화의 목표와 학습 과정 촉진을 위한 활용의 역할을 반영하여 활용 가지에 위치합니다.

요약

Hallie Preskill의 학습 지향 평가는 조직 내 변혁적 학습을 촉진하기 위해 평가 과정과 결과를 활용하는 접근 방식입니다. 평가자는 조직의 현재 필요와 맥락에 맞추어 평가를 수행하고, 평가 과정에서 프로그램 직원과 협력하여 학습을 안내하며, 조직의 학습 능력을 진단하여 현실적인 목표와 기대치를 설정합니다. 이 접근법은 긍정적 탐구(AI)의 원칙을 통합하여, 긍정적이고 강점 기반의 언어를 사용하여 참가자의 창의성과 열정을 증진시킵니다. 학습 지향 평가는 평가 과정과 결과의 활용을 촉진하고, 조직의 변화를 목표로 합니다.

상호작용 평가 (Interactive Evaluation): Jean King

개요:

  • Jean King: 상호작용 평가 모델을 발전시켜 참여적, 사용자 중심, 역량 강화 접근법의 원칙을 통합했습니다. 이 모델은 장기적인 조직 참여를 통해 평가 역량을 지속적으로 구축하는 구조를 개발하는 것을 목표로 합니다.

목표:

  • 장기적 참여: 장기적인 조직 참여를 통해 공유된 이해를 개발하고, 시간이 지남에 따라 평가 역량을 구축하는 구조를 창출합니다.
  • 평가 역량 구축: 단기적인 평가가 많다는 점을 인식하고, Jean King은 참여를 촉진하고 활용을 얻기 위한 특정 절차, 즉 상호작용 평가 실천(Interactive Evaluation Practice, IEP)을 발전시켰습니다.

상호작용 평가 실천(IEP)의 정의:

  • IEP: "평가 연구를 수행하면서 사람들이 결정을 내리고, 행동하며, 성찰하는 데 참여시키는 의도적 행위"로 정의됩니다 (King & Stevahn, 2012, p. 14).
  • 평가의 본질: IEP에서는 평가를 "프로그램이나 정책의 특성, 활동, 또는 결과에 대한 신뢰할 수 있는 정보를 제공하기 위해 체계적인 탐구 과정을 설계하는 것"으로 봅니다 (King & Stevahn, 2012, p. 13).

상호작용 환경의 중요성:

  • 참여적 환경: 평가 과정 전반에 걸쳐 참여적 환경을 조성하는 것이 중요합니다. 이 환경에는 참가자들 간의 경험에 대한 공유된 의미와 높은 수준의 대인 및 조직적 신뢰가 포함되어야 합니다.
  • 의사소통과 논의: 평가자의 노력은 참가자들 간의 공유된 의미를 창출하기 위한 의사소통과 논의에 중점을 둡니다.

리더의 역할:

  • 리더 식별 및 육성: 평가 과정에서 리더를 식별하고 육성하는 것이 중요합니다. 리더는 평가 과정에 사람들을 끌어들이고, 학습과 과정 촉진을 원하는 사람들을 모집하며, 문제가 발생했을 때에도 지속할 의지를 가진 사람들입니다 (King, 1998, p. 64).
  • 신뢰 구축: 성공적인 참여 평가를 위해 신뢰 구축이 필수적입니다. 평가자들은 평가 과정 중 발생하는 대인 간 역학에 주의해야 합니다 (King & Stevahn, 2012).

평가자의 역할:

  • 리더, 관리자, 조언자: IEP 평가자는 리더, 관리자, 지혜로운 조언자의 역할을 모두 수행합니다. 반사적 실천가로서의 역할은 특히 연구의 주요 전환점에서 중요합니다 (King & Stevahn, 2012, p. 19).
  • 반사적 실천가: 평가자는 반사적 실천가로서의 역할을 수행하며, 이는 연구의 주요 전환점에서 특히 중요합니다.

위치:

  • 활용 가지: IEP는 평가에서 대인 관계 요소의 중요성에 중점을 두어 평가 활용으로 이어집니다. 따라서 활용 가지에 위치합니다.

요약

Jean King의 상호작용 평가 모델은 장기적인 조직 참여를 통해 평가 역량을 구축하는 것을 목표로 하며, 단기 평가의 한계를 인식하고 상호작용 평가 실천(IEP)을 통해 참여와 활용을 촉진합니다. IEP는 의사소통과 논의를 통해 공유된 의미를 창출하고, 리더를 식별 및 육성하며, 신뢰 구축을 중시합니다. 평가자는 리더, 관리자, 조언자로서 반사적 실천가의 역할을 수행하며, 이는 평가 과정의 성공을 위해 중요합니다. 이러한 접근법은 평가 과정에서 대인 관계 요소의 중요성을 강조하여 활용 가지에 위치합니다.

발달 평가 (Developmental Evaluation): Michael Patton

개요:

  • Michael Patton: 발달 평가 접근법을 통해 그의 이용 중심 평가 이론을 확장했습니다. 이 접근법은 평가 과정에서 발생하는 "과정 활용"에 중점을 둡니다 (Patton, 1997, p. 103).

목표:

  • 정보 요구에 응답 및 적응: 발달 평가의 목표는 사회 혁신가들의 정보 요구에 응답하고 적응하여 프로그램 개발에 의미 있게 기여하는 것입니다 (Patton, 2016).
  • 프로그램 명확화 및 실행 지원: 평가자가 사용자들이 "그들이 무엇을 하려는지, 그것을 하는 동안 명확히 하고, 집중하며, 표현하도록 돕는 것"에 중점을 둡니다 (Patton, 2010, p. 39).

접근법의 특징:

  • 맥락 의존적: 발달 평가는 특정 방법론에 의존하지 않으며, 평가자와 사용자의 빈번한 참여가 핵심입니다.
  • 유연성: 평가 디자인은 유연해야 하며, 프로그램이 적응하고 변화함에 따라 새로운 방법과 측정을 포함해야 합니다.

평가자의 역할:

  • 프로그램 팀의 일원: 발달 평가 접근법에서 평가자는 프로그램의 설계 팀이나 관리 팀의 일원으로, 평가 방법을 논의하고 결정하는 과정에 완전히 참여합니다.
  • 실시간 통찰 제공: 평가자는 실시간으로 지속적인 통찰을 제공하여 사회 혁신의 방향에 대한 이해관계자의 의사 결정을 안내해야 합니다 (Patton, 2010).
  • '비판적 친구': Patton은 발달 평가자를 프로그램에 대한 사용자들의 가정을 도전하고 평가적 사고를 촉진하며 데이터를 사용하여 의사 결정을 지원하는 "비판적 친구"로 묘사했습니다 (Patton, 2010).

지속적 학습:

  • 프로그램 적응을 통한 지속적 학습: 발달 평가의 주요 특징은 평가 과정에서 프로그램 적응을 기반으로 한 지속적 학습입니다.
  • 개인 및 조직의 평가 역량 강화: 발달 평가는 프로그램 개발을 지원할 뿐만 아니라 개인 및 조직의 평가 역량을 강화합니다.

위치:

  • 활용 가지: 발달 평가는 평가 과정에서의 활용을 강조하여 평가 활용으로 이어집니다. 따라서 역량 강화 접근법 위에 있는 활용 가지에 위치합니다.

요약

Michael Patton의 발달 평가 접근법은 사회 혁신가들의 정보 요구에 응답하고 적응하여 프로그램 개발에 기여하는 것을 목표로 합니다. 이 접근법은 특정 방법론에 의존하지 않으며, 평가자와 사용자의 빈번한 참여와 유연성을 중시합니다. 평가자는 프로그램 팀의 일원으로서 실시간으로 통찰을 제공하며, '비판적 친구'로서 사용자들의 가정을 도전하고 평가적 사고를 촉진합니다. 발달 평가는 프로그램 적응을 통해 지속적인 학습을 촉진하며, 개인 및 조직의 평가 역량을 강화하는 데 중점을 둡니다. 이러한 접근법은 활용 가지에 위치합니다.

마무리

이 장을 작성하는 데 있어서의 도전:

  1. 이론보다는 이론가를 다루는 것에서 오는 어려움:
    • 이론과 이론가의 통합적인 특성: 다른 분야와 마찬가지로 평가 이론은 종종 그 기원자와 분리될 수 없습니다(예: Maslow의 욕구 위계 이론, Bronfenbrenner의 생태 모델). 평가 이론도 마찬가지로 이론가와 긴밀하게 연결되어 있습니다.
    • 구조적 복잡성: 이 책의 형식은 이 장에서 논의된 이론을 다른 장의 저자와 연결하기 때문에 이론과 이론가를 분리하는 것이 더욱 복잡합니다.
  2. 포함할 이론 선택:
    • 포함 기준: 어떤 이론을 포함할 것인지에 대한 결정은 2장에서 설명된 방법론자, 평가 분석가 및 기타 평가 저술가 간의 구분에 의해 영향을 받으며, 어려운 과정이었습니다.
    • 일반적 접근에 초점: 선택된 이론은 특정 도메인(예: 공중 보건에서의 Steckler 및 Linnan, 2002 또는 교육에서의 Astin, 1991)보다는 여러 분야에 걸쳐 더 넓게 적용되는 접근법에 초점을 맞추고 있습니다.

제한사항 및 범위:

  • 지리적 및 문화적 제한:
    • 북미 중심: 이 책은 대부분 북미 학자의 이론을 다루고 있으며, Cram의 원주민 평가를 다룬 13장을 제외하고 있습니다.
    • 비영어권 이론의 제외: 이번 판에는 포함되지 않았지만, 이전 판 및 다른 출판물에서 다른 지역(유럽, 오세아니아, 아프리카)의 이론이 다루어졌습니다(예: Carden & Alkin, 2012; Mertens & Wilson, 2018).

이론 나무 개요:

  • 목적 및 제한:
    • 포괄적이지 않은 대표성: 이론 나무는 평가 이론 분야의 광범위하지만 불완전한 뷰를 제공하는 것을 목표로 하며, 일부 관련 이론의 제외를 인정합니다.
    • 추가 이론: 22장에서는 여러 평가 이론이 간략하게 설명되어 있으며, 이 책에서 자세히 다루지 않은 이유는 다양한 이유로 인해 포함되지 않았습니다(예: 저자의 부재 또는 주요 이론가의 사망).

결론

이 장은 평가 이론을 논의하면서 이론 뒤에 있는 이론가들의 삶과 기여를 다루지 않고 논의하는 것의 복잡성과 도전 과제를 반영합니다. 또한, 광범위한 관점을 유지하면서 실질적인 제한을 균형 있게 고려하여 이론 선택에 신중함을 기울였음을 강조합니다. 북미 중심의 지리적 초점은 이 책의 범위를 강조하며, 22장은 주목할 만하지만 자세히 설명되지 않은 평가 이론에 대한 포괄적인 뷰를 독자에게 제공합니다.

'Wilson Centre' 카테고리의 다른 글

[프로그램 평가] 프로그램 평가 모델과 관련 이론(AMEE Guide No. 67)  (0) 2024.05.22
[프로그램 평가] 교육 프로그램 평가 (AMEE Guide No. 29)  (0) 2024.05.22
[인공지능] 의학교육에서 인공지능(AI in Medical Education)  (0) 2024.05.18
[전문직업성] 정체성 안전이 전문직 정체성 형성에 미치는 영향  (0) 2024.05.18
[테크놀로지] 테크놀로지-강화 의학교육: 허상과 희망을 넘어서  (0) 2024.05.18

'Wilson Centre'의 다른글

  • 현재글[프로그램 평가] 평가 이론 나무(AN EVALUATION THEORY TREE)

관련글

댓글

티스토리툴바