[프로그램 평가] 평가의 프레임: 패러다임, 분파 및 이론

출처: Chapter 2.  Framing Evaluation: Paradigms, Branches, and Theories

https://www.guilford.com/books/Program-Evaluation-Theory-and-Practice/Mertens-Wilson/9781462532759/contents

 

서론

평가 이론에 대해 잘 모른다면, 당신은 평가자가 아닙니다. 훌륭한 방법론자, 멋진 철학자, 또는 매우 효과적인 프로그램 관리자일 수는 있지만, 평가자가 되려면 평가 이론이라는 독특한 지식 기반을 알아야 합니다.
—W. R. SHADISH, American Evaluation Association에서의 연설 (1998, pp. 6–7)

 

평가가 시작되는 시점은 평가 대상(evaluand)이 식별될 때라고 생각할 수 있습니다. 그러나 평가 대상은 다양한 방식으로 식별될 수 있으며, 적절한 전략에 대한 결정은 평가자의 자신에 대한 믿음과 역할, 그리고 세계관에 따라 시작됩니다. 평가자들은 자연스럽게 세상의 모든 것에 대한 설명을 구성하고, 세상이 어떻게 작동하는지에 대한 자신만의 선입견을 가지고 살아갑니다. 다른 사람들이 자신과 같은 방식으로 인생 경험을 인식한다고 믿거나, (이상적으로는) 사람들이 자신과 다른 현실을 주장할 수 있다는 것을 이해할 수 있습니다. 평가자들은 이전에 출판된 연구와 실천에서 배움으로써 자신의 세계관을 넓힐 수 있습니다. 예를 들어, 중학생에게 소셜 미디어 사용에 대해 가르치는 방과 후 프로그램의 평가를 계획할 때, 평가자들은 유사한 전략을 사용한 다른 중학교의 관련 정보와 지침을 찾을 수 있습니다 (예: 괴롭힘 방지 교육, 공유할 적절한 정보에 대한 교육, 온라인 시간 관리). 프로그램 이론 또는 사회 과학 이론은 평가자들이 어떤 패러다임에서 작업할지, 어떤 평가 모델 또는 접근 방식을 사용할지 결정하는 데 도움을 줄 수 있습니다.

패러다임과 이론

이 장에서는 평가에 대한 역사적 및 현대적 접근을 Guba와 Lincoln의 (1989, 2005) 주요 세계관(또는 패러다임)을 이해하기 위한 프레임워크의 확장으로 다룹니다. 패러다임은 철학적 가정의 집합을 포함하는 광범위한 형이상학적 구성입니다. 이론은 구성 요소들 간의 상호 관계에 대해 생각할 수 있는 틀을 제공하며, 패러다임보다 범위가 제한적입니다. 따라서 특정 패러다임과 관련된 다양한 이론적 관점이 존재할 수 있습니다.

평가에서 이론의 역할

이론은 평가에서 여러 가지 역할을 합니다 (Donaldson & Lipsey, 2006). 여기에는 평가 이론, 프로그램 이론, 사회 과학 이론이 포함됩니다.

• 평가 이론의 개념은 우리가 평가를 수행할 때 무엇을 하는지 탐구하는 것으로 논의됩니다.
• 사회 과학 이론은 발달, 학습, 동기 부여 및 사회 변화와 같은 영역을 포괄하며, 페미니스트, 퀴어, 비판적 인종 이론과 같은 정체성 기반 이론을 포함합니다. 이러한 이론은 평가 실천에 대한 결정과 프로그램 결정에 정보를 제공합니다.
• 프로그램 이론은 원하는 프로그램 결과 달성에 영향을 미치는 메커니즘을 설명하는 데 도움을 줍니다. 이는 종종 변화 이론이라고도 하며, 즉 원하는 변화를 달성하기 위해 누구에 의해 어떤 자원으로 무엇을 해야 하는지를 의미합니다.

 

이해하기 쉽게 설명하자면, 평가의 시작은 평가 대상의 식별이지만, 실제로는 평가자의 세계관과 이론적 배경이 평가의 방향을 결정합니다. 평가 이론은 평가자가 평가를 수행할 때 무엇을 하는지 설명하고, 사회 과학 이론은 평가 및 프로그램 결정에 영향을 미치며, 프로그램 이론은 프로그램의 결과를 달성하기 위한 메커니즘을 설명합니다. 이를 통해 평가자는 더 효과적이고 타당한 평가를 수행할 수 있습니다.

---

도해 설명

 

Figure 2.1는 평가 이론과 그와 관련된 요소들 간의 관계를 시각적으로 보여줍니다. 이 도해를 통해 평가 이론이 프로그램 이론, 사회 과학 이론, 평가 모델 및 접근 방식과 어떻게 연관되어 있는지를 이해할 수 있습니다.

1. 패러다임(Paradigm)
   • 패러다임은 평가의 철학적 기초를 제공하는 넓은 개념입니다. 이들은 평가자가 어떤 시각에서 평가를 수행할지 결정하는 데 중요한 역할을 합니다. 도해에서 패러다임은 큰 원으로 표현되어 있으며, 이는 프로그램 이론, 평가 이론, 사회 과학 이론을 둘러싸고 있습니다.
2. 프로그램 이론(Program Theory)
   • 프로그램 이론은 특정 프로그램이 원하는 결과를 달성하기 위해 어떤 메커니즘을 사용하는지 설명합니다. 이는 평가자가 프로그램의 성공을 평가하는 데 중요한 기초를 제공합니다. 도해에서 프로그램 이론은 왼쪽 원으로 표현되어 있으며, 패러다임과 평가 모델 및 접근 방식에 연결되어 있습니다.
3. 평가 이론(Evaluation Theory)
   • 평가 이론은 평가자가 평가를 수행할 때 사용하는 이론적 틀을 의미합니다. 이는 평가 과정에서 무엇을 해야 하는지, 어떻게 해야 하는지를 정의합니다. 도해에서 평가 이론은 중앙에 위치한 원으로 표현되어 있으며, 프로그램 이론, 사회 과학 이론, 평가 모델 및 접근 방식과 연결되어 있습니다.
4. 사회 과학 이론(Social Science Theory)
   • 사회 과학 이론은 평가 실천과 프로그램 결정에 영향을 미치는 이론들입니다. 이는 발달, 학습, 동기 부여, 사회 변화와 같은 영역을 포함합니다. 도해에서 사회 과학 이론은 오른쪽 원으로 표현되어 있으며, 패러다임과 평가 모델 및 접근 방식에 연결되어 있습니다.
5. 평가 모델 및 접근 방식(Evaluation Models and Approaches)
   • 평가 모델 및 접근 방식은 평가를 실제로 수행하는 데 사용되는 구체적인 방법과 전략을 의미합니다. 이는 평가 이론, 프로그램 이론, 사회 과학 이론에서 도출된 지식을 바탕으로 합니다. 도해에서 평가 모델 및 접근 방식은 하단의 작은 원으로 표현되어 있으며, 세 개의 주요 이론과 연결되어 있습니다.

이 도해는 평가 이론이 프로그램 이론과 사회 과학 이론, 그리고 평가 모델 및 접근 방식과 어떻게 상호작용하는지를 시각적으로 보여줍니다. 이는 평가자가 자신의 평가를 설계하고 실행하는 데 있어 필요한 다양한 이론적 틀과 방법을 이해하는 데 도움을 줍니다.

---

"패러다임"을 쉽게 설명하기

패러다임은 매우 복잡하고 혼란스러울 수 있지만, 이 개념을 쉽게 이해해 봅시다. 패러다임은 사람들의 윤리적 관점, 현실에 대한 인식, 유효한 지식으로 간주되는 것, 적절한 평가 방법으로 간주되는 것에 대한 네 가지 가정으로 구성됩니다. 예를 들어, 당신의 삶의 경험을 통해 현실을 이해하는 방식은 나와 다를 수 있습니다. 당신이 진실이라고 생각하는 것이 나에게는 진실이 아닐 수도 있습니다. 당신이 윤리적이라고 생각하는 것이 나에게는 아닐 수 있습니다. 우리 중 누구도 틀린 것은 아니지만(서로가 그렇다고 생각할 수는 있겠지만) 말입니다.

예시

• Lisa는 미국에서 사형률이 가장 높은 주에 살고 있습니다. 그녀는 법원이 여성에게 남자친구를 살해한 혐의로 사형을 선고하는 것이 적절하다고 주장할 수 있습니다. 그녀에게는 흑백논리로, 누군가를 살해하면 사형을 당해야 한다고 생각합니다.
• Martina는 사형이 없는 나라 출신으로, 그녀에게는 여성의 남자친구가 그녀를 때렸다는 사실이 중요한 변수입니다.
• Kent는 피고 여성과 같은 소수 민족에 속해 있으며, 여성의 폭력에 대한 두려움으로 경찰이나 사회 서비스에 연락했을 때 적절한 보호를 받지 못했다고 주장할 수 있습니다.

Lisa, Martina, Kent는 각자 세상과 그것을 보는 방식에 대한 자신만의 형이상학적 구성을 만들었습니다. 만약 당신이 이들의 눈을 통해 세상을 본다면, 그들의 세상 이해 방식이 얼마나 다양한지 보고 놀랄 수 있습니다. 각자는 자라면서 주변 환경으로부터 옳고 그름에 대한 도덕적 가르침을 받았습니다. 각자는 중요하게 생각하는 가치를 선택하고 그것을 지키며 살아갑니다. 이들의 형이상학적 구성은 그들이 누구이며, 무엇을 배우고 경험했는지에 따라 다릅니다. 이러한 구성은 그들이 매일 내리는 윤리적 결정을 안내합니다.

철학적 가정과 패러다임

미국의 2016년 대선 캠페인 동안 나타난 뚜렷한 분열을 생각해 보세요. 미국인들은 한 나라에서 왔지만, 그들이 어떻게 그리고 누가 나라를 개선할 수 있는지에 대한 철학적 믿음은 극명하게 달랐습니다. Lisa, Martina, Kent, 그리고 미국인들을 철학적으로 인도하는 다양한 윤리적 원칙들이 무엇이 진실로 받아들여지는지, 그리고 각자가 어떻게 현실을 이해하는지에 대한 논리적 연결을 제공합니다.

• Lisa에게는 남자친구를 살해한 여성이 유죄라는 것이 현실입니다.
• Martina는 유죄나 무죄를 결정하기 전에 고려해야 할 참작 사유가 있다고 믿으며, 사형은 윤리적인 처벌이 아니라고 생각합니다.
• Kent는 윤리적으로 더 큰 사회적 힘을 고려해야만 실제로 무슨 일이 일어났는지를 해석할 수 있다고 믿습니다.

당신이 아직 인식하지 못한 철학적 가정이 평가자로서 당신이 가장 편안하게 작업할 수 있는 네 가지 패러다임 중 어느 것인지 결정할 것입니다. 네 가지 패러다임을 소개하기 전에 각 패러다임의 철학적 가정을 이해해야 합니다. 윤리의 본질(axiology), 현실(ontology), 지식(epistemology), 체계적 탐구(methodology)에 관련된 네 가지 가정이 있다는 것을 알고 있습니다. 이 장을 계속 읽다 보면 각 개인이 생각하는 방식을 특징짓는 특정 패러다임으로 서로 다른 철학적 가정을 어떻게 구성할 수 있는지 알게 될 것입니다.

요약

패러다임은 우리의 윤리적 관점, 현실 인식, 지식의 타당성, 평가 방법론을 정의하는 철학적 가정들의 집합입니다. 사람마다 다른 삶의 경험과 배경으로 인해 이러한 가정들이 다르게 형성되며, 이는 서로 다른 평가 접근 방식과 방법론을 선택하는 데 영향을 줍니다. 패러다임을 이해함으로써 우리는 평가를 더 효과적으로 계획하고 실행할 수 있습니다.

---

패러다임 (Paradigms)

Guba와 Lincoln(1989, 2005)은 Thomas Kuhn(1962)이 그의 책 "과학 혁명의 구조"에서 사용한 것과는 다르게 "패러다임"이라는 용어를 사용하여 연구와 평가의 기저에 있는 가정을 명확하게 설명하려고 했습니다. 이들은 패러다임을 네 가지 철학적 가정의 집합으로 이루어진 형이상학적 구성물로 특징지었습니다(상자 2.1 참조). Shadish(1998)는 많은 평가 분야의 근본적인 문제들이 기본적인 철학적 가정의 차이를 반영한다고 언급했습니다. 평가 분야의 대부분의 논쟁은 "인식론과 존재론, 우리가 지식을 구성할 때 어떤 가정을 하는지, 인과관계, 일반화, 진리와 같은 우리가 사용하는 많은 근본 개념의 본질에 관한 것"이라고 했습니다(p. 3).

 

현대 평가 세계에서 작동하는 다양한 세계관을 검토하기 위한 유용한 구조로 네 가지 패러다임이 있습니다: 후실증주의(Postpositivist), 구성주의(Constructivist), 변혁적(Transformative), 실용주의(Pragmatic) 패러다임. 각 패러다임은 이 장의 나중 부분(Box 2.2)에서 설명되며, Part II에서 접근 방식과 샘플 연구와 함께 설명됩니다. 이러한 패러다임들 간의 경계와 관련된 평가 접근 방식은 명확하지 않습니다. 각 패러다임은 다른 철학적 가정에 대해 다른 강조를 두지만, 이들을 정의하는 경계는 여전히 투과성이 있어 패러다임 간의 겹침이 가능합니다.

평가 이론 (Evaluation Theory)

Shadish(1998)는 평가 이론을 "우리가 누구인가"로 설명하며, 이는 평가자가 독특하게 수행하는 것을 설명하기 위해 이 학제간에서 사용하는 언어를 제공한다고 말했습니다. 평가의 독특함은 "가치 질문을 연구하고, 다른 사회 과학자들보다 결과를 더 유용하게 만드는 방법에 대한 이해, 평가 클라이언트의 요구에 따라 어떤 지식 구성 방법을 사용할지 선택하는 전략"에 있습니다(p. 5).

 

Smith(2008)는 평가 이론을 평가의 목적에 중심을 두어 설명합니다. 평가 이론은 "우리가 평가에 참여하는 이유와 방법에 대한 생각"을 반영합니다. 평가의 목적이 검증, 책임, 모니터링, 개선 및 개발 중 어느 것인지 결정하는 데 도움을 줍니다(p. 3). 이론은 평가의 목적을 결정하고, 평가에서 결정을 내리는 데 필요한 증거를 정의하는 데 지침을 제공합니다.

좋은 평가 이론의 기준 (Criteria for a Good Evaluation Theory)

Shadish et al.(1991)은 평가 이론이 다음 기준을 충족해야 한다고 제안했습니다:

• 지식(Knowledge): 신뢰할 수 있는 지식을 생산하기 위해 무엇을 해야 하는가?
• 사용(Use): 평가에서 얻은 지식을 어떻게 사용할 수 있는가?
• 가치 평가(Valuing): 우리의 가치 판단을 어떻게 구성하는가?
• 실천(Practice): 평가자로서 실제로 무엇을 하는가?
• 사회 프로그램(Social programming): 사회 프로그램의 본질과 그것이 사회 문제 해결에 어떤 역할을 하는가?

Stufflebeam과 Shinkfield(2007)는 프로그램 평가 이론이 다음과 같은 여섯 가지 구성 요소를 가져야 한다고 주장합니다: "전체적인 일관성, 핵심 개념, 평가 절차가 원하는 결과를 어떻게 생산하는지에 대한 검증된 가설, 실행 가능한 절차, 윤리적 요구 사항, 프로그램 평가 실천을 안내하고 프로그램 평가에 대한 연구를 수행하기 위한 일반적인 틀"(pp. 63–64).

• overall coherence,
• core concepts,
• tested hypotheses on how evaluation procedures produce desired outcomes, 
• workable procedures, 
• ethical requirements, and
• a general framework for guiding program evaluation practice and conducting research on program evaluation”

 

평가 전문직은 많은 핵심 개념과 윤리적 원칙을 가지고 있으며, 이는 1장에서 논의됩니다. 평가 이론가들은 평가 수행에 대한 지침을 제공하는 다양한 접근 방식을 개발했습니다. 그러나 평가 분야는 아직 특정 절차의 사용이 원하는 결과를 초래하는지에 대한 핵심 연구를 생산하지 못했습니다(Alkin, 2013). Stuffl ebeam과 Shinkfi eld(2007)는 다음과 같이 결론지었습니다:

"프로그램 평가의 연구와 실천을 안내할 수 있는 포괄적이고 검증된 이론을 개발하는 데 평가 전문직은 아직 멀었다. 프로그램 평가 문헌에서 프로그램 평가 이론에 대한 언급은 많지만, 이러한 언급은 종종 과장된 것이다. 이들은 보통 포괄성과 검증이 부족한 개념적 접근이나 평가 모델을 이론으로 지칭한다."(p. 68)

요약

• 패러다임: 후실증주의, 구성주의, 변혁적, 실용주의 패러다임이 있으며, 각각은 철학적 가정에 따라 다릅니다.
• 평가 이론: 평가의 독특함과 목적에 대한 이해를 제공합니다.
• 좋은 평가 이론의 기준: 신뢰할 수 있는 지식 생산, 지식 사용, 가치 판단, 실천, 사회 프로그램의 본질을 포함합니다.

---

Box 2.1: 패러다임의 네 가지 철학적 가정

Box 2.1은 패러다임의 네 가지 철학적 가정을 보여주며, 이는 사람들이 세상을 이해하는 방식에 대한 가정들입니다. 각 가정은 평가자들이 평가를 수행할 때 그들의 관점을 형성하는 데 중요한 역할을 합니다.

 

1. 윤리학 (Axiology)

• 지배적 질문: 윤리의 본질은 무엇인가?
• 삶에서의 경험:
  • 당신의 사회, 문화, 종교는 옳고 그름에 대한 도덕적 가르침을 주었습니다. 당신은 자신의 가치를 개발했으며, 이는 당신이 믿고 지지하는 원칙이나 아이디어입니다. 이들은 당신이 삶을 어떻게 살아가는지에 대한 윤리를 안내합니다.
  • 예시: Lisa는 정의를 중요시하여 사형을 지지합니다. Martina는 자기 방어의 권리를 중요시하여 사형을 반대합니다. Kent는 모든 사람에게 적절한 사회 서비스를 제공하는 것을 중요시하여 사형을 반대합니다.

2. 존재론 (Ontology)

• 지배적 질문: 현실의 본질은 무엇인가?
• 삶에서의 경험:
  • 하나의 현실이 존재하는가, 아니면 특정 맥락에서 사람들의 경험과 조건에 따라 다른 여러 현실이 존재하는가?
  • 예시: Lisa의 형제는 교도관으로서 죄수들의 나쁜 행동에 대해 이야기합니다. Martina의 형제는 감옥에서 중독 재활 치료를 받았고, 지금은 직업과 가족을 가지고 있습니다. Kent는 다큐멘터리를 보고 대량 감금에서 죄수들이 받는 가혹한 대우에 대해 읽었습니다. 누구의 현실이 진짜인가?

3. 인식론 (Epistemology)

• 지배적 질문: 지식의 본질은 무엇이며, 아는 자와 알려질 것 사이의 관계는 무엇인가?
• 삶에서의 경험:
  • 인식론적 질문을 다른 방식으로 표현하면, 평가자는 이해관계자들과 어떻게 관계를 맺어야 하는가? 평가자가 객관적으로 이해관계자들과 떨어져 있어야 하는가, 아니면 그들과 깊은 대화를 나누고 활동에 참여해야 하는가? 예를 들어, 남자친구를 살해한 여성의 경우, 무엇이 현실인지 어떻게 배울 수 있는가?

4. 방법론 (Methodology)

• 지배적 질문: 알려질 것에 대한 정보를 수집하는 체계적인 접근 방식은 무엇인가?
• 삶에서의 경험:
  • 두 그룹을 비교해야 하는가, 아니면 한 그룹을 집중적으로 연구하여 진전을 문서화할 수 있는가? 정량적 접근, 질적 접근, 혼합 방법 접근 중 어떤 것을 사용해야 하는가? 감옥에 설문 조사를 보내고, 여성을 인터뷰하며, 사회 서비스 기관의 관련 근로자를 인터뷰해야 하는가? 가정 폭력에 대한 데이터를 수집하고 지역 및 주 법률에 대한 정보를 수집해야 하는가?

이 네 가지 철학적 가정은 평가자들이 평가를 계획하고 수행할 때 그들의 사고 방식과 접근 방식을 형성하는 데 중요한 역할을 합니다. 이러한 가정을 이해함으로써 평가자들은 더 명확하고 일관된 평가를 수행할 수 있습니다.

---

평가 모델과 접근 방식 (Models and Approaches)

Alkin(2013)은 Stufflebeam과 Shinkfield(2007)와 의견을 같이하며, 일반적으로 평가 이론이라고 불리는 것이 "접근 방식이나 모델"이라고 불리는 것이 더 적절할 수 있다고 인정했습니다(p. 4, 원문 강조). 우리는 그 점에서 그와 동의하며, 따라서 이론가들이 개발한 모델과 접근 방식을 논의합니다. 모델은 "좋은 평가 또는 적절한 평가가 무엇이며 어떻게 수행되어야 하는지 지정하는 규칙, 처방 및 금지 사항과 안내 프레임워크의 집합"으로 생각할 수 있습니다(Alkin, 2013, p. 4).

평가의 역사적 뿌리

평가의 역사적 뿌리는 평가 분야의 학제 간 성격 때문에 여러 가지 방식으로 묘사되어 왔습니다. Christie와 Alkin(2013)은 나무의 뿌리를 사회적 책임성, 사회적 탐구, 인식론으로 표현하는 비유를 사용합니다. 그는 평가의 역사적 및 현대적 이론적 관점을 설명하기 위해 방법, 사용, 가치 기반 이론(접근/모델)을 나무의 세 주요 가지로 묘사합니다. 이 나무는 몇 가지 면에서 유용하지만, 주로 백인 서구 평가 이론가들의 작업을 반영하며, 페미니스트, 유색인종, 장애인, LGBTQ 커뮤니티, 경제적으로 빈곤한 국가의 커뮤니티, 원주민 그룹의 평가 이론가들을 포함하지 않는다는 한계가 있습니다. Christie와 Alkin의 세 가지는 이 장의 앞부분에서 언급된 세 가지 주요 패러다임(postpositivist, pragmatic, constructivist)으로 대략적으로 매핑할 수 있습니다.

• 방법 가지는 후실증주의 패러다임에,
• 사용 가지는 실용주의 패러다임에,
• 가치 가지는 구성주의 패러다임에 매핑됩니다.
• 우리는 변혁적 패러다임에 매핑되는 네 번째 가지로 사회 정의를 제안합니다.

이름이 나타내듯이, 변혁적 패러다임은 사회 정의를 증진시키는 데 중점을 두고 있으며, 문화적 반응성, 인종/민족성, 인권, 페미니즘, 장애인 권리, 청각 장애, 탈식민/원주민, 퀴어 이론 및 기타 소외된 공동체를 기반으로 한 이론적 틀을 개발하는 평가자들을 포함합니다. 그림 2.2는 네 가지 평가 가지가 포함된 나무의 예를 보여줍니다. 우리는 Alkin(2013)이 나무의 가지들이 배타적exclusive이지 않다고 주장했을 때 동의하고 싶습니다. 그는 "단지 하나의 모델만이 방법론을 믿고 다른 모델은 그렇지 않다는 것이 아니다. 오히려 범주 체계는 다양한 모델 내에서의 상대적 강조를 기반으로 한다"고 썼습니다(p. 7).

따라서 평가 모델의 묘사는 패러다임에 대한 우리의 이전 논의와 연결될 수 있습니다. Box 2.2는 이 장의 시작 부분에서 소개된 네 가지 패러다임을 나열하고, 이를 방법론, 활용, 가치, 사회 정의의 주요 평가 가지와의 관계를 보여줍니다. 평가 역사에서 흥미로운 점은 평가자들이 과거를 잊지 않는다는 것입니다. 오히려 초기 시절에 그들을 도왔던 다양한 패러다임, 이론, 접근 방식을 계속 유지하고 있으며, 이러한 패러다임, 이론, 접근 방식의 최신 발전과 진화를 인식하면서도 이를 고수하는 경향이 있습니다. 예를 들어,

• 포스트실증주의자들은 여전히 무작위 대조 시험을 옹호하고 있으며,
• 실용주의자들은 평가 결과의 활용도를 높이기 위한 전략을 계속해서 쓰고 있습니다.
• 구성주의자들은 현실의 복잡성을 포착하기 위해 질적 방법 사용에 대한 논의를 추가하고 있으며,
• 변혁적 평가자들은 평가 초기 역사에서 포함되지 않았던 사람들의 목소리를 조명합니다.

평가의 가지들

• 방법 가지(Methods Branch): 후실증주의 패러다임과 연관되며, 방법론에 중점을 둡니다.
• 사용 가지(Use Branch): 실용주의 패러다임과 연관되며, 평가 결과의 활용에 중점을 둡니다.
• 가치 가지(Values Branch): 구성주의 패러다임과 연관되며, 가치 기반 접근에 중점을 둡니다.
• 사회 정의 가지(Social Justice Branch): 변혁적 패러다임과 연관되며, 사회 정의를 증진하는 데 중점을 둡니다.

이 가지들은 패러다임과 연결되며, 각 가지는 평가 방법론, 사용, 가치에 대한 상대적 강조를 기반으로 합니다.

대체 비유: 강과 바다

평가 역사와 이론적 관점을 묘사하는 데 있어 나무가 가장 좋은 비유인지는 의문입니다. Patton(2004)은 나무 가지 대신 강의 지류를 비유로 사용할 것을 제안했습니다. 강의 물이 강둑을 넘나들며 아이디어가 서로 섞이는 기회를 제공합니다. 우리는 물 비유가 더 포괄적일 수 있다고 생각합니다. 강물이 강으로, 강이 바다로 흘러가는 복잡한 비유가 평가의 풍부한 역사와 현재 상태를 포착하는 데 더 적절할 수 있습니다.

 

또 다른 비유로, 주요 이론적 관점을 바다의 해류로 생각할 수 있습니다. 바다 해류는 바람, 온도, 염도, 조수, 태양과 달의 자력, 해저 지형, 해안선 구성에 의해 만들어진 물의 움직임입니다. 바다 해류는 세계의 기후 차이를 결정하는 데 중요한 역할을 하며, 얕은 층과 깊은 순환 시스템을 통해 널리 퍼집니다. 이는 여러 힘이 작용하여 다양한 바다 해류의 성격과 영향을 결정하는 것을 보여줍니다.

사회 과학 이론의 역할

이제 퍼즐의 또 다른 조각을 추가할 차례입니다: 평가 대상(evaluand)과 평가 계획의 개발에서 사회 과학 이론의 역할입니다.

 

이 비유는 평가 이론, 방법 및 접근 방식의 복잡성을 시연하는 데 유용합니다. 다양한 힘이 작용하여 서로 다른 평가 이론과 접근 방식의 성격과 효과를 결정하는 것처럼, 사회 과학 이론도 평가의 다양한 측면에 영향을 미칩니다. 이해를 돕기 위해, 평가 모델과 접근 방식을 패러다임과 연결하여 이해하면 평가의 역사적 및 이론적 발전을 더 잘 이해할 수 있습니다. 이러한 연결을 통해 우리는 평가를 더 효과적이고 포괄적으로 계획하고 수행할 수 있습니다.

---

Figure 2.2: 평가 접근 방식의 네 가지 가지가 있는 나무

 

 

이 그림은 평가 접근 방식을 나타내는 네 가지 주요 가지를 가진 나무를 보여줍니다. 나무의 뿌리는 사회적 책임성, 재정 통제, 사회적 탐구를 나타내며, 이는 평가의 기초가 되는 요소들입니다. 나무의 가지들은 각각 다른 평가 접근 방식을 상징합니다.

• 방법(Method): 평가에서 주로 양적 설계와 데이터를 사용하는 접근 방식
• 사용(Use): 이해 관계자들에게 유용한 데이터에 중점을 두는 접근 방식
• 가치(Values): 다양한 가치와 관점을 식별하는 데 중점을 두는 접근 방식
• 사회 정의(Social Justice): 소외된 그룹의 관점을 중심으로 하고 사회 정의와 인권을 증진시키는 접근 방식

Box 2.2: 평가의 주요 패러다임

 

이 상자는 평가에서 사용되는 주요 패러다임과 각각의 가지에 대해 설명합니다.

• 후실증주의(Postpositivist)
  • 가지: 방법(Method)
  • 설명: 주로 양적 설계와 데이터에 중점을 두며, 혼합 방법을 사용할 수 있지만 양적 방법이 지배적임.
• 실용주의(Pragmatic)
  • 가지: 사용(Use)
  • 설명: 이해 관계자들에게 유용한 데이터에 중점을 두며, 혼합 방법의 사용을 권장함.
• 구성주의(Constructivist)
  • 가지: 가치(Values)
  • 설명: 질적 방법을 통해 다양한 가치와 관점을 식별하는 데 중점을 두며, 혼합 방법을 사용할 수 있지만 질적 방법이 지배적임.
• 변혁적(Transformative)
  • 가지: 사회 정의(Social Justice)
  • 설명: 소외된 그룹의 관점에 중점을 두고 혼합 방법을 통해 체계적인 권력 구조를 조사하여 사회 정의와 인권을 증진시키는 데 중점을 둠.

이 표는 평가 접근 방식이 각기 다른 철학적 가정과 방법론을 기반으로 어떻게 분류되는지를 보여줍니다. 이는 평가자가 평가를 설계하고 실행할 때 어떤 접근 방식을 사용할지 결정하는 데 도움을 줍니다.

---

사회 과학 이론 (Social Science Theory)

사회 과학자들은 인간 발달, 학습, 동기 부여, 문해 발달, 행동 변화 등 다양한 영역을 설명하기 위해 이론을 생성했습니다. 평가자들은 이러한 이론을 활용하여 프로그램 개발자를 돕습니다. Donaldson과 Lipsey(2006)는 사회 과학 이론의 사용이 집단 지혜를 반영하는 개입 개발에 기여할 수 있으며, 따라서 이미 효과가 없는 것으로 알려진 치료에 소모되는 시간을 줄일 수 있다고 제안합니다. 그러나 사회 과학 이론을 문화 간에 전이하는 어려움이 있다는 점을 명심해야 합니다. 분명해 보일지라도, 평가자들은 미국의 백인 중산층 집단을 대상으로 개발된 이론을 다른 인구 및 맥락에 일반화하는 능력을 제한할 수 있는 고유한 문화적 요소를 인식해야 합니다.

 

Bledsoe와 Graham(2005)은 부모-자녀 유대감이 독서 및 상호 작용 활동을 통해 인지적 자극을 제공할 수 있다고 가정하는 아동 발달 및 인지 학습 이론을 기반으로 한 가족 문해 프로그램을 평가했습니다. 따라서 이 프로그램에는 문해 및 학교 준비 기술 개발을 지원하기 위해 문학과 음악의 사용, 건강 서비스 및 부모 교육 프로그램 제공, 가정 내 부모와 자녀 간의 독서를 권장하는 가족 문해 구성 요소 등이 포함되었습니다. Campbell, Greeson, 그리고 Fehler-Cabral(2014)은 성폭력을 경험한 청소년을 위한 상담 프로그램을 평가하기 위해 페미니스트 이론을 사용했습니다. 페미니스트 이론적 틀을 사용함으로써 그들은 청소년들이 연구에 참여할 수 있는 안전한 환경을 제공하기 위해 체계적인 권력 불균형을 다룰 수 있었습니다.

프로그램 이론 (Program Theory)

프로그램 이론은 Chen과 Rossi(1983)의 작업으로 시작되었으며, 3장에서 더 자세히 다루어집니다. 초기에는 프로그램 결과에 영향을 미칠 변수들을 식별하고 정량화하려는 시도에 크게 기반을 두고 있었습니다. 수년간 다른 평가자들은 프로그램 이론을 사용하여 평가 대상을 설명하는 방법을 개발했으며, 이는 논리 모델(logic models) 또는 로직 프레임(log frames)으로 알려져 있습니다(7장에서 논의). 이러한 모델은 프로그램 평가의 투입, 자원, 가정, 활동, 결과, 산출물 및 영향을 그래픽으로 묘사한 것입니다. Donaldson과 Lipsey(2006)는 다양한 평가 방법론에 이 접근 방식을 확장하여 프로그램 이론 기반 평가의 사용에 크게 기여했습니다. Bledsoe와 Graham(2005)는 프로그램 이론과 여러 접근 방식을 혼합하여 포괄적이고 변혁적인 접근 방식과 사용성 접근 방식 및 권한 부여 평가의 요소를 결합한 사례를 보여줍니다. 프로그램 이론 기반 접근 방식은 3장과 6장에서 더 자세히 논의됩니다.

 

Trochim(1998)은 평가자들이 사회 과학 이론에 너무 의존하고 프로그램에 가장 가까운 이해관계자들의 인식을 충분히 반영하지 않는다고 믿습니다. 사회 과학 이론은 문해 발달이나 동기 부여와 같은 광범위한 영역에서 유용한 지침을 제공할 수 있지만, 이해관계자의 구체적인 맥락적 요구를 반영하지 못합니다. 그는 프로그램이 성공하기 위해 필요한 것에 대한 이해관계자들의 프로그램 이론을 이끌어내는 메커니즘을 개발했습니다. 그는 이를 프로그램에 가장 가까운 사람들이 가지고 있는 "암묵적 이론"이라고 부릅니다.

---

Figure 2.3: 평가 접근 방식을 비유한 전 세계 순환 시스템

 

Figure 2.3은 평가 접근 방식을 비유하기 위해 NOAA(2009)에서 적응한 전 세계 순환 시스템(글로벌 컨베이어 벨트)을 보여줍니다. 이 비유는 평가 이론과 접근 방식이 서로 연결되고 상호 작용하는 복잡한 방식을 설명하는 데 사용됩니다. 그림은 방법(Method), 사용(Use), 가치(Values), 사회 정의(Social Justice)라는 네 가지 주요 평가 접근 방식을 포함합니다.

• 방법(Method): 주로 양적 방법과 설계를 강조하는 접근 방식으로, 후실증주의 패러다임과 연관됩니다.
• 사용(Use): 평가 결과의 실용적 사용을 강조하는 접근 방식으로, 실용주의 패러다임과 연관됩니다.
• 가치(Values): 다양한 가치와 관점을 이해하고 반영하는 접근 방식으로, 구성주의 패러다임과 연관됩니다.
• 사회 정의(Social Justice): 사회 정의와 인권을 증진하기 위해 소외된 그룹의 관점에 중점을 두는 접근 방식으로, 변혁적 패러다임과 연관됩니다.

이 그림은 각 접근 방식이 어떻게 서로 연결되고 영향을 주는지를 시각적으로 보여줍니다. 전 세계 순환 시스템의 흐름처럼, 평가 접근 방식들도 서로 얽히고설켜 있으며, 각각의 접근 방식이 평가에 중요한 기여를 합니다. 이 비유는 평가의 복잡성과 상호 연관성을 강조하며, 평가자가 다양한 방법론과 이론을 통합하여 평가를 수행할 수 있도록 돕습니다.

---

평가자의 역할 (Evaluators' Roles)

Ryan과 Schwandt(2002)는 평가 이론을 평가자의 역할과 직접적으로 연결시킵니다: "‘평가자의 역할’이라는 개념은 평가의 이론과 실천의 중심입니다” (p. vii). 평가 이론을 평가자가 하는 일과 그들이 누구인지로 설명하면, 이 연결은 이 장의 이론적 탐구의 중요한 부분으로 보입니다. 평가 이론의 각 주요 가지와 그 가지 내의 접근 방식들은 평가자가 수행하는 역할의 다른 측면을 강조합니다.

 

Skolits, Morrow, and Burr(2009)는 평가자의 역할을 특정 접근 방식과 연결하는 것이 평가자가 실천에서 맡는 역할의 복잡하고 역동적인 본질을 제대로 반영하지 못한다고 제안합니다. 그들은 평가 과정 동안 평가자들이 평가의 단계와 상황의 요구에 따라 많은 다른 역할을 수행한다고 주장합니다. 이들은 외부 평가에서 대부분의 평가자가 수행하는 일반적인 활동 목록을 검토하고, 평가자에게 지배적인 역할과 보조적인 역할을 설명합니다. 이러한 역할은 평가의 시작, 중간, 끝에 따라 변하지만, 전체 과정에서 지배적인 역할은 관리자의 역할입니다. 평가자는 평가를 계획하고, 실행하며, 마무리하는 복잡한 과정을 관리할 수 있어야 합니다. Skolits 등은 계획, 실행, 후평가 단계에서 더 일반적으로 발생하는 특정 역할을 식별합니다. (Figure 2.4 참조)

 

Figure 2.4: 평가 과정에서 평가자의 역할

 

Figure 2.4는 평가 과정 동안 평가자가 맡는 다양한 역할을 시각적으로 보여줍니다. Skolits, Morrow, and Burr(2009)의 모델을 기반으로 한 이 도식은 평가의 각 단계에서 평가자가 맡는 역할을 설명합니다.

• 지배적인 역할: 관리자 (Manager)
  • 평가 과정 전체에서 관리자 역할은 평가를 계획하고 실행하며 마무리하는 복잡한 과정을 관리하는 역할입니다.

계획 단계 (Planning Phase)

• 탐정 (Detective): 맥락과 평가자 기술 측면에서 필요한 것을 찾아냄.
• 디자이너 (Designer): 실행 가능한 설계를 포함한 평가 계획을 개발.
• 협상가 (Negotiator): 시간, 돈, 기타 관련 요인에 관한 계약 문제에 대해 합의에 도달.

실행 단계 (Implementation Phase)

• 외교관 (Diplomat): 이해관계자와 협력하여 신뢰와 관계를 구축.
• 연구자 (Researcher): 데이터를 수집하고 분석하며, 유효하고 신뢰할 수 있는 측정 도구 사용.
• 판사 (Judge): 프로그램 개선을 위해 증거를 사용하여 판단.
• 기자 (Reporter): 평가 결과를 이해관계자에게 전달.

후평가 단계 (Postevaluation Phase)

• 사용 옹호자 (Use Advocate): 평가 결과의 활용을 촉진.
• 학습자 (Learner): 평가에서 개선이 필요한 영역을 식별(메타평가).

 

이 평가자의 역할에 대한 일반적인 묘사는 평가자가 연구 과정에서 다양한 역할을 어떻게 채택하는지를 이해하는 데 유용합니다. 평가의 다른 가지와 관련된 이론가들은 이러한 역할의 다른 측면을 강조합니다. 따라서 Part II의 가지들에 대한 논의에서 평가자의 역할은 특정 이론적 맥락에서 검토됩니다. 다른 패러다임은 평가자의 역할을 더 미세하게 이해하기 위해 가치, 정치적 맥락, 객관성, 이해관계자와의 거리 또는 참여, 편견, 그리고/또는 옹호를 포함/강조하는 개념을 제공합니다.

정치적 맥락에서 평가자의 역할

평가는 정치적 맥락에서 발생하기 때문에, 평가자의 역할은 평가 연구에서 발생하는 사회적 관계에 대한 주의를 필요로 합니다(Abma & Widdershoven, 2008). Skolits 등의 모델은 평가자의 역할에서 외교관으로서의 정치적 맥락의 중요성을 제안합니다. Abma와 Widdershoven은 이해관계자와의 사회적 관계에서 평가자의 역할에 대한 인식의 중요성을 강조합니다. 연구 전반에 걸쳐 수립되고 유지되는 관계의 질은 결과의 질을 부분적으로 결정합니다. Skolits 등은 평가자의 역할에 대한 논의를 다음과 같은 점으로 확장합니다:

• 평가자의 역할 중 일부는 이해관계자와의 사회적 관계를 설정하고 연구 전반에 걸쳐 그 관계를 모니터링하는 것입니다. 여기에는 갈등을 초래할 수 있는 권력 차이를 인식하고 대응하는 것이 포함됩니다. 갈등은 반드시 나쁜 것은 아니며, 적절하게 처리되면 중요한 문제를 해결할 수 있는 기회가 될 수 있습니다.
• 평가자는 종종 갈등을 가시화하고 상황에 대한 논의를 할 수 있는 공간을 제공하는 리더십 역할을 맡아야 합니다.
• 평가자는 연구 전반에 걸쳐 중요한 소통자의 역할을 합니다. 최종 보고서를 작성할 때뿐만 아니라, 클라이언트와의 첫 접촉과 다양한 이해관계자와의 여러 중간 접촉에서 효과적인 의사소통을 할 수 있어야 합니다.
• 평가자는 변화의 촉진자로서 일합니다. 특히 연구 과정에서 프로그램을 개선하려는 목적을 가진 형성 평가 단계가 포함된 경우 더욱 그렇습니다.
• 평가자는 프로그램의 맥락, 평가가 직면한 제약과 기회에 대한 통찰을 제공합니다. 예를 들어, 제한된 자금이나 프로그램 변경 논의에서 다루어야 할 부정적인 고정 관념이 있는 경우, 평가자는 이러한 변수를 포함하여 프로세스 또는 결과에 대한 평가 데이터를 제안할 수 있습니다.

Abma와 Widdershoven(2008)은 네 가지 주요 평가 가지에 대한 평가자의 역할을 요약합니다. 이들의 요약을 도식화한 버전은 Figure 2.5에 표시됩니다.

 

Figure 2.5: 주요 평가 가지별 평가자의 역할

 

 

이 그림은 Abma와 Widdershoven(2008)에 기반하여 주요 평가 가지별 평가자의 역할을 보여줍니다.

• 방법(Method): 평가자는 객관적이고 중립적인 당사자로서의 역할을 합니다.
• 사용(Use): 사회적 관계 관리자로서 평가 결과의 활용을 촉진하는 역할을 합니다.
• 가치(Values): 의미 있는 대화에 참여하는 소통자로서의 역할을 합니다.
• 사회 정의(Social Justice): 신뢰와 문화적 존중을 기반으로 관계를 구축하고, 구조적 불평등을 조사하는 역할을 합니다.

---

Extending Your Thinking: Evaluators' Roles

1. 당신이 경험한 평가자의 역할은 무엇입니까?
2. 당신이 잘 수행할 수 있을 것이라고 생각하는 역할은 무엇입니까?

요약 및 질문

평가 과정에서 평가자는 다양한 역할을 수행하며, 각 역할은 평가의 다른 단계에서 중요합니다. 평가자는 단순히 데이터를 수집하고 분석하는 것 이상의 역할을 합니다. 그들은 이해관계자와의 관계를 관리하고, 프로그램 개선을 위한 판단을 내리며, 결과를 전달하는 중요한 역할을 수행합니다. 평가자의 이러한 다양한 역할을 이해함으로써, 우리는 평가가 얼마나 복잡하고 다면적인 과정인지 알 수 있습니다.

평가자로서 당신이 경험한 역할은 무엇이며, 어떤 역할에서 당신이 잘할 것이라고 생각하는지 고민해 보세요. 이러한 질문을 통해 평가자로서의 자신의 강점과 개선이 필요한 부분을 더 잘 이해할 수 있을 것입니다.

---

Part II로 이동 (Moving On to Part II)

이 장의 요약은 철학, 이론, 접근 방식, 방법론 및 평가자의 역할을 다루며, 책의 Part II로 나아가기 위한 준비를 제공합니다. Part II에서는 평가의 특정 가지들이 더 자세히 검토됩니다. 특히, 책의 나머지 부분에서 사용될 용어와 질문들이 아래에 나열되어 있습니다. Figure 2.6은 이 목록을 시각적으로 보여주며, Part II를 읽는 동안 유용한 지침이 될 것입니다.

1. 윤리학적 믿음 체계 (Axiological Belief System): 윤리의 본질은 무엇인가?
2. 존재론적 믿음 체계 (Ontological Belief System): 현실의 본질은 무엇인가?
3. 인식론적 믿음 체계 (Epistemological Belief System): 지식의 본질은 무엇이며, 아는 자와 알려질 것 사이의 관계는 무엇인가?
4. 방법론적 믿음 체계 (Methodological Belief System): 알려질 것에 대한 정보를 수집하는 체계적인 접근 방식은 무엇인가?

 

Figure 2.6: 평가에서 네 가지 철학적 믿음 체계와 관련 질문들

 

이 그림은 평가에서 네 가지 철학적 믿음 체계와 관련된 질문들을 시각적으로 보여줍니다. 각 믿음 체계는 평가자의 접근 방식과 방법론에 영향을 미칩니다.

• 윤리학 (Axiology): 윤리의 본질은 무엇인가?
• 존재론 (Ontology): 현실의 본질은 무엇인가?
• 인식론 (Epistemology): 지식의 본질은 무엇이며, 이해관계자와의 관계는 어떠한가?
• 방법론 (Methodology): 데이터를 수집하는 체계적인 접근 방식은 무엇인가?

이 도해는 평가 과정에서 이러한 철학적 질문들이 어떻게 평가의 각 측면에 영향을 미치는지 보여줍니다. 평가자는 이러한 질문들을 통해 평가를 더 깊이 이해하고, 다양한 철학적 관점을 고려하여 더 포괄적이고 효과적인 평가를 수행할 수 있습니다.

 

Part II에서는 또한 평가의 네 가지 주요 가지(방법, 사용, 가치, 사회 정의)의 철학, 이론 및 접근 방식을 다룹니다. 각 가지와 관련된 철학적 가정을 반영하는 특정 접근 방식이 설명됩니다. 또한, 평가 연구의 구성 요소에 대한 광범위한 예가 제공되어 이론적 위치에 대한 논의를 배치할 수 있는 맥락을 제공합니다. 따라서 각 장에서는 요약 형식으로 평가 연구의 예를 제시하고, 다양한 구성 요소를 식별합니다. 이러한 연구를 수행한 많은 평가자들이 그들이 사용한 과정과 연구 수행 중 직면한 도전에 대한 논평도 제공합니다.

노트 (Notes)

1. 변혁적 패러다임은 Mertens(2015a)가 개념화한 것으로, 원주민 평가자를 포함합니다. 원주민 평가자들은 별도의 원주민 패러다임을 주장하는 최근 학문을 발표했습니다(Chilisa, Major, Gaotlhobogwe, & Mokgolodi, 2016; Mertens & Cram, 2016). 이 책에서는 별도의 장으로 원주민 패러다임을 포함하지 않았지만, 원주민 커뮤니티의 발전을 주시할 것입니다.
2. Fitzpatrick, Sanders, 및 Worthen(2004)은 평가에 대한 다섯 가지 주요 접근 방식을 설명합니다(목표 지향, 관리 지향, 소비자 지향, 전문 지향, 참가자 지향). Stuffl ebeam과 Shinkfi eld(2007)는 네 가지 범주에 위치한 여덟 가지 추천 접근 방식을 강조합니다: 질문과 방법(목표 기반 평가, 실험 설계, 사례 연구); 개선 및 책임성(맥락 입력-과정 제품 모델 및 소비자 지향 평가); 사회적 의제 및 옹호(반응/클라이언트 중심 평가 및 구성주의 평가); 혼합(활용 평가). 우리는 평가자가 그들의 작업을 안내하는 가정을 명확히 할 수 있게 하는 패러다임의 개념과 더 잘 맞는 Christie와 Alkin의(2013) 뿌리 모델을 사용하기로 했습니다.
3. Christie와 Alkin의(2013) 평가 나무에 대한 비평가들은 또한 브루킹스 연구소, 랜드 연구소, 어반 연구소, 웨스탯과 같은 민간 산업 및 비영리 단체에서 일하는 평가자들에 대한 관심이 부족하다고 언급했습니다. 원래 나무에 있는 평가자들은 주로 학계의 사회학자와 심리학자들입니다. 경제학자나 통계학자는 거의, 또는 전혀 나무에 포함되지 않았습니다.
4. 바다의 해류에 대해 더 알고 싶다면, 참고문헌에 있는 NOAA 웹사이트를 참조할 수 있습니다. 주요 해류는 북대서양, 남대서양, 북태평양, 남태평양, 인도양에 있습니다(NOAA, 2013). 북대서양의 걸프 스트림은 가장 크고 강력하며, 북아프리카에서 서인도 제도로 이어지는 해류로 공급됩니다. 걸프 스트림이 라틴 아메리카에 도달하면 카리브 해류(카리브해와 멕시코만으로 흐름)와 앤틸리스 해류(서인도 제도로 흐름)로 나뉩니다. 카리브 해류는 미국 동부 해안을 따라 흐릅니다. 이는 뉴펀들랜드 남쪽에서 꺾여 영국과 노르웨이를 향해 흐르는 소용돌이를 생성합니다.

---

 

 

요약

이 장에서는 평가의 철학적 기초, 이론, 접근 방식, 방법론 및 역할을 다루며, 평가자가 자신의 역할을 이해하고 평가를 수행하는 데 있어 다양한 접근 방식을 어떻게 사용할 수 있는지를 설명했습니다. Part II에서는 이러한 개념들이 더 깊이 탐구되며, 구체적인 평가 연구 사례와 함께 논의됩니다. 이를 통해 평가자는 자신의 평가 실천을 더 잘 이해하고, 다양한 철학적 관점을 통합하여 평가를 계획하고 실행할 수 있습니다.

---