이론 기반 평가: 10년 후의 반성: 이론 기반 평가: 과거, 현재, 그리고 미래 (New Directions for Evaluation, 2007)

New Directions for Evaluation 

Theory-based evaluation: Reflections ten years on: Theory-based evaluation: Past, present, and future

Patricia J. Rogers, Carol H. Weiss

First published: 29 May 2007 https://doi.org/10.1002/ev.225

 

 

 

🧩 이론 기반 평가란 무엇일까? ― Carol Weiss의 통찰을 중심으로

‘이론 기반 평가(Theory-Based Evaluation)’라는 말을 한 번쯤 들어보신 적 있으신가요?
평가에서 “이론”이라니, 왠지 낯설게 느껴질 수도 있지만, 이 개념은 프로그램이 “왜” 작동하고, “어떻게” 작동하는지를 이해하는 데 큰 도움을 주는 접근법이에요.

오늘 소개할 글은 바로 이 개념을 오랫동안 탐구해온 Carol H. Weiss가 정리한 「Theory-Based Evaluation: Past, Present, and Future」입니다.

---

1️⃣ 과거: 이론 기반 평가의 뿌리

Weiss는 이론 기반 평가가 단지 최근 유행처럼 등장한 게 아니라, 수십 년 전부터 논의되어 왔다고 말합니다.
1967년 Edward Suchman의 저서에서 “프로그램 이론(program theory)” 개념이 언급되었고, 이후 1972년 본인의 책에서 본격적으로 다루기 시작했다고 회고하죠.

“I included a diagram of several alternative theories on which a program of teachers’ home visiting might be based. I called the subject a ‘process model,’ and I urged that the evaluator collect data on the posited links.”
“나는 교사의 가정 방문 프로그램에 기반할 수 있는 여러 대안 이론을 도식화했고, 이를 ‘과정 모델(process model)’이라 부르며 평가자는 이론적으로 설정된 연결고리에 대한 자료를 수집해야 한다고 주장했다.”

 

이처럼 초창기에는 프로그램의 가정을 시각화하고, 논리적 연결을 명확히 하려는 시도에서 시작되었어요.

---

2️⃣ 현재: 실천으로 옮겨진 이론

현재 이론 기반 평가는 단순한 개념이 아니라 실제 평가에 널리 사용되고 있는 도구가 되었어요.
특히 보건 증진(health promotion)이나 위험 예방(risk prevention) 같은 분야에서는 거의 기본처럼 자리 잡았다고 할 수 있죠.

하지만 Weiss는 이렇게 지적합니다:

“Many of the evaluations do not follow through on that theory; they do not collect data on crucial theoretical constructs.”
“많은 평가는 이론을 끝까지 따라가지 않고, 핵심 이론적 개념에 대한 데이터를 수집하지 않는다.”

 

즉, 이론을 언급하면서도 그 이론을 실제로 검증하지 않는 경우가 많다는 거예요. 단순히 “성과가 있었는가?”만을 묻기보다는, 성과가 ‘왜’ 생겼는지를 이해할 수 있어야 한다는 게 Weiss의 핵심 주장입니다.

---

3️⃣ 이론에도 두 종류가 있다? Implementation vs. Programmatic

여기서 Weiss는 평가에 쓰이는 이론을 크게 두 가지로 나눠 설명해요:

• 이행 이론(Implementation theory): 프로그램이 계획대로, 잘 실행되었는가?
• 프로그램 이론(Programmatic theory): 프로그램이 왜 효과를 냈는가? 어떤 메커니즘이 작동했는가?

예를 들어, 피임 상담 프로그램이 있다고 해볼게요. 상담 후 임신율이 줄었다면, 그 효과는 상담 때문일까요? Weiss는 이렇게 말합니다:

“The mechanism is not the counseling; that is the program activity, the program process. The mechanism might be the knowledge that participants gain from the counseling.”
“변화의 메커니즘은 상담 그 자체가 아니라, 상담을 통해 참여자가 얻게 된 지식일 수 있다.”

 

즉, 활동 자체보다 그 활동이 사람들에게 어떤 ‘심리적·사회적 변화’를 일으켰는지가 핵심이라는 것이죠.

---

4️⃣ 미래: 더 나은 이론과 측정이 필요해요

💡 Weiss는 미래의 평가가 나아가야 할 두 가지 방향을 제시해요.

① 미세한 단계까지 추적하는 상세한 프로그램 이론
② 널리 쓰이는 핵심 전제의 타당성을 검증하는 메타 연구

예를 들어, ‘단기 교사 연수로 교사 행동이 바뀐다’는 전제, ‘지역 주민의 참여가 더 나은 서비스를 만든다’는 전제를 정말 믿어도 되는지 검토해봐야 한다는 거예요.

“My long-range hope is that evaluation will not only be based on theory but also contribute to the cumulation of theoretical knowledge.”
“내가 장기적으로 바라는 것은, 평가가 단지 이론에 기반하는 것에 그치지 않고, 이론적 지식의 축적에도 기여하는 것이다.”

 

이 말처럼, 이론 기반 평가는 연구자들에게는 학문적 자산을, 실무자들에게는 실행의 단서를 남길 수 있어요.

---

✍️ 마무리하며

Carol Weiss는 단순히 이론 기반 평가의 중요성을 말한 것이 아니라, 그것이 어떻게 프로그램을 더 잘 설계하고, 더 타당하게 평가하며, 더 나은 사회를 구현하는 데 이바지할 수 있는지에 대해 안내해줍니다.

 

📌 이론은 시작이자, 평가의 길잡이입니다.
평가는 프로그램이 단지 작동했는가를 넘어서, 어떻게, 왜 작동했는가를 밝혀야 한다는 점, 꼭 기억해두세요.

 

---

이론 기반 평가: 10년 후의 성찰 (Theory-Based Evaluation: Reflections Ten Years On)

Patricia J. Rogers

 

이론 기반 평가는 Carol Weiss가 10년 전 해당 장(章)을 발표한 이후 상당한 발전을 이루었다. Weiss는 1997년에 이론 기반 평가(theory-based evaluation)가 주로 건강 증진(health promotion)과 위험 예방(risk prevention) 분야에서 사용된다고 지적한 바 있다. 하지만 지금은 프로그램 이론(program theory)의 사용이 보편화되었으며, Weiss의 장은 다음과 같은 다양한 프로그램 분야에서 인용되고 있다:

• 에너지 절약 평가 (New York State Energy Research and Development Authority, 2006),
• 포괄적인 지역사회 기반 이니셔티브 (Judge and Bauld, 2001),
• 지원 주택(supported housing) (Rog and Randolph, 2002),
• 게임 및 시뮬레이션 (Kriz and Hense, 2006),
• 반부패 활동 (Marra, 2000) 등이다.

이러한 활동의 확산과 함께 용어의 확산도 나타났다. Weiss는 본질적으로 유사한 개념을 가리키는 용어로 ‘프로그램 이론(program theory)’과 ‘로직 모델(logic models)’이 사용되고 있다고 언급했지만, 이제는 다음과 같이 더 길어진 명칭 목록이 존재하며, 이들 대부분은 일관되게 구분된 정의 없이 사용되고 있다: theory-based, theory-driven, theory-oriented, theory-anchored, theory-of-change, intervention theory, outcomes hierarchies, program theory, program logic 등.

 

비록 ‘프로그램(program)’이라는 용어가 사용되었지만, 이러한 방법론은 작은 프로젝트에서부터 다기관(multi-site) 프로젝트, 수년에 걸친 전략(multiyear strategies), 심지어는 정부 전반의 정책과정(whole-of-government processes) 평가에 이르기까지 폭넓게 활용되고 있다. 예를 들어, 남아프리카공화국 공공서비스위원회(Public Service Commission, South Africa, 2003)의 경우가 있다.

 

1997년 이후 프로그램 이론의 사용에서 가장 큰 변화 중 하나는, 이 개념이 프로그램 관리 과정에 점점 더 통합되고 있다는 점이다. 이러한 현상은 일부 지역과 분야에서 더 이른 시기부터 나타났으며, 예컨대 호주의 주 및 연방 정부는 1980~1990년대에 프로그램 이론 사용을 주류화하였다(Funnell, 1990). 또한 국제 개발 분야에서는 많은 원조 기관들이 특정 형태의 프로그램 이론인 논리 프레임워크(Logical Framework, 1971), 즉 ‘로그 프레임(log frame)’ 사용을 요구해 왔다.

 

오늘날에는 많은 조직과 기금 제공자들이 프로젝트나 프로그램, 정책 제안서에 처음부터 로직 모델(logic model) 또는 프로그램 이론(program theory)을 포함할 것을 요구한다. 이는 계획(planning)과 관리(management)뿐 아니라 평가(evaluation)에도 가치가 있음을 인정하기 때문이다. 이러한 발전은 프로그램 이론 또는 로직 모델을 활용하는 평가의 수를 증가시키는 주요 요인이 되었고, 동시에 프로그램 이론 사용을 지원하는 인쇄 자료 및 온라인 자료의 가용성 증가로도 이어졌다.

 

그럼에도 불구하고 Weiss의 장은 여전히 매우 중요한 시사점을 제공한다. 그녀는 프로그램 이론을 사용하는 데 따르는 함정과 도전에 대해 경고했으며, 오늘날에도 이른바 ‘이론 기반 평가’라는 이름 아래 수행된 많은 평가들이 여전히 이러한 한계 중 하나 이상을 드러내고 있다. 평가자들은 Weiss가 언급한 세 가지 핵심 쟁점을 다시 읽거나 처음부터 정독할 필요가 있으며, 동시에 최근 이러한 문제를 다룬 실제 사례들을 살펴보는 것도 도움이 될 것이다.

 

 

첫 번째 쟁점은 어떤 유형의 프로그램 이론(program theory)이 사용되는가에 관한 것이다. Weiss는 그녀의 리뷰에서, 많은 평가가 변화의 메커니즘을 명시하는 프로그램적 이론(programmatic theory)이 아니라, 활동(activity)과 일부 중간 결과(intermediate outcomes)를 명시하는 이행 이론(implementation theory)에 기반하고 있다는 점을 발견했다. 많은 기관들이 프로그램 이론을 채택했다고 주장하지만, 실제로는 이행 이론에만 집중하고 있는 경우가 많다. 이들은 일반적으로 다음과 같이 다섯 개 상자를 직선으로 배열한 형태를 제도화하여 사용한다: 입력(inputs), 활동(activities), 산출(outputs), 결과(outcomes), 영향(impacts). (참고로, 이 용어들은 일관되지 않게 사용되며, 때로는 ‘요구(needs)’, ‘맥락(context)’, ‘가정(assumptions)’, ‘외부 요인(external factors)’ 등을 위한 상자가 추가되기도 한다.)

 

이러한 형태는 보통 프로그램 로직(program logic)이나 로직 모델(logic model)로 불리며, ‘프로그램 이론(program theory)’이라기보다는 출발점으로서는 매우 유용할 수 있다. 특히 결과보다 활동에 집중하는 데 익숙한 조직이나, 아직 개발 중이면서 동시에 평가도 필요한 프로그램과 정책에 적합하다. 하지만 이런 단순한 도식(simple diagrams)은 프로그램적 이론이 포함하는 개념적 요약(conceptual summary)에 미치지 못한다. 왜냐하면

• 이들은 정책이나 프로그램에 내재된 인과 메커니즘(causal mechanisms)을 검토하지 않으며,
• 단지 이름 없는 화살표로 구성 요소 간 연결을 보여줄 뿐이고,
• 결과를 달성하는 다양한 보완적 혹은 대체적 인과 경로를 드러내지 않기 때문이다.
• 따라서 이런 도식은 재현(replicability)이나 개선(improvement)을 위한 유용한 정보를 거의 제공하지 못한다.

간단한 이행 이론(simple intervention theory)에서 시작하는 것 자체는 전혀 문제가 아니다. 오히려 적어도 암묵적인 수준의 이행 이론 없이 프로그램적 이론을 명확히 설명하는 것은 어려울 수 있다. 하지만 이것이 프로그램 이론의 전부라고 생각하는 것은 매우 잘못된 접근이다. 평가자들이 메커니즘이 명확히 명시된 프로그램 이론의 예시를 찾고자 한다면, Pawson과 Tilley가 소개한 현실주의적(realist) 사례를 참고할 수 있다. 그들은 주차장 내 폐쇄회로 텔레비전(CCTV)이 차량 절도를 줄이는 데 어떤 방식으로 작용할 수 있는지를 설명하면서, 탐지(detection), 체포 및 제거(capture and removal), 억제(deterrence), 수동적 감시(passive surveillance) 등 다양한 메커니즘을 제시했다 (Pawson and Tilley, 1997; Tilley, 2000).

 

두 번째 쟁점은 프로그램 이론의 질(quality)이다. Weiss는 많은 프로그램 이론이 단순히 실무자의 가정(assumptions)이나 논리적 추론(logical reasoning)에 기반하고 있어서, “단순하거나, 부분적이거나, 심지어 전혀 틀린 경우도 있다(simplistic, partial, or even downright wrong)”는 점을 발견했다. 물론, 프로그램이 어떤 방식으로 작동할지에 대한 실무자의 가정을 구체화하는 것은 유용할 수 있다. 하지만 이는 계획 및 평가에 적합한 프로그램 이론으로는 종종 부족하다.

 

불행하게도, 오늘날에도 낮은 수준의 이론에 기반한 평가 사례가 많다. 예를 들어, 지식이 향상되면 태도가 변하고, 그 결과 행동이 바뀔 것이라는 이미 폐기된 이론(discredited theory)에만 의존하는 건강 증진 프로그램이 여전히 존재한다. 그러나 더 나은 프로그램 이론이나 본격적인 연구 이론(full-fledged research theory)을 개발하는 것이 현실적으로 가능한가? 바로 이 점에서 Stufflebeam(2001)은 날카로운 비판을 제기했다:

“올바르게 수행하는 것이 거의 불가능하고, 실패하거나 잘못 표현된 시도는 오히려 역효과를 낼 수 있기 때문에 이론 기반 평가를 추천할 수 있는 근거가 없다. (There really is not much to recommend theory-based evaluation, since doing it right is usually not feasible and since failed or misrepresented attempts can be counterproductive)” (p. 80).

 

하지만 좋은 실천 사례들(good practice)은 프로그램 이론의 질을 향상시키는 것이 충분히 가능하고 유용함을 보여준다. 즉,

• 대체 가능한 인과 설명(alternative causal explanations)에 대한 더 정교한 논리 분석,
• 기존 연구 이론(research theories)의 더 나은 활용,
• 프로그램 수혜자들의 관점이나 의도된 이용자들의 이해 방식 등 다양한 시각을 통합하는 방식,
• 그리고 데이터에 대한 경쟁적 정교화(competitive elaboration)와 검증 과정을 통해
  이론의 질을 높일 수 있다.

예를 들어, 존스홉킨스 대학교의 Centre for Communication Programs는 과거에 사용하던 지식-태도-행동(Knowledge-Attitudes-Practice) 모델에서 벗어나, 이제는 “Ideation and Communication for Participatory Development”라는 프레임워크를 활용한다. Murray-Johnson 등(2000–01)은 건강신념모형(Health Belief Model), 합리적 행동 이론(Theory of Reasoned Action), 확장된 병행처리모형(Extended Parallel Process Model), 사회인지 이론(Social Cognitive Theory) 등 네 가지 이론의 유용성을 비교하기도 했다.

 

세 번째 쟁점은 프로그램 이론이 실제 평가에서 어떻게 사용되는가이다. 1997년에 Weiss는 많은 평가자들이 프로그램 이론을 개발해놓고도 실제 평가를 이끌어내는 데에는 전혀 사용하지 않는다고 지적했다. 이는 오늘날에는 다소 줄어든 문제인데, 이는 프로그램 이론을 기반으로 성과 측정(performance measurement)을 설계하거나, 변인을 조작화(operationalize)하는 관행이 널리 퍼졌기 때문이다.

 

하지만 여전히 많은 경우, 프로그램 이론을 평가에 활용하는 방식은 너무 단순하다. 많은 평가가 단지 로직 모델의 각 구성요소에 대한 증거를 수집하고, 각 요소에 대해 "이게 일어났는가? (Did this happen?)"라는 질문에 답하는 수준에 그친다. 이러한 방식은 프로그램이나 정책의 일관된 성과 스토리(performance story)를 보고하는 데는 유용할 수 있으나, 인과적 기여(causal attribution) 문제를 다루는 이론 기반 평가의 잠재력을 충분히 활용하지 못하는 것이다.

 

인과 기여 문제(causal attribution)에 대해 세 가지 대응 방식이 존재한다:

1. 인과 기여를 증명하는 시도 자체를 포기하고, 프로그램 이론을 단지 개선(improve)의 도구로만 사용하는 것.
2. 프로그램 이론을 다른 인과 추론 방법과 결합하는 것. 예를 들어, Cook(2000)은 실험 설계와 프로그램 이론 사이의 이분법(false dichotomy)을 비판하며, 프로그램 이론이 더 나은 실험 설계를 가능케 한다고 주장하였다.
3. Popper의 과학철학적 접근(Popperian approach)을 적용하여, 프로그램 이론을 검증 가능한 가설(testable hypotheses)로 발전시키고, 이를 비실험적 방법(nonexperimental methods)으로 검증하는 방식이다 (Pawson and Tilley, 1997; Tilley, 2000).

이러한 경우, 이행 수준의 차이(variation in implementation level)나 맥락의 다양성(contextual variation)을 단순한 ‘잡음(noise)’으로 제거하려 하지 않고, 가설을 검증할 기회로 활용할 수 있다. 이로써 우리는 프로그램이 단지 결과에 기여했다는 점뿐만 아니라, 어떻게 기여했는지를 설명할 수 있게 된다. 현재 국제적으로 영향 평가(impact evaluation)에서 엄격한 방법론(rigorous methods)에 대한 관심이 높아지는 가운데, 이 점이야말로 이론 기반 평가가 더욱 발전시켜야 할 영역일 것이다.

---

이론 기반 평가: 과거, 현재, 그리고 미래 (Theory-Based Evaluation: Past, Present, and Future)

Carol H. Weiss

 

최근 몇 년 사이 이론 기반 평가(theory-based evaluation)는 주목을 크게 받게 되었다. 평가자들은 이에 대해 글을 쓰고 있으며, 이론에 기반한 평가(evaluations structured around theory)도 문헌에 점차 다수 등장하고 있다.

The Past (과거)

이론 기반 평가라는 개념은 25년 이상 존재해왔다. 1996년 봄–여름호 Evaluation Practice 저널에서는 두 편의 초기 논문이 실렸다. 하나는 내 저서 Evaluation Research (1972)에서 발췌한 것이었고, 또 하나는 Fitz-Gibbon과 Morris (1975)의 논문이었다. 여기에 Blaine Worthen(1996)이 역사적 서론을 덧붙였다. 나는 이 개념을 더 과거로 소급하여 추적하고자 노력해왔다.

 

예를 들어, Edward Suchman은 그의 저서 Evaluative Research (1967)에서 ‘프로그램의 이론(theories of programs)’이라는 개념을 여러 차례 언급했다. 그는 프로그램이 실패하는 원인을 두 가지로 구분했다:

• 의도한 활동이 실행되지 못하는 경우(implementation failure)와
• 활동이 원하는 결과를 가져오지 못하는 경우(theory failure)이다.

그리고 내 1972년 저서에서는 Worthen과 내가 확인한 바로는 ‘프로그램 이론에 기반하여 평가를 수행한다’는 중심 아이디어를 처음으로 명시적으로 다룬 논의가 제시되어 있다. 나는 당시 ‘과정 모델(process model)’이라는 용어를 사용하여, 교사의 가정 방문(home visiting) 프로그램에 적용될 수 있는 여러 대안적 이론들을 도식화하였다(도표 Figure 5.1 참고). 또한 평가자가 이론적으로 상정된 연결고리들에 대한 데이터를 수집해야 한다고 주장했다.

 

 

이후 몇 년 동안 이 주제에 관한 논문이 간헐적으로 등장했다. Joe Wholey는 평가 가능성 사정(evaluability assessment)이라는 개념을 통해, 프로그램에 내재된 암묵적 이론이 타당한지를 먼저 판단해야 한다고 강조했다(Wholey, 1979, 1983). 그의 입장은 다음과 같았다: 공식적인 연구를 시작하기 전에, 평가자는 프로그램의 투입(inputs)이 목표한 결과(outcomes)로 이어질 수 있는 논리적 연결 구조를 분석해야 하며, 이 연결이 실현 가능한 가능성을 지니고 있는지를 검토해야 한다.

 

또한, Huey-Tsyh Chen과 Peter Rossi는 여러 논문을 통해 이론 기반 평가에 대한 논의를 확장하였다 (Chen and Rossi, 1980, 1983, 1987; Chen, 1990, 1994). 그들의 기여는 단순한 가정이나 임의적 논리에 의존하지 않고, 사회과학 이론(social science theory)에 기반한 프로그램 이론을 제안한 데 있다. Chen(1990)은 특히 규범적 이론(normative theory)과 인과 이론(causal theory)을 구분했다.

• 규범적 이론은 “어떤 목표와 결과를 추구해야 하는지에 대한 지침을 제공한다” (p. 43)고 정의되며,
• 인과 이론은 프로그램이 어떻게 작동하는가에 대한 일련의 가정들이다.
  오늘날 대부분의 이론 기반 평가 논의는 이 인과 이론(causal theory)을 중심으로 이루어지고 있다.

1980년대 후반에 이르러 프로그램 이론에 기반한 평가(program-based evaluation)는 점차 대중적인 개념이 되었다. 비록 당시에는 이론 기반 평가의 실제 사례가 많이 출판되지는 않았지만, 그 개념 자체는 점점 가시성을 얻어가고 있었다. 예를 들어, Leonard Bickman은 New Directions for Program Evaluation의 1987년호와 1990년호를 편집하면서 이 전략을 구체화하고 지지하였다. 또, Lee Sechrest와 A. G. Scott는 1993년에 특집호를 편집했다. Lipsey는 네 가지 서로 다른 유형의 프로그램 이론을 설명하는 등, 이 주제에 대해 여러 편의 글을 썼다. 또한, 다음과 같은 학자들은 시간에 따른 프로그램 이론의 작동 과정을 어떻게 데이터로 분석할 것인지에 대해 논의하였다:

• Judd and Kenny (1981),
• Smith (1990),
• Marquart (1990),
• Trochim (1985).
  이 시기에는 수십 편의 관련 논문들이 발표되었다.

동시에 로직 모델(logic models)에 대해서도 다양한 논의가 이뤄지고 있었다. 로직 모델은 프로그램 이론과 유사해 보이는데, ‘이론(theory)’이라는 단어에 압도되지 않는다면, 두 개념은 실질적으로 매우 유사하다.  만약 우리가 이론(theory)이라는 말을 프로그램의 기저에 있는 전문적 논리(professional logic)라고 이해한다면, 프로그램 이론과 로직 모델은 거의 동일한 개념으로 볼 수 있다.

 

나는 1995년에 이론 기반 평가에 대한 논문을 썼고, 그 논문은 별로 주목받지 않을 책에 실렸다고 생각했지만, 예상 외로 상당한 주목을 받았다 (Weiss, 1995). 특히 지역사회 기반 프로그램(community-based programs)의 변화 이론(theories of change)에 평가를 기반하게 하자는 이 아이디어는, 이런 프로그램을 수행하거나 후원하는 사람들로부터 열렬한 환영을 받았다. 이렇게 환영받은 이유 중 하나는, 이론 기반 평가가 다음과 같은 암묵적 약속을 담고 있었기 때문인 것으로 보인다: 무작위 할당(random assignment)이 불가능한 장소 기반(place-based) 프로그램에서는, 이론 기반 평가가 평가의 타당성을 높여줄 수 있다. 만약 평가자가 입력(inputs)부터 결과(outcomes)까지 이어지는 일련의 미세한 단계를 보여줄 수 있다면, 실질적인 수준에서 인과적 설명(causal attribution)을 제시할 수 있게 된다는 것이다.

 

물론 이런 평가는 우리가 잘 알고 사랑(?)하는 모든 위협요인(threats to validity)을 제거해 줄 수는 없지만, 관찰된 결과를 이끌어낸 과정을 구체적으로 드러낼 수 있다는 장점이 있다. 만약 상정된 단계 중 일부가 데이터에 의해 지지되지 않는다면, 어느 부분에서 기대했던 논리적 연결이 실패했는지를 밝혀낼 수 있다.

---

현재 (The Present)

만약 과거가 사람들이 이론 기반 평가(theory-based evaluation)라는 개념을 정립하고 확장해 나가던 시기였다면, 현재는 평가자들이 이 개념을 실제로 적용하고 있는 시기라고 할 수 있다. 대학원생인 Jo Birckmayer와 나는 정기간행물(periodical literature)을 중심으로 이론 기반 평가 사례를 조사해 왔다. Mark Lipsey는 자신이 몇 년 전 수집한 평가 데이터베이스에서 “통합 이론(integrated theory)”으로 코딩된 연구들의 초록을 우리에게 보내주었다. 우리는 여전히 사례를 수집 중이며, 여러분의 논문이나 글도 환영한다. 지금까지 우리는 최소한 어느 정도의 이론 지향성(theory orientation)을 가진 연구 약 30편을 검토했다. 이 예비 검토(preliminary inspection)를 통해 몇 가지 잠정적인 관찰 결과(tentative ideas)가 도출되었다.

 

우선, 상당수의 논문들은 자신들의 프로그램이 이론 기반이다라고 주장한다. 우리가 ‘이론’이라는 개념을 얼마나 관대하게 정의하느냐에 따라, 이들 대부분은 중재의 근거가 되는 일련의 일관된 아이디어(coherent ideas)를 가지고 있는 것으로 보인다. 그러나 많은 평가는 그 이론을 끝까지 추적하지 않는다. 즉, 핵심적인 이론적 구성요소(theoretical constructs)에 대한 데이터를 수집하지 않는 경우가 많다.

• 예를 들어, Gottfredson (1987)은 학교 내 무질서를 줄이기 위한 프로그램의 평가를 보고하면서, 이 프로그램이 조직개발 이론(organization development principles)에 기반한다고 밝히고 있다. 하지만 발표된 평가 연구에서는 조직개발과 관련된 측면을 전혀 분석하지 않는다.
• 비슷하게, Campbell and Ramey (1995)는 유아기 인지 발달 향상과 그에 따른 학업 자신감, 동기, 성공에 관한 이론을 기반으로 한 조기 개입 프로그램을 평가하였지만, 그 프로그램 이론의 단계별 진행과정을 추적하지는 않았다.

그러나 몇몇 평가는 이론에서 상정된 단계들이 실제로 어떻게 전개되는지를 따라가고 있다. 일부 이론은 비교적 단순해서, Lipsey와 Pollard(1989)가 말하는 “one-step theory”로 분류될 수 있다.

• 예를 들어, Sheard, Marini, Bridges, and Wagner (1976)는 중간 보안 등급의 교도소에서 폭력적인 죄수들에게 리튬(lithium)을 투여한 사례를 보고한다. 이 평가에서는 폭력 행위 건수의 변화를 분석하였고, 그 결과 리튬이 폭력을 줄여줄 것이라는 이론을 검증하였다. 이 경우의 메커니즘은 리튬이 인체에 미치는 생리학적 효과(physiological effects)이다. (사실 이 이론 자체가 단순한 것은 아니지만, 리튬의 작용 기전은 생의학 연구자들에 의해 이미 검증되어 있으며, 따라서 이 평가에서 다시 검토할 필요는 없다.)

반면, 보다 복잡한 이론(complex theories)을 기반으로 하는 평가도 존재하며, 이들은 이론이 제시하는 과정을 따라가려는 의욕적인 시도(valiant efforts)를 보여준다.

• 예를 들어, Cohen and Rice (1995)는 청소년 약물 남용 예방(adolescent substance abuse prevention)을 위한 프로그램에서 부모 참여(parent involvement)가 어떤 효과를 미치는지를 추적하였다.
• 이들은 부모를 프로그램에 참여시키는 것 자체가 어려웠으며, 설령 부모가 참여하더라도 자녀의 친구들이 마약을 사용한다고 믿지 않았기 때문에, 자녀의 교우 관계를 통제하려 하지 않았다는 사실을 밝혀냈다.

현재 이론 기반 평가의 상당 부분은 건강 증진(health promotion) 및 위험 예방(risk prevention) 분야에서 진행되고 있다.
예를 들어 평가자들은 이론 기반 접근을 활용하여 다음과 같은 문제를 다루고 있다:

• 흡연 줄이기
• 스트레스 감소
• 위험한 성행동
• 약물 남용
• 청소년 임신(adolescent pregnancy) 등
  이에 대한 예시로는 Goodman 등(1996)의 연구가 있다.
  우리는 또한 정신건강(mental health) 및 의료서비스 분야(health care)에서도 일부 이론 기반 연구를 확인할 수 있었다. 예: Bickman (1983).

흥미로운 사실은, 해외의 평가자들 역시 이 접근을 적극적으로 수용하고 있다는 점이다. 내가 EVALTALK이라는 리스트서버에 이론 기반 평가 사례를 요청하는 글을 게시했을 때, 다음과 같은 다양한 국가의 평가자들이 논문을 보내왔다:

• Rush and Ogborne (1991) – 캐나다
• Torvatn (1995) – 노르웨이
• Kelly and Maloney (1992) – 스코틀랜드
• Milne (1995) – 호주

---

이론 기반 평가를 촉진하는 조건들 (Conditions Conducive to Theory-Based Evaluation)

평가자가 이론 기반 접근(theory-based approach)을 채택하는 데에는 보통 두 가지 이유 중 하나가 존재한다.

• 첫 번째는, 평가자 자신이 프로그램 개발자(program developer)이기 때문이다. 보통 학계 종사자(academic)인 프로그램 설계자는 특정 문제를 해결하기 위한 프로그램 개발 사이클에 참여하게 된다. 이들은
  • 이론을 개발하고(theory development),
  • 그 이론을 기반으로 한 프로그램 활동을 구체화하며(operationalization),
  • 평가를 통해 프로그램과 이론을 검증하고,
  • 그 결과를 바탕으로 개입 전략(intervention)을 수정한다.

이러한 순환적 개발 과정(cycle)은 내가 ‘응용 사회심리학(applied social psychology)’이라 부르는 여러 분야에서 오랜 전통과 명성을 가진 접근 방식이다. 여기서 평가는 단순한 사후 검증이 아니라, 개입이 형성되어 가는 일련의 과정에 포함된 필수적인 활동이다. 그리고 이 작업이 개별 연구자의 차원이 아닌, 개입 설계를 전문으로 하는 학술 센터의 활동의 일부라면, 평가는 이론 개발과 프로그램 수정 모두의 핵심적인 요소가 된다.

 

이에 대한 좋은 사례는 애리조나 주립대학교(Arizona State University)의 Program for Prevention Research에서 Sandler 등(1992)이 수행한 연구다. 이들은 부모를 잃은 아동을 위한 가족 상실 예방 프로그램(family bereavement program)을 반복적으로 개발하였다.
기존의 연구(prior research)와 파일럿 테스트(pilot testing)를 바탕으로 이 프로그램은 아동의 증상(symptomatology)에 영향을 미치는 것으로 가정된 네 가지 매개변인(mediators)에 변화를 일으키는 것을 목표로 하였다:

• 부모의 사기 저하(parental demoralization),
• 부모의 따뜻한 태도(parental warmth),
• 상실에 대한 대화(discussion of grief),
• 안정적이고 긍정적인 사건(stable positive events).

이 평가는 이 네 가지 매개변인이 변화되었는지를 측정하는 데이터를 수집하였고, 이후 아동의 심리사회적 증상(psychosocial symptomatology)에 미치는 영향을 분석했다.

 

또 다른 조건은, 프로그램 자체가 이론적으로 신중하게 개발되었을 때이다. 이러한 예는 특히 건강 증진(health promotion)과 위험 예방(risk prevention) 분야에서 자주 나타난다. 이들 분야에서는 프로그램 설계가 체계적이고 이론적으로 탄탄하게 이루어지는 경향이 강하다. 설계자는 자신의 이론적 가정(theoretical assumptions)을 상세히 명시하고, 그 위에 프로그램을 구축한다. 이렇게 되면 평가자 입장에서는 이론의 궤적(tracks of theory)을 평가 과정에서 자연스럽게 추적할 수 있게 된다. 여기서 사용되는 이론은 종종 전통적이고 이미 확립된 이론이다. 예를 들어, 사회학습이론(social learning theory) 기반의 건강 증진 프로그램은 다음과 같은 구조를 가진다:

• 흡연 습관을 끊는 방법과 같은 정보를 제공하고(knowledge),
• 이것이 동기(motivation)와 의지(intention)의 변화를 유도하며,
• 그 결과로 행동의 변화(practice change)가 나타난다.
  이러한 행동 변화는 궁극적으로 심혈관 질환 감소(cardiovascular disease reduction)와 같은 최종 결과로 이어지는 것으로 가정된다.
  여기에 더해, 사회적 강화 이론(social-reinforcement theory)은 흡연 중단을 지속하고 유지하도록 도와주는 사회적 지지(social support)의 제공을 요구할 수 있다.

위험 예방 분야(risk prevention)에서는 다양한 형태의 사회인지 이론(social-cognitive theory)이 지배적으로 활용된다.
이 경우, 작동 메커니즘은 다음과 같은 일련의 변화 과정으로 구성된다:

• 지식의 변화(change in knowledge),
• 태도의 변화(change in attitude),
• 자기 효능감(self-efficacy)의 향상,
• 동기의 증가(higher motivation),
• 기술 습득(skill mastery),
• 책임감의 고양(heightened sense of responsibility).

이러한 변화들은 행동 변화에 대한 의도(intentions to change behavior)로 이어지고, 결국 원하는 결과(desired outcomes)로 연결된다. 이러한 평가에서는 시간에 따른 기대된 변화의 순서(sequence of changes over time)를 추적하게 된다.

---

프로그램 이론과 이행 이론 (Program Theory and Implementation Theory)

이론 기반 평가(theory-based evaluation)에 대한 관심과 지지가 증가하는 동시에, 이 개념은 혼란(confusion)도 함께 낳고 있다. 새롭게 등장하는 개념에서 흔히 보이는 현상처럼, 사람들은 같은 용어에 서로 다른 이해를 덧붙이기 시작했다. 이로 인해 우리는 지금 서로 다른 평가 전략들이 모두 '이론 기반 평가'라는 이름 아래 존재하게 되었다.

 

도표 5.2–5.5는 평가자들이 자신의 연구가 어떻게 이론에 의해 안내되었는지를 설명하기 위해 사용한 그림들이다. 이 도표들은 구체성(specificity), 복잡성(complexity), 시각적 표현 방식(type of pictorial display)에 따라 서로 다르다. 또한 이 도표들은 서로 다른 두 가지 이론적 요소, 즉 여기서 말하는 ‘이행 이론(implementation theory)’과 ‘프로그램적 이론(programmatic theory)’을 함께 담고 있다.

• 이행 이론(implementation theory)은 프로그램이 어떻게 실행되는가에 초점을 맞춘다. 이 이론이 검증하려는 가정은 다음과 같다: 프로그램이 계획대로, 충분한 질과 강도, 충실도(fidelity)를 가지고 수행된다면, 원하는 결과가 나타날 것이다. 여기서의 초점은 Suchman이 말한 ‘이행 실패/성공(implementation failure/success)’에 해당한다. 반면,
• 프로그램적 이론(programmatic theory)은 프로그램 서비스가 제공된 이후, 결과가 발생하기까지 개입하는 메커니즘(mechanisms)을 다룬다. 즉, 참여자들이 프로그램 서비스에 어떻게 반응하는가에 관심을 둔다. 변화를 일으키는 메커니즘은 프로그램 활동 그 자체가 아니라, 그 활동이 생성하는 반응(response)인 것이다.

예를 들어, 어떤 피임 상담 프로그램(contraceptive counseling program)에서 상담이 임신 감소와 연관되어 있다면, 변화의 원인이 상담이라고 생각할 수 있다. 하지만 그 상담(counseling)은 프로그램 활동이자 과정(activity, process)일 뿐이며, 메커니즘 자체는 아니다. 진짜 메커니즘은 다음과 같을 수 있다:

• 참여자가 상담을 통해 얻게 된 지식,
• 상담 프로그램의 존재 자체가 가족계획에 대한 문화적 금기를 깨뜨리도록 만든 영향,
• 여성이 자신감을 얻고 성관계에서 자기주장을 강화한 결과,
• 또는 남성과 여성 간의 권력관계 변화 등.
  이 외에도 다양한 인지적(cognitive), 정서적(affective), 사회적(social) 반응들이 원하는 결과로 이어지는 메커니즘이 될 수 있다.

마찬가지로, 학생들에게 타문화에 대한 이해를 가르치는 프로그램도 흔히 관찰된 좋은 결과가 ‘가르침(teaching)’ 때문이라고 추정한다. 그러나 가르침 그 자체는 메커니즘이 아니다. 실제 메커니즘은, 학생들이 그 가르침을 통해 얻는 것들—예컨대 지식, 높아진 관심, 동기부여, 혹은 심지어는 불안감—이다.

 

이런 프로그램의 이론적 기초를 추적하는 평가(evaluation that attempts to track the theoretical underpinnings)는, 다음과 같은 매개 과정(intervening processes)을 정의하고 측정할 방법을 고안해야 한다:

• 심리사회적(psychosocial),
• 생리학적(physiological),
• 경제적(economic),
• 사회학적(sociological),
• 조직적(organizational) 요인 등.

그러나 실제로 이론 기반 평가라고 주장하는 많은 평가는 결과를 이행 변수(implementation variables)의 관점에서만 다루고 있다. 예를 들어, McGraw 등(1996)은 심혈관 질환 위험을 낮추기 위해 학생들의 식이 지식(dietary knowledge)과 식습관(food choices)을 변화시키는 프로그램을 평가했다. 이 프로그램은 CATCH (Child and Adolescent Trial for Cardiovascular Health)라는 이름을 가졌으며 여러 구성요소를 포함하고 있었으나, 최근 보고된 평가는 교실 수업(classroom component)에 초점이 맞춰져 있었다.

 

여기서 분석된 결과 변수(outcomes)는 다음과 같다:

• 아동의 식이 지식,
• 더 나은 식단을 선택할 수 있다는 자기효능감(self-confidence),
• 더 현명하게 먹겠다는 행동 의도(intentions to eat more wisely).
  (도표 Figure 5.6 참고)

이 결과들은 다음과 같은 입력 변수(input variables) 및 프로그램 과정 변수(program processes)와 비교 분석되었다:

• 주로 학생과 교사의 특성(student and teacher characteristics),
• 교사가 CATCH 수업을 얼마나 완전히 수행했는가(“투여량(dose)”),
• 교사가 수업을 얼마나 수정했는가(“계획에 대한 충실도(fidelity to plan)”).
  이 분석은 CATCH 설계자가 정의한 활동들이 원하는 건강 지식 및 행동 의도로 얼마나 이어졌는지를 평가하였다.

이 연구는 결과 분석에서 과정 지표(process measures)를 훌륭히 활용한 예시다. 그러나 이 논문에서는 프로그램적 이론(programmatic theory)을 직접 검증하지 않았다. 이 프로그램의 기반 이론은 “심리사회적 요인의 변화(modification of psychosocial factors)가 위험 행동(risk-factor behaviors)의 변화를 이끈다”(McGraw et al., 1996, p. 292)로 기술되어 있다. 그러나 보고된 평가는 심리사회적 요인의 변화 자체를 다루지 않는다. 즉, 변화를 유도한 메커니즘을 조사하지 않았다는 의미다.

 

비슷하게, Pentz 등(1990)의 연구는 청소년 약물 남용 예방 프로그램의 이행 수준과 결과 간의 관계를 훌륭하게 분석했지만, 그 초점은 이행 변수(implementation variables)—예: 노출 정도(exposure), 준수도(adherence), 충실도(fidelity), 이행량(amount of implementation)—가 결과와 어떻게 연관되는가에만 맞춰져 있다.

 

프로그램 이론(program theory)과 이행 이론(implementation theory) 간의 차이는, Baron과 Kenny(1986)가 말한 매개 변수(mediator variable)와 조절 변수(moderator variable) 간의 차이와 유사하다. 두 변수 모두 독립 변수와 종속 변수 간의 관계에 영향을 미치는 제3의 변수이다.

• 조절 변수(moderator)는 성별(gender), 노출 빈도(frequency of exposure)와 같이 특성에 따라 결과와의 관계가 달라지는 변수다. 예를 들어, 여학생이 남학생보다 더 나은 결과를 보이거나, 자주 참여한 사람이 그렇지 않은 사람보다 더 좋은 결과를 보이는 경우이다.
• 반면, 매개 변수(mediator)는 다음과 같이 정의된다: “초점이 되는 독립 변수가 관심 있는 종속 변수에 영향을 미치는 생성 메커니즘(generative mechanism)을 나타낸다.” (Baron & Kenny, 1986, p. 1173)
• 즉,
  • 조절 변수는 어떤 조건에서 결과가 더 잘 나타나는지를 설명해주고,
  • 매개 변수는 그 결과가 어떻게 발생하는지를 설명해주는 것이다.
    이 개념들은 각각 이행 이론(implementation theory)과 프로그램적 이론(programmatic theory)에 해당한다.

실제로 대부분의 프로그램에서는 이 두 가지 이론 모두가 관련되어 있다.
나는 다른 곳에서 ‘변화 이론 평가(theories of change evaluation)’라는 용어를 사용해, 이 두 가지 요소를 함께 탐구하는 평가를 지칭한 바 있다.

---

미래 (The Future)

이론 기반 평가는 프로그램이 어떻게, 그리고 왜 작동하는지 혹은 실패하는지를 이해하는 데 있어 강력한 역량을 보여주고 있다. 아무리 결과(outcomes)를 완벽한 타당도(irreproachable validity)로 알고 있더라도, 그 사실만으로는 프로그램을 개선하거나 정책을 수정하는 데 충분한 정보를 제공하지 못한다. 평가는 ‘블랙박스’ 내부를 들여다봐야 하며, 이를 위해 체계적인 접근이 필요하다. 이러한 평가 방식이 가지는 부수적인 장점 중 하나는, 평가가 본격적으로 시작되기 이전의 단계에서부터 보다 현명한 프로그램 계획(program planning)을 가능하게 한다는 점이다.

• 만약 평가자가 프로그램 기획 단계에 함께 참여한다면, 프로그램 설계자가 생각하고 있는 작동 이론(program theory)을 끌어낼 수 있는 기회를 가질 수 있다.
• 평가자는 설계자의 가정(assumptions)을 암묵적으로 내포된 미세 단계들(mini-steps)로 세분화(disaggregate)하는 것을 도울 수 있으며,
• 그 과정에서 종종 나타나는 ‘신념의 도약(leaps of faith)’이나 의심스러운 논리적 비약(questionable reasoning)을 함께 검토할 수 있다.
• 또한, 평가자는 사회과학적 이론(social sciences)이나 이전 평가로부터의 경험적 증거(prior evaluations)에 기반한 이론 및 유망한 가설(promising hypotheses)을 제시함으로써, 어떤 이론이 실제 현장에서 작동하는지에 대한 통찰을 제공할 수 있다.
• 이러한 방식들을 통해, 평가자는 보다 타당한 전제에 뿌리를 둔 프로그램을 설계하는 데 실질적으로 기여할 수 있다.

 

그러나 앞으로 해결해야 할 과제들도 존재한다. 가장 시급한 요구 중 하나는 더 나은 측정 도구(measures)의 개발이다. 평가자들은 반복적 검증(repeated tests)을 통해 결과 변수(outcomes)에 대한 신뢰도 높은 측정(valid measures)을 구축하는 데 큰 발전을 이루었다. 하지만 매개 변수(mediating variables)의 측정은 대부분의 학문 분야에서 비교적 최근에 시작된 활동이며, 평가자들은 이를 더 정교하게 수행하는 법을 익혀야 한다. 많은 변화 이론(theories of change)은 다수의 변수(variable)들을 내포하고 있기 때문에, 측정 오차(measurement error)는 실제로 존재하는 변수 간의 관계를 파악하는 데도 방해가 된다. 따라서 앞으로는 매개 메커니즘(mediating mechanisms)에 대한 정밀한 측정 도구의 발전이 요구된다.

 

그러나 가장 핵심적인 필요는 더 나은 프로그램 이론(better program theories)의 개발일 것이다. 현재 평가자들은 프로그램 설계자나 실무자들로부터 끌어낸 가정, 혹은 자신이 논리적으로 구성해낸 이론에 의존하고 있다. 하지만 그 많은 이론들 중 상당수는 초보적(elementary)이거나, 단순하며(simplistic), 부분적(partial)이거나 심지어 명백히 잘못된 경우도 많다. 평가자들은 보다 타당한 이론 구성을 위해 다음과 같은 학문 분야에서 실마리를 얻을 필요가 있다:

• 사회심리학(social psychology),
• 경제학(economics),
• 조직이론(organization studies) 등.
  또한 평가자 자신이 이론 개발(theory development)에 대해 더 깊은 이해를 가져야 한다.
  평가자에게 있어 더 나은 이론은 연구의 근간(backbone)이며,
  프로그램 설계자에게 있어서는 더 나은 사회적 개입(social interventions)을 설계하고,
  21세기 우리가 바라는 사회를 실현할 가능성을 높이는 데 필수적이다.

향후 이론 기반 평가는 두 가지 방향(strands)으로 발전할 수 있을 것이다. 하나는 더 정교한 프로그램 이론을 구축(build more detailed program theories)하는 방향이다. 이 경우 평가는 프로그램 효과로 이어지는 경로(pathways) 전반에서, 과정(process)의 미세한 단계들(micro-steps)을 추적하게 된다. 이는 도표 Figure 5.1에서 제시한 교사의 가정 방문 프로그램(theory of the teacher home visiting program)과 같은 접근이다. 각 프로그램 활동과, 그에 대한 참여자의 반응을 가설화된 사건 연쇄(hypothesized chain of events)를 따라 추적하게 된다. 이러한 방향에는 실질적인 가능성(real promise)이 있다. 각 단계 사이의 연결(linkages)을 반복적으로 테스트하고, 과정을 보다 깊이 이해함으로써 우리는 실제로 과정이 어떻게 작동하는지를 더 잘 알게 될 수 있다. 이와 같은 평가는 무엇이 어떤 조건 하에서 효과가 있고 없는지를 프로그램 후원자(funders), 관리자(managers), 실무자(practitioners)에게 구체적으로 알려줄 수 있을 것이다.

---

이론 기반 평가가 향후 걸어갈 또 다른 길 (The other path that theory-based evaluation can pursue)

이론 기반 평가가 향후 걸어갈 또 다른 방향은, 각 프로그램에 내재된 한두 개의 핵심 가정(central assumptions)에 이론을 한정하여 집중하는 것이다. 이러한 가정은 다음의 조건을 만족해야 한다:

• 프로그램 성공에 중요하게 작용할 것,
• 다양한 프로그램에 공통적으로 존재할 것,
• 그리고 특히 문제가 되는 요소(problematic)일 것.

예를 들어, 현재 많은 개입(intervention)은 다음과 같은 가정에 기반하고 있다:

• 저소득 지역 주민들이 지역의 사회, 경제, 교육 프로그램을 계획하는 데 참여하게 되면 서비스의 질이 향상될 것이다.

이러한 프로그램의 핵심 전제(central premise)는 다음과 같다:

• 지역 주민들이 자원을 계획하고 배분하는 방식은 과거의 전문가 중심 체계보다 더 수요에 부응할 것이다.

또 다른 예로, 교사 연수(staff development) 프로그램을 통해 교사의 행동을 변화시키고자 하는 프로그램을 생각해볼 수 있다. 여기서의 가정은, 단기 연수를 통해 오랜 교육과 전문 실무 속에서 형성된 교수 패턴을 바꿀 수 있다는 것이다. 또는, 자존감(self-esteem)과 자기 효능감(self-confidence)을 높여주는 프로그램을 통해 학업 성적 저하, 비행, 가정 폭력과 같은 행동을 변화시키려는 노력도 있다. 이론 기반 평가는 바로 이런 핵심 이론적 전제들의 타당성(viability)을 검토하는 데 집중할 수 있다. 이처럼 거시적 이론 가정(macro-theoretical assumptions)을 검증하는 평가는 여러 사례(multiple cases)를 요구하며, 실행이 쉽지 않다. 이러한 탐색은 아마도 단일 연구(single studies)보다는 메타분석(meta-analysis)에 더 적합할 것이다 (Cook et al., 1992). 게다가, 이러한 연구는 검토 대상이 되는 전제에 몰두하고 있는(fundamentally committed) 후원자나 실무자에게는 그다지 흥미를 끌지 못할 수도 있다. 예컨대, 단기 교사 연수 프로그램을 운영하는 전문가들은, 이런 연수가 교사 행동을 변화시키는 데 적절한 방법인지에 의문을 제기하는 연구에 호의적으로 반응하지 않을 가능성이 크다.

 

그럼에도 불구하고, 이러한 질문을 알고 싶어하는 대상(audiences)은 분명히 존재한다. 예를 들어, 재단이나 정부기관 같은 프로그램 후원자(sponsors)나 기금 제공자(funders)는 자신들이 투자하고 있는 전략이 다양한 조건에서 실현 가능한지 여부에 강한 관심을 가져야 마땅하다. 동일한 핵심 가정을 측정하고 분석한 평가들을 메타 분석(meta-analysis)하면, 매우 중요한 정보를 제공할 수 있다.
이는 다음을 가능하게 해준다:

• 어떤 조건에서는 해당 가정이 성립하고(hypotheses hold),
• 어떤 조건에서는 다양한 수준의 실패(shortfalls)가 발생하는지에 대한 통찰을 제공하는 것이다.

내가 장기적으로 바라는 바는 다음과 같다: 평가가 단지 이론에 기반하는 데 그치지 않고, 궁극적으로 이론적 지식(theoretical knowledge)의 축적(cumulation)에 기여하는 것이다.

---

결론 (Conclusion)

프로그램 실행 조건(conditions of program implementation)이 더 나은 결과(better outcomes)와 연관되어 있다는 사실을 밝혀내는 것은, 프로그램 개선에 실질적으로 기여하는 일이다. 이러한 과정/결과 평가(process/outcome evaluations)는 어떤 프로그램의 과정들이 긍정적인 효과를 가져오는지를 보여준다. 하지만 평가가 더욱 가치 있는 정보를 제공하려면, 과정과 결과 사이의 매개 메커니즘(mechanisms that mediate between processes and outcomes)에 대해서도 다뤄야 한다. 이론 기반 평가(theory-based evaluations)는 단지 프로그램이 무엇을 했는가(what programs do)뿐만 아니라, 참여자들이 어떻게 반응했는가(how participants respond)에도 관심을 가진다. 이러한 평가는 쉽게 수행되지는 않지만, 특정한 조건 하에서는 평가자가 이 방향으로 나아가야 할 이유가 충분히 있다. 그 출발점은 그럴듯한 이론(plausible theories)을 갖추는 것이다.
우리는 다음과 같은 자원을 최대한 활용해야 한다:

• 논리적 추론(logical reasoning),
• 실무자의 지혜(practitioner wisdom),
• 이전 평가 결과(prior evaluations),
• 사회과학적 연구(social science research).

이를 통해 프로그램 이론(program theories)을 생성하고, 그 이후에는 현실적인 실행 환경(realistic operating conditions) 속에서 집단적 평가 활동(collective evaluation work)을 통해 그 이론을 검증(test)해야 한다.