[프로그램 평가] 이론 기반 평가 및 복잡성 유형

출처: Stame, N. (2004). Theory-based evaluation and types of complexity. Evaluation, 10(1), 58-76.

https://journals.sagepub.com/doi/10.1177/1356389004043135

Black Boxes and Evaluation Deficits

미국의 'War on Poverty' 프로그램의 시작과 함께 평가 분야는 '블랙 박스' 문제로 인해 어려움을 겪어왔습니다. 블랙 박스는 프로그램의 실제 투입과 예상 출력 사이의 공간을 의미합니다. 심각한 사회 문제를 해결해야 한다는 필요성에 따라, 프로그램 설계자는 투입이 이루어질 때 예상되는 결과와 그 이유를 간과하는 경우가 많습니다. 평가도 마찬가지로 결과를 측정하는 데 집중하며, 관찰된 차이를 투입으로 돌립니다. 이는 이전 경험을 바탕으로 정책을 설계하고자 하는 입장에서 별로 유용하지 않습니다. 그러나 오랜 기간 동안 평가와 블랙 박스 프로그램은 공존해 왔으며, 목표와 결과 간의 거리를 측정하기 위해 정교한 방법을 개발하여 이러한 단점을 해결하려고 노력해왔습니다.

 

현재 평가 커뮤니티는 정책 결정과 공공 부문 실천을 개선하기 위해 '어떤 상황에서 누구에게 무엇이 더 잘 작동하는지, 그리고 그 이유는 무엇인지'를 이해하는 과제에 점점 더 관심을 기울이고 있습니다(Pawson and Tilley, 1997). 이론 지향 접근법은 이전의 방법 지향 접근법이 블랙 박스를 '열지 않음'으로 인해 비효율적이라고 비판합니다. 최근 들어 이론 지향 접근법, 특히 복잡한 프로그램 평가와 관련된 '변화 이론'(Kubisch et al., 1995)이 번성하고 있습니다. 프로그램의 블랙 박스가 열리고 있는 동안, 국가 및 EU 수준에서 '평가 적자deficit'라는 추가적인 누락된 차원이 중심 무대로 떠오르고 있습니다.

 

평가 적자는 대부분의 평가가 지역 및 기타 하위 국가 수준에서 수행되어 상위 수준에서의 효과 및 영향 분석을 즉시 제공하지 못하는 불만족스러운 상황을 의미합니다. 즉, 글로벌 목표가 달성되었는지 여부를 알 수 없다는 것입니다. 또는 반대로, 영향 평가가 프로그램의 작동에 대한 이해로 뒷받침되지 않습니다. 결과적으로 평가가 활용되지 않거나 전혀 활용되지 않습니다. 이는 블랙 박스 문제로 진단되지 않았지만, 수직적 어려움은 많은 공통점을 가지고 있습니다: 일반화가 쉽지 않으며, 지역 수준에서 배운 교훈이 상위 수준에서 어떻게 유용할지 불분명합니다. 더욱 놀라운 유사점은 이 문제가 정부의 능력 부족이나 방법론적 평가의 품질 저하로 인해 발생하는 것으로 계속 다루어진다는 점입니다.

 

이 기사의 목적은 프로그램 수준에서 이론 기반 평가의 경험을 활용하여 EU 및 국가 수준의 평가 적자를 해결할 수 있는지 탐구하는 것입니다. 이 기사는 두 부분으로 나뉩니다. 첫 번째 부분에서는 이론 지향 접근법이 프로그램 수준에서 블랙 박스 문제를 어떻게 해결했는지를 살펴봅니다. 두 번째 부분에서는 평가 적자 문제를 강조하고, 이론 지향 운동에서 비롯된 현재의 아이디어가 어떻게 해결책을 제공할 수 있는지 이해하려고 합니다. 이 부분에서는 유럽 공동체 이니셔티브 'Urban' 평가에 대한 개인적인 경험도 다룰 것입니다.

Method v. Theory

평가는 미국의 War on Poverty 프로그램이 시작될 때 탄생했습니다. 그러나 프로그램과의 관계는 여전히 정립되지 않았습니다. 프로그램은 원하는 결과를 가진 행동을 포함합니다. 비록 후자(결과)는 가치에 의해 형성되지만, 프로그램은 이러한 결과를 달성하기 위한 최선의 방법으로 자신을 제시하므로 '합리적인' 행동으로 펼쳐지며 '목표 – 수단 (투입) – 결과'의 사슬을 따릅니다. 동시에, 정책 입안자는 사회 연구자가 테스트한 이론 때문에만 프로그램을 채택하지 않습니다. 그들은 또한 자신의 편견, 여론 조사, 가정 및 순간의 유행을 따릅니다. 물론 상황이 항상 그렇게 나쁘지는 않습니다. 프로그램의 작동에 대한 지식의 축적은 좋은 프로그램이 반복되고 나쁜 프로그램이 개선될 가능성을 높였습니다: '통합' 프로그램의 확산과 '유연한' 절차가 이를 증명합니다.

Programmes encompass actions with desired outcomes. Although the latter are shaped by values, programmes present themselves as the best way to reach those outcomes, hence as ‘rational’ actions, unfolding along a chain of ‘objectives –
means (inputs) – outcomes’.

 

주류 평가(실증주의적 인상을 가진 평가)의 '원죄'는 낮은 키의 역할을 선택하는 데 있습니다. '가치' 문제에 들어가고 싶지 않아 (가치 중립적 입장 덕분에), 프로그램의 이론적 함의를 논의하고 싶지 않아, 평가자들은 프로그램의 내부 타당성(인과성)과 외부 타당성(일반화)을 확인하기 위한 방법론 개발에 노력을 집중했습니다.2 그래서 일반적인 평가 방법 개발에만 많은 에너지를 쏟았을 뿐만 아니라, 프로그램을 그런 식으로 테스트하는 데 적합한 방법 (무작위 실험 설계) 개발에 많은 에너지를 쏟았습니다. Chen과 Rossi (1989: 301)에 따르면, '형식적으로 또는 명시적으로 이론을 명시하지 않음'4

The ‘original sin’ of mainstream evaluation (that with a positivist imprint) lies in choosing to play a low-key role. Neither wanting to enter into the ‘value’ problem (thanks to a value-free stance), not wanting to discuss the theoretical implications of programmes, evaluators have concentrated their efforts on developing a methodology for verifying the internal validity (causality) and external validity (generalization) of programmes  

 

이처럼 낮은 키의 프로그램 평가의 여러 결과가 있었습니다.

1. 프로그램 이론을 논의하지 않는 것은 프로그램이 '절대적인 합리성'(필요가 알려져 있고, 의사 결정자는 각 옵션에 포함된 위험과 기회를 알고 있으며, 의사 결정은 기존 자원에서 이익을 극대화하려는 목적으로 이루어진다고 가정)으로 보장하는 것과 같았습니다. 이는 대부분의 정책 분석이 제한된 합리성과 점진주의를 새로운 패러다임으로 받아들인 시기에 이루어졌습니다 (Etzioni, 2001).5
2. 프로그램이 '합리적인 행동'으로 간주될 수 있다면, 정치는 방해나 간섭으로 간주되었고 정치적 맥락 자체는 결코 탐구 대상이 되지 않았습니다.
3. 이론적 함의를 의문시하지 않는 프로그램의 타당성을 확인하는 데 집중한 결과, 평가자는 평가 결과가 '도구적' 사용, 즉 무언가가 작동했는지 안 했는지에 대한 명확한 답변을 제공할 것이라고 믿게 되었습니다. 이는 의뢰인에게 '진행/중단'에 대한 명확한 답변을 제공하고, 의사 결정자가 이에 따르도록 합니다.

왜 평가자는 사회 과학자로서의 책임을 저버렸을까요, 심지어 Dewey의 실용주의 전통이 여전히 널리 퍼져 있는 나라에서도 말입니다?6 잘못 이해된 실천 아이디어에 대한 경의? 다른 학문(정책 분석, 조직 이론 등)과의 너무 엄격한 분리, 잘못된 학문적 전문화 아이디어 덕분에? 

 

사실 이러한 문제는 이론 지향 접근법의 출현 이전에도 논의되었습니다.7 '응답형 평가'(Stake, 1980), '4세대 평가'(Guba and Lincoln, 1989), Cronbach et al. (1980)의 '개혁적' 접근법은 모두 일반화를 추구하고 평가가 프로그램이 시행되는 맥락과 이해관계자의 다양한 관심과 견해를 고려해야 한다고 주장했습니다. Scriven은 평가가 '목표 없는' 것이어야 하며, 그의 '평가 논리'는 실용적인 방식으로 가치를 재도입해야 한다고 제안했습니다.8 그러나, 다양한 이유로, 그들 중 어느 누구도 프로그램 이론을 중요한 것으로 여기지 않았습니다: 그들은 주로 방법론적 근거에서 실증주의적 접근법에 반대했습니다.9 

 

여기서 이론이 들어갑니다. 이론 지향 평가가 방법 지향 평가에 비해 새로운 물결로 등장합니다. 이 새로운 물결에서는 방법에 대한 태도가 변화합니다. 더 이상 분야를 고정시키는 패러다임 전쟁이 없으며, 사전에 계획된 다중 방법 평가에 대한 논쟁도 없습니다. 모든 방법은 프로그램을 설명할 수 있는 이론을 평가 설계의 중심에 놓을 때 장점이 있을 수 있습니다. 어떤 방법도 '황금 표준'으로 간주되지 않습니다. 이론은 명시되어야 하며, 평가 단계는 이를 중심으로 구축되어야 합니다: 가정을 발전시키고; 인과 사슬을 드러내고; 모든 관련 당사자를 이 작업에 참여시키는 것입니다. 이론 지향 평가는 공공 부문의 역량을 키우고, 프로그램이 전개되는 정치적 과정을 더 잘 이해하고 숙달하도록 공중을 교육하는 데 도움이 될 것으로 기대됩니다.

No Theory, Many Theories, and Actors

이론 지향 접근법은 각기 다른 길을 택하여 블랙 박스 문제를 다양한 각도에서 다루었습니다.

Chen and Rossi: 이론 기반 평가

1980년에 처음으로 이론 기반 평가의 깃발을 들었던 Chen과 Rossi는 일종의 선언문을 제안했습니다(1989). 이 선언문의 주요 원칙은 블랙 박스 프로그램이 '이론이 없다'는 것입니다. 목표가 불분명하고 측정이 잘못되어 평가가 '기껏해야 클라이언트를 열거하고, 프로그램을 설명하고, 때때로 결과를 계산하는 사회적 회계 연구'가 되는 것입니다(1989: 299). 블랙 박스는 빈 상자입니다. 이론 기반 평가는 이러한 프로그램에 좋은 사회과학 이론을 제공해야 합니다. 선언문은 평가에서 따라야 할 단계를 제공하며, 이는 치료 연구, 이해관계자 및 평가자의 결과에 대한 관점 논의, 프로그램이 왜 그리고 어떻게 그와 같은 결과를 내는지 조사하는 것입니다 (규범적 및 인과적 이론을 따릅니다).

 

이 접근법의 핵심은 프로그램이 정치 세계에서 존재하는 방식을 논의하는 것보다 프로그램에 부족한 이론을 제공하는 것입니다. 이로 인해 이론의 부재는 일반적인 정치 작동 방식을 설명한다고 보이며, 정치의 결핍은 강력한 사회과학 이론으로 수정될 수 있다고 여깁니다. 이렇게 하면 평가는 정책 입안자에게 긍정적인 제안을 할 수 있고, 프로그램은 더 잘 작동할 것입니다.

 

Carol Weiss: 이론 기반 평가(TBE)

Weiss는 문제를 다른 방식으로 접근했습니다. 프로그램은 의사결정 방식 때문에 필연적으로 혼란스럽습니다. 따라서 '도구적' 사용을 목표로 하는 것은 무의미합니다. 오히려 평가자는 의사결정 방식에 대해 이해하고, 더 간접적인 방식으로 의사결정에 영향을 미치려고 해야 합니다. 좋은 프로그램 이론은 정치에 영향을 받지 않는 이론이 아니라, 정치가 실제로 작동하는 방식에 대한 좋은 이론입니다. 따라서 Weiss의 경고: '평가는 정치적 환경에서의 합리적인 활동'입니다(Weiss, 1987). Weiss는 연구와 정치 사이의 여러 관계에 대한 관심, 평가 활용에 대한 주의, 그리고 인지적 사용이 결국 더 나은 프로그램을 이끌어낼 수 있는 것으로 이해하는 등 다양한 방식으로 이 통찰을 추구해왔습니다.

 

Weiss는 최근에야 이러한 주장을 더욱 발전시켜 Campbell을 Lindblom과 March에 비해 부정적으로 비교했습니다. 이는 대부분의 평가자에게는 금기시되는 입장일 수 있습니다. Weiss는 Lindblom과 March가 '비용 절감'과 점진주의 이론으로 평가에 더 많은 기여를 했다고 썼습니다 (Weiss, 2000a). Chen과 Rossi와는 달리, Weiss에게 프로그램은 여러 이론으로 가득 차 있습니다. Weiss는 이를 '변화 이론'이라고 부릅니다(Weiss, 1995). 이들은 가정, 암묵적인 이해 등의 형태를 띠며, 종종 동일한 프로그램에 대해 하나 이상 존재합니다. Weiss는 종합 커뮤니티 이니셔티브에서 서비스 제공 프로그램의 기반이 될 수 있는 7가지 가정과 더 많은 하위 가정을 나열했습니다(Weiss, 1995: 74).

 

프로그램이 어떻게 작동해야 하는지에 대해 구현자, 이해관계자 및 관련 당사자가 가지고 있는 많은 아이디어도 있습니다. 이러한 모든 '이론'은 어느 것이 테스트할 가치가 있는지에 대한 합의에 도달하기 위해 밝혀져야 합니다 (Weiss, 2000b). Weiss는 이와 같이 프로그램 이론을 평가의 핵심으로 만드는 방법을 제안합니다. 변화 이론은 두 가지 구성 요소를 가집니다: 프로그램 실행 단계를 기술적으로 예측하는 '실행 이론'과 사물을 움직이게 하는 메커니즘에 기반한 '프로그램 이론'. '변화의 메커니즘은 프로그램 활동 자체가 아니라 활동이 생성하는 반응입니다'(1997: 46). TBE는 이러한 메커니즘을 명확히 하고, 프로그램을 후속 메커니즘으로 분해하며, 이를 테스트하기 위해 다양한 종류의 데이터를 사용해야 합니다. 이렇게 하면 TBE는 새로운 이론을 생성하는 데 도움이 됩니다.

Theories of change have two components:

• ‘implementation theory’, which forecasts in a descriptive way the steps to be taken in the implementation of the programme; and
• ‘programmatic theory’, based on the mechanisms that make things happen.

‘The mechanism of change is not the program activities per se, but the response that the activities generate’

 

Pawson과 Tilley: 현실주의 평가

방법 지향 평가에 대한 또 다른 공격은 Pawson과 Tilley의 '현실주의 평가'에서 나옵니다. 이 접근법의 특징은 좋은 프로그램 이론의 구성 요소를 강조하는 것입니다: 맥락(C)과 메커니즘(M), 이는 결과(O)를 설명합니다. 평가는 CMO 구성에 기반합니다.

• 프로그램은 구조와 조직 내에 위치한 에이전트가 선택할 수 있는 기회로 간주되며, 메커니즘이 특정 맥락에서 작동할 때 결과가 달라집니다.
• 메커니즘은 무한하지 않으며, 프로그램은 이를 중심으로 구성된 메커니즘에 따라 그룹화될 수 있습니다 (명명과 비난, 인센티브 등).
• 맥락도 무한하지 않으며, 특정 특성에 따라 달라집니다 (밀도, 주변성 등).

맥락과 메커니즘은 중범위 이론의 일부입니다.

". . . 중범위 이론의 기본 아이디어는 이러한 명제가 각 조사에서 지역 지혜에 기반하여 처음부터 개발될 필요가 없다는 것입니다. 오히려 이들은 [더 추상적인 분석 프레임워크]로 추적될 수 있는 공통 스레드를 가지고 있을 가능성이 큽니다 [. . .]." (Pawson과 Tilley, 1997: 123-4)

 

Pawson과 Tilley에 따르면, 블랙 박스 문제와 이를 열지 못한 실험 설계의 실패는 실험이 기반한 '연속주의' 인과 이론에 있습니다. 이 이론에 따르면, 우리는 무엇이 변하는지 알 수 없지만, 단지 특정 사례에서 상태 'a'(자극 없음, 프로그램 없음)에서 상태 'b'(자극 있음, 프로그램 있음)로 변했음을 알 수 있습니다. 그래서 변화가 프로그램에 기인할 수 있는지 여부를 말하기 어려운 것입니다. 현실주의 접근법은 '생성적generative’' 인과 이론에 기반합니다: 프로그램이 사물을 변화시키는 것이 아니라, 맥락에 포함된 사람들이 프로그램에 노출되었을 때 주어진 메커니즘을 활성화하여 변화를 일으키는 것입니다 (Pawson과 Tilley, 1997: 32-4). 그래서 블랙 박스의 신비가 밝혀집니다: 사람들이 그 안에 존재합니다. 이는 평가 설계를 완전히 다르게 만듭니다. 평가자는 메커니즘이 특정 맥락에서 어떻게 작동할 수 있는지 설명하고, 이를 알 수 있는 사람들에게 증거를 제공하도록 요청합니다. 다양한 관점은 (Weiss의 경우와 달리)  합의를 통해 얻어지지 않고 '심판adjudication'을 통해 더 가치 있는 것이 무엇인지 판단하는 사법적 은유를 통해 얻어집니다.

 

요약하자면, 이론 지향 접근법 간에는 차이점과 유사점이 있습니다. 유사점으로는:

• 평가는 (actor의 이해나 평가자의 해석에 따라) 무엇이 일어날 수 있는지에 대한 설명에 기반합니다: 가치는 배우actors의 관점을 구성하는 방식으로 설명되며 무시되지 않습니다.
• 프로그램을 맥락에서 고려합니다. 여기에는 배우자의 환경(포함) 및 공공 서비스 문화와 행동이 포함됩니다.
• 어떤 방법도 특권을 부여하지 않고, 이에 의존하지 않고 적합한 모든 방법을 사용합니다.
• 내부 타당성에 명확히 헌신합니다(실제로 인과성을 찾습니다). 그러나 여전히 다른 상황 간의 비교를 허용합니다.

차이점은 이론에 부여된 역할에 있습니다.

• Chen과 Rossi에게 좋은 이론은 이론의 부재를 대체해야 하고;
• Weiss에게는 더 나은 이론이 나쁜 이론을 대체해야 합니다;
• Pawson과 Tilley에게는 이론은 actor가 그들에 대해 무엇을 하는지에 따라 좋아집니다.

또 다른 차이점은 맥락의 역할에 있습니다: 현실주의 평가에서는 환경의 사회학적 특성을 의미합니다. 다른 저자들은 이를 우발적이라고 간주합니다.

복잡성과 다층 거버넌스

이론 지향 평가는 프로그램의 블랙 박스를 열고, 방법 지향 평가의 저항을 깨는 데 도움을 주었습니다. 후자는 프로그램의 가정을 의심하지 않으려는 위원들이 자주 요청했으며, 방법론적 전문 지식을 찾아낸 평가자들이 수행했습니다. 이론 지향 평가는 '단순한' 프로그램에서 사용되기 시작했으며, 이를 통해 프로그램 이론이 '너무 단순하다'(블랙 박스가 잘못된 단일 인과 이론을 숨기는 경우)거나 프로그램에 좋은 점이 있음에도 불구하고 아직 명백하지 않다는 것을 명확히 했습니다. 이는 자주 일어나는 일로, 사람들이 자신이 속한 맥락에서 프로그램을 자신에게 유리하게 바꾸는 아이디어를 가지고 있기 때문입니다.

 

최근 이론 지향 평가는 '복잡한' 프로그램이 실행되는 새로운 조건 하에서 번성하고 있으며, 의뢰인(commissioners)은 소위 '골드 스탠다드' 방법의 실패를 인식하고 있습니다. Weiss(1995)는 실험을 할 수 없는 경우 TBE가 충분히 설득력이 있을 수 있다고 주장합니다. Aspen Institute Roundtable on Comprehensive Community Initiatives(Kubisch et al., 1995)는 Weiss의 작업을 이어받아 '변화 이론theories of change' 평가의 새로운 플랫폼을 제공할 수 있었습니다.

 

하지만 '복잡성'이란 무엇이며, 이론 지향 평가는 어떻게 이를 다룰 수 있을까요? 한편으로, 현실이 복잡한 이유는:

• 그것이 층화되어 있으며, 행위자가 자신이 속한 맥락에 포함되어 있기 때문입니다.
• 프로그램이 검토하고 처리할 수 있는 각 측면이 다면적이기 때문입니다.

따라서 단일 입력(인센티브, 서비스 등)이 특정 출력을 초래했는지 여부를 말하기 항상 어렵습니다. 입력은 결코 단독으로 작동하지 않기 때문입니다. 그러나 이는 사회 과학의 가장 단순한 제안을 무시하고, 각 프로그램 측면을 별도로 처리하는 프로그램에서 자주 고려되지 않습니다. 개인, 가족, 커뮤니티 간의 관계를 예로 들어보겠습니다. 프로그램은 하나의 측면을 다루지만, 개인, 가족 및 커뮤니티가 갈등 관계에 있을 수 있으며, 그들 간에 역동성이 있다는 사실을 거의 고려하지 않습니다.

 

이제 주요 문제인 프로그램의 복잡성으로 돌아가 보겠습니다. 정책 입안자들이 현실이 복잡하다는 것을 인식한 이후, 다양한 문제를 동시에 해결하기 위해 사람들이 파트너십과 네트워크에서 행동하도록 기대하는 '통합integrated' 프로그램이 설계되었습니다. 일반적으로 커뮤니티 프로그램은 경제, 사회, 건강 및 교육 구성 요소를 포함합니다. 복잡한 프로그램은 단일 이니셔티브가 단독으로 가져올 수 없는 결과를 생성하는 '시너지'를 창출하는 것을 목표로 합니다. 이는 미국의 Comprehensive Community Initiatives, 영국의 Communities That Care 및 통합된 정부(Sullivan et al., 2002), 이탈리아의 통합 사회 서비스 법률(law 382/00) 대부분의 철학입니다. 공공, 민간, 제3섹터 등 여러 구현자, 다양한 수혜자, 동일한 수혜자의 다양한 활동이 '파트너십'으로 모입니다.

 

통합 프로그램이 다층 거버넌스 시스템 내에서 실행된다는 점에서 또 다른 유형의 복잡성이 존재합니다. 유럽 구조 기금 또는 유사한 유럽 프로그램이 그 예입니다. 이 시스템은 새로운 공공 관리(New Public Management) 아이디어, 특히 '위임자/대리인 이론principal/agent theory'과 일치합니다. 이에 따르면 '정부-위임자'가 목표한 것을 '구현자-대리인'이 자신의 이익을 추구하면서도 정보 부족과 실행 능력 부족으로 계획하지 못한 방식으로 행동합니다. 국가 정부나 EU는 다양한 선거구를 포함하고 있으며, 심지어 가장 세부적인 계획도 지역 특수성과 선호도를 고려할 수 없습니다. 따라서 상위 수준(EU 및 국가 정부)에서는 목표가 설정되고, 지표가 찾아지며, 공공 자원이 할당되지만, 결과를 달성하기 위한 수단이나 방법은 예상되지 않습니다. 최근 EC의 회장인 Romano Prodi는 '위원회는 목표를 설정하지만, 수단은 설정하지 않는다'고 말하며, 수단은 지방 분권 덕분에 국가에 달려 있다고 암시했습니다. 지방 당국은 운영 프로그램을 결정하고, 주어진 개입 부문에 자원을 배분하며, 제출된 프로젝트 중 실행할 행동을 선택합니다.

 

이 다층 시스템은 정부가 많은 서비스를 비정부 기구(NGO) 또는 기타 제3섹터 그룹에 맡길 수 있음을 의미합니다. 이는 좋은 지역 프로젝트가 나올 수 있게 하지만, 현지 수준에서 프로젝트 구현자가 이미 능숙하거나 익숙한 활동 유형을 제안하여 전체 프로그램 목적에 반드시 좋은 것은 아닐 수 있습니다. 이는 분권화된 계획 시스템(및 평가)이 이러한 활동이 주어진 목표 축 안에 들어맞는지, 즉 일반 목표에 영향을 미치는지, 아니면 구현자의 이익을 위해 수행되었는지를 보여주어야 합니다.

 

종합하면, 통합 프로그램은 계층의 주어진 수준에서 복잡성을 다루는 반면, 다층 거버넌스는 계층 자체를 다룹니다. 통합 프로그램에서 중요한 것이 '시너지synergy'였다면, 수직적 복잡성에서는 '보충성subsidiarity'이 중요합니다. 이는 상위 수준이 하위 수준이 할 수 있는 일을 하지 않는다는 의미입니다.

• 전자(시너지)의 경우, 평가는 어떤 파트너십의 어떤 특성이 더 잘 작동했는지, 그리고 그 이유를 평가합니다.
• 후자(보충성)의 경우, 평가는 다른 수준의 역할을 평가합니다. 보충성은 결국 안정된 상태가 아니라 상호 관계이며, 수혜자와 프로그램 운영자의 잠재력을 이끌어내고 글로벌 목표에 기여하려면 적극적으로 구현되어야 합니다.

다층 거버넌스의 문제는 이 시스템이 '합리적인' 장치로 설계되었지만(세부 사항을 하위 수준 구현자에게 맡기는 것이 더 편리함), 구 프로그램보다 더 큰 블랙 박스를 인정한다는 것입니다. 이제 목표는 여러 가지 방법으로 달성될 수 있으며, 블랙 박스를 채우는 방법도 많을 수 있습니다. 여기서 두 가지 주요 문제가 발생합니다.

• 여러 다른 프로그램이 있었고, 프로그램이 통합된 경우, 글로벌 수준에서 발생한 변화(즉, 목표 지표의 점수)를 어떻게 특정 프로그램의 효과에 기인할 수 있을까요?
• 여러 행위자가 한 행동에 관여한 경우, 결과를 특정 계층의 파트너에게 어떻게 기인할 수 있을까요?

이들은 미시, 중간 및 거시 관계micro, meso and macro relationships의 전형적인 문제로, 설명 이론이 개발되어야 합니다.

다층 거버넌스와 다중 계층

통합 프로그램과는 달리, 다층 거버넌스에서는 프로그램 기획자와 평가 위원들이 이론 지향 평가 접근법에 익숙하지 않습니다. 수직적 연결은 여러 방식으로 고려되어 왔는데, 예를 들어 다음과 같은 방식을 통해서입니다:

• 평가를 의뢰하기 위한 다층의 제도적 배열.
  multi-layered institutional arrangements for commissioning evaluations;
  
• 인과성을 다루는 방법을 제안하는 평가 지침.
  evaluation guidelines proposing ways of dealing with causality.

제 주장은 전자가 수직적 차원에서 성공을 평가하기 위해 필요한 지식의 순환에 도움이 되지 않으며, 후자는 이러한 복잡성을 다룰 수 없다는 것입니다.

 

먼저 제도적 배열을 살펴보겠습니다. EU 구조 기금은 수직적, 다층 평가 구조를 통해 평가됩니다(EU, 2000).

• EU 수준에서는 독립 평가자에게 사후 평가가 계약되어 있으며, 이들은 글로벌 목표의 지표 점수에서 어떤 변화가 발생했는지 평가하도록 요청받을 것입니다(글로벌 영향).
• 국가 수준에서는 독립 평가자에게 평가가 계약되어 중간 영향 달성과 프로세스 지표 성과에 중점을 둡니다.
• 지역 수준에서는 공식적으로 명시된 바가 없지만, 단일 프로젝트의 구현이 모니터링되고 자가 평가가 출력을 평가할 것이라고 가정됩니다.

각 수준은 독립적이며, 평가가 다른 시간에 이루어지고, 다른 전문가가 다른 방법으로 수행합니다. 각 수준에서의 결과가 상위 또는 하위로 전달되지 않아 결과나 영향을 특정 행위자나 메커니즘에 귀속시키기 어려울 위험이 있습니다.

 

EU 구조 기금 평가를 위한 가장 잘 알려진 지침인 MEANS 가이드(vol. 1: 93-5)의 목표는 다층 거버넌스의 복잡성을 고려하는 것입니다. '목표의 계층hierarchy of objectives'과 '예상 영향의 논리 다이어그램logical diagram of expected impacts'의 조합을 통해 인과 관계를 이해하고, '최고 사례'를 통해 일반화를 추구하는 시도가 있습니다(MEANS, 1999, vol. 1: 93-5).

• '목표의 계층'은 상위 수준의 글로벌 목표를 하위 수준의 특정 목표로 분해하는 하향식 접근법입니다.
• '예상 영향의 논리 다이어그램'은 상향식 접근법으로 하위 수준의 개입에서 얻은 결과를 상위 수준의 글로벌 영향으로 재구성합니다.

평가에서는 지역 수준에서 구현된 단일 프로젝트가 이 '사다리'에 어떻게 맞는지 파악하는 것이 기대됩니다. 이는 공식 프로그램 이론을 지역 개입의 결과, 국가 프로그램의 성과, EU 정책의 영향으로 이어지는 일련의 선형 사슬로 구체화하는 것을 제안합니다. '최고 사례‘Best practices'는 지역 수준에서의 활동이 추가 선형 사슬에서 일반화를 위한 모델로 제안되는 방식입니다.

 

이 접근법이 '수단이 아닌 목표를 설정하는' 문제를 어떻게 다루나요? 두 가지 대안을 허용한다고 할 수 있습니다:

• 평가자가 수단에 상관없이 글로벌 영향을 측정하는 것에만 관심을 두거나, 또는
• 평가자가 결과를 다른 수단에 귀속시키는 방법을 찾아야 합니다.

1. 평가자가 목표에 집중하면, 시간이 지남에 따라 상황을 측정하고, 개선이 있다면 총 지출된 자금의 글로벌 영향에 기인한다고 가정하게 됩니다. 이 경우, 어떤 관행도(최고든 최악이든) 영향을 책임질 수 없습니다. 이는 위에서 설명한 제도적 배열과 가장 잘 맞는 대안입니다.
2. 반대로, 평가자가 중요한 것은 영향을 어떻게 그리고 왜 달성했는지 아는 것이라고 생각한다면, 수단(베둥 [1998]이 부르는 정책 도구)이 중요하다고 여길 수밖에 없습니다. 평가는 목표를 달성하는 다양한 방법에 관심을 두고, 어떤 정책 도구가 단독으로 또는 조합으로, 그리고 어떤 순서로 특정 맥락에 있는 행위자에게 더 적합한지 판단하려고 합니다. 단일 선형 사슬이나 최고 사례를 식별하는 것은 불가능합니다. 오히려 글로벌 정책 영향은 조합과 순서에 따라 설명되어야 하는 정책 도구의 혼합 결과일 것입니다.

예를 들어, 고용 서비스를 살펴보겠습니다. 목표의 계층은 다음과 같이 작동할 수 있습니다. 유럽 목표는 고용률을 높이는 것이며, 국가는 새로운 고용 센터 창설을 위한 법을 제정하고, 지역 기관은 노동 시장에 대한 지식을 바탕으로 실업자에게 '오리엔테이션' 서비스를 제공합니다. 예상 결과의 논리 다이어그램은 다음과 같이 작동합니다. 이러한 서비스는 고용 가능성을 향상시키기 위해 고용 기회를 개선하고, 이는 수요와 공급 간의 더 나은 매칭을 만들어야 하며, 이는 고용을 촉진해야 합니다. 그러나 모든 곳에서 동일하게 작동할까요? 각 위치마다 노동 시장이 다르기 때문에(타이트하거나 느슨함; 제공되거나 요구되는 수작업/사무직의 균형; 비공식적 또는 불규칙한 경제의 존재/부재), 고용률을 높이는 영향은 다양한 방식으로 나타날 수 있습니다. 각 경우에는 활동과 구현 경로의 조합이 있으며, 더 긴밀하거나 덜 긴밀한 연결로 다양한 '파트너십'이 형성됩니다. 글로벌 수준에서 중요한 것은 각 맥락에서 사용된 메커니즘이 일관된 효과를 달성하여 고용률을 높이는 글로벌 목표를 달성할 수 있는지 여부입니다. 따라서 평가가 어떤 맥락에서 무엇이 더 잘 작동하는지, 다른 맥락에서 반대되는 이유를 설명하는 이론을 세우지 않으면, 고용의 글로벌 데이터를 집계하여 프로그램이 성공했는지 실패했는지 선언하는 것은 의미가 없습니다. 또한 모든 상황이 유사한 것으로 간주되고, 일부는 더 나은 것으로, 일부는 더 나쁜 것으로 간주되는 선형 차원에서 최고 사례를 식별하는 것도 의미가 없습니다.

 

이로 인해 모든 곳에서 동일한 일을 하도록 제안하는 모델과 최고 사례가 일반적인 결과를 도출하는 방식으로 제안됩니다: 즉, 제안된 것은 모든 곳에서 동일한 일을 하라는 것입니다. '최고'를 절대적 개념으로 오인하는 잘못된 믿음이 있습니다. Best는 모든 상황에 적합한 하나의 제안입니다. 우리는 '최고best'가 아니라 특정 상황에 상대적인 '더 나은better' 것이 필요합니다(See Patton, 2001; Perrin, 2003). 또한, 비교할 수 있는 활동이나 제품이 아니라, 프로그램이 제공하는 메커니즘에 대해 적절하다고 생각하는 행위자의 행동과 반응을 비교해야 합니다. 대신, 우리는 서로 다른 상황을 비교하여 어떤 경우에 맞는 것이 다른 경우에 맞지 않는 이유를 이해해야 합니다. 물론, 이러한 비교는 기존 대안을 더 잘 이해하고 유연한 적응을 선호하는 예시를 복제할 수 있도록 합니다.

 

예를 들어, 빈곤 완화 수단으로서의 마이크로 크레디트를 생각해 보세요. 이제 많은 사람들이 방글라데시의 그라민 은행(Yunus, 1999)에 익숙하며, 마이크로 크레디트는 어디서나 빈곤 완화의 처방이 되었습니다. 그러나 이 경험이 성공한 이유는 가난한 무슬림 여성들이 집에서 일하며 남편보다 더 책임감이 있었고, 그들의 도덕성이 빚을 갚도록 했기 때문이라는 사실은 거의 인정되지 않습니다. 이러한 조건이 없는 곳에서는 마이크로 크레디트가 또 다른 보조금으로 간주되며, 사람들은 자신의 맥락에 따라 다르게 반응합니다. 이러한 상황에서는 마이크로 크레디트를 도입하기 전에 신뢰와 협력을 촉진할 다른 장치를 고려해야 합니다.

 

요약하자면, 논리 다이어그램과 최고 사례는 다층 거버넌스의 복잡성을 다루기에는 부족한 행동 이론을 활용하려는 시도입니다. 이는 주어진 목표를 달성하기 위한 다양한 수단이라는 중요한 요소를 다루지 않기 때문입니다. 이를 위해 우리는 이론 지향 평가로 전환할 것을 제안합니다. Weiss의 이론 기반 평가는 유사한 상황에서 다양한 구현자와 이해관계자의 여러 이론을 테스트하는 것을 제공합니다. 이는 목표를 달성하기 위해 수단이 어떻게 선택되고 구현되는지 조사하는 데 도움이 될 수 있습니다. Pawson과 Tilley의 중범위 이론 매트릭스는 유사한 메커니즘의 다양한 결과를 다룰 수 있는 이론을 찾을 것을 제안합니다. 특히 저자들의 '현실적 축적realistic cumulation' 개념(Pawson과 Tilley, 1997: 117)과 이제 Pawson의 '현실주의적 종합realist synthesis'(Pawson, 2002)으로 확장된 것을 참고합니다. 후자에 따르면, 평가의 과제는 '프로그램 세트가 작동하는지 여부를 발견하고 결과를 '집계'하는 것이 아니라, 중범위 이론을 테스트, 정제 및 판단하는 것입니다'.

 

이는 '하나의 특정 경험적 사례에서 일반 이론으로, 다시 다른 사례로 이동하는 추상화 과정입니다. 사례 간에 전이되는 것은 데이터 덩어리가 아니라 아이디어의 집합입니다'(Pawson과 Tilley, 1997: 120).

• ‘we move from one specific empirical case to a general theory and back to another case, and so on. What are transferable between cases are not lumps of data, but set of ideas’

예를 들어, 평가는 서로 다른 노동 시장 상황에 대해 어떤 고용 가능성 메커니즘이 다른 방식으로 작동하는지, 다양한 선거구에 대해 신용 메커니즘이 어떻게 작동하는지, 그러한 상황에 대해 다양한 정책 도구가 어떻게 결합될 수 있는지를 입증하는 과제를 스스로 설정해야 합니다.

 

이 모든 것은 다양한 제도적 평가 수준이 서로 소통해야 한다는 것을 분명히 합니다. 제도적 평가 수준이 소통하지 않으면 결과를 영향과, 또는 하위 수준 프로그램 결과를 상위 수준 목표와 연결할 수 없습니다. 그러나 소통한다면 선형적, 미덕적, 최고 사례보다 훨씬 더 많은 대안이 존재한다 alternatives exist than linear, virtuous, best practice 는 것이 분명해질 것이며, 평가는 이를 모두 설명해야 합니다.

'Urban' 프로그램 평가

이 섹션에서는 다층 거버넌스 시스템 내에서 실행된 프로그램 평가에 대한 개인적인 경험을 소개하겠습니다. 이는 하위 수준에서 한 단계씩 진행될 때마다 상위 수준에서 상응하는 것이 필요하다는 깨달음을 얻은 이론 지향 접근법으로의 여정 이야기입니다.

 

‘Urban’ 프로그램은 유럽 공동체 이니셔티브로, ‘포괄적 커뮤니티 이니셔티브’라고 불리는 복잡한 프로그램과 유사합니다. 이 프로그램은 도시 지역에서 사회적 배제를 줄이기 위해 도시 인프라, 건강, 교육, 고용, 시민권 등 다양한 영역에서 사회적 포용의 통합 프로젝트를 통해 실행됩니다. 이 프로그램은 국가가 운영하며, 자금은 지방 정부에 할당되어 배제 지표가 높은 지역 중에서 하나를 선택한 후, 도시적, 물리적, 경제적 또는 사회적(교육 및 건강 포함) 프로젝트를 계약합니다.

 

로마의 Tor Bella Monaca 지역에서 실행된 Urban 프로그램에서 ‘사회 이니셔티브 관측소’라는 프로젝트의 코디네이터로 일하면서, 저와 동료들은 다양한 프로젝트가 전체 프로그램에 어떻게 맞아떨어지는지, 즉 특정 프로젝트 목표가 글로벌 목표와 어떻게 관련되는지를 묻기 시작했습니다. 우리는 “장난감 도서관이 사회적 포용과 무슨 관련이 있나요?”라는 질문을 자주 했습니다. 사실 우리는 처음부터 ‘목표의 계층’ 프레임워크를 염두에 두고 있었습니다.

 

그러나 우리의 실망스러운 점은 프로그램이 강조하는 평가 구조에서는 이런 종류의 기대가 없다는 것을 곧 깨달았다는 것입니다. 수직적 비소통의 위험은 심각했습니다. 우리는 프로젝트 수준에서 위치해 있었기 때문에 산출물(활동, 강좌, 회의 등)만 다루어야 했습니다. 우리가 구현자들에게 “왜 이 일을 하고 있나요?”, “이 일을 할 때 어떤 일이 일어나나요?”, “무엇이 좋은 결과라고 생각하나요?”와 같은 목표 계층과 관련된 질문을 하거나, 동일 수준의 프로젝트 간 통합과 관련된 질문을 시작했을 때 대부분의 구현자는 자신들이 그냥 장난감 도서관, 학교 출석 실험실, 사회적 취약계층을 위한 주간 센터를 운영하는 것에만 관심이 있다고 생각했습니다. 그들은 자신들이 사회적 포용에 기여한다고 생각하지 않았습니다. 결국, 주/대리인 이론에 따르면 그들은 자신의 이익을 위해 일하며, 왜 프로그램이 달성하려는 것에 신경을 써야 할까요? 그들은 자신의 수혜자와의 일에 대해 평가받기를 기대했지, 협력 노력이나 지역의 사회적 포용에 기여하는 것에 대해 평가받기를 기대하지 않았습니다. 그들이 (지역) ‘실행’을 수행하고 있었다면, 왜 (상위 수준) ‘이론’에 신경 써야 할까요?

 

우리는 이론 지향 접근법을 따르면서 현지 상황에서 추출한 지식을 최대한 활용하기로 결정했습니다. Weiss를 따라 실행 이론과 프로그램 이론을 구별했습니다. 운영자들은 실행 이론(자신의 활동과 관련된 것)에는 익숙하지만, 프로그램 이론(그 활동의 결과와 관련된 것)에는 익숙하지 않다는 것을 깨달았습니다. 그래서 우리는 문서에 쓰여 있는 프로그램 이론을 의문을 제기하기 시작했고, 이를 구현자와 이해관계자가 가진 이론, 그리고 우리가 스스로 생각하기 시작한 이론과 비교했습니다.

 

‘공식적인’ Urban 프로그램 이론은 예상되는 영향의 논리 다이어그램 두 가지 예를 제공합니다. 첫 번째는 전형적인 블랙 박스 프로그램으로, 실제로는 ‘복잡한 블랙 박스’입니다. 사회적 배제는 다차원적 문제로 정의되며, 빈곤이 교육 결핍, 개인적 불이익, 약물 중독 등과 겹칩니다. 따라서 동일 지역을 여러 관점에서 동시에 공격하는 통합 프로그램이 필요합니다. 두 번째는 단일 인과 설명입니다. 가난한 지역에서는 서비스 비용이 너무 높아서 지방 자치단체가 이를 철회하여 기업이 떠나고 일자리가 사라졌습니다. 만약 프로그램이 서비스를 재도입하면, 다시 일자리가 생기고 건강한 생활 조건이 재창조될 것입니다.

 

그러나 이러한 이론들은 실제 상황을 제대로 설명하지 못하는 것처럼 보였습니다. 먼저 상황을 설명하기 위해. 사회 지표가 지역의 공정한 그림을 제공하지 못한다는 것이 분명했습니다. 고층 공공 주택의 일부에서는 가족 구성원이 장애인인 경우 더 쉽게 들어갈 수 있었기 때문에 불이익이 집중되어 있었습니다. 그러나 다른 지역은 더 나아졌으며, 진정한 도전 과제는 이웃의 다른 섹션을 가깝게 만드는 것이었습니다. 일부 프로젝트는 인구의 한 부분을 목표로 했으며, 이는 참여하지 않은 부분의 질투를 불러일으킬 수 있습니다.

 

그 다음으로, 사회적 배제를 동시에 공격하는 것이 성공할 수 있는지, 또는 그것이 무엇을 생산할 수 있는지 명확하지 않았습니다. 모든 구현자는 자신의 작은 목표를 생각하고 있었습니다. 그러나 각 구현자는 자신이 하고 있는 일에 대해 아이디어가 있었고, 우리가 그들과 함께한 인터뷰와 포커스 그룹에서 많은 다른 통찰이 나왔습니다. 다양한 그룹 간의 협력이 실제로 가능하다는 명확한 이해가 있었습니다, 비록 그것이 일어나지 않았더라도. 협력은 특정한 조건 하에서 잘 작동할 수 있었습니다: 매우 특정하고 심각한 경우에만 제3섹터 구현자들 사이에서; 특정 역량이 필요한 경우 지역 공무원(학교나 지역 건강 기관)과 제3섹터 구현자들 사이에서 (예: 주간 센터에 누구를 입장시킬지 결정하는 것).

 

평가 과정에서 사람들은 네트워킹과 협력에 대한 아이디어를 개발하는 데 자신감을 가졌으며, 자신의 행동의 긍정적인 점에서 출발했습니다.

 

단일 인과 이론은 단순히 무시되었습니다. 미래에 일자리가 돌아올 것이라는 추측은 사회 통합의 경로로서 존재하지 않았습니다. 실제로, 이 이론은 현지 상황에 맞지 않았습니다. 일자리를 잃은 적이 없었거나, 또는 비공식 일자리가 많았을 가능성이 높았습니다. 공식 이론에서는 이를 고려하지 않았습니다.

 

사회적으로 통합된 미래(예상되는 영향)는 더 심각한 문제입니다. 이는 장기와 관련이 있기 때문입니다. 그러나 모두가 장기가 없을 것임을 보았습니다. 프로그램은 3년 동안 지속되었으며, 이 기간이 지나면 대부분의 서비스가 사라질 것이 분명했습니다. 그래서 우리는 프로그램의 지속 가능성에 대해 조사하기 시작했고, 이는 또 다른 놀라움을 가져왔습니다. 어떤 것이 좋은 결과로 여겨지면, 사람들은 그것을 잃고 싶지 않았습니다. 그들은 이를 유지하기 위해 조직화되었으며, 때때로 협력적인 방식으로 조직화되었습니다. 우리는 이것이 권한 부여 이론을 개발하는 데 매우 중요하다고 느꼈습니다.

 

우리는 프로그램의 블랙 박스를 참여적인 방식으로 채워나갔습니다. 시너지를 얻기 위한 방법과 최소한 하나의 프로젝트에서 작동했던 메커니즘을 식별하여. 이러한 메커니즘 중에는 다음이 포함되었습니다:

• 하면서 얻기: 사람들이, 공무원 또는 NGO 운영자 간에 신뢰의 분위기가 조성되면, 사람들은 부재한 서비스를 비난하지 않고, 공공 부문과 협력하여 서비스를 작동시킵니다(예: 고용 센터).
• 기본 사항 배우고 혼자 해보기: 사람들은 기본 기술을 배우고, 필요하다고 생각되는 상황에 적용합니다(예: 권리 센터).
• 중재 촉진: 그룹 작업은 개인주의와 갈등이 만연한 곳에서 중재 능력을 개발하는 데 도움이 됩니다(예: 장애인 센터 및 다문화 교육 실험실).
• 끌려가기: 무언가가 좋다고 느껴지면, 직접적으로 참여하지 않은 다른 사람들도 참여하고 싶어합니다.

이제 평가 구조로 돌아가서, 이러한 발견은 어떻게 될까요? 전체 프로그램 평가에 활용될까요? 참조 조건은 그것들이 확산되어야 한다고 요구했으며(적절한 출판물에서 이루어짐: Urban Sottoprogramma Roma, 2001), 이는 어떤 방식으로든 흡수될 것이라는 의미도 아니고, 프로그램의 평가 사다리에서 올라갈 것이라는 보장도 없습니다.

 

국가 정부 수준에서는, 평가는 공공 사업부에 의해 관리되며, 이는 독립 평가자에게 계약되어 있습니다. 통합된 정책에도 불구하고, 이는 개조 및 인프라 구축의 공공 사업이 이 프로그램의 대부분을 차지하기 때문입니다. EU 수준에서는 목표가 명시되고 자원이 국가에 할당됩니다. 사후 평가가 독립 평가자에 의해 수행될 것입니다. 무엇을 할 것인가요? 배제/포용 지표의 상태를 평가할 것인가요? 공식 프로그램 이론이 제안하듯이 새 일자리를 세고 이를 좋은 생활 수준의 지표로 간주할 것인가요?

 

이탈리아의 다양한 지역에서 얻은 코스 참석 데이터, 수행된 활동 수, 또는 개선된 공공 공간의 제곱 미터를 합산할 수 있습니다. 몇 가지 '최고 사례'가 설명될 수 있습니다(실제로 Tor Bella Monaca에서도 몇 가지 예가 있을 것입니다). 그러나 평가 시스템이 집단 생활 개선 메커니즘 및 공공 부문과 제3섹터 간의 협력에서 발견될 수 있는 가장 가치 있는 결과를 통합하지 않으면 평가 적자는 최소한 기대할 수 있는 것입니다.

 

결론: 이론 기반 접근법이 어떻게 평가 적자를 제거할 수 있는가?

이론 기반 접근법은 커뮤니티 수준에서 '복잡한' 프로그램의 블랙 박스를 여는 데 도움을 주었지만, 다층 거버넌스를 통해 시행된 프로그램programmes enacted through multi-level governance은 이중 평가 적자deficit로 고통받는 것 같습니다.

• 한편으로는 하위 수준 평가의 미활용,
• 다른 한편으로는 결과가 왜 그리고 어떻게 발생했는지 설명할 수 없는 영향 평가입니다.

이 상황은 상위 수준이 '수단이 아닌 목표를 찾는' 계획 시스템과 선형 인과 사슬과 '최고 사례'를 찾으려는 탐색을 조화시키기 어려움에서 비롯됩니다. 실제로 '수단이 아닌 목표를 설정하는 것'은 현실의 복잡성을 다루는 방법이며, 각 맥락이 글로벌 목표 달성을 향해 나아갈 수 있는 자체 능력을 최대한 활용할 수 있도록 하는 방법입니다. 평가는 다양한 수단의 사용을 비교하고, 그것들이 다른 맥락에서 어떻게 작동했는지를 평가함으로써 이에 부합해야 합니다.

This situation stems from the difficulty of reconciling a system of planning according to which the higher level seeks ‘goals not means’ with the search for linear causality chains and ‘best practices’. Indeed, ‘stating goals not means’ is a way of coping with the complexity of reality, and of allowing each context to fully exploit its own abilities to move toward the accomplishment of global goals. Evaluation should match this by comparing the use of various means and assessing the way they worked in different contexts.

 

이론 기반 평가 접근법은 이 문제 집합을 해결하는 데 몇 가지 단서를 제공합니다. 프로그램의 수혜자를 층화된 현실에 위치한 행위자로 간주하면, 그들은 행동하고 반응할 것입니다. 이론 기반 접근법은 특정 수단menas과 정책 도구instrument가 좋은 결과outcome를 생성하는 방식에 대한 다양한 개념을 허용합니다. 따라서 후자는 일부 관행의 균일한 구현의 결과results로 보아서는 안 되며, 누가 잘했는지, 누가 평균인지, 누가 최악인지 판단하기 위해 추가해서는 안 됩니다. 대신, 상위 정책 수준은 하위 수준의 잠재력을 인식하고, 특정 상황에 적응할 수 있는 다양한 수단을 인정할 수 있어야 합니다.

 

그러나 이러한 접근법을 채택하는 것은 구조 기금 프로그램을 평가하기 위해 존재하는 것과 같은 제도적 평가 계층이 재고되지 않으면 무의미할 것입니다. 평가 수준 간의 분리가 있는 경우, 프로그램의 전달 과정에서 나타난 이론은 상위 단계의 효과와 영향을 이해하는 데 영향을 미치지 않습니다. 이는 단순한 소통 부족 이상의 문제입니다. 행위자가 무엇을 하기로 결정한 것이 글로벌 영향을 달성하는 방법을 이해하는 데 중요하지 않은 것처럼 보입니다.