[프로그램 평가] 원칙 평가하기: 역사적 맥락과 미래 지향적 과제

Patton, M. Q. (2017). Principles-focused evaluation: The guide. Guilford Publications.

 

나는 평가 전문직의 시작을 1975년 첫 번째 《Handbook of Evaluation Research》(Guttentag & Struening, 1975)가 출판된 시점으로 본다. 이 책은 두 권으로 이루어진 인상적인 작품이다. 그 시기는 또한 최초의 전문 평가 협회들이 형성된 시기이기도 했다. 평가 연구 협회(Evaluation Research Society)와 평가 네트워크(Evaluation Network)는 1984년 미국 평가 협회(American Evaluation Association)로 합병되었으며, 오스트랄라시아 평가 협회(Australasian Evaluation Association)와 캐나다 평가 협회(Canadian Evaluation Society)도 이 시기에 설립되었다. 현재 우리는 다수의 평가 저널, 핸드북, 교과서, 교육 기관, 연례 회의, 웨비나 시리즈, 온라인 도서관을 보유하고 있다. 전 세계적으로 200개 이상의 국가 및 지역 조직이 있으며, 75,000명 이상의 평가자들이 활동하고 있다. 2015년은 유엔에 의해 국제 평가의 해로 지정되었다.

 

40년 이상 동안 우리는 무엇을 배웠고, 무엇을 아직도 이해하고 있는 중인가? 그리고 우리가 이제 막 직면하기 시작한 평가의 새로운 도전 과제는 무엇인가? 이 장에서는 평가자로서 40여 년 동안 전업으로 일해온 내 관점에서 이러한 질문들에 대해 논의하고자 한다. 다른 이들은 다르게 답할 수도 있을 것이다. 내가 이 평가 지식과 실천의 상태를 평가하려는 목적은 원칙 중심 평가의 틈새와 기여를 식별하기 위함이다. 예고: 원칙 평가(evaluating principles)는 평가의 새로운 도전 과제 중 하나이며, 우리가 이제 막 배우기 시작한 평가 접근 방식이다. 이 책은 특히 원칙 주도 프로그램과 변화 이니셔티브를 평가하는 데 있어 우리의 이론, 지식, 기술 및 실천을 심화시키는 것을 목표로 한다.

평가자가 잘하는 것
What Evaluators Do Well

우리는 프로젝트와 프로그램을 평가하는 법을 배웠다.

• 우리는 SMART 목표(구체적, 측정 가능, 달성 가능, 관련성, 기한 설정)와 성과 지표를 명확히 하는 법을 알고 있다.
• 우리는 논리 모델과 변화 이론을 개발하는 데 능숙해졌다.
• 우리는 모니터링과 평가를 구별하는 것의 중요성과 그 방법을 알고 있으며, 다양한 평가 유형(활용 중심, 영향, 이론 주도, 비용-편익, 역량 강화, 참여형, 사회 정의 등), 다양한 평가 활용(책임, 학습, 의사 결정, 계몽 등), 다양한 이해관계자(프로그램 직원, 정책 입안자, 후원자, 참가자 등)와 협력하는 방법을 알고 있다.
• 우리는 평가에 참여한 사람들 사이에서 평가적 사고를 증진시키는 방법을 알고 있다.
• 우리는 평가 품질을 구성하는 표준과 평가에 포함되어야 할 항목에 대한 체크리스트를 가지고 있다.
• 우리는 의도된 사용자가 의도된 사용을 명확히 하는 것의 중요성을 알고 있다.
• 우리는 평가 결과를 보고하고 평가 활용을 촉진하는 다양한 방법을 가지고 있다.

이는 포괄적이거나 철저한 목록은 아니지만, 우리가 많은 것을 배웠고 많은 것을 할 수 있으며, 지식 기반 직업이자 철학과 통계처럼 다른 모든 학문에 필수적이고 기초적인 포괄적 학문으로서의 자격을 갖추고 있음을 보여준다(Scriven, 2008).

 

우리가 목표로 하며, 알아야 하지만 아직 잘 배우고 있는 것
What We Aim to Do, and Know We Should Do, but Are Still Learning to Do Well

내가 평가의 성과와 미래 도전에 대한 평가는 다양한 평가 목적, 다양한 프로그램, 지역에서 국가 및 국제에 이르기까지 다양한 수준의 참여에 걸친 거의 반세기 동안의 전업 평가 실천에 기초한다. 내 관점에서, 우리는 주로 질적-양적 패러다임 논쟁을 넘어 혼합 방법을 가치 있게 여기게 되었다. 하지만 평가 보고서는 여전히 질적 및 양적 섹션이 분리되어 있으며, 공통 핵심 질문에 대한 삼각 측량 데이터를 제공하기보다는 평행 놀이(parallel play)를 하는 유아들처럼 각각 다른 놀이를 하면서 동일한 공간에서 함께 있는 것에 만족하고 있다.

• 평가 전문직은 방법론 이상으로 숙련되어야 한다는 중요성을 인식했지만, 여전히 대부분의 교육은 방법론에 초점을 맞추고 있다.
• 우리는 대인 관계 기술, 반성적 실천, 프로젝트 관리, 표준 및 지침 원칙 준수, 문화적 역량과 대응 능력 구축과 같은 다른 전문 역량을 교육하는 방법을 아직도 배우고 있다.
• 마찬가지로, 시스템 사고, 복잡성 개념, 시각화, 다양한 및 상충되는 가치, 빠른 피드백 및 실시간 데이터, 실패를 학습 기회로 보는 능력을 통합하는 데 상당한 주의가 기울여지고 있다.
• 지난 10년 동안 프로세스 사용(평가 참여자들 간의 학습 및 역량 구축)이 주목받았다.
• 우리는 평가가 예상치 못한 결과와 부작용을 찾아야 한다는 것을 알고 있지만, 너무 적은 설계가 실제로 이를 수행하기 위해 충분한 자원과 개방형 현장 조사를 포함하고 있다.
• 평가자들은 명시적 윤리적 프레임워크를 통합하고 기본 가치를 명확히 하는 데 더 능숙해지고 있지만, 이러한 방향은 개선과 추가 개발이 필요하다.

다시 말하지만, 이것은 포괄적이거나 철저한 목록은 아니지만, 우리는 계속해서 발전하고 혁신하며, 전문직으로서 우리의 관련성, 유용성 및 우수성을 심화하고 확장하고 있다는 메시지를 전달하고자 한다.

평가의 새로운 도전 과제
Emergent Challenges for Evaluation

내 관점에서 평가의 새로운 도전 과제는 주로 새로운 분석 단위와 평가의 광범위한 초점 영역, 즉 평가 대상(evaluand)과 관련이 있다(Scriven, 1995, p. 68). 우리는 평가가 "프로젝트에서 자랐다"고 말한다. 우리가 잘하는 일에서 보듯이, 이 직업의 기원은 프로젝트 평가에 있었고, 내 관점에서 우리는 여전히 자기 제한적 프로젝트 사고에 갇혀 있다. 논리 모델과 SMART 목표와 같은 도구는 프로젝트 평가에 적합하다. 그러나 미션 달성, 전략, 옹호 캠페인, 정책 변화, 시스템 변화, 복잡하고 역동적인 개입과 같은 다른 종류의 평가 대상에는 적합하지 않다고 생각한다. 프로젝트는 폐쇄 시스템이거나 대부분의 평가에서 그렇게 취급되며, 그 경계 내에서 프로그램 직원과 평가자가 통제할 수 있는 것으로 간주된다. 반면, 복잡하고 역동적인 개입, 옹호 캠페인, 전략적 이니셔티브는 불안정성, 불확실성, 예측 불가능성으로 특징지어지는 개방형 시스템으로, 이는 통제를 어렵게 만든다. 커뮤니티 영향, 지역 및 부문 전체 이니셔티브, 교차 부문 이니셔티브, 네트워크 및 협력, 리더십, 혁신 및 집단적 영향 평가에는 새로운 개념적 및 방법론적 도전이 따른다. 이러한 복잡하고 복잡한 평가를 더 단순한 프로젝트처럼 취급하는 것은 부적절하고, 비효율적이며, 불충분하다. 이는 복잡한 변화의 본질을 오해하고, 잘못 개념화하며, 잘못 표현하여 부정확하고 관련 없는 결과를 초래할 수 있다. 또한, 평가자들은 혁신의 확장, 소셜 미디어의 효과 평가, 대규모 및 개방형 시스템을 조사하기 위한 "빅 데이터" 사용에 대한 새로운 접근 방식을 개발하는 도전에 직면해 있다. 우리는 변화 이론과 자선 이론을 평가하고 있다(Patton, Foote, & Radner, 2015). 글로벌 시스템 역학 평가도 특히 도전적인 과제이며, 우리는 지구와 지구의 주민들을 전체적이고 상호 연결되며 상호 의존적인 글로벌 시스템으로 보는 방법을 배우고 있다. 우주에서 본 지구는 푸른 구슬처럼 보이므로, 나는 글로벌 시스템 변화 평가를 Blue Marble Evaluations(파란 구슬 평가)라고 부른다(Patton, 2016b).

 

이것은 우리를 원칙으로 이끈다. 원칙 평가는 프로젝트 평가와 다르다. 원칙 주도 프로그램은 목표 주도 프로그램과 다르다. 원칙은 다른 종류의 평가 대상이다. 원칙은 복잡하고 역동적인 시스템을 탐색하고 전략적 이니셔티브에 참여하는 주요 방법으로, 원칙을 평가하는 방법을 이해하고, 원칙 중심 평가를 통해 평가 개념, 접근 방식, 방법 및 프로세스를 적응시키는 것이 다른 새로운 평가 대상들을 평가하는 방법에 귀중한 방향을 제공할 것이라고 믿는다. 이 책은 이러한 도전 과제를 다루고, 평가의 최첨단에서 원칙 중심 평가를 위치시킨다.

This brings us to principles. Evaluating principles is also different from evaluating projects. Principles-driven programs are different from goals-driven programs. Principles constitute a different kind of evaluand. Principles take on added importance among the new challenges for evaluation because, as discussed in the last chapter, principles are the primary way of navigating complex dynamic systems and engaging in strategic initiatives. Principles undergird efforts at community change and collective impact. Understanding how to evaluate principles and adapting evaluation concepts, approaches, methods, and processes through principles-focused evaluation will, I believe, provide valuable direction for how to evaluate other new evaluands as we grapple with other and related emergent challenges. This book addresses those challenges and positions principles-focused evaluation on the cutting edge of evaluation.

 

Exhibit 4.1은 이 논의를 요약한다.

 

---

EXHIBIT 4.1 평가자들이 잘하는 것과 여전히 배우고 있는 것, 그리고 평가의 새로운 과제

한 베테랑의 관점에서 본 부분적인 목록

평가자들이 일반적으로 잘하거나 적어도 할 줄 아는 것	우리가 해야 한다고 알고 있지만 여전히 잘 배우고 있는 것	평가의 새로운 과제
평가하는...	평가를 수행할 때 주의하고 통합하는 것...	평가하는...
- 프로젝트 및 프로그램	- 혼합 방법	- 원칙
- 모델	- 문화적 대응력 및 문화적 역량	- 글로벌 시스템 변화 역학 (Blue Marble Evaluations)
- 정책	- 시스템 사고	- 임무 달성
- 자선 기부	- 복잡성 개념	- 전략
- 프로젝트 또는 기부의 클러스터	- 시각화	- 옹호 캠페인
- 목표 달성	- 다양한 및 상충되는 가치	- 시스템 변화
- 결과	- 신속한 피드백 및 실시간 데이터	- 복잡한 역동적 개입
- 구현	- 실패로부터 배우기	- 맥락적 요인과 영향
생성하는...	- 과정 사용 (결과를 사용하는 것보다 평가에 참여하는 것이 용량 구축에 미치는 효과)	- 커뮤니티 영향
- 논리 모델	- 예상치 못한 결과 및 부작용	- 지역 및 부문 전체 이니셔티브
- 변화 이론	- 명시적 윤리적 프레임워크	- 부문 간 이니셔티브
- 성과 지표	- 가치를 명시하는 것	- 환경 생태계 지속 가능성
- 교훈		- 네트워크
- 권고 사항		- 협업
- 평가 기준		- 리더십
- 루브릭		- 혁신
- 평가 체크리스트		- 집합적 영향
구별하는...		- 확장
- 평가 목적 (형성적, 총괄적, 책임성, 모니터링, 지식 생성, 개발 평가)		- 소셜 미디어
- 평가 유형 (활용 중심, 영향, 이론 기반, 비용-편익, 권한 부여, 참여, 사회 정의 등)		- 빅 데이터
- 평가 사용 (책임성, 학습, 의사 결정, 계몽 등)		- 권리 중심 평가
- 다양한 이해관계자 (프로그램 직원, 정책 결정자, 기금 제공자, 참가자 등)

---