출처: Bourgeois, I., & Whynot, J. (2018). Strategic evaluation utilization in the Canadian federal government. Canadian Journal of Program Evaluation, 32(3), 327-346.
https://www.utpjournals.press/doi/10.3138/cjpe.43179
Introduction
최근 몇 년 동안, 캐나다 정부는 지출을 줄이고 관리하기 위한 다양한 조치를 시행해왔다. 이러한 조치에는 2007-2010년에 시행된 전략적 검토(Strategic Reviews)와 2012년에 시행된 적자 축소 행동 계획(Deficit Reduction Action Plan)이 포함된다. 이러한 조치는 "저우선순위, 저성과 프로그램에서 고우선순위로 자금을 재배분하는 것"을 목표로 한다(Government of Canada, 2012). 이러한 이니셔티브는 시간이 지남에 따라 여러 출처로부터 정보를 활용하는 복잡한 재배분 시스템에 기여해왔다. 이러한 출처에는 정기적인 프로그램 평가가 포함된다.
평가 기능은 전통적으로 프로그램 설계 및 전달 개선과 관련된 권고 사항을 관리자에게 제공하는 역할을 해왔다. 그러나 평가 정책(Government of Canada, Treasury Board Secretariat, 2009)은 평가가 고위급 전략적 의사결정에도 기여해야 한다고 명시하고 있다. 연방 프로그램 평가 보고서에 포함된 정보는 세 가지 수준에서 사용되어야 한다.
- 첫째, 전략적 사용(부서 내 및 부서 간의 예산 재배분 포함);
- 둘째, 프로그램 설계 및 전달 개선;
- 셋째, 조직의 책임성 보고.
평가 활용은 1980년대부터 중요한 연구 분야였지만, 캐나다 정부 조직이 평가 결과를 실제로 어떻게 사용하는지, 특히 자금 재배분을 위해 어떻게 사용하는지에 대한 연구는 많지 않다(Office of the Auditor General of Canada, 2013).
프로그램 평가 기능이 정부의 최고 수준의 의사결정을 정보로 제공할 가능성과 평가에 투자된 상당한 자원을 고려할 때(2012-2013년, 연방 정부에서는 평가 활동에 459명의 정규직 상당 인력이 투입되었고, 평가 관련 지출은 5,620만 달러에 달했다; Government of Canada, Treasury Board Secretariat, 2015), 이 연구는 현재 정부 조직에서 프로그램 평가 결과가 사용되는 성격과 범위를 조사하는 것을 목적으로 한다.
이 논문은 캐나다 연방 정부의 전략적 평가 활용의 중요성을 강조하며, 평가 결과가 어떻게 고위급 의사결정에 반영되는지를 탐구한다. 이를 통해 평가 기능의 역할 확대와 효율적인 자원 재배분의 필요성을 제안하고 있다.
Literature Review and Research Problem
문헌 검토와 연구 문제
프로그램 평가는 40년 넘게 캐나다 연방 정부의 핵심 기능 중 하나였다. 프로그램 설계 및 전달의 개선에 대한 평가의 기여는 오랫동안 인정받아 왔지만(Patton, 2008), 전략적 및 예산 결정에 정보를 제공하는 능력에 대한 의문은 여전히 남아 있다(Dumaine, 2012; McDavid & Huse, 2012). 평가, 성과 측정 및 기타 수단을 통한 증거의 중요성은 국제적으로 예산 편성, 예측 및 지출 검토에서 인정받고 있다. Shand(1996)는 정부 예산 편성 노력이 재정 통합의 "거시적" 목표와 프로그램 수준에서의 "미시적" 성과 개선을 요구한다고 명시하고 있다. 이를 위해 그는 "많은 [OECD] 국가들이 예산 과정 개혁의 일환으로 프로그램 평가 요구 사항을 공식화하기 위한 조치를 취했다"고 언급했다(p. 62).
특정 정책이나 프로그램에 대한 효과성과 효율성 정보가 없으면 고위 의사결정자들이 지출 삭감이나 정부 우선순위 변경을 정당화하기 어렵다(Grizzle, 1987). 그러나 의사결정은 특히 예산 계획이나 지출 검토와 같은 맥락에서 복잡한 작업이다. 여러 요인과 증거 유형이 경험, 이해관계자 입력, 아이디어, 이념 및 제도적 구조와 혼합되며, 이는 평가가 전체 의사결정 과정의 한 구성 요소임을 의미한다. 연방 정부에서 평가의 상대적 위치는 시간이 지남에 따라 일정하지 않았다(Aucoin, 2005; Heinrich, 2007). 정책 결정 맥락에서의 평가 활용 분석에서 Weiss(1988)는 평가가 정치적 게임의 한 부분이며, 의사결정자들은 여러 목소리와 입장을 고려해야 한다고 명시했다. 많은 경우, 평가는 의사결정자들의 마음속에서 가장 중요한 요소는 아니지만 간접적으로 영향을 미칠 수 있다: "사회 과학 연구의 주요 사용은 특정 데이터의 특정 결정에 대한 적용이 아니다. 오히려 정부 의사결정자들은 연구를 간접적으로 아이디어, 정보 및 세계에 대한 방향으로 사용한다. 과정은 쉽게 알아차리기 어렵지만 시간이 지나면서 정책에 깊은 영향을 미칠 수 있다"(Weiss, 1979). Contandriopoulos와 Brousselle(2012)는 조직 또는 정책 수준에 위치한 "집합 시스템"을 언급하며, 이러한 시스템은 지식 교환 메커니즘으로서 이해, 연합 구축, 설득 및 수사학을 포함한다. 이러한 저자들에 따르면, 평가는 이러한 시스템의 한 구성 요소이며, 평가의 일환으로 수집된 증거는 특정 "행동 제안" 또는 정책 옵션 내에 포함되어야 한다.
문헌 검토와 연구 문제 (계속)
Dobell과 Zussman(1981)은 정부 의사결정에서 프로그램 평가의 역할을 설명하면서 평가가 의사결정자들에게 자주 고려되지 않는 세 가지 이유를 강조한다.
- 첫째, 평가 기능과 실천이 고위 관리자와 프로그램 직원에게 항상 명확하게 이해되지 않는다. 이들의 기대는 때때로 평가자들이 기여할 수 있는 것과 일치하지 않는다.
- 둘째, 저자들은 프로그램 관리자들의 암묵적인 평가에 대한 저항을 언급한다. 조직 전반의 평가 문해력은 평가 활용을 촉진하는 경향이 있다는 조직 평가 역량 구축에 대한 최근 연구가 이를 확인한다(Bourgeois & Cousins, 2013; Cousins & Bourgeois, 2014; Newcomer, 2007).
- 셋째, 현재 맥락에서 가장 흥미로운 점은 "내각과 의회를 위해 포괄적인 평가 시스템 또는 포괄적인 평가 연구를 수립하려는 시도는 사용자들의 실제 본질과 정보 요구를 고려하지 않았다"는 점이다(Dobell & Zussman, 1981, p. 407).
이는 2016년 발표된 성과 정책을 고려할 때 여전히 유효하며, 추가 검토가 필요하다. Dobell과 Zussman은 프로그램 관리자(예: 프로그램 실행 문제, 산출물 생산, 초기 결과)의 정보 요구와 조직 의사결정자(예: 프로그램 영향, 관련성, 다른 프로그램 및 정책과의 정렬, 가치 대비 비용)의 정보 요구를 명확하게 구분한다. 이 구분은 예산 결정에서 평가 사용을 이해하는 데 중요하다.
이러한 분석에서 캐나다 평가 기능이 전통적으로 예산 결정 및 정책 설정에 영향을 미치지 못했다는 결론을 도출할 수 있다. 네덜란드와 같은 다른 국가들도 유사한 문제를 관찰하고 이를 완화하기 위한 평가 시스템을 고안하려고 노력해왔다. Schoch와 den Broeder(2013)는 네덜란드 평가 시스템을 설명하며, 평가가 다양한 메커니즘을 통해 의사결정을 지원하는 것을 목표로 한다: 예상 프로그램에 대한 사회적 비용-편익 분석 형태의 사전 평가, 정책 묶음의 효과성과 효율성에 중점을 둔 사후 정책 검토, 재정 자원의 재배분에 중점을 둔 지출 검토. 후자는 각 부처에서 수행한 사전 및 사후 연구의 결과를 포함한다. 네덜란드 평가 시스템은 다양한 사용자와 평가 사용 유형을 고려하지만, 저자들은 사전 및 사후 평가가 지출 검토에 의미 있게 기여하지 않는 경우가 많다고 명시한다. 이는 캐나다에서도 마찬가지일 수 있다.
이와 다른 논문을 바탕으로, 우리는 평가 결과가 연방 정부의 조직 예산 결정 또는 정부 전체의 지출 검토에 자주 반영되지 않거나 다른 요인(예: 정치적, 사회적, 일화적 정보)보다 우선시되는 경우가 많다는 가정을 한다. 그러나 평가 기능에 대한 감사 및 재무위원회의 내부 작업(예: 2009년 평가 정책 평가 또는 평가 기능의 연간 건강 보고서) 외에는 연방 정부의 프로그램 평가 활용에 대한 외부 실증 연구가 거의 없다. 따라서 일화적인 보고서 외에는 평가가 실제로 어떻게 고위 예산 결정에 사용되는지 여부를 아직 알 수 없다. 또한, 다른 관할 구역에서의 평가 활용 연구는 풍부하지만, 대부분의 연구는 평가자들의 관점(즉, 평가자들이 다른 사람들이 사용하는 방식을 어떻게 인식하는가)에 초점을 맞추고 있다(Fleischer & Christie, 2009). 우리의 연구는 이 두 가지 문제를 해결하고 평가자와 평가 사용자 모두로부터 얻은 실증 데이터를 통해 평가 사용에 기여하고자 한다.
Conceptual Framework
개념적 틀
이 연구는 주로 조직 내 프로그램 평가 활용을 지원하는 조건이나 요인에 초점을 맞춘다. 이 연구 영역은 조직 평가 역량(Evaluation Capacity, EC)이라고 하며, 지난 10년 동안 상당한 주목을 받았다(Cousins, Goh, Elliott, & Bourgeois, 2014). EC는 조직 학습 및 개선과 관련이 있으며, 지속 가능한 평가 활용에 필수적이라고 생각된다(Alkin & Taut, 2002; Torres & Preskill, 1999; Preskill & Boyle, 2008). 따라서 EC 개념은 연구의 이론적 기초에서 중요한 요소를 구성한다.
여러 이론적 및 실용적 틀이 조직 평가 역량의 다양한 구성 요소를 설명하기 위해 개발되었지만, 우리는 우리의 연구에 Bourgeois와 Cousins(2013)이 개발한 틀을 개념적 배경으로 적용하기로 했다. 이 틀은 네 개의 연방 정부 조직을 대상으로 한 실증 연구를 통해 개발되었으며, 이들 조직에서 발견된 평가의 언어, 관행 및 구조를 반영한다. 다른 EC 모델은 다른 유형의 조직에 적용된다. Bourgeois와 Cousins(2013)의 전체 틀은 EC의 여섯 가지 차원을 식별하는데,
- 이 중 세 가지 차원은 조직의 평가 수행 역량(Human Resources, Organizational Resources, Evaluation Planning and Activities)을 나타내며,
- 나머지 세 가지 차원은 조직의 평가 활용 역량(Evaluation Literacy, Organizational Decision-Making, Learning Benefits)에 초점을 맞춘다.
현재 연구에서 특히 개념적으로 관심이 있는 세 가지 차원은 조직의 평가 활용 역량과 관련된 것들이다:
- 평가 문해력(Evaluation Literacy): 조직 전반에 걸친 평가에 대한 폭넓은 지식을 의미한다.
- 조직 의사결정(Organizational Decision-Making): 프로그램 개발이나 예산 재배정과 같은 광범위한 과정에서 평가 결과의 도구적 및 개념적 적용에 중점을 둔다.
- 학습 혜택(Learning Benefits): 평가에서 도출된 지식을 일상 활동 및 조직 학습에 적용하는 것에 중점을 둔다(도구적 및 과정적 사용 포함).
대부분의 평가 역량 연구는 평가 수행 역량(공급 측면)에 초점을 맞추고, 평가 활용 역량(수요 측면)에는 거의 주목하지 않았다. 예를 들어, Preskill과 Boyle(2008) 및 Labin, Duffy, Meyers, Wandersman, and Lesesne(2012)가 개발한 모델은 주로 평가 수행 역량과 관련된 관행 및 행동을 식별한다(Bourgeois, 2016). 따라서 이 연구는 주로 조직의 평가 활용 역량과 이 역량이 구체적인 활용으로 어떻게 효과적으로 변환되는지에 초점을 맞춘 독특한 관점을 제공한다.
조직 평가 역량(Organizational Evaluation Capacity, EC)의 중심 개념 외에도, 평가 활용(evaluation utilization) 개념은 문헌에서 광범위하게 검토되었다(e.g., Cousins & Leithwood, 1993; K. Johnson et al., 2009). 여기서 모든 가능한 평가 활용 유형을 열거할 필요는 없지만, 이 개념은 우리의 연구에 중요한 통찰력을 제공한다. 우리가 다른 곳에서 언급했듯이(Bourgeois & Naré, 2015), 대다수의 텍스트에서 인정하는 주요 평가 활용 유형은 네 가지가 있다:
- 도구적 활용(Instrumental Use): 평가 권고 사항의 직접적인 적용을 의미한다.
- 개념적 활용(Conceptual Use): 평가가 이해관계자의 프로그램에 대한 이해와 태도에 영향을 미칠 때 발생한다.
- 상징적 활용(Symbolic Use): 개인이 정치적 이익을 위해 평가 정보를 사용할 때 발생한다(R. B. Johnson, 1998).
- 과정 활용(Process Use): 평가 과정에 근접함으로써 평가 참가자에게 행동적 및 인지적 변화가 발생할 때 관찰된다(Alkin & Taut, 2002; Amo & Cousins, 2007; R. B. Johnson, 1998; Leviton, 2003; Patton, 2008).
이 네 가지 넓은 평가 활용 유형은 평가 결과가 다양한 유형의 결정에 통합될 수 있는 맥락을 제공하는 데 유용하지만, 평가가 고위 조직 의사결정에 기여하는 메커니즘을 구체적으로 강조하지는 않는다. 대신, 이 모든 활용 유형은 정책 결정이나 예산 및 프로그램 할당에 적용될 수 있다. 예를 들어, 도구적 활용은 직접적인 프로그램 개선 및 예산 재배정 모두에 적용된다. 그러나 평가 결과의 범위와 깊이는 이에 따라 다를 것이다. 다른 세 가지 활용 유형에도 동일한 원칙이 적용될 수 있으며, Kirkhart(2000)이 제안한 간접적인 평가 적용을 의미하는 '평가 영향' 용어도 마찬가지다.
따라서 이러한 유형은 평가 결과의 적용 방법을 이해하는 데 도움이 되지만, 여기서는 평가의 전략적 활용(strategic use)이라는 다른 개념적 렌즈가 필요하다고 느낀다. 전략적 활용이란 평가 결과를 예산 고려 사항을 포함한 보다 광범위한 조직 차원의 결정에 적용하는 것을 의미한다. 따라서 우리의 전략적 활용 정의는 지출 검토를 포함하지만 개별 프로그램 개선은 포함하지 않는다. 이전의 평가 정책(Government of Canada, Treasury Board Secretariat, 2009)은 부처장이 프로그램 평가 결과를 적용해야 한다고 간접적으로 언급하지만, 개별 프로그램보다는 정책 스위트를 중심으로 한다. 전략적 활용은 Weiss(1979)의 평가 활용 개념화를 참조하여 정책 결정자와 조직 지도자의 요구에 중점을 둔다.
Research Questions
앞서 설명한 EC 프레임워크와 이전에 개요를 설명한 네 가지 활용 유형을 바탕으로, 본 연구를 안내한 구체적인 연구 질문은 다음과 같다:
- 2010년부터 2013년 사이에 생성된 프로그램 평가 결과가 연방 예산 재배정 운동(지출 검토라고도 함)에서 사용되었는가?
- 만약 그렇다면, 그 결과는 어떻게 사용되었는가?
- 프로그램 평가 결과가 지속적으로 프로그램 설계 및 제공 개선에 적용되는가?
- 프로그램 평가 결과의 활용을 지원하기 위해 어떤 조직 시스템과 구조가 존재하는가?
Methodology
본 연구의 방법론은 두 연방 조직에서 수행된 탐색적 사례 연구로 구성되었다. 이 조직들은 연구팀과의 이전 연구 경험을 바탕으로 선정되었으며, 두 조직 모두 평가 역량 구축(ECB) 관련 다른 연구에 참여했고, 조직 평가 역량 자기 평가 도구(Bourgeois, Toews, Whynot, & Lamarche, 2013)의 대부분 차원에서 중간 수준의 평가 역량을 가진 것으로 확인되었다.
이 연구는 두 단계로 수행되었다. 첫 번째 단계는 두 조직에서 2010년부터 2013년 사이에 발행된 모든 평가 보고서의 내용 분석이었다. 이 특정 기간을 선택한 이유는 두 가지이다. 첫째, 각 보고서 발행 이후 충분한 시간이 경과하여 조직 수준의 의사 결정 및 재배정에서 사용 사례를 탐지할 수 있도록 하기 위함이다. 둘째, 이 기간은 2010년 전략 검토 운동과 2012년 재정 적자 감축 계획이라는 두 연방 지출 검토와 일치하기 때문이다. 이러한 이니셔티브를 통해 연방 부서와 기관은 평가 결과와 기타 정보 출처를 고려하여 프로그램 지출을 줄이고 조직적 성과를 촉진할 가능성이 높은 곳에 자원을 할당하도록 요구받았다. 따라서 이 시기에 추가적인 재배정 이니셔티브로 인해 연구 대상 조직이 평가 활용의 증거를 가장 많이 보여줄 가능성이 높다고 느꼈다. 23개의 프로그램을 대표하는 17개의 보고서가 분석되었다. 내용 분석은 발행된 보고서가 캐나다 연방 정부의 수용된 평가 관행을 반영하는지(즉, 품질과 신뢰성이 사용의 필수 구성 요소임)와 실행 가능한 권고를 생성했는지를 중점으로 했다. 이 보고서에서 얻은 질적 데이터는 Microsoft Excel 및 NVivo를 사용하여 분석되었다. 연구의 첫 번째 단계의 자세한 방법 및 결과는 Bourgeois와 Naré(2015)에 보고되었다.
보고서 검토를 통해 얻은 예비 결과를 바탕으로, 우리는 앞서 분석된 17개의 보고서의 평가 관리자와 각각의 평가의 주요 접점인 프로그램 직원(즉, 프로그램 관리자 및 직원)과 반구조화된 인터뷰를 조직했다. 인터뷰는 평가 생애 주기를 탐색하고 각각의 평가가 각기 다른 조직에서 고위 의사 결정에 어떻게 기여했는지를 강조하기 위해 고안되었다. 각 조직의 평가국을 통해 연락처 목록을 얻고 이메일과 전화 연락을 통해 잠재적인 인터뷰 대상자를 초대했다. 각 접촉자에게 개별 동의서를 제공했으며, 프로젝트, 내재된 위험 및 절차를 설명했다. 7명의 잠재적 평가자 중 6명이 연구에 참여하기로 했으며, 나머지 한 명은 조직을 떠났기 때문에 참여하지 않기로 했다. 17명의 잠재적 프로그램 직원 중 6명도 연구에 참여하기로 했다. 참여하지 않은 이유로는 은퇴, 민간 부문으로의 전환, 정부 내 전환 등이 있었다. 세 명의 잠재적 참가자는 여러 번의 이메일과 전화에도 응답하지 않았다.
두 개의 인터뷰 가이드가 개발되었으며, 하나는 평가 관리자용, 하나는 프로그램 직원용이었다. 두 인터뷰 가이드 사이에는 상당한 겹침이 있어 두 그룹 간의 비교 수준을 가능하게 했다. 인터뷰 가이드는 주로 EC와 평가 활용 개념적 프레임워크에 기반했으며, 앞서 언급했듯이 일반적으로 평가 생애 주기를 따랐다. 인터뷰는 평가가 어떻게 수행되었고 각 단계(계획, 데이터 수집, 보고)에서 누가 참여했는지에 대한 정보를 수집하기 위해 고안되었다. 평가 결과가 어떻게 사용되었고 평가의 어느 단계에서 이해 관계자에게 제공되었는지에 대한 구체적인 질문도 포함되었다. 다른 질문은 평가 과정 전반에 걸쳐 고위 의사 결정자의 참여도 및 각 조직의 전반적인 평가 역량에 초점을 맞췄다.
각 인터뷰는 팀원에 의해 녹음되고 전사되었다. 연구 조수는 인터뷰 데이터를 인터뷰 대상자 유형(평가자 또는 프로그램 직원) 및 질문에 따라 Microsoft Excel 스프레드시트에 정리했다. 두 팀원이 각 그룹(평가자 vs 프로그램 직원)과 인터뷰 질문별로 인터뷰 데이터를 분석했다. 첫 번째 분석 단계가 완료된 후, 두 분석가는 질문 및 그룹별 요약을 비교했다. 첫 번째 분석 라운드에서 식별된 주제는 두 경우 모두 매우 유사했다. 그런 다음 두 분석가는 위에 강조한 개념적 프레임워크를 고려하여 이러한 결과를 함께 해석하여 최종 연구 결과를 도출했다.
이 연구의 이 단계에서 가장 중요한 한계는 프로그램 측의 응답자가 적다는 것이다. 분명히, 더 많은 프로그램 관리자 및 직원의 견해가 연구에 큰 도움이 되었을 것이다. 이러한 이유로, 우리는 두 조직의 인터뷰 결과를 분리하여 처리하는 대신 결합하기로 선택했다. 인터뷰한 모든 프로그램 직원의 견해를 결합하면 조직별로 분리된 데이터보다 평가 활용에 대한 더 철저한 관점을 제공한다고 느꼈다. 그러나 이로 인해 한 조직과 다른 조직의 활용에 대한 약간 다른 그림을 얻었을 수도 있다. 추가로, 몇몇 프로그램 관리자 및 직원은 우리의 연구 기간 동안 평가된 여러 프로그램에 대해 책임을 졌으므로, 그들의 의견은 더 일반적이며 연구 기간 동안 발생한 특정 평가보다는 자신이 참여한 모든 평가에 적용되었다.
다른 중요한 한계는 인터뷰 과정에서 고위 관리자를 제외한 것이다. 이는 프로그램 직원 및 관리자가 지출 검토의 일환으로 평가 보고서가 어떻게 사용되었는지를 가장 잘 알 수 있을 것이라는 우리의 가정에 따른 의도적인 선택이었다. 인터뷰 대상자는 실제로 이 문제를 다룰 수 있었지만, 고위 관리자가 지출 검토 과정과 이 과정 내에서 평가의 일반적인 역할에 대해 밝힐 수 있었을지 여부에 대해 의문을 가졌다.
Findings
첫 번째 단계로 수행된 내용 분석을 통해 연구된 보고서들에서 몇 가지 공통된 주제를 감지할 수 있었다. 전반적으로, 보고서는 평가 질문과 결과를 도출하는 데 사용된 방법뿐만 아니라 프로그램 갱신을 확인하고 설계 및 전달을 개선하기 위한 권고 사항을 명확하게 개요로 제시하고 있다. 그러나 재배정에 대한 내용은 포함되지 않았다. 이러한 요소들은 도구적 활용의 주요 구성 요소를 나타낸다. 첫째, 평가가 사용된 방법과 그 한계에 대한 설명을 바탕으로 신뢰할 수 있는 정보 출처로 나타났다. 모든 경우에 데이터 출처와 방법의 삼각 측량이 결과를 뒷받침하며, 평가 과정에 주요 이해관계자(예: 프로그램 직원, 프로그램 고객)를 통합한다.
일반적으로 이러한 보고서는 유용한 정보를 제공하며, 관리자의 응답에서 높은 동의율을 보이는 것은 권고 사항이 프로그램 관리자에게 적절하고 관련성이 있다고 간주됨을 시사하며, 그들의 실행은 도구적 사용으로 직접 이어진다(Bourgeois & Naré, 2015). 물론, 보고서는 활용 이야기의 일부분만을 제공한다. 결과가 프로그램 관리자에게 어떻게 공유되었는지와 각 평가가 완료된 후에 무슨 일이 일어났는지에 대해서는 반구조화된 인터뷰를 통해 탐구되었다. 인터뷰 결과는 주제/연구 질문별로 정리하여 이 섹션의 나머지 부분에 자세히 제시된다.
평가 참여
응답자들은 평가 설계에 영향을 미칠 수 있었는지를 평가하기 위해 자신의 평가 프로젝트 참여에 대해 언급하도록 요청받았다. 모든 평가들은 외부 컨설턴트에 의해 부분적으로 수행되었다(Bourgeois & Naré, 2015). 일부 경우에는 내부 평가자들이 프로그램 행정 데이터 분석과 같은 몇 가지 증거를 담당했다. 따라서 평가자의 주요 역할은 평가 프로젝트를 감독하고 프로그램 대표와 연락하는 것이었다. 많은 경우 평가 계획은 외부 평가자를 고용하기 전에 내부적으로 이루어졌으며, 주요 이해관계자와의 광범위한 협의를 포함했다. 그러나 프로그램 대표들은 일부 평가 질문의 성격에 대해 불만을 표시했다. 이 문제는 평가 정책(Government of Canada, Treasury Board Secretariat, 2009)에 의해 요구되는 핵심 문제의 적용과 관련이 있으며, 후속 섹션에서 더 자세히 다루어진다.
평가 자문 위원회(EAC)는 각 연구를 위해 구성되었으며, 일반적으로 프로그램 관리자와 일부 직원, 내부 평가자, 평가 국장, 때로는 고위 관리자(예: 총국장)를 포함했다. EAC의 역할은 평가자의 작업을 구성하는 조언과 맥락을 제공하고 다양한 산출물(예: 평가 질문, 평가 프레임워크, 권고 사항)에 대한 피드백을 제공하는 것이다. EAC 역할 외에도 프로그램 응답자는 평가 작업 그룹에 참여하는 등 평가에 더 많이 관여했으며, 대부분은 이전에 평가에 노출된 적이 있었다. 이는 평가 질문과 권고 사항에 대한 광범위한 피드백을 제공하는 것을 요구했으며, 이들 구성 요소는 종종 프로그램 맥락을 더 잘 반영하기 위해 수정 및 재작성해야 했다. 그러나 일반적으로 큰 수정은 포함되지 않았다.
결과의 지속적 공유
평가 결과의 활용을 촉진하는 한 가지 방법은 최종 보고서가 작성되기 전까지 평가 생애 주기 동안 결과를 공유하는 것이다. 두 이해관계자 그룹 모두 평가 동안 EAC에 일부 결과가 제공되었음을 동의했지만, 대부분의 경우 모든 데이터가 수집된 후에 예비 결과로 제시되었다. 이는 데이터가 모두 분석될 때까지 기다려야 했더라도 프로그램과 평가 결과에 대한 보다 균형 잡힌 견해를 제공한다고 생각되었다. 평가 결과는 주로 회의에서 제시되었으며, 평가자들은 이메일이나 기타 서면 커뮤니케이션이 다른 우선순위와 경쟁할 수 있다고 느꼈기 때문에 예비 결과의 전달 수단으로는 적합하지 않다고 판단했다. 일부 경우에는 데이터 수집 도구와 기술 보고서도 더 넓은 그룹의 이해관계자와 공유되었다. 프로그램 직원들이 결과 공유와 관련하여 식별한 주요 제한 사항 중 하나는 그들이 신흥 결과를 반영하고 이에 대응할 전담 시간이 없다는 것이다.
일반적으로 신흥 결과는 프로그램 직원에 의해 실질적인 조치를 초래하지 않았다. 응답자들에 따르면, 중요한 응답이나 프로그램 변경을 요구하는 문제는 평가가 이루어지기 훨씬 전에 식별되고 이에 따라 처리된다. 선택된 기간 동안 수행된 대부분의 평가에서는 즉각적인 주의가 필요한 놀라운 결과가 나타나지 않았지만, 프로그램 직원이 특정 데이터 또는 프로그램에 대한 일화적인 인상을 검증할 수 있는 메커니즘을 제공했다.
그러나 권고 사항이 초안 작성된 후, 최종 평가 보고서가 승인 및 출판되기 전에 종종 구현되었다. 한 경우에서는 평가 중에 프로그램이 크게 변경되었지만, 이는 주로 정치적 요인 때문이었다고 평가 책임자가 언급했다. 다른 경우에는 성과 측정 정보의 가용성과 품질과 관련된 중요한 문제가 제기되었고, 평가가 완료되기 전에 프로그램에 변경이 가해졌다.
평가 과정 및 결과의 신뢰성
전반적으로, 평가 과정과 결과는 신뢰할 수 있다고 생각되었다. 연구된 두 조직은 오랜 평가 역사를 가지고 있으며, 안정적인 평가 인력을 보유하고 있다. 프로그램 직원과 관리자는 평가자들이 직면한 도전(범위, 임무, 방법, 데이터 등)과 평가의 한계를 이해한다. 이들은 내부 평가자가 견실한 평가 계획을 수립하고 컨설턴트의 작업을 감독하는 전문성에 자신감을 표현했다. 그러나 일부 응답자들은 몇몇 컨설턴트의 전문성과 두 조직의 정책 영역에서 프로그램을 평가한 경험에 대해 약간의 의문을 제기했다. 일부 경우에는 프로그램 직원이 일부 결과의 해석에 의문을 제기했다.
평가 보고서의 적시성
평가 보고서의 적시성에 대한 인터뷰 질문에서는 평가자와 프로그램 직원의 반응이 달랐다. 평가자들은 일반적으로 프로그램 생애 주기를 고려할 때 평가 결과가 적시에 제공된다고 생각했다. 그러나 그들은 평가 정책 요건을 충족하기 위해 평가가 시작되기 전에 실제 결정이 식별되지 않았으며, 여러 경우 평가가 일정에 뒤쳐졌고 예상보다 늦게 완료되었다고 언급했다. 프로그램 직원은 평가가 재무 위원회 제출과 일치하도록 시기가 조정되어야 한다고 느꼈지만, 현재는 그렇지 않다고 생각했다. 다른 직원들은 평가의 계획된 시기가 일반적으로 관리 프로세스와 잘 맞지 않으며, 5년 평가 주기 외에 필요한 정보는 다른 방법(예: 연구 의뢰 또는 이해 관계자와의 직접 교류)을 통해 얻어진다고 설명했다.
프로그램 개선을 위한 평가 활용
인터뷰 결과, 두 조직에서 평가가 프로그램 수준에서 도구적 및 개념적 목적으로 체계적으로 사용된다는 것이 밝혀졌다. 특히, 기존 프로그램 관리 문제를 검증하고 프로그램 설계 및 전달의 점진적인 변경을 지원하는 데 사용된다. 응답자들이 인용한 몇 가지 예로는 프로세스 개선, 보조금 및 기여금 조정, 프로그램 이론 명확화, 대상 청중에 대한 학습 등이 있다. 이러한 결과는 연구 첫 번째 단계의 결과와 일치한다. 몇몇 응답자는 평가에 밀접하게 관여한 프로그램 직원이 평가 후에도 평가 질문을 제기하고 프로그램 결과에 초점을 맞추는 과정 사용을 인용했다.
전반적으로, 프로그램 응답자들은 도구적 사용에 중점을 둔 최종 평가 권고에 동의했다. 그러나 다양한 이유로 모든 권고 사항이 실행된 것은 아니었다. 예를 들어, 한 사례에서는 평가 과정 외부에서 프로그램에 대한 결정이 내려져 일부 권고 사항에 영향을 미쳤다. 인터뷰 대상자는 또한 평가 정책에 따른 관리 응답 생산의 짧은 시간 프레임이 권고 사항을 검토하고 프로그램을 조정하는 정도에 영향을 미쳤다고 언급했다.
예산/전략적 결정에 대한 평가 활용
분석 결과, 두 조직에서 지출 검토의 일환으로 예산 재배정을 위해 평가가 사용되지 않았다는 것이 밝혀졌다. 한 사례에서는 정치적 영향으로 인해 프로그램 포트폴리오에 급격한 변화가 있었지만, 이는 평가 결과 때문이 아니었다. 프로그램에 대한 예산 결정이 이루어진 경우, 이는 주로 프로그램 내 특정 활동(예: 보조금 또는 기여금 금액 변경)에 중점을 두었으며, 프로그램 간 할당이 아니었다.
몇몇 사례에서는 평가가 내부 또는 외부에서 추가 자금이나 프로그램 확장을 위한 사례를 만드는 데 성공적으로 사용되었다. 그러나 이 점에 대한 의견은 엇갈렸다. 이해 관계자 중 누구도 평가가 전략적 검토나 DRAP에 사용되었다고 명확히 진술하지 않았다. 일부 응답자는 평가가 이러한 결정을 내릴 수 있을 만큼 프로그램 간 비교 가능성을 제공하지 않는다고 생각했다. 또 다른 응답자는 평가가 자체적으로 예산 재배정을 정당화할 수 있을 만큼 프로그램 영향에 대한 충분한 정보를 제공할 수 없다고 느꼈다. 일부 경우, 평가는 이미 내려진 결정을 정당화하기 위한 데이터 제공에 사용되었다(상징적 사용).
전략적 수준에서 더 유용하게 사용되기 위해, 응답자들은 평가가 프로그램 및 조직 지출 정보뿐만 아니라 프로그램이 특정 정부 우선순위에 어떻게 대응하는지에 대한 정보를 제공해야 한다고 생각했다. 또한, 의사 결정자의 정보 요구가 평가 계획의 시기와 내용 모두를 지향해야 한다고 생각했다.
평가가 사용되는 다른 몇 가지 방법은 다음과 같다: 프로그램 통계 생산, 홍보, 웹사이트, 외부 이해 관계자와의 커뮤니케이션, 정부 내 커뮤니케이션, 특정 정책 영역에 대한 정부 전체 검토에 대한 데이터 기여, 프로그램 갱신, 조직 전체 파트너십 전략 개발.
Influencing Factors on Budgetary/Strategic Decisions
응답자들에게 조직 내에서 고위급 의사 결정에 평가가 사용되지 않는 이유를 물었을 때, 두 그룹 모두에서 평가 시기가 프로그램의 필요를 충족하지 못하는 경우가 많다고 설명했다. 또 다른 요인으로는 고위 관리층과 평가 과정 간의 거리감을 언급했다. 한때 고위 관리자들이 평가 활동에 더 가까이 관여했었으나, 이제는 평가 자문 위원회에 참여하지 않으며, 이는 그들이 평가 결과에 대한 정보를 지속적으로 받지 못하고 최종 평가 보고서의 초안을 승인하기 전까지는 보지 못하게 된다는 것을 의미한다. 평가 과정과의 접촉이 줄어들면 결과에 대한 논의가 줄어들고 결국 사용되지 않게 된다는 것이다. 그러나 고위 리더십이 평가 과정에 관여하지 않더라도, 정책 분석가가 평가 자문 위원회에 초대되는 경우 평가 질문과 결과가 고위 의사 결정자의 필요와 더 밀접하게 일치한다고 응답자들은 느꼈다. 흥미롭게도, 평가자나 프로그램 관리자 모두 부서 평가 위원회를 평가와 의사 결정의 중요한 교차점으로 인식하지 않았다.
두 가지 중요한 관찰이 응답자들에 의해 이루어졌다. 첫째, 평가 정책(캐나다 정부, 재무 위원회 비서실, 2009)에서 요구하는 핵심 문제는 프로그램 직원이 직접 관심을 가질 만한 평가 질문의 개발을 방해한다고 느꼈다. 평가 정책의 범위 요구 사항(모든 직접 프로그램 지출의 100%는 5년마다 평가되어야 함)과 맞물려, 평가자와 프로그램 직원 모두 재무 위원회 요구 사항과 내부 의사 결정 관심사를 충족할 수 있는 평가 자원이 충분하지 않다고 느꼈다: “책임성과 유용성은 상충될 수 있다.” 프로그램 직원은 특히 핵심 문제가 프로그램의 회고적 평가만을 초래한다고 느꼈다. 이는 무엇이 잘 작동하는지 더 잘 이해하는 데 도움이 될 수 있지만, 평가자들로부터 미래의 투자와 재배치에 대한 조언을 더 원했다.
둘째, 응답자들은 개별 프로그램을 분석 단위로 삼는 것이 프로그램 수준의 변화와 개선에 유용한 정보를 제공하지만, 프로그램 간의 교차 분석이나 포트폴리오 분석을 허용하지 않는다고 느꼈다. 응답자들은 이러한 고차원적 초점이 고위 관리자에게 더 전략적인 관점을 제공할 수 있으며, 자원 재배치에 관한 결정을 영향을 미칠 수 있다고 언급했다. 그러나 정책은 포트폴리오 전반에 걸친 평가를 명시적으로 금지하지 않는다. 정책의 제약적 성격에 대한 응답자들의 의견은 정책의 실제 내용보다는 내부 해석에서 비롯된 것일 수 있다.
평가가 고위 의사 결정 과정에 기여할 수 있는지 물었을 때, 평가자들은 그것이 가능할 수 있지만 평가가 단지 회고적 평가가 아니라 미래의 의사 결정을 중심으로 해야 한다고 느꼈다. 예를 들어, 환경 스캐닝을 평가 과정에 포함하거나 미래에 필요한 결정에 중점을 둔 특정 질문을 포함하는 방식으로 이루어질 수 있다. 평가자들은 또한 프로그램 전반에 걸친 메타 분석도 유용할 수 있으며, 이를 자신들의 국의 관할에 포함시킬 수 있다고 느꼈다. 프로그램 직원들은 그러나 평가가 일반적으로 전략적 결정에 기여할 수 없다고 느꼈는데, 이는 정책에 의해 요구되는 5년 평가 주기와 프로그램 중심의 초점 때문이었다. 두 조직 모두에서 프로그램이 안정적인 자금을 제공받고 지속적인 요구에 부응하기 때문에 핵심 문제를 넘어 포트폴리오 전반의 검토로 나아가는 평가가 가능할 수 있다. 프로그램 직원은 또한 최소한 평가가 저조하거나 성과가 부족한 프로그램을 식별하여 더 광범위한 의사 결정 과정에 하나의 입력으로 사용될 수 있다고 느꼈다.
Policy Environment for Evaluation Use
앞서 언급한 바와 같이, 평가 정책(캐나다 정부, 재무 위원회 비서실, 2009)은 전략적 평가 사용에 지원이 아니라 방해 요소로 인식되는 경향이 있다. 평가가 프로그램 직원에 의해 관리 지원 기능이 아닌 책임성 하에서의 업무 비용으로 간주된다. 프로그램 직원들은 자신들이 일반적으로 참여하는 평가 자문 위원회가 연구 중인 프로그램만을 목표로 하고, 더 전략적인 문제를 논의할 수 있는 공간을 제공하지 않는다고 느꼈다. 그러나 부서 평가 위원회가 프로그램 설계 및 결과에 대한 더 넓은 대화를 가능하게 하고 조직 내에서 더 전략적인 의사 결정에 기여할 수 있다고 느꼈다. 그러나 이것이 현재 실행되고 있는지는 확신하지 못했다.
또한, 정책에 명시된 출판 요구 사항은 심층적인 논의를 바탕으로 한 행동 계획의 개발을 방해한다고 느꼈다(평가 보고서는 승인 후 120일 이내에 부서 웹사이트에 게시되어야 하며 관리 응답 및 행동 계획을 포함해야 함). 두 그룹의 응답자는 권고 사항 개발 과정을 매우 협력적이고 반복적인 것으로 묘사했지만, 각 조직의 구조와 프로세스가 평가자가 프로그램 지출 및 재배치와 관련된 기본 문제에 대해 고위 관리층과 소통하는 능력을 제한한다고 언급했다.
Organizational Evaluation Capacity
조직의 평가 능력이 모든 유형의 평가 활용과 강하게 연관되어 있다는 것이 알려져 있기 때문에(Bourgeois & Cousins, 2013), 응답자들에게 프로그램 직원과 관리자들의 평가에 대한 전반적인 지식에 대해 의견을 묻자, 두 조직의 응답자들은 조직 내 평가에 대한 지식이 높다고 느꼈다, 특히 프로그램 관리자들 사이에서. 응답자들이 강조한 기여 요인으로는 강력한 평가 리더십, 평가자의 전문성/역량, 장기근속, 그리고 증거 생산을 강하게 지지하는 조직 분위기가 포함되었다. 평가가 일반적으로 신뢰할 만하고 믿을 만한 것으로 인식되며, 높은 수준의 전문성을 요구하는 특정 방법론(예: 비용-편익 분석)을 사용한 평가가 좋은 실천 사례로 찬사받았다.
그러나 평가 자원은 여전히 두 조직에서 문제로 남아 있으며, 이는 평가자들이 재무 위원회의 요구 사항과 프로그램 관리자들의 정보 요구를 모두 충족하는 평가를 수행하는 능력에 영향을 미친다. 또한 일부 응답자들은 평가자들이 프로그램을 직접 관리한 경험이 없다는 사실에 우려를 표명했으며, 이는 평가하는 프로그램에 대한 충분한 이해를 가지지 못하게 할 수 있다. 평가를 수행하고 피드백을 제공하거나 권고 사항을 실행하는 데 필요한 시간과 업무량도 평가의 혜택을 초과한다고 생각되었다(한 응답자는 평가와의 관계를 "사랑/증오" 비유로 표현했다).
Factors That Facilitate and Inhibit Evaluation Use
이전의 발견을 고려하여, 응답자들에게 평가 사용(전략적 사용 포함)을 촉진하고 저해하는 요인을 강조해달라고 요청했다.
- 사용을 촉진하는 요인으로는 다음이 포함되었다.
- 다수의 프로젝트를 통한 평가자와 프로그램 관리자 간의 관계 구축,
- 협력적 접근 방식의 사용,
- 평가 전반에 걸쳐 정보 공유,
- 평가에서 직원 역량을 구축하는 것(예: 전임 파견을 통해),
- 안정적인 프로그램 및 평가 책임자 그룹
- 사용을 저해하는 요인으로는 등이 포함되었다.
- 평가 수행 및 결과 전파에 필요한 시간,
- 보고서에 사용되는 평가 "전문 용어",
- 사용된 보고 유형,
- 평가 프로젝트 중의 직원 이직률,
- 성과 측정 데이터와 관련된 문제,
- 일반적으로 긍정적인 평가 결과,
- 평가 참가자에 대한 인식된 편향,
- 정보 공개 정책으로 인한 위험 회피,
- 프로젝트 중 평가 직원이 다른 이니셔티브와 활동에 끌려가는 것
평가자들은 평가가 완료된 후 사용을 촉진하기 위해 더 많은 노력을 기울일 수 있다고 느꼈지만(점심 및 학습 발표, 평가 결과 요약 및 브로셔 등), 현재 프로젝트 업무량이 추가적인 약속을 감당할 수 없다고 경고했다.
Summary
- Organizational Knowledge: 평가에 대한 전반적인 지식이 높고, 특히 프로그램 관리자 사이에서 평가 리더십, 평가자 역량, 장기근속, 증거 기반 지원 조직 문화가 이를 촉진함.
- Evaluation Resources: 평가 자원 문제로 인해 재무 위원회 요구사항과 프로그램 관리자 요구를 모두 충족하는 평가 수행에 어려움이 있음.
- Practical Understanding: 평가자가 프로그램 관리 경험이 없어 프로그램에 대한 충분한 이해 부족 우려.
- Time and Workload: 평가 수행과 권고사항 실행에 필요한 시간과 업무량이 과다하여 평가의 혜택을 초과함.
- Facilitating Factors: 관계 구축, 협력적 접근, 정보 공유, 직원 역량 강화, 안정적인 책임자 그룹 등.
- Inhibiting Factors: 평가 수행 및 전파 시간, 평가 용어, 보고 유형, 직원 이직률, 성과 측정 데이터 문제, 긍정적 평가 결과, 평가 참가자 편향, 정보 공개 정책으로 인한 위험 회피, 다른 활동으로 인한 평가 직원의 분산 등.
논의
- 전략적 활용의 부족:
- 정부 차원의 평가 활용 촉진 노력(예: 2010년 전략적 검토 운동, 2012년 DRAP)에도 불구하고, 연구된 두 조직의 평가는 전략적으로 활용되지 않고 있음.
- 평가 역량:
- 두 조직 모두 평가 활용에 필요한 기본 요건을 갖추고 있음: 안정된 리더십, 관리자의 평가에 대한 광범위한 지식, 신뢰할 수 있는 평가 과정.
- 그러나 검토된 17개의 평가 내용은 전략적 활용을 지원하지 않으며, 프로그램 간 비교나 메타 분석이 부족함.
- 이전 연구:
- 조직 평가 역량 자가 평가 도구(Bourgeois et al., 2013)에서 높은 점수를 받았음에도 불구하고, 지출 검토에 기여할 수 있는 평가를 작성하는 데는 여전히 개선의 여지가 있음.
- 이는 재무위원회 비서국의 2015년 평가 정책 평가 결과와 대조적임. 해당 평가는 대부분의 평가 연구가 전략적 필요와 의사결정 필요를 충족한다고 결론지었으나, 이는 실제 평가 활용을 입증하기 위해 부서에서 선택한 사례 연구를 기반으로 한 결과일 수 있음.
- 추가 조사 필요성:
- 고위 관리자와의 이해 관계자 상담에서는 평가가 일반적으로 유용하다고 여겨지지만, 전략적 활용의 구체적인 사례를 식별하기 위해 더 체계적인 조사가 필요함.
- 지출 검토와 관련된 고위 경영진과의 상담은 평가가 그들의 필요를 어떻게 더 잘 충족할 수 있는지를 밝힐 수 있음.
- 정부 의사결정에서의 평가 역할:
- 평가의 역할은 다양한 요인에 따라 달라지며, 지출 결정을 위한 최적의 증거 출처로 항상 간주되지는 않음(Zussman, 2003).
- 평가자는 잠재적 사용자의 필요와 조직 내 의사결정 맥락을 고려해야 함(Mohan & Sullivan, 2006).
- 의사결정자는 증거 기반 평가를 요구하고, 공무원이 프로그램의 성공 또는 실패 증거를 제공하도록 장려하는 환경을 조성해야 함(Aucoin, 2005).
- 권장 사항:
- 분석 단위의 전환:
- 개별 프로그램에서 프로그램 그룹이나 포트폴리오로 전환하여 고위 관리자가 프로그램 성과를 전체적으로 볼 수 있도록 해야 함.
- 이를 통해 개별 프로그램보다는 프로그램 간 전략적 의사결정이 가능하게 됨.
- 고위 의사결정자의 필요를 충족:
- 평가는 재무위원회 비서국의 핵심 이슈뿐만 아니라 고위 의사결정자의 특정 질문과 필요에 직접적으로 초점을 맞춰야 함.
- 다가오는 결정이나 프로그램 재조정을 평가 계획에 통합해야 함.
- 조직 요구와 평가 시기의 일치:
- 평가 시기는 조직의 정보 요구와 일치해야 하며, 이는 어려운 과제임.
- 보다 신속한 평가 및 보고 접근 방식은 평가의 활용 잠재력을 높일 수 있음.
- 평가에 성과 측정 데이터를 통합하는 것이 권장되지만 실무에서는 어려움이 있음.
- 2016년 성과 정책은 성과 측정 통합 및 성과 측정 책임자의 창설에 관한 새로운 요구 사항을 통해 이러한 문제를 해결함.
- 이러한 권장 사항은 최근 몇 년간 연방 평가 커뮤니티의 이해 관계자들이 제기한 의견과 일치함.
- 분석 단위의 전환:
요약
- 전략적 활용: 평가는 전략적으로 활용되지 않으며, 평가 역량은 충분하지만 내용이 전략적 통찰을 제공하지 못함.
- 평가 내용: 평가 내용은 점진적 변화에 초점을 맞추고 있으며, 프로그램 간 비교가 부족함.
- 이해 관계자 의견: 전략적 활용과 평가가 고위 관리자의 필요를 충족하도록 평가 계획을 조정해야 함.
- 평가의 역할: 평가는 프로그램 관리자와 고위 의사결정자의 필요를 모두 충족해야 하며, 증거 기반 결정을 지원하는 환경을 조성해야 함.
- 권장 사항: 분석 단위를 프로그램 그룹으로 전환, 고위 의사결정자의 필요 충족, 평가 시기의 조직 요구와 일치. 성과 측정 데이터 통합이 주요 과제이자 초점 영역임.
이 논의는 조직과 정부의 필요에 맞춰 평가를 전략적으로 정렬해야 하는 필요성을 강조하며, 개선 방안을 제시하고 평가의 유용성과 영향을 높이기 위한 구체적인 권장 사항을 제공합니다.
결론
- 연구 목적: 이 연구는 두 연방 정부 조직에서 평가가 얼마나 사용되는지를 조사하고자 했습니다.
- 기존 문헌에 따르면, 평가는 일반적으로 지출 검토 및 기타 전략적 결정에서 사용되지 않으며, 이 주제에 대한 최근 실증 연구는 거의 없습니다.
- 최근 연방 정부에서 진행된 지출 검토를 고려할 때, 이 질문을 질적 내용 분석과 반구조화된 인터뷰를 통해 실증적으로 연구해야 한다고 판단했습니다.
- 연구 방법: 프로그램 관리자나 평가 사용자에게 직접적으로 활용에 대해 물어보는 방식으로 접근했습니다.
- 연구 결과: 기존 연구와 일치하며, 다음과 같은 결과를 도출했습니다.
- 도구적 및 개념적 사용: 프로그램 수준에서는 도구적 및 개념적 사용이 높은 반면, 프로그램 개선을 넘어서는 전략적 사용은 거의 없습니다.
- 지출 검토: 평가가 지출 검토를 알리는 데 사용되지 않습니다.
- 비사용 요인: 분석 단위, 평가 시기, 질문 유형 등이 사용을 억제하는 중요한 요인으로 작용합니다.
- 평가 역량 강화: 평가 문해력 및 조직 의사결정에 대한 평가 적용을 통해 조직이 프로그램 수준의 평가 결과를 넘어서 더 높은 수준의 전략적 사용으로 나아가도록 도울 수 있습니다.
- 추가 연구 필요성: 이 분야에서 더 많은 연구가 필요합니다.
- 2009년 평가 정책 평가의 긍정적 결과와 관련하여 전략적 사용에 대한 연구가 필요합니다.
- 정부 전반에 걸쳐 평가의 전략적 사용 및 조직 평가 역량을 집중적으로 다루는 설문조사를 개발할 계획입니다.
요약
- 평가의 사용: 평가의 도구적 및 개념적 사용은 프로그램 수준에서 높으나, 전략적 사용은 거의 없습니다.
- 비사용 요인: 분석 단위, 평가 시기, 질문 유형 등이 평가의 전략적 사용을 억제하는 주요 요인입니다.
- 평가 역량 강화: 조직의 평가 문해력과 의사결정에서의 평가 활용을 강화함으로써 평가의 전략적 사용을 촉진할 수 있습니다.
- 추가 연구: 더 많은 실증 연구와 정부 전반의 설문조사를 통해 이 주제를 심층적으로 탐구할 필요가 있습니다.
이 연구는 평가가 프로그램 수준에서는 잘 활용되지만, 전략적 의사결정에서는 활용되지 않는다는 것을 밝혀냈습니다. 이를 개선하기 위해 평가 역량 강화를 포함한 여러 제안을 했으며, 추가 연구가 필요함을 강조했습니다.
'Wilson Centre' 카테고리의 다른 글
| [인식론] 1장 교육 리더십과 조직에 대한 소개 및 인식론 (0) | 2024.06.07 |
|---|---|
| [연구] 보건의료전문직(HPE)에서의 저자됨(Authorship) (0) | 2024.06.04 |
| [프로그램 평가] 평가적 사고의 정의와 가르치기: 비판적 사고 연구의 인사이트 (0) | 2024.06.02 |
| [프로그램 평가] 평가적 사고의 진화에 대한 역사적 관점 (0) | 2024.06.01 |
| [프로그램 평가] 평가 사용 및 오용의 정의, 평가 영향력 및 사용에 영향을 미치는 요인 (0) | 2024.05.31 |