[프로그램 평가] 발달적 평가(Developmental Evaluation)

출처: Patton, M. Q. (1994). Developmental evaluation. Evaluation practice, 15(3), 311-319.

https://journals.sagepub.com/doi/10.1177/109821409401500312

서론

개발(Develop). 동의어: 개선하다, 진화하다, 창조하다, 형성하다, 성장하다, 성숙하다, 펼치다, 익히다, 변화하다.

 

언어는 중요합니다. 언어는 동시에 가능성을 시사하고 경계를 전달합니다. 우리는 언어 없이는 생각할 수 없으며, 언어로 인해 우리의 생각은 필연적으로 제한됩니다. 왜 의사소통 101에서 나온 이 기본적인 사실을 상기시키는 걸까요? 우리가 무엇을 하는지를 어떻게 부르는지는 우리의 행동과 그 행동의 방식을 정의하며, 우리 자신과 다른 사람들에게 전달됩니다.

에드워드 사피어는 "습관적인 생각과 행동이 언어와 어떻게 연관되는가"를 연구했습니다. 그는 다음과 같이 결론지었습니다:

인간은 자신들의 사회에서 표현의 매체가 된 특정 언어에 의해 상당히 지배받습니다... 실제 상황은 "실제 세계"가 어느 정도까지는 집단의 언어 습관에 의해 무의식적으로 구성된다는 것입니다... 우리는 우리의 공동체의 언어 습관이 특정 해석 선택을 미리 정해 놓았기 때문에 대체로 그렇게 보고 듣고 경험합니다.
(Rheingold, 1988, p. 11)

 

평가자들은 하나의 하위문화를 구성합니다. 우리의 언어 습관은 특정 행동 및 해석 선택을 미리 정해 놓습니다. 다양성, 다문화주의, 글로벌 관점에 점점 더 주목함에 따라 우리의 언어 습관과 그에 따른 선입견은 우리가 하는 모든 일에 도전하게 됩니다.

권한 부여 평가

"권한 부여 평가"라는 도발적인 구절은, 많은 사람들에게 모순적으로 들리지만, 1993년 미국 평가 협회(American Evaluation Association) 전국 회의의 주제로 새로운 가능성을 열었습니다. 이 구절이 지속될지 예측하기에는 이르지만, 처음 참석한 몇몇 사람들과 이야기한 결과, 그들은 평가가 권한 부여가 될 수 있다는 생각을 한 번도 해본 적이 없다고 했습니다. 그들은 호기심, 혼란, 경이로움, 희망, 회의감을 표현했습니다. 일부 오래된 참가자들은 이 구절을 유행에 불과하며, 무의미하고, 정치적으로 부패한 이중 언어라고 일축했습니다. 평가? 가치가 담긴? 나는 자연스럽게 충격을 받았습니다. 그리고 텍사스주 달라스에서 주관적 대폭발이 아닌 지루한 신음으로 세계가 끝날 것이라는 것을 깨달았습니다. 객관성의 목소리가 혼란 속으로 사라지면서 말입니다. 궁극적인 발전이죠. 

 

여기서 다시 내 주제로 돌아오겠습니다: 발전적 평가(Developmental Evaluation). 나는 클라이언트와의 장기적인 파트너십 관계를 설명하기 위해 이 구절을 사용하기 시작했습니다. 이 클라이언트들은 스스로 지속적인 프로그램 개발에 참여하고 있습니다. 나는 이러한 관계가 이전에 수행한 평가와 상당히 다르다는 것을 알게 되었습니다. 그리고 개인적으로 더 만족스러웠습니다. 나의 역할은 더 발전적 Developmental 이라고 할 수 있습니다. 그 의미를 설명하겠습니다만, 먼저...

약간의 역사와 맥락

평가는, 도시 빈민처럼, 프로젝트 속에서 성장했습니다. 이는 한정된 자원을 무제한적인 문제에 집중시키려는 대규모 정부 구조에서 시작되었습니다. 하우스(House, 1993)는 정부의 후원과 지배하에 직업으로서의 평가의 등장을 통찰력 있게 검토했습니다. 정치경제 체제와 관계없이 현대 정부의 지배적인 모티프는 계획planning입니다. 이는 요구를 평가하고, 해결책을 식별하며, 목표 인구를 대상으로 설정하고, 목표를 설정하고, 자원을 조달하며, 프로그램을 실행하고, 물론 결과를 평가하는 것을 의미합니다. 이는 매우 논리적이고 합리적입니다.

 

물론, 불완전성은 존재합니다: 충분히 평가되지 않은 요구, 모호하고 상충하는 목표, 명확하지 않은 목표 대상, 불충분한 자원, 부실한 실행. 그러나 바로 이러한 문제들이 평가를 통해 드러나는 문제들입니다. 논리는 그대로 유지됩니다.

 

이 논리 내에서 우리는 두 가지 종류의 평가를 구분했습니다: 종합 평가(summative evaluation)와 형성 평가(formative evaluation). 종합 평가는 목표 달성 정도, 측정된 결과가 관찰된 개입에 기인하는지 여부, 목표가 달성된 조건이 일반화에 미치는 영향을 판단합니다. 형성 평가는 프로그램 프로세스를 개선하고 목표 달성에 영향을 미치는 강점과 약점에 대한 피드백을 제공하여 종합 평가를 준비하는 데 도움을 줍니다.

 

스크리븐(Scriven)의 교육과정 평가에서 형성 평가와 종합 평가를 구분한 원래 의도는 형성 평가의 목적이 종합 평가를 준비하는 것임을 분명히 했습니다. 시간이 지남에 따라 형성 평가의 의미는 프로그램 개선을 주요 목적으로 하는 모든 평가를 포함하도록 확대되었습니다. 그러나 암묵적으로, 형성 평가는 여전히 종합 평가의 그림자에 있으며, 평가와 프로그램이 실제 평가인 종합 평가를 준비하는 동안의 초기 단계의 평가를 의미한다고 생각됩니다.

발전 프로그램과 발전적 평가
ENTER DEVELOPMENT PROGRAMMING AND DEVELOPMENTAL EVALUATION

발전 프로그램의 목적은 개발이라는 모호하고 일반적인 개념입니다. 이 과정 자체가 결과입니다.

• 이들은 명확하고 구체적이며 측정 가능한 목표를 사전에 설정하지 않습니다. 왜냐하면 명확성, 구체성, 측정 가능성은 제한적이기 때문입니다.
• 이들은 문제나 문제를 식별하고 잠재적인 해결책이나 개입을 탐구하고자 하지만, 최종 목적지는 참여자마다 다를 것이며, 참여자들 스스로가 목표 설정에서 중요한 역할을 해야 한다고 인식합니다. 따라서 이 과정은 참여자들을 참여시켜 그들 자신의 목표를 설정하고 달성하는 것을 포함합니다. 프로그램 설계자는 그들이 어디에 도착했는지 관찰하고, 미래의 프로그램 설계 및 재설계에 대한 함의를 평가합니다.
• 이들은 프로그램이 고정된 상태에 도달할 것을 기대하지 않습니다. 참여자, 조건, 학습, 맥락이 변함에 따라 끊임없이 조정합니다.
• 이들은 종합 평가 및 일반화의 대상이 되는 모델에 도달하는 것을 목표로 하지 않습니다. 대신 지속적인 발전, 지속적인 적응, 신속한 대응을 목표로 합니다. 어떤 측면을 설명하고 명확히 하자마자 그 인식 자체가 개입이 되어 행동을 변화시킵니다.
• 이들은 투입의 표준화, 처치의 일관성, 결과의 균일성, 인과 관계의 명확성 같은 종합적 우수성의 전통적인 특성을 가치 있게 여기지 않습니다. 이들은 다중 원인, 다양한 결과, 개입의 불일치, 모든 수준에서의 상호작용 효과를 가정하며, 그러한 세계를 흥미롭고 바람직하게 여깁니다.
• 이들은 결코 종합 평가를 기대하지 않습니다. 왜냐하면 프로그램이나 세계가 종합 평가를 위한 검토가 이루어질 정도로 고정되기를 기대하지 않기 때문입니다. 이들은 영원히 개발하고 변화할 것으로 기대하며, 개발과 변화를 지원하는 평가 접근 방식을 원합니다.

 

또한 개발과 변화를 반드시 개선으로 생각하지 않습니다. 형성적 평가는 단순히 무언가를 다르게 만드는 것이 아니라 더 나은 것을 만드는 것에 대한 편견을 가지고 있습니다. 발전적 관점에서 보면, 무언가 달라진 것은 여러분의 이해, 참여자의 특성, 기술 또는 세상 등 무언가가 바뀌었기 때문입니다. 이러한 변화는 현재의 인식에 따라 결정되지만, 변화에 대한 노력은 이전에 수행한 작업이 부적절하거나 덜 효과적이라는 판단을 수반하지 않습니다. 변화가 반드시 발전은 아닙니다. 변화는 적응입니다.

Moreover, they don’t conceive of development and change as necessarily improvements. Formative evaluation carries a bias about making something better rather than just making it different. From a developmental perspective, you do something different because something has changed-your understanding, the characteristics of participants, technology, or the world. Those changes are dictated by your current perceptions, but the commitment to change doesn’t carry a judgment that what was done before was inadequate or less effective. Change is not necessarily progress. Change is adaptation. 

 

한 프로그램 디렉터는 이렇게 말했습니다:

우리는 우리가 알고 있는 것과 가진 자원으로 최선을 다했습니다. 이제 우리는 발전의 다른 단계에 있으며, 다른 일과 생각을 하고 있습니다. 그것이 발전이고, 변화입니다. 그러나 반드시 개선은 아닙니다.

 

내가 경험한 발전적 관점은 목표가 사전에 결정되고, 그 목표를 달성하기 위해 신중하게 계획된 전통적인 논리와는 상당히 다릅니다. 발전적 프로그래밍은 발전적 평가를 요구합니다. 여기서 평가자는 설계 팀의 일원이 되어, 끊임없이 피드백과 변화가 일어나는 환경에서 일어나는 일들, 즉 프로세스와 결과를 모니터링하고 지원합니다. 이러한 관계는 수년간 지속될 수 있으며, 많은 경우 정식의 서면 보고서를 포함하지 않습니다. (솔직히 말하자면, 그것이 나에게 큰 매력이 되었습니다.)

 

팀워크와 협력

발전적 평가는 모델이 아닙니다. 이는 공동 목적, 즉 발전을 기반으로 한 관계입니다. Developmental evaluation isn’t a model. It’s a relationship founded on a shared purpose: development. 내가 설계 팀에 가져오는 것은 평가 논리, 평가 지식을 기반으로 한 효과적인 프로그래밍에 대한 지식, 모니터링 및 피드백 시스템을 설정하는 방법에 대한 전문 지식입니다. 나는 팀의 일원이 됩니다. 프로그램에 대한 의사결정에 참여하고, 발생하는 모든 일들을 평가하는 방법에 대해 논의하는 것을 촉진합니다. 모든 팀 구성원은 평가 판단을 함께 하고, 다음 발전 단계에 대한 결과의 함의를 적용하는 방법을 결정합니다.

네 가지 예시

1. 커뮤니티 리더십 프로그램

나는 두 명의 평가 동료와 함께 미네소타 농촌 지역의 커뮤니티 리더십 프로그램을 위한 설계 팀의 일원이 되었습니다. 설계 팀에는 사회학자, 심리학자 몇 명, 커뮤니케이션 전문가, 성인 교육자, 기금 제공자, 프로그램 직원이 포함되었습니다. 모든 설계 팀 구성원은 다양한 전문 지식과 경험을 가지고 있었습니다. 우리가 공유한 것은 리더십과 커뮤니티 개발에 대한 관심이었습니다.(원래 평가 설계는 3년의 형성 평가 후 2년의 종합 평가를 계획했습니다. 첫 해가 끝날 무렵, 종합 평가의 조건을 유지하는 것이 프로그램을 고정하는 것이 지나치게 제약적이라는 것을 깨닫고 종합 평가의 아이디어를 포기했습니다. 우리는 당시 외부 평가자가 아닌 파트너로서 발전적 강조로 이동했습니다.)

이 관계는 6년 이상 지속되었고, 매년 다른 평가 접근 방식을 포함했습니다. 그 기간 동안 우리는 참여자 관찰, 여러 설문 조사, 현장 관찰, 전화 인터뷰, 개인 및 커뮤니티 사례 연구, 비용 분석, 행동 이론 개념화, 미래 전망 연습, 참여자가 스스로 평가를 수행하도록 훈련시키는 일을 했습니다. 매년 프로그램은 중요한 방식으로 변화했고, 새로운 평가 질문이 등장했습니다. 프로그램 목표와 전략이 진화했습니다. 평가도 진화했습니다. 최종 보고서는 작성되지 않았습니다. 프로그램은 계속 진화하고 있으며, 발전적 평가에 의존하고 있습니다.

1. 학교에서의 다양성 지원

이 프로그램은 세인트 폴 공립학교와 10년 이상 다문화 교육을 지원하기 위해 협력하기로 한 여러 재단에 의해 자금이 지원되었습니다. 커뮤니티가 식별한 문제는 거의 모든 지표에서 유색 인종 어린이들의 성공 수준이 낮다는 것이었습니다. "해결책"은 학교와 협력하는 유색 인종 커뮤니티의 높은 참여도를 요구했습니다. 파트너십의 성격과 중간 결과는 과정에서 도출되어야 했습니다. 실제로, 지역 커뮤니티의 참여 이전에 원하는 전략과 결과를 미리 결정하는 것은 비권력적인 일이 될 것입니다. 더욱이, 아프리카계 미국인, 원주민, 히스패닉, 동남아시아인 등 다른 커뮤니티들은 각기 다른 필요와 목표를 설정하고, 학교와 다른 방식으로 협력할 것으로 예상되었습니다. 이러한 모든 것들은 개발되어야 했습니다.

 

평가 과정은 발전을 기록하고, 지역 커뮤니티에서 전체 지역에 이르는 여러 수준에서 피드백을 제공하며, 커뮤니티 사람들과 학교 사람들이 함께 평가 기준과 결과 주장을 개발하는 과정을 촉진했습니다. 프로그램 설계와 평가는 적어도 매년, 때로는 더 자주 변경되었습니다. 설계 과정에서 참여, 프로그래밍, 평가 사이의 경계는 무시되었으며, 모두가 함께 프로그램을 개발하는 데 주력했습니다. 평가 보고서는 공공 책임성을 위해 작성되었으며, 여러 목소리가 여러 관점을 제시하는 형태를 취했습니다. 이러한 목소리와 관점은 평가 팀에 의해 촉진되고 조직되었지만, 평가자의 목소리는 많은 목소리 중 하나에 불과했습니다. (이 과정과 다목적 접근 방식에 대한 자세한 내용은 Stockdill, Duhon-Sells, Olson, & Patton, 1992를 참조하십시오). 발전적 평가와 과정은 여전히 진행 중이며, 종합 평가는 계획되지 않았고 적절하지 않다고 여겨집니다. 그러나 발전적 과정과 결과를 공적으로 전달하는 데 많은 노력을 기울이고 있습니다.

1. 어린이 및 가족 커뮤니티 이니셔티브

지역 재단은 두 개의 도심지 지역 사회와 함께 20년간의 약속을 하여 어린이와 가족을 위한 더 건강한 환경을 지원하기로 했습니다. 이 지역 사회는 가난하고 다양한 인종 및 민족 배경을 가진 사람들이 살고 있습니다. 약속의 핵심은 지역 사회의 사람들이 자신들의 목표를 설정하고 가치 있는 프로젝트에 자금을 제공할 수 있도록 하는 것이었습니다. 커뮤니티 기반의 운영위원회는 사실상 소규모 커뮤니티 보조금을 위한 의사 결정 그룹이 되었습니다. 보조금 제공 기준, 원하는 결과 및 평가 기준은 모두 지역 사회에 의해 개발되어야 했습니다. 발전적 과정의 목적은 외부의 부유하고 먼 재단 이사회의 판단이 아닌 내부, 커뮤니티 기반의 책임성을 지원하는 것이었습니다. 따라서 내 역할은 지역 사회가 자체 평가 과정과 자기 책임감을 개발하도록 지원하는 것이었습니다.대응적이어야 했다는 점입니다. 20년간의 발전적 관점에서, 책임의 중심이 기금 제공자가 아닌 커뮤니티 기반인 경우, 모든 평가의 일반적인 매개변수가 변경됩니다.

 

이 과정은 4년째 진행 중입니다. 결과는 누구도 예상하지 못한 방식으로 전개되고 있습니다. 이 세부 사항을 여기에 공유할 공간은 없으며, 그것이 특히 중요하지도 않습니다. 중요한 것은 평가 과정이 매우 유연하고 대응적이어야 했다는 점입니다. 20년간의 발전적 관점에서, 책임의 중심이 기금 제공자가 아닌 커뮤니티 기반인 경우, 모든 평가의 일반적인 매개변수가 변경됩니다.

1. 성인 교육에서의 반성적 실천 과정

나는 몇 년 동안 교외 성인 및 커뮤니티 교육 프로그램과 협력하여 직원 개발 및 조직 변화를 위한 반성적 실천 과정을 촉진해왔습니다. 우리는 매달 모여, 지난 달 동안의 행동 연구 관찰에 대한 보고를 받습니다. 이러한 관찰의 초점은 그룹이 이전 달에 선택한 문제입니다. 반성적 실천 과정은 다음을 포함합니다:

 

1) 문제, 관심사 또는 우려사항 식별;
2) 무언가를 시도하기로 동의;
3) 시도한 것을 관찰하기로 동의;
4) 개별적으로 그룹에 보고;
5) 개별 보고서 간의 경험 패턴이나 주제 식별;
6) 다음에 시도할 것 결정, 즉 결과의 행동적 함의 결정;
7) 새로운 행동 약속으로 과정을 반복.

 

몇 년에 걸쳐 이 과정은 주요한 교육 과정 및 조직 변화를 지원해왔습니다. 평가는 지속적으로 이루어지고 피드백은 즉각적입니다. 이 과정은 직원 및 조직 개발과 평가를 결합합니다. 내가 촉진자로서 하는 역할은 데이터 기반의 관찰에 초점을 맞추고, 결과를 해석하고 적용하도록 돕는 것입니다. 공식 보고서도 없고, 일반적인 평가 의미에서의 형성 또는 종합 판단도 없습니다. 단지 점진적인 변화의 지속적인 발전 과정만 있으며, 이는 데이터와 판단에 의해 정보 제공을 받고 있습니다. 이는 전체 프로그램의 중요한 누적적 진화를 가져왔습니다. 이들은 학습 조직이 되었습니다.

 

발전적 평가의 문제

동료들로부터 받은 반응 중 하나는 이 예시들이 평가가 아니라 조직 개발 노력이라는 것입니다. 이에 대해 논쟁하고 싶지는 않습니다. 평가를 좁게 정의하여 진정한 평가 노력을 다른 종류의 조직 개발 활동과 구별하는 것에 대한 타당한 논거가 있습니다. 하지만 제가 보고하는 것은, 제가 공유한 각 예시에서, 그리고 다른 많은 사례에서도, 제 역할과 정체성이 함께 일하는 사람들에게 평가적이라고 간주된다는 것입니다(그리고 이들은 저를 고용한 사람들입니다). 외부 독립성에 대한 가식은 없습니다There is no pretense of external independence. 제 역할은 평가 촉진자에서 팀 구성원 전체로 다양합니다. 어느 경우에도 제 역할은 외부external 보고와 책임이 아닙니다. 이는 평가자에게는 다른 역할일 수 있지만, 저는 "발전적 평가"를 우리가 할 수 있는 일 중 하나로 포함시켜, 평가자들이 조직 개발 시장을 열어주는 데 일조할 수 있기를 바랍니다. 우리가 평가의 공식 정의(그것이 무엇이든)에 대한 개념적 명확성과 순수성을 잃는 대신, 평가 전문 지식의 시장 점유율을 얻습니다(본질적으로 "발전적 평가"라는 명목으로 조직 개발 유형과 경쟁하게 됩니다).

 

발전적 평가 옵션을 논의할 때, 평가자들로부터 데이터 수집과 판단 제공을 프로그램 설계 및 추천과 구별하는 것에 대한 우려를 들었습니다. Scriven(1994)은 무언가가 작동하는지 여부를 식별하는 능력(평가 기능)이 그것을 고치거나 개선하는 방법을 아는 것(설계 기능)과는 상당히 다르다고 주장했습니다. 저는 추천이 자동적이어서는 안 된다고 동의합니다. 실제로 제 작업에서는 클라이언트와 주요 사용자들이 추천을 생성하도록 촉진하는 것을 선호합니다. 독립적인 추천independent recommendations을 거의 작성하지 않습니다. 그러나 발전적 평가 과정에서는 제가 설계 팀에 가져다 주는 가치 중 하나가 25년간의 실무 경험을 바탕으로 어떤 것들이 작동하는 경향이 있고 어디에서 문제가 발생할지를 예측하는 지식의 저장소를 제공한다는 것입니다. 젊고 경험이 적은 평가자들은 데이터를 철저히 따르는 것이 좋습니다. 그러나 경험이 많은 평가자들은 보통 무엇이 작동하고 무엇이 작동하지 않는지에 대한 많은 지식과 지혜를 축적했습니다. 저는 Scriven이 평가자가 누적된 지식을 바탕으로 설계 및 프로그램 개선에 중요한 역할을 할 수 있다는 점을 과소평가한다고 생각합니다.

 

다시 말하지만, 저는 부분적으로 마케팅 및 직업 위치 선정의 관점에서 이를 보고 있습니다. 우리는 효과성 패턴에 대해 많은 것을 알고 있으며, 시간이 지나면서 더 많이 알게 될 것입니다. 그 지식은 설계 과정에서 우리를 가치 있는 파트너로 만듭니다. 그러나 그 선을 넘으면 판단의 독립성이 감소합니다. 이러한 역할 변화의 비용과 혜택은 공개적으로 인정되고 신중하게 평가되어야 합니다. 제 경우, 저는 경계를 흐릿하게 만드는 것을 좋아하며 이를 정당화하기 위해 "발전적 평가"라는 용어를 사용합니다. 또한 고객이 이 과정을 이해할 수 있도록 돕습니다.

공식 정의

"발전적 평가"를 평가 옵션으로서의 정의를 확립하기 위해, 저는 다음 정의를 Scriven에게 그의 평가 용어집 5판의 후보로 제출했습니다. 만약 그의 기준에 맞지 않는다면, 독자들은 여기에 참고할 수 있습니다.

발전적 평가: 프로그램, 프로젝트, 제품, 인력 및/또는 조직 개발(보통 후자)을 지원하는 평가 과정과 활동. 평가자는 팀의 일원으로서 팀원들과 협력하여 새로운 접근 방식을 개념화, 설계 및 테스트하는 장기적이고 지속적인 개선, 적응 및 의도적 변화의 과정에 참여합니다. 팀 내에서 평가자의 주요 역할은 평가 데이터를 통해 팀 논의를 명확히 하고, 발전 과정에서 데이터 기반의 의사 결정을 촉진하는 것입니다.
Developmental evaluation: Evaluation processes and activities that support program, project, product, personnel and/ or organizational development (usually the latter). The evaluator is part of a team whose members collaborate to conceptualize, design, and test new approaches in a long-term, on-going process of continuous improvement, adaptation, and intentional change. The evaluator’s primary function in the team is. to elucidate team discussions with evaluative data and logic, and to facilitate data-based decision-making in the developmental process. 

 

마지막으로 한 가지 주의할 점은 "발전"이라는 용어가 일부 환경에서 부정적인 의미를 가질 수 있다는 것입니다. 밀러는 'The Book of Jargon'에서 발전을 "아무 일도 일어나지 않는 긴 기간을 완곡하게 표현하는 모호한 용어"로 정의합니다(1981, p. 208). 평가자들은 특정 단어가 특정 맥락에서 무엇을 의미하는지에 주의를 기울이고, 그에 따라 라벨을 선택하는 것이 좋습니다.

활용 중심 평가UTILIZATION-FOCUSED EVALUATION

동료들과 학생들과 발전적 평가를 논의할 때, 그들은 보통 이 평가가 활용 중심 평가(Patton, 1986)와 어떻게 관련되는지 묻습니다. 간단한 대답은 발전적 평가가 활용 중심 프로세스의 하나의 옵션이라는 것입니다The short and simple answer is that developmental evaluation is one option in a utilization-focused process.. 그러나 이 질문을 다루는 것은 활용 중심 평가가 전체적인 체계에서 어디에 맞는지 명확히 하고, 평가 체계에서 어디에 위치해야 하는지 논쟁할 기회를 제공합니다. 먼저 정의를 보겠습니다:

활용 중심 평가는 의도된 사용자가 의도된 사용을 위해 평가에 관한 결정을 내리는 과정입니다.
Utilization-Focused Evaluation is a process for making decisions about and focusing an evaluation on intended use by intended users.

 

활용 중심 평가는 방법이나 평가 대상(예: 프로그램)보다는 평가 과정과 정보의 의도된 사용자와 그들의 의도된 사용에 초점을 맞춥니다. 평가자는 독립적인 심판 역할을 하기보다는 의도된 사용자의 평가 의사 결정을 촉진합니다. 따라서 활용 중심 평가자는 의도된 사용자가 가치와 가치를 판단하도록 돕는 역할을 합니다. 이 접근 방식은 어떠한 평가도 가치 중립적일 수 없음을 인정하며, 따라서 평가에 영향을 미치는 가치는 주요 의도된 사용자의 것이어야 합니다. 활용 중심 평가는 매우 개인적이고 상황에 맞춘 것입니다. 평가 촉진자가 의도된 사용자와 긴밀한 작업 관계를 발전시키기 때문에 외부의 신뢰성 공격을 받기 쉽습니다. 따라서 독립성과 사용 간의 절충점은 협상 과정에서 명확히 다루어져야 합니다. 의도된 사용자가 독립적이고 종합적인 평가를 원하고 필요로 한다면, 그렇게 설계될 수 있습니다. 어떤 목적(형성, 종합, 발전적)이든, 어떤 데이터(정량적, 정성적, 혼합형)이든, 어떤 설계(자연주의적, 실험적)이든, 어떤 초점(과정, 결과, 비용, 비용-효익 등)이든 결과가 될 수 있습니다. 평가의 많은 대안 중에서 선택은 유용성에 대한 관심에 의해 결정됩니다Choices among the many alternatives in evaluation are driven by attention to utility.

 

평가 유형에서 활용 중심 평가는 일반적으로 의사 결정 지향 모델로 간주됩니다. 제 관점에서 이는 부적절한 위치 선정입니다. 의사 결정 지향 모델은 프로그램에 관한 주요 의사 결정을 평가에 초점을 맞춥니다. 이는 활용 중심 과정에서 발생할 수 있지만, 자동으로 초점이 맞춰지지는 않습니다. 초점은 특정 사람들의 유용성 요구에 있습니다The focus is on the utility needs of specific people.. 이러한 요구는 프로그램에 대한 주요 의사 결정을 포함할 수도 있고 포함하지 않을 수도 있습니다. 활용 중심 평가는 사람(의도된 사용자)에 초점을 맞춘 접근 방식의 범주에 배치되어야 합니다. 이 접근 방식은 사람들이 의사 결정을 내려야 하는 경우가 포함될 수 있습니다. 그러나 더 자주 이는 점진적 개선 과정, 개념적 통찰력, 그리고 그들의 가정이나 신념을 현실 검증하는 것을 포함합니다. 제 실무에서 점점 더 이는 발전 팀의 일원으로 참여하는 것을 포함합니다.

 

두 번째 혼란은 활용 중심 평가와 정성적 방법을 연관시키는 것입니다. 이 혼란은 제가 평가에서 정성적 방법에 대해 쓴 사실에서 비롯된 것 같습니다(Patton, 1990). 그러나 활용 중심 평가는 본질적으로 다방법적이며, 의도된 사용자가 다양한 방법론적 옵션을 가질 수 있도록 해야 합니다.

 

세 번째 반대 의견은 "활용utilization"이라는 용어가 너무 학문적이라는 것입니다. 많은 사람들이 "utilization" 대신 "use"을 제안했습니다. 저는 단순성을 중요하게 생각하며, 더 짧은 단어에 문제가 없습니다. 그러나 제 귀에는 "활용"이 과정을 의미하는 반면, "사용"은 더 정의된 행동을 의미하는 것으로 들립니다"utilization" connotes a process
whereas "use" connotes a more defined action. 활용 중심 평가는 여러 사용을 고려하는 과정이기 때문에, 저는 제 저서에서 이 용어를 유지했습니다. 만약 제가 이 접근 방식을 다시 명명한다면, 이는 사용 중심 평가가 아니라 사용자 중심 평가가 될 것입니다.Were I to rename the approach, it would not be use-focused evaluation, but user-focused evaluation.

발전과 사용DEVELOPMENT AND USE

발전적 평가의 개념은 평가의 세 가지 전통적인 주요 요소인 목적, 평가 대상, 그리고 타임라인에 의문을 제기합니다. 이 세 가지는 프로그램의 목표가 달성되었는지 여부를 결정하는 프로그램 평가의 고전적인 정의에서 얽혀 있습니다. 이 정의는 고정된 프로그램, 제한된 기간, 목표 달성 목적을 가정합니다. 발전적 평가는 목표가 미리 정해지지 않고 변화하는 혁신적인 환경에서 유용하게 사용되는 방법입니다. 기간은 유동적이고 미래지향적이며, 목적은 학습, 혁신, 변화입니다. 이는 외부 책임성(종합 평가)이나 외부 책임성 준비(형성 평가)가 아닙니다. 

Developmental evaluation is a way of being useful in innovative settings where goals are emergent and changing rather than predetermined and fixed, time periods are fluid and forward-looking rather than artificially imposed by external deadlines, and purpose is learning, innovation, and change rather than external accountability (summative evaluation) or getting ready for external accountability (formative evaluation).

 

발전적 평가는 제 실무에서 주요하게 등장했으며, 이는 제가 존중하는 가치관을 가진 창의적이고 헌신적인 사람들과 함께 중요한 문제에 대해 일하는 데 유용한 기회를 제공합니다. 프로젝트 평가를 수년간 수행한 후, 중요한 문제에 대한 발전적 참여는 제게 큰 의미가 있습니다.