Developmental Evaluation Defined and Positioned
Patton, M. Q. (2011). Developmental evaluation defined and positioned. Developmental evaluation: applying complexity concepts to enhance innovation and use, 1-27.
과학은 미시세계와 거시세계를 탐구해왔으며, 우리는 지형에 대한 좋은 감을 가지고 있다. 가장 큰 미탐험의 경계는 복잡성이다.
— 하인츠 R. 파겔스, Reason의 꿈 (1988)
이 관찰의 평가 버전은 다음과 같다:
평가는 장점과 가치, 과정과 결과, 형성적 평가와 총괄적 평가를 탐구해왔으며, 우리는 지형에 대한 좋은 감을 가지고 있다. 가장 큰 미탐험의 경계는 복잡한 조건 하에서의 평가이다. 개발적 평가는 그 경계를 탐구한다.
개발적 평가는 혁신 개발development을 지원하여 복잡한 환경에서 새롭게 등장하고 역동적인 현실에 적응할 수 있도록 안내한다. 혁신은 새로운 프로젝트, 프로그램, 제품, 조직 변화, 정책 개혁, 시스템 개입의 형태를 취할 수 있다. 복잡한 시스템은 상호작용하고 상호 의존하는 많은 요소들로 구성되어 있으며 중앙 통제 없이 자가 조직화와 고도의 정보 처리를 바탕으로 한 새롭게 나타나는 행동이 학습, 진화, 발전을 생성한다(Mitchell, 2009, p. 13). 사회적 개입과 혁신을 위한 복잡한 환경은 문제를 해결하기 위해 무엇을 해야 할지 불확실하고 주요 이해관계자들이 어떻게 진행할지에 대해 갈등을 겪고 있는 환경을 의미한다. 시스템 사고에 기반하고 복잡한 비선형 동역학에 민감한 개발적 평가는 사회적 혁신과 적응적 관리를 지원한다. 평가 과정은 평가적 질문을 제기하고, 평가 논리를 적용하며, 실시간 데이터를 수집하여 지속적인 의사 결정과 적응을 정보로 제공하는 것을 포함한다. 평가자는 종종 새로운 접근 방식을 개념화하고 설계하며 테스트하는 장기적이고 지속적인 개발, 적응, 실험 과정에서 협력하는 개발 팀의 일원이다. 이 과정에서 의도치 않은 결과와 부작용에 민감하게 반응한다. 평가자의 주요 역할은 팀 토론에 평가적 질문, 사고, 데이터를 주입하고, 개발 과정에서 체계적인 데이터 기반 반성 및 의사 결정을 촉진하는 것이다.
차별화의 등장
The Distinction Emerges
개발적 평가가 독특한 틈새로서 등장한 것은 한 클라이언트의 질문과 요구에 대한 응답으로 이루어졌다. 그것은 다음과 같은 방식으로 발생했다.
나는 커뮤니티 리더십 프로그램과 5년간의 표준 계약을 맺었으며, 이 계약은 프로그램 개선을 위한 2년 반의 형성적 평가와 프로그램의 효과 여부를 결정하기 위한 2년 반의 총괄적 평가를 명시하고 있었다. 이 리더십 프로그램은 미네소타 전역의 작은 농촌 지역 사회를 대상으로 했다. 형성적 평가 동안, 프로그램은 운영 방식의 많은 측면에서 큰 변화를 겪었다. 모집 과정이 확장되었고, 참가자들의 피드백을 바탕으로 프로그램 활동이 조정되었으며, 새로운 커리큘럼 요소와 소그룹 연습이 추가되고 조정되었다. 졸업생들과의 후속 인터뷰는 프로그램 완료 후 새로운 지원 이니셔티브로 이어졌다. 형성적 평가는 모델 개선에 초점을 맞춘다. 이 프로그램 팀은 피드백을 갈망하며 개선을 열정적으로 받아들였다. 그러다 형성적 평가의 이 매우 창의적인 단계를 마치고 총괄적 평가로 넘어갈 시점이 되었다.
미네소타 북부의 영하의 2월 아침, 나는 프로그램 팀 회의를 시작하며 발표했다.
"우리는 지난 몇 년 동안 프로그램을 변화시키고 적응시키는 데 큰 성과를 이루었습니다. 여러분의 개방성과 피드백을 사용하여 개선하려는 헌신에 깊은 인상을 받았습니다. 하지만 이제 다음 단계인 총괄적 평가로 넘어가야 합니다. 총괄적 평가의 목적은 프로그램의 장점과 가치를 종합적으로 판단하는 것입니다. 프로그램이 효과적인지? 계속해야 할지, 더 확장해야 할지? 다른 사람들이 채택하고 싶은 모델을 제시했는지? 이 모든 것을 판단하기 위해 이제 더 이상 개선이나 변화를 할 수 없습니다. 프로그램이 안정되어야 총괄적 평가를 진행할 수 있기 때문입니다. 각 새로운 리더 그룹에 동일한 방식으로 프로그램을 구현해야만, 측정된 결과를 프로그램 개입에 유효하고 신뢰할 수 있는 방식으로 귀속시킬 수 있습니다."
입이 벌어졌다. 직원들은 경악했다. 그들은 항의했다:
"우리는 고정된 모델을 구현하고 싶지 않습니다. 사실, 우리가 배운 것은 새로운 그룹의 특정 요구에 맞추어 계속 적응해야 한다는 것입니다. 커뮤니티는 다양합니다. 참가자의 배경도 다양합니다. 경제적, 정치적 상황도 계속 변합니다. 인터넷과 같은 새로운 기술이 농촌 미네소타에 들어와 새로운 리더십 도전을 만듭니다. 작은 커뮤니티가 지역 네트워크의 일부가 되고 있습니다. 우리는 더 많은 젊은이들을 프로그램에 참여시켜야 합니다. 이민자들이 농촌 미네소타로 몰려들어 더 다양한 커뮤니티를 만들고 있습니다. 우리는 아메리카 원주민에게도 우리의 활동을 적응시켜야 합니다. 안 됩니다! 모델을 고정시킬 수 없습니다. 2년 동안 가만히 있을 수 없습니다. 우리는 총괄적 평가를 하고 싶지 않습니다."
"하지만 그것이 계약서에 명시된 것입니다," 나는 그들의 저항에 당황하며 대답했다. "이것이 작동 방식입니다," 나는 서둘러 설명했다. "2년 동안 형성적 평가를 통해 프로그램 모델을 안정화하고, 그런 다음 총괄적 평가를 통해 그것이 작동하는지, 목표한 결과를 달성했는지 판단합니다. 이것이 표준 관행입니다."
"하지만 그것은 우리에게 맞지 않습니다. 우리는 계약을 변경해야 합니다," 디렉터가 제안했다. "계속 형성적 평가를 하자. 우리는 프로그램을 계속 개선하고 싶습니다."
"그렇다면 언제 총괄적 평가를 하고 싶습니까?" 내가 물었다.
"절대 하지 않습니다," 그는 주저 없이 대답했다. "표준화된 프로그램을 의미한다면 말입니다. 우리는 계속 개발하고 변화하고 싶습니다."
"하지만 형성적 평가의 목적은 총괄적 평가를 준비하는 것입니다. 어느 시점에서는 모델이 작동하는지 결정해야 합니다. 어느 시점에서는 이 프로그램을 계속 자금 지원할지 결정해야 합니다. 프로그램 외부의 사람들은 이것이 작동하는지에 관심을 가지고 있습니다. 이것은 총괄적 평가를 위해 모델을 안정화해야 한다는 의미입니다."
그는 엄중하게, 도전적으로 나를 바라보았다.
"형성적 평가! 총괄적 평가! 평가자들이 제공할 수 있는 것은 그것뿐인가요?" 그의 목소리에는 좌절감, 심지어 적대감이 느껴졌다. 나는 방어적인 감정을 느꼈다. 사실, 그것이 이 분야의 주요 구분이었다. 그것이 우리가 제공할 수 있는 전부였다.
"글쎄요," 나는 커피잔에서 영감을 찾으며 말했다. "우리는, 음, 우리는, 음, 글쎄요, 우리는 개발적 평가를 시도할 수 있습니다!"
"그게 무엇인가요?" 디렉터가 물었다.
"그것은, 음, 계속 개발하는 것입니다."
"그것이 우리가 하고 싶은 것입니다," 그는 명백히 안도하며 말했다. "우리는 우리가 하고 배우는 것에 대한 주기적인 보고서를 이사회와 관심 있는 다른 사람들에게 제출할 수 있지만, 우리는 계속 개발하고 싶습니다. 개발적 평가. 그것이 마음에 듭니다. 그렇게 합시다. 그래서, 어떻게 합니까?"
"글쎄요, 그것은 새로운 접근 방식입니다," 나는 속으로 1분 전에 새로 생각난 것 같다고 생각하며 말했다. "하지만 그것은 당신이 하고자 하는 것에 잘 맞는 것 같으니, 함께 해결할 수 있을 것 같습니다." 그리고 이렇게 해서 나의 개발적 평가에 대한 탐험과 학습이 시작되었다. 이것은 배우며 하는 과정이었으며, 여전히 '개발적'이다. 이 책은 내가 배운 것을 보고한다. 하지만 먼저 이야기를 마치자.
나와 두 평가 동료는 리더십 프로그램의 설계 팀에 합류했으며, 여기에는 사회학자, 심리학자 몇 명, 커뮤니케이션 전문가, 성인 교육자 몇 명, 자선 기금 제공자, 그리고 프로그램 훈련 및 전문 개발 직원이 포함되었다. 우리의 평가 역할은 팀이 새로운 접근 방식을 개념화하고 개발하며 시도할 때 평가적 사고와 데이터를 제공하는 것이었다. 여기에는 이민자, 아메리카 원주민, 어려움을 겪고 있는 농촌 커뮤니티 사람들, 선출직 공무원, 젊은 사람들이 포함되었다. 프로그램은 농촌 커뮤니티에 영향을 미치는 새로운 연방 및 주 정책에 비추어 새로운 접근 방식을 개발했다. 많은 농촌 커뮤니티의 지속적인 쇠퇴는 더 지역적인 초점으로 이어졌다. 커뮤니티에서 여러 그룹이 프로그램을 거치면서, 다른 그룹을 연결하는 문제도 발생했다. 프로그램 졸업생의 후속 프로젝트를 지원하기 위한 새로운 자금 기회가 열렸다. 새로운 인력 필요성이 발생했다. 개발적 관계는 6년 이상 지속되었으며, 각 해마다 참가자 관찰, 여러 종류의 설문 조사, 현장 관찰, 전화 인터뷰, 대면 인터뷰, 포커스 그룹, 개인 및 커뮤니티 사례 연구, 비용 분석, 변화 이론 개념화, 미래 계획 연습, 참가자들이 직접 커뮤니티 기반 평가를 수행하도록 교육하는 등 다양한 평가 설계를 포함했다. 매년 프로그램은 중요한 방식으로 변화했고 새로운 평가 질문이 등장했다. 프로그램 목표와 전략이 진화했다. 평가는 진화했다. 총괄적 평가가 수행된 적은 없었고, 최종 보고서가 작성된 적도 없었다. 프로그램은 계속 진화하고 있으며, 계속해서 개발적 평가에 의존하고 있다.
이사회가 예산을 책정하여 자금을 계속 지원해야 했던 방식으로 주기적인 총괄적 결정이 내려졌다. 때로는 전략적 방향에서 큰 변화를 승인하고 이에 따라 자금을 증액하기도 했다. 개발적 평가는 프로그램 개발의 성격과 결과를 문서화하여 이사회의 총괄적 결정을 지원했다. 그러나 표준화되고 일상적인 모델이 아닌, 변화하는 조건, 배운 교훈, 다양한 참가자의 출현 요구에 대응하여 리더십 프로그램을 계속 개발하는 것이 작동한다고 판단되었다.
형성적 평가와 개발적 평가의 구분이 의미가 있는가? 개선과 개발을 구분하는 것이 가치가 있는가? 내가 함께 일하는 사람들에게는 확실히 의미 있고 유용했다. 나는 형성적 평가와 총괄적 평가의 원래 연결, 즉 형성적 평가가 프로그램 모델을 총괄적 평가를 위한 준비로 만드는 것을 존중하고 유지하는 것이 가치 있다고 생각한다. 또한, 커뮤니티 리더십 프로그램과의 경험이 보여주듯이, 개발적 평가가 형성적 평가와 총괄적 평가를 넘어서 독특한 목적과 틈새를 가지고 있다고 생각한다. 이 책은 그 틈새에 관한 것이다.
나는 형성적 평가와 총괄적 평가를 비하하거나 적대적이지 않으며, 이러한 접근 방식이 가치가 없다고 제안하는 것도 아니다. 오히려 그 반대이다. 각 접근 방식, 개발적 평가를 포함한 모든 접근 방식은 특정 목적을 충족하고 특정 종류의 가치를 추가한다. 실제로, 7장에서 우리는 개발적 평가의 형성적 사용 틈새를 검토할 것이다: 혁신적 아이디어 또는 비전적 개입의 개발을 탐구하는 기간 동안의 개발적 평가를 통해 새로운 모델을 전통적인 형성적 및 총괄적 평가를 위해 준비하는 것에 초점을 맞추는 것이다. 이는 혁신이 광범위한 영향을 위해 확장 가능한 잠재적 모델인지 확인하는 데 중점을 둔다. 설명을 덧붙이겠다.
왜 구분이 중요한가
Why Distinctions Matter
언어는 중요하다. 용어는 중요하다. 구분은 중요하다. 위대한 학자이자 인간의 모든 것을 관찰한 Dr. Seuss(1953)는 그의 어린이 이야기 "Too Many Daves"에서 구분을 하지 않는 결과를 설명했다. Mrs. McCave는 23명의 아들이 있었고, 모두 Dave라고 이름 지었다. 그녀가 특정 Dave를 원해서 그의 이름을 부르면 23명의 Dave가 모두 달려왔다.
평가 유형을 구분하지 않으면 같은 일이 발생한다. 《평가의 새로운 방향(New Directions for Evaluation)》의 전체 한 권이 "평가에서 언어가 왜 중요한가(How and Why Language Matters in Evaluation)"에 할애되었다(Hopson, 2000).
이 책은 고유의 이름을 가진 독특한 유형으로서의 개발적 평가에 관한 것이다. 위대한 언어학자이자 인류학자인 Edward Sapir(1884–1939)는 Dr. Seuss와 동일한 요점을 지적했지만, 약간 더 학술적인 목소리로 말했다:
"인간은 그들의 사회의 표현 수단이 된 특정 언어에 매우 종속되어 있다. 우리는 우리 커뮤니티의 언어 습관이 특정 해석의 선택을 유도하기 때문에 우리가 보는 것과 듣는 것, 그리고 다른 방식으로 경험하는 것들을 경험한다." (Rheingold, 1988, p. 11에서 인용)
복잡성과 현실에 직면하기: 혹은 복잡성의 현실에 직면하기
Facing Complexity and Facing Reality: Or, Facing the Realities of Complexity
지난 10년 동안, 독특한 접근 방식으로서의 개발적 평가가 사회 혁신가들에게 특히 관련성이 높고 매력적이라는 것을 알게 되었다. 이 사람들은 빈곤, 홈리스, 지역 사회 및 가정 폭력과 싸우며 에이즈, 심각한 장애, 만성 질환, 자연 재해 및 전쟁의 피해자들을 돕는 등 주요 사회 변화를 일으키려고 노력하고 있다. 사회 혁신가들이 직면하는 몇 가지 어려운 도전 과제에는 회의론, 비판, 반대자, 불신자, 그리고 항상 존재하는 실패의 가능성, 어쩌면 실패의 가능성이 포함된다. 캐나다의 동료 Frances Westley와 Brenda Zimmerman과 나는 성공적인 사회 혁신과 비전적 사회 혁신가를 연구했다. 우리는 우리가 발견한 것을 《Maybe: 세상이 어떻게 바뀌는가(Getting to Maybe: How the World Is Changed)》(Westley, Zimmerman, & Patton, 2006)라는 책에 보고했다. 우리는 내부 및 외부의 장애물에 직면하여 혁신을 유지하기 위해 강력한 확신이 필요하다는 것을 발견했다. 변화의 주체가 된다는 것은 대담하게 생각하고 크게 구상하는 것이다. 복잡성 이론은 작은 행동에서 큰 변화가 발생할 수 있음을 보여준다. 변화는 가능성, 심지어 "불가능"에 대한 믿음을 포함한다.
더욱이, 사회 혁신가들은 선형적인 변화 경로를 따르지 않는다; 상승과 하강, 역동적 상호작용의 롤러코스터, 예상치 못한 분기점, 임계 질량의 모멘텀 변화 등이 있다. 실제로, 시스템 변화가 새로운 것에 대한 저항과 반발을 일으키면서 상황이 좋아지기 전에 종종 나빠진다.
전통적인 평가 접근 방식은 이러한 격변에 적합하지 않다. 전통적인 평가는 혼돈에 질서를 부여하고 예측하며 통제하려 한다. 개발적 평가는 복잡성에 직면하여 사회 혁신의 세계가 펼쳐지는 방식으로 이러한 격변을 수용한다. 개발적 평가는 무질서하고 불확실한 세계에 질서와 확실성을 부과하려고 하기보다는 복잡한 비선형 역학의 현실에 적응한다.
전반적으로, 나는 평가가 비전가들 사이에서 나쁜 평판을 가지고 있다는 것을 알게 되었다. 이는 여러 가지 이유로, 일부는 공정하고 일부는 그렇지 않다. 리더들은 진정한 신자들, 긍정적인 사고자들, 그리고 희망을 영원히 품는 사람들을 끌어들이고 주위에 모으는 경향이 있다. 이는 특히 초기 단계에서 사회 혁신의 흐름과 모멘텀을 추가한다. 비판은 창의성을 약화시키는 것으로 잘 알려져 있다—브레인스토밍 연습에서 금지된 이유이다. 따라서 비전가들은 초기 과정에서 비전을 창출하고 동맹과 추종자를 모집하는 동안 비판을 피하는 경우가 많다. 에너지는 항상 부족하기 때문에 세상을 바꾸려는 사람들은 에너지를 할 수 있는 일, 강점에 집중한다.
또한, 사회 혁신 영역에서 일하는 많은 사람들, 특히 사회 기업가와 발명가(Conger, 2009)는 그들의 사업 본질과 전혀 관련이 없어 보이는 평가 방법을 경험했다. 예를 들어, 혁신 프로젝트의 시작에서 명확하고 구체적이며 측정 가능한 결과를 식별하는 것은 어렵거나 역효과를 낼 수 있다. "결과는 우리가 참여하면서 나타날 것입니다,"라고 사회 혁신가들은 말한다.
"내 세상에서는 그렇지 않다,"라고 기금 제공자와 평가자는 대답한다. "명확한 목표는 참여 전에 설정되어야 합니다. 그리고 목표를 달성하는 방법을 보여주는 명확한 변화 모델, 논리 모델이 필요합니다."
"내 세상에서는 그렇지 않다,"라고 사회 혁신가들은 대답한다. "시간이 중요하고 잃을 시간이 없다. 매 순간이 중요하다. 우리는 뛰어들어 무엇을 할 수 있는지 봐야 한다." 그리고 이렇게 기금 제공자, 기금 제공자가 위임한 평가자, 사회 혁신가 간의 전쟁이 시작된다.
불행히도, 평가에 대한 저항은 현실 검증에 대한 저항이 될 때 사회 혁신을 약화시킬 수 있다. 그리고 평가는 궁극적으로 현실 검증, 즉 무슨 일이 일어나고 있는지, 무엇이 달성되고 있는지에 대해 실질적으로 알아보는 것이다—작동하는 것과 작동하지 않는 것을 모두 검토하는 것이다. Unfortunately, resistance to evaluation can undermine social innovation if and when it becomes a resistance to reality testing. And evaluation is ultimately about reality testing, getting real about what’s going on, what’s being achieved—examining both what’s working and what’s not working
《Good to Great》의 저자 Jim Collins(2001)는 그의 연구 팀과 함께 좋은 회사가 "위대한" 회사가 되는 방법을 연구했다. 그의 연구에 적격한 회사는 많지 않았다. 좋은 회사에서 위대한 회사로 전환한 회사는 거의 없었지만, 전환한 모든 회사는 위대한 비전에 대한 절대적 헌신과 현실을 직시하는 철저한 헌신 사이의 역설을 살아가는 리더를 가지고 있었다. Collins는 이를 "Stockdale 역설"이라고 불렀으며, 이는 베트남 전쟁 중 수년간의 고문을 견딘 유명한 미국 해군 장교 James Stockdale을 기리기 위한 것이다. Stockdale은 자신이 살아남을 것이라는 확고한 믿음과 포로 생활의 현실에 대한 끊임없는 경계심을 가지고 있었다. 그는 자신과 동료 포로에게 일어나고 있는 일에 끊임없이 주의를 기울였고, 생존 전략과 전술을 이에 맞추어 조정했다. 짧은 기간 동안의 비정상적으로 좋은 대우 후, 그는 선전 도구로 사용될 것을 깨닫고 자신의 얼굴을 스스로 훼손하여 그렇게 사용될 수 없게 만들었다. Stockdale이 일상적인 가혹한 현실 속에서도 어떻게 계속해서 희망을 가질 수 있었는지 궁금했던 Collins는 그에게 포로 생활에서 살아남지 못한 사람들을 어떻게 묘사할 것인지 물었다. 그것은 쉽다, Stockdale은 즉시 대답했다: 그들은 낙관주의자들이었다, 크리스마스까지 풀려날 것이라고 말하던 사람들, 그리고 부활절까지, 그리고 여름이 끝날 때까지, 그리고 다시 크리스마스까지, 항상 미래의 어떤 희망적인 목표에만 집중하던 사람들. 그들은 결국 마음의 상처로 죽었다고 그는 말했다.
Collins의 연구 팀이 연구한 "Good to Great" 회사들은 모두 주변 사람들에게 망상처럼 보이는 미래에 대한 확고한 믿음과 그들이 직면한 현실에 대한 집착을 공유했다. 그들은 자신의 계획의 결과를 모니터링하고, 무엇이 작동하는지, 무엇이 작동하지 않는지, 그리고 환경이 어떻게 변하는지에 대한 실시간 피드백을 받았다. 그들은 비전과 현실 검증, 희망과 데이터를 반대되는 것으로 보지 않았다. 오히려 그들은 비전 중심의 현실 검증에 몰두했다: 장밋빛 안경도, 맹점도, 긍정적 사고도 없었다. 철저한 현실 주의는 비전을 달성하는 공통된 길이었다.
낙관주의와 비관주의, 꿈꾸기와 현실 검증 사이의 긴장을 해결하는 열쇠는 변화하는 현실을 추적하고, 현실에 대한 관점을 조명하며, 현실 검증이 혁신의 역동성을 촉진하고 지원하도록 실시간으로 의미 있는 발견을 피드백하여 평가 방법을 혁신의 요구에 맞추는 것이다. 이것은 단순히 할 수 있는 것은 아니지만, 사회 혁신을 적응하고 지속하는 데 중요할 수 있다. 개발적 평가는 개발적, 출현적, 혁신적, 변혁적 과정을 조화롭게 하도록 설계되었다.
복잡성에 대한 단순한 반응: 복잡성 접근법으로서의 개발적 평가의 맥락
Simple Reactions to Complexity: Context for Developmental Evaluation as an Approach to Complexity
수년간 나는 복잡성을 다루는 방법을 평가자에게 설명하는 많은 평가 안내서, 입장 논문, 용어집, 작업 범위를 검토해왔다. 나를 강타한 공통 주제는 먼저 복잡성을 부인하려고 하고(복잡한 것을 단순하게 재정의함), 그것이 실패하면 복잡성을 통제하려는 이중 노력이다. 다음은 내가 수집한 처방의 예로, 복잡성을 인정하고 다루기 위한 대안으로서 개발적 평가를 등장시키는 지배적인 세계관을 느낄 수 있게 해준다.
복잡성을 부인하는 전통적 처방
Conventional prescriptions for denying complexity
- 그렇다, 세상은 복잡하다. 하지만 그것을 변명으로 삼지 마라. 단순화하고 집중해라. 복잡해 보이는 것은 아직 집중하지 않았기 때문이다.
- 개입 방법에 대한 프레임워크가 없을 때만 복잡해 보인다. 명확한 프레임워크는 복잡성을 단순화하고 관리 가능하게 만들며 자원을 어디에 집중해야 할지 알려준다.
- 소음을 뚫고 본질을 찾아라. 복잡성에 방해받지 마라. 핵심 지표에 대해 조치를 취하고 차이를 만들어라. 지표의 변동을 이끌어내면 복잡성은 저절로 해결될 것이다.
복잡성을 통제하는 전통적 처방
Conventional prescriptions for controlling complexity
- 복잡성에 직면했을 때 첫 번째 작업은 명확하고 구체적이며 측정 가능한 목표를 설정하는 것이다. 명확한 방향과 측정 가능한 목표는 복잡성을 바로 뚫고 지나간다.
- 모든 것이 복잡해 보일 때까지는 논리 모델을 사용해라. 복잡성을 명확하고 순차적이며 논리적인 일련의 구체적인 행동으로 정리해라.
- 평가가 가장 효과적이고 유용할 때는 불확실한 것을 확실하게 만들고, 모호한 것을 명확하게 하며, 알려지지 않은 것을 알려지게 하고, 예측할 수 없는 것을 예측 가능하게 하며, 복잡한 것을 단순하게 만드는 것이다.
- 프로그램이 복잡성을 관리하고 통제해야 책임성이 있다. 평가는 그것을 가능하게 한다.
복잡성 회피를 정당화하기 위한 평가 문서에서 발견된 전통적 인용문
Conventional quotations found in evaluation documents to justify avoiding complexity
- "위대함만큼 단순한 것은 없다; 사실, 단순함이 위대함이다."—시인 랄프 월도 에머슨
- "작업을 작은 일로 나누면 어렵지 않다."—산업가 헨리 포드
- "단순한 것 외에는 진실이 없다."—독일 문학가 요한 볼프강 폰 괴테
- "삶은 정말 단순하다. 그러나 인간은 그것을 복잡하게 만들기를 고집한다."—중국 철학자 공자
- "사물은 가능한 한 단순하게 만들어야 하지만, 더 단순하게 만들어서는 안 된다."—물리학자 알베르트 아인슈타인
그리고 아인슈타인의 지혜가 개발적 평가와 이 책에 영감을 준다.
개발적 평가와 복잡성 이론
Developmental Evaluation and Complexity Theory
"우리는 신속하게 적응하는 시대에 들어섰다."—뉴욕 타임즈의 퓰리처 상 수상 비평가 미치코 카쿠타니 (2009, p. C1)
복잡성은 혁신과 평가에 관련된 여러 실을 엮어낸 광범위한 개념이다. Exhibit 1.1은 이 책에서 사용할 몇 가지 복잡성 개념인 비선형성, 출현, 역동적 시스템, 적응성, 불확실성, 공동진화 과정을 요약한다. 혁신은 새로운 것, 출현하는 것, 적응하는 것으로서 복잡 적응 시스템과 관련된 특성과 역동성을 보여준다. 마찬가지로, 개발적 평가는 상황에 대한 민감성, 대응성, 적응성에 중점을 두며, 높은 불확실성 상황에서 적합한 평가 접근법이다. 무엇이 나타날지, 그리고 무엇이 나타날지는 상대적으로 예측할 수 없고 통제할 수 없는 상황에서 개발적 평가는 나타나는 것을 추적하고 이해하려고 시도하며, 혁신이 전개됨에 따라 발생하는 역동성, 상호작용 및 상호 의존성을 문서화하고 해석한다.
복잡한 상황에 특히 적합한 개발적 평가를 위치시키려면 시스템 사고와 복잡성 이론에 대한 간단한 탐구가 필요하다. 4장과 5장에서 이러한 아이디어와 그 의미를 심도 있게 살펴볼 것이다. 서문으로서, 이것이 길을 잃기 쉬운 위험한 지형이라는 경고를 할 가치가 있다. 그랜드 캐니언의 험준한 황야 지역을 하이킹할 때, 나는 하강 중 한 갈림길을 놓치고 잘못된 배수로를 따라 내려갔다. 15분 만에 실수를 깨달았지만, 나는 급경사면에 있었고, 배수로, 협곡, 능선이 모이고, 갈라지고, 교차하는 곳이었다. 여러 방향을 시도한 끝에 동료들에게 돌아가는 길을 찾는 데 몇 시간이 걸렸다. 메인 관광로를 벗어난 그랜드 캐니언 황야 하이킹은 우회하고 길을 잃을 많은 기회를 제공했으며, 우리는 계획하지 않은 우회 모험에 무의식적으로 그리고 예상치 못하게 끌려갔다. 이런 불확실하고 출현하는 모험은 저명한 캐니언 하이커들, 예를 들어 1,000일 이상 캐니언을 하이킹하고 약 12,000마일을 이동하며 23개의 첫 등반을 기록하고 종종 길을 잃어 때로는 끔찍한 결과를 초래한 유명한 하비 버처트와 같은 사람들에 의해 보고된다(Butler & Myers, 2007; Patton, 1999).
그렇다, 우회로, 예상치 못한 우회. 길을 잃음. 험한 지형을 탐색하기. 협곡과 능선을 협상하기. 가파른 오르막과 무서운 내리막. 갈라지고, 모이고, 교차하는 것. 나타나는 것을 주시하기. 예상치 못한 것을 예상하기. 흐름에 따라가기. 격동의 물결과 파도를 타기. 이러한 비유와 은유는 복잡성과 개발적 평가의 특징이다. Unexpected detours. Getting lost. Navigating tough terrain. Negotiating ravines and ridges. Steep ascents and terrifying descents. Diverging, converging and crisscrossing. Watching for what emerges. Expecting the unexpected. Going with the flow. Riding cascades and waves of turbulence. These are the allusions and metaphors of complexity. And of developmental evaluation. 복잡성 저작물은 복잡한 현상을 인간의 뇌가 필요로 하는 질서, 의미, 패턴, 이해, 통제를 이해할 수 있도록 하기 위해 은유로 가득 차 있다. 우리는 종종 무슨 일이 일어나고 있는지 모른다. 하지만 우리가 알고 있다는 가정은 위안이 된다—그리고 때로는 행동을 위한 노력이 필요하다.
그래서 복잡성 이론가들은 날개를 퍼덕이는 나비가 날씨 시스템을 바꾸고 허리케인을 일으키고, 개별 점액곰팡이가 유기적 전체로 자가 조직화되며, 여왕을 향한 개미 군집의 분주한 봉사가 집단 지성으로 우리를 매료시키고, 눈사태가 산의 생태계를 재구성하고, 자기 인식 능력 없이 시스템의 일부를 아는 박테리아, 그리고 세계를 갑자기 그리고 예측할 수 없게 변화시키는 검은 백조에 대해 이야기한다. 복잡성 과학은 글로벌 주식 시장의 수십억 개의 상호작용, 전 세계의 질병 확산, 변덕스러운 날씨 시스템, 종의 진화, 대규모 생태 변화, 철새 무리의 비행을 이해하는 데 통찰을 제공한다. 복잡성 이론가는 문명의 흥망성쇠와 낭만적 열정의 흥망성쇠를 설명한다. 이는 많은 영역을 다룬다. 나는 단지 평가의 흥망성쇠에 대한 관심을 추가하려고 한다.
Exhibit 1.1 복잡 적응 시스템의 특성
Exhibit 1.1 Characteristics of Complex Adaptive Systems
- 비선형성: 초기 조건에 대한 민감성; 작은 행동이 큰 반응을 유발할 수 있음. 따라서 나비 날개(Gleick, 1987)와 검은 백조(Taleb, 2007) 은유는 매우 불확실하고 예측할 수 없으며 예상치 못한 사건이 큰 영향을 미친다는 것을 의미함.
- 출현: 상호작용하는 에이전트 간의 자가 조직화에서 패턴이 나타남. 나타나는 것은 공유된 의도성과는 무관하게 나타나며, 각 요소는 자신의 경로를 따르지만 경로가 교차하고 요소들이 상호작용하면서 상호작용 패턴이 나타나고 상호작용의 전체가 개별 부분보다 더 커짐.
- 역동성: 시스템 내, 사이, 그리고 부분 간의 상호작용이 불안정하고, 급격하며 예측할 수 없음.
- 적응성: 상호작용하는 요소와 에이전트는 서로에게 반응하고 적응하며, 출현하고 진화하는 것은 상호작용 요소 간의 지속적인 적응과 에이전트가 환경과 상호작용하는 반응적 관계의 함수임.
- 불확실성: 복잡한 조건 하에서는 과정과 결과가 예측할 수 없고, 통제할 수 없으며, 미리 알 수 없음. 《Maybe World》 (Westley et al., 2006)은 복잡한 조건에서 개입이 "어쩌면" 세계에서 이루어지는 감각을 포착함.
- 공진화: 상호작용하고 적응하는 에이전트가 자가 조직화하면서, 에이전트가 시스템 전체 내에서 함께 진화(공진화)함에 따라 지속적인 연결이 나타남.
Exhibit 5.6: 각 복잡성 차원의 개발적 평가 의미는 5장에서 다룸
복잡한 문제로서의 빈곤 프레임
Framing Poverty as a Complex Issue
Mark Cabaj(2009a, 2009b)는 캐나다 전역에서 활동하는 종합적이고 혁신적인 빈곤 퇴치 프로그램인 Vibrant Communities와 협력하는 개발적 평가자이다. 그는 동료들과 함께 캐나다 전역의 Vibrant Communities 협업에서 8년간의 학습을 종합하였다. 그들의 중요한 학습 목록의 맨 위에는 빈곤을 복잡성의 렌즈를 통해 보는 것의 중요성이 있다.
간단하거나 복잡한 문제가 최선의 실천이나 광범위한 연구와 계획을 통해 효과적으로 해결될 수 있는 것과 달리, 빈곤은 복잡한 문제이다. 이는 다음을 의미한다:
- 정의하기 어렵다.
- 얽혀있는 근본 원인을 가지고 있다.
- 다양한 가치, 관심사, 입장을 가진 이해관계자가 관련된다.
- 사람마다, 커뮤니티마다 다르다.
- 끊임없이 진화한다.
- 명확한 답이나 성공의 척도가 없다.
Vibrant Communities와의 개발적 평가 작업은 이해관계자들을 동원하고, 전략을 수립하고 평가하며, 전통적인 조직에 의해 구현되는 둔하고 서투른 실천이 특징인 빠르게 변화하는 환경과 불가피한 긴장으로 특징지어지는 장기적인 노력을 감독하는 적응적 접근 방식을 사용하는 것을 의미했다.
컴퓨터 과학자인 Alan Perlis는 다음과 같이 말했다:
"어리석은 사람들은 복잡성을 무시한다. 실용주의자들은 그것을 견딘다. 일부는 그것을 피할 수 있다. 천재들은 그것을 제거한다. 단순성은 복잡성에 앞서지 않고, 그 뒤에 온다." (Cabaj, 2009a에서 인용)
유용성
Utility
복잡성에 끌리는 이유는 특정 평가 과제를 이해하는 데 유용하기 때문이다. 복잡성 개념은 특정 상황에 적합한 평가 대응을 식별하고 프레임하는 데 사용될 수 있으며, 여기서 개발적 평가라고 부르는 것이다. 이는 복잡성을 다루는 것이 개발적 평가의 틈새를 정의하는 특징이 된다. 복잡 적응 시스템에서 작동하는 원칙은 개발적 평가의 실천을 알려준다. 복잡성 아이디어와 함께 오는 논쟁과 도전도 개발적 평가에 영향을 미칠 것이다. 복잡성 사고의 통찰력과 이해는 사회 혁신가들의 관심을 끌고 열정을 불러일으킬 것이며, 개발적 평가를 둘러싸고 그 유용성의 원천이 될 것이다. 미리 경고를 받으면 준비가 된다. 당신은 여기서 불확실한 시작, 혼란스러운 중간, 예측할 수 없는 끝을 가지고 있으며, 이는 끝없이 이어진다. 이는 사진작가이자 도발자인 Robert Frank가 "처음과 끝이 있는 그 망할 이야기들"을 저주한 역설적 편안함의 영역이다 (Lane, 2009, p. 88에서 인용). 애매함에 대한 높은 관용과 큰 모험 감각을 가진 사람들에게는 이것이 흥미로운 세계이다. 예측 가능성과 확실성을 추구하는 사람들에게는 그다지 그렇지 않을 것이다.
예상치 못한 상황 다루기
Dealing with the Unexpected
실패한 실험이란 존재하지 않는다, 단지 예상치 못한 결과를 가진 실험만이 있을 뿐이다.
—R. Buckminster Fuller(1895–1983), 비전가이자 발명가
개발적 평가는 뛰어난 평가자인 Jon Morell이 "기민한 평가자agile evaluators"라고 부르는 것을 요구하며, 이는 예상치 못한 상황을 예상하고 민첩하고 유연하게 적응하는 것을 배우는 사람들이다. 여기에는 평가 설계를 변경하고, 프로그램 이론을 재구성하며, 새롭게 등장하는 이해관계자의 요구에 응답하는 것이 포함된다 (Morell, 2010). 평가는 예상치 못한 결과를 찾고 부작용을 평가하는 것에 대한 많은 언급이 있지만, 실제로는 이러한 요소들은 평가 설계의 토큰 요소이며, 예산이 부족하고, 의도된 결과를 측정하고 선입견 있는 성과 지표를 추적하는 데 압도적으로 초점을 맞추기 때문에 진지한 시간과 관심을 받는 경우는 드물다. 실제 세계에 나가서 현장 작업을 하고, 프로그램 참가자들과 대화하고, 혁신이 전개됨에 따라 무슨 일이 일어나고 있는지 관찰해야 예상치 못한 결과를 감지할 수 있다. 예상치 못한 것과 예측할 수 없는 것에 대해 평가자가 접근하는 방식과 달리, 복잡성과 개발적 평가자는 예상치 못한 결과의 가능성이 높아지며, 예상치 못한 것을 예상하는 것을 기본 작업으로 삼는다.In contrast to the casual and if-we-get-to-it-and-have-time-and-resources-after-everything-else-is-done way that evaluators typically approach the unexpected and unanticipated, the possibilities of unexpected impacts become likelihoods under conditions of complexity and developmental evaluators make expecting the unexpected fundamental to the work at hand. 조직 개발 연구자 Weick와 Sutcliffe(2001)는 고성과 조직이 항상 예상치 못한 것을 찾고 있다는 것을 발견했다. 고성과 개발적 평가자도 마찬가지이다.
글로벌 복잡성, 로컬 복잡성
Global Complexity, L ocal Complexity
이 책이 집필되던 2008-2009년에 뉴스는 글로벌 복잡성의 증거로 가득 찼다: 2008년 10월에 시작된 글로벌 경제 붕괴와 금융 위기는 상호 연결되고 상호 의존적인 글로벌 경제의 복잡한 비선형 역학을 드러내며, 불확실성과 쓰나미 같은 파급 효과로 가득했다. 버락 오바마가 미국 대통령으로 당선된 것은 글로벌 정치 지형을 변화시켰으며, 이는 그가 특정한 이유가 아닌 일반적인 이유로 2009년 노벨 평화상을 수상했을 때 강조되었다. 기술 혁신과 인터넷의 장기적인 효과는 아직 진행 중이며, 그 의미는 이제 막 드러나기 시작했다. 세계적인 독감 팬데믹의 위협은 관광, 상업, 여행, 지역 사회 생활에 급격한 영향을 미치고 있다.
이러한 글로벌 복잡성은 로컬 불확실성과 예상치 못한 발전으로 하향 나선형을 그리며 나타난다. 자선 재단의 기부금이 큰 타격을 받았을 때, 자금 지원을 받을 것으로 생각했던 일부 프로그램과 기관은 갑자기 자금 없이 문을 닫아야 했다. 지방 및 주 정부는 막대한 적자에 직면하고 있으며, 그 결과는 불확실하다. 미국 연방 적자는 전례 없는 속도로 증가하고 있다. 특히 인구의 고령화는 사회 모든 수준에서 새로운 서비스 수요를 창출하고 있다. 의료 개혁의 효과는 수년 동안 알려지지 않을 것이며, 아직 정착되지 않았다. 기후 변화가 다가오고 있다. 오늘날 아무도 글로벌 변화의 불확실하지만 매우 실제적인 역학을 의심하지 않는다.
큰 그림의 글로벌 시스템 관점에서, 이러한 복잡한 현상은 상호 연결되어 있다: 경제, 정치, 인구통계학, 환경, 사회, 문화, 기술 및 건강 시스템이 상호 연관되고 상호 작용하며 상호 의존하여, 그 결과를 알 수 없고 예측할 수 없다. 평가자들이 고정되고 정적인 논리 모델을 만들 때 이것을 '맥락CONTEXT'이라고 부르는 경우가 많다. 그러나 글로벌 복잡성과 역동성은 단지 맥락이 아니다. 그것들은 프로그램이 운영되는 변화된 조건, 참가자가 프로그램에 가져오는 새로운 문제, 출현하는 요구를 충족시키는 새로운 도전으로 로컬 현실에 나타난다. 이러한 잘 문서화되고 만연한 복잡성은 공공 의식의 일부가 되었으며, 이론가들이 비선형 역학이라고 부르는 것의 로컬 증거와 "Shit Happens"라는 범퍼 스티커 슬로건으로 잘 알려져 있다.
세상이 복잡하다는 것을 사람들에게 설득하는 데 많은 노력이 필요하지 않다. 증거는 그들 주변에 있다. 문제는 그 복잡성에 어떻게 대응하고 적응할 것인가이다. 이는 더 이상 변화를 일으키려는 사람들과 변화를 생존하려는 사람들만의 문제가 아니다. 그것은 변화를 평가하는 사람들에게도 문제이다. 평가자들은 복잡성의 현실에 어떻게 대응하고 적응하는가? 개발적 평가는 하나의 응답이다.
개발적 평가와 단일 루프 대 이중 루프 학습
Developmental Evaluation and Single-Loop versus Double-Loop Learning
개발적 평가는 변화를 일으키는 행동에 대한 학습을 지원한다. 이는 종종 시스템을 변화시키는 것을 의미하며, 시스템에서 무슨 일이 일어나고 있는지에 대한 더 깊은 이해로 나아가는 것을 포함한다. 사회 혁신가와 사회 기업가들은 일반적으로 시스템에 근본적인 변화를 일으키고 세상을 변화시키려고 노력한다(Bornstein, 2007). 그렇게 하기 위해서는 그들이 변화시키고자 하는 시스템이 어떻게 작동하는지 이해하고 일시적이고 표면적인 해결책을 넘어 시스템 자체를 변화시키는 변화를 만들어야 한다. 이는 이중 루프 학습을 포함한다.
수십 년 동안 세 가지 이야기가 끊임없이 반복되었다: 절벽 아래에 구급차가 늘어서 있는 대신 절벽 위에 울타리를 세우는 이야기; 강에서 많은 시신이 떠내려오는 동안 더 인상적인 서비스로 그것들을 낚아 올리는 이야기; 누군가에게 물고기를 주는 것과 그 사람에게 물고기 잡는 법을 가르치는 것의 가치에 대한 이야기. 호주 액션 리서치 학자인 Yolande Wadsworth(2010)는 이 이야기를 검토하면서, 이는 우리가 시스템이 작동하는 방식을 이해하고 변경하는 대신 단기적인 빠른 해결책을 찾는 경향을 상기시켜주는 것이라고 언급했다. 이중 루프 학습은 시스템적 해결책을 포함하며, 시스템 설명을 찾고 시스템적 통찰을 제공하는 평가에 의해 지원된다. 5장은 시스템 사고가 개발적 평가를 어떻게 알리는지 심도 있게 탐구한다.
Argyris와 Schön(1978)은 단일 루프 학습과 이중 루프 학습을 구별했다.
- 단일 루프 학습에서 사람들은 원하는 결과와 실제 결과의 차이를 평가하고 원하는 결과의 달성을 증가시키기 위해 행동을 수정한다. 본질적으로 문제 감지 및 수정 과정이 단일 루프 학습이다. 단일 루프 학습은 온도 조절기가 너무 덥거나 추울 때를 알고 열을 켜거나 끄는 것과 같다. 온도 조절기는 방의 온도를 감지하고 즉각적인 수정 조치를 취할 수 있기 때문에 이 작업을 수행할 수 있다.
- 이중 루프 학습에서는 문제를 식별하고 해결책을 찾는 단일 루프를 넘어, 문제를 처음에 일으킨 가정, 정책, 관행, 가치, 시스템 역학을 질문하고 시스템 관계와 기능을 수정하는 방식으로 개입하는 두 번째 루프를 포함한다. 즉각적인 결과를 개선하기 위한 변경은 단일 루프 학습이다; 문제를 예방하거나 해결책을 변경된 시스템에 내재화하기 위해 시스템을 변경하는 것은 이중 루프 학습을 포함한다.
이중 루프 학습의 예
An Example of Double-Loop Learning
하버드 의대 외과 의사 Atul Gawande(2007a)는 이라크 전쟁 초기 월터 리드 군 병원을 방문한 이야기를 전한다. 그는 눈 부상 통계를 해석하는 세션에 참여했다. 의사들은 일부 군인들을 실명에서 구하는 데 상당한 성공을 거두었는데, 이는 긍정적인 결과였다. 그러나 더 깊이 파고들면서, 왜 그렇게 많은 심각한 눈 부상이 발생하는지 물었다. 환자들과 인터뷰한 결과, 젊은 군인들이 보호 고글을 착용하지 않는 이유가 그것이 너무 못생기고 멋지지 않다고 생각했기 때문이라는 것을 알게 되었다. 그들은 군대에 "더 멋져 보이는 Wiley X 탄도 안경"으로 교체할 것을 권장했다. 군인들은 안경을 더 일관되게 착용했고, 눈 부상률은 즉시 감소했다(p. A23). 이러한 종류의 더 깊은 질문을 통해 무슨 일이 일어나고 있는지, 왜 그런 일이 발생하는지에 대한 기본 가정을 질문함으로써, 개발적 평가자들은 근본적인 시스템 변화의 의미와 이해를 돕는다. 이것이 이중 루프 학습이다.
해석 프레임워크의 중요성
The Importance of Interpretive Frameworks
경영학 학자 Kathleen Sutcliffe와 Klaus Weber(2003)는 고위 경영진이 사용하는 정보의 양과 정확성 및 그들이 정보를 이해하기 위해 사용하는 "해석 프레임워크"와 관련하여 비즈니스 조직의 성과를 조사했다. 하버드 비즈니스 리뷰 기사에서 그들은 고위 경영진이 비즈니스 환경을 해석하는 방식이 그들이 가진 데이터의 정확성보다 성과에 더 중요하다고 결론지었다. 즉, 그들은 고위 경영진이 가진 데이터의 정확성을 약간 높이는 데 많은 돈을 쓰는 것보다 그들이 가진 데이터를 해석할 수 있는 능력을 향상시키는 것이 더 가치가 있다고 결론지었다. 경영진은 데이터의 부정확성이나 불충분성보다는 데이터를 이해하는 능력의 부족에 더 제한되었다. 본질적으로 그들은 해석 능력, 즉 "사고 방식"이 데이터의 질과 정확성보다 높은 성과를 구별한다고 발견했다. 결국, 그들은 고위 관리자의 역할은 단순히 결정을 내리는 것이 아니라, 모호성과 상충하는 요구에 직면하여 방향을 설정하고 다른 사람들을 동기 부여하는 것이라고 결론지었다. 결국, 최고 경영진은 정보를 관리하는 만큼 의미를 관리해야 한다.
더 나은 방법과 측정을 통해 평가 데이터의 질과 정확성을 향상시키는 것은 데이터를 사용하는 사람들이 평가적이고 비판적으로 사고하고 적절하게 결과를 해석하여 합리적이고 지지할 수 있는 결론에 도달할 수 있는 능력을 갖추지 않는 한, 큰 가치를 추가하지 못할 것이다. 시스템 사고, 복잡성 이론, 개발적 평가가 함께 해석 프레임워크를 제공하여 의미를 파악하는 데 참여할 수 있다. 복잡성에 민감한 개발적 평가가 진행됨에 따라, 사회 혁신가들은 특정 시점에서 자신이 어디에 있는지 관찰하고, 가능한 것과 바람직한 것에 대한 대화를 바탕으로 조정을 한다. 그러나 "바람직한" 것에 대한 기준은 상황에 따라 다를 수 있으며 항상 변경될 수 있다.
개발적 평가와 책임성
Developmental Evaluation and Accountability
복잡성 기반 개발적 평가는 책임성의 위치와 초점을 이동시킨다. 전통적으로 책임성은 외부 권위자와 자금 제공자에게 초점을 맞추고 지향되었다. 책임성 중심의 평가자는 자원이 적절히 사용되고 있는지 확인하는 의사 결정자에게 독립적으로 보고한다.
대조적으로, 비전과 가치에 기반한 사회 혁신가들에게 최고 형태의 책임성은 내부에 있다. 우리는 말한 대로 행동하고 있는가? 우리는 우리의 비전에 충실한가? 우리는 현실을 직시하고 있는가? 현재의 현실과 우리의 비전 사이의 연결을 하고 있는가? 그리고 어떻게 알 수 있는가? 무엇이 다르고, 무엇이 나타나는지 관찰하고 있는가? 이러한 질문들은 내면화되며, 그들은 알고 싶어하기 때문에 지속적으로, 치열하게 질문된다. 혁신을 자금 지원하는 사람들도 질문에 참여하고, 진지한 탐구와 그로 인한 학습이 책임성을 구성한다는 것을 이해해야 한다.
그렇다고 이러한 질문을 하고 불확실한 답변을 탐구하는 것이 쉬운 것은 아니다. 자신이 자기 자신을 속이고 있을 가능성에 직면하는 데는 용기가 필요하다. 여기서 개인의 내부 및 개인적 책임감은 그룹의 집단적 책임감과 연결되고, 궁극적으로는 기관 및 사회적 책임성의 문제를 다루기 위해 다시 거시적 수준으로 연결된다. 이러한 책임성에 대한 논의 동안 초점은 여전히 다음과 같다: 무엇이 개발되고 있는가? 그 의미는 무엇인가?
실시간 평가와 개발적 평가
Real-Time versus Developmental Evaluation
"실시간"은 일반적으로 데이터와 행동을 가능한 한 시간적으로 가깝게 연결하여 신속한 피드백과 대응을 의미한다. 실시간 데이터 분석의 궁극적인 예는 주식 시장 전환에 대한 보고를 마이크로초 단위로 제공하는 것이다. 병원에서는 실시간이 혈액 분석 또는 기타 진단 검사를 몇 분에서 한 시간 이내에 의사에게 제공하는 것을 의미한다. 평가 상황에서는 실시간이 보통 결과를 하루 이틀 또는 최대 몇 주 이내에 의도된 사용자에게 전달하는 것을 의미하며, 이는 몇 달이나 표준 분기 보고서 일정보다 짧다(일반적인 정보 시스템 보고 일정).
개발적 평가는 실시간 피드백을 목표로 하지만, 모든 실시간 데이터 사용과 평가가 개발적인 것은 아니다.
- 경찰서에서는 실시간 데이터를 사용하여 범죄율이 증가하는 지역으로 인원을 재배치한다. 이는 실시간 평가와 데이터 사용이지만, 개발적이지는 않다. 경찰의 이러한 실시간 데이터 사용은 신속 대응 관리 접근 방식을 구현하는 것이지만, 경찰은 그 접근 방식을 개발하고 있지는 않다.
- 반대로, 커뮤니티에서 범죄 데이터가 전국 범죄 조직이 커뮤니티에 침투하고 있음을 나타낸다면, 경찰은 갱단 모집, 침투 및 범죄와 싸우기 위해 태스크포스를 구성하고, 갱단이 경찰의 주목에 적응함에 따라 emergent한 효과를 모니터링하고, 경찰이 이에 따라 적응할 수 있도록 할 수 있다. 이는 개입이 실시간으로 나타나고, 평가 데이터를 사용하여 실시간으로 개입을 적응시키기 때문에 개발적 평가가 된다.
개발적 평가의 유용성 중심 접근
Developmental Evaluation as Utilization-Focused
개발적 평가는 개발을 명확히 지원하는 평가를 수행하는 하나의 옵션이자 접근법이 있다는 것을 전달하는 것을 목표로 한다. 이 책은 개발적 평가를 수행하는 틈새, 방법 및 도전 과제를 설명할 것이다. 이를 통해 나는 이 접근법을 유용성 중심 평가의 더 큰 맥락 내에 위치시킬 것이다 (Patton, 2008c). 유용성 중심 평가가 내가 가장 잘 알려져 있고 가장 밀접하게 관련된 것이므로, 개발적 평가가 유용성 중심 평가의 더 큰 맥락과 프레임워크 내에서 어떻게 흐르고 위치할 수 있는지 명확히 하는 데 잠시 시간을 할애하겠다.
유용성 중심 평가는 특정 주요 의도 사용자와 특정 의도된 용도를 위해 수행하는 평가이다. 유용성 중심 평가는 평가가 그 유용성과 실제 사용에 의해 판단되어야 한다는 전제로 시작한다. 따라서 평가자는 처음부터 끝까지 수행하는 모든 것이 사용에 어떻게 영향을 미칠지 신중하게 고려하여 평가 과정을 촉진하고 평가를 설계해야 한다. 사용은 실제 세계에서 실제 사람들이 평가 결과를 적용하고 평가 과정을 경험하는 방식을 의미한다. 따라서 유용성 중심 평가의 초점은 의도된 사용자가 의도한 사용을 달성하는 것이다.
개발적 평가에서 의도된 사용은 개발이며, 나는 이것이 독특하고 중요한 평가 목적이라고 주장할 것이다. 주요 의도 사용자는 사회 혁신가 및 주요 변화를 일으키기 위해 노력하는 사람들이다.
어떤 평가에서든 많은 잠재적 이해관계자와 다양한 사용이 존재한다. 유용성 중심 평가는 일반적이고 추상적인 가능성 있는 청중과 잠재적 사용에서 실제적이고 구체적인 실제 주요 의도 사용자와 그들의 명확한 구체적 사용으로 이동해야 한다. 평가자는 의도된 사용자가 판단, 의사 결정 및 행동을 촉진한다. 유용성 중심 관점에서 수행되는 개발적 평가는 혁신에 참여한 사람들이 자신의 행동의 영향을 검토하고, 자신의 행동으로부터 결과를 얻을 것에 대한 가설을 형성하고, 복잡성이 특징인 상황에서 불확실성에 직면하여 변화를 일으키는 방법에 대한 가설을 테스트하는 것을 돕는다.
유용성 중심 접근은 개인적이고 상황적이다. 평가 촉진자는 의도된 사용자와 협력 관계를 구축하여 그들이 필요로 하는 평가 유형을 결정하도록 돕는다. 이는 평가자가 기존 평가 표준과 원칙의 틀 내에서 다양한 가능성을 제시하는 협상을 필요로 한다. 따라서 유용성에 대한 관심이 유용성 중심 평가를 주도하지만, 평가자는 평가의 정확성, 실행 가능성 및 적절성에도 주의를 기울여야 한다(Joint Committee on Standards, 1994). 또한 전문가로서 평가자는 체계적이고 데이터 기반의 조사를 수행하고, 능숙하게 수행하며, 전체 평가 과정의 정직성과 무결성을 보장하며, 평가에 관련된 사람들을 존중하고, 일반 및 공공 복지와 관련된 다양한 관심사와 가치를 존중하는 행동 원칙을 따라야 할 책임이 있다 (American Evaluation Association [AEA], 1995).
유용성 중심 평가는 특정한 평가 내용, 모델, 방법, 이론 또는 사용을 옹호하지 않는다. 오히려 이는 주요 의도 사용자가 그들의 특정 상황에 가장 적합한 내용, 모델, 방법, 이론 및 사용을 선택하도록 돕는 과정이다. 상황적 대응성Situational responsiveness은 평가자와 주요 의도 사용자 간의 상호작용 과정을 안내한다. 이 책은 평가 분야에서 사용 가능한 옵션 중 하나로서 개발적 평가를 제시하고 논의한다. 유용성 중심 평가는 모든 평가 목적(형성적, 총괄적, 개발적), 모든 종류의 데이터(정량적, 정성적, 혼합적), 모든 종류의 설계(예: 자연주의적, 실험적) 및 모든 종류의 초점(과정, 결과, 영향, 비용 및 비용-편익 등)을 포함할 수 있다. 유용성 중심 평가는 이러한 문제에 대한 결정을 주요 사용자 그룹과 협력하여 내리는 과정이다.
유용성 중심 평가의 근간에는 사용의 심리학이 있다. 본질적으로, 연구와 나의 경험은 의도된 사용자가 평가 과정과 결과를 이해하고 소유감을 느낄 때 평가를 사용할 가능성이 더 높다는 것을 보여준다. 그들은 적극적으로 참여했을 때 이해하고 소유감을 느낄 가능성이 더 높다. 주요 의도 사용자를 적극적으로 참여시킴으로써 평가자는 사용자를 사용에 훈련시키고, 사용을 위한 기초를 마련하며, 평가의 의도된 유용성을 모든 단계에서 강화한다. 개발적 평가는 사회 혁신가와 개발적 평가자 간의 역동적인 파트너십을 창출함으로써 이러한 사용자 참여를 더 멀리 확장한다. 그 파트너십이 어떻게 구축되고, 그 장단점이 무엇인지가 후에 설명할 주제 중 하나가 될 것이다. 이 시점에서 "파트너십partnership”"이라는 언어가 평가자와 평가 대상자 간의 관계를 설명하는 데 일반적이지 않다는 것을 말하는 것으로 충분하다. 따라서 개발적 평가는 회의와 논란을 초대한다. 우리는 이에 대해 계속 다룰 것이다.
상황 인식
Situation Recognition
유용성 중심 평가의 핵심은 상황 인식이다. 평가를 수행하는 데 하나의 가장 좋은 방법은 없다. 이 통찰은 매우 중요하다. 특정 평가의 설계는 관련된 사람들과 그들의 상황에 달려 있다. 평가의 기준과 원칙은 전체적인 방향, 윤리적 지침의 기초, 그리고 전문적 능력과 무결성에 대한 헌신을 제공하지만, 특정 사용자와 특정 상황에서 무엇을 해야 할지 정확히 알 수 있는 절대적인 규칙은 없다. 이러한 도전을 인식하면서, 상황 분석은 "프로그램 평가자의 필수 역량" 중 하나이다(Canadian Evaluation Society, 2010; Ghere, King, Stevahn, & Minnema, 2006; King, Stevahn, Ghere, & Minnema, 2001).
이 개념, 즉 이상적인 개념은 평가 유형을 상황과 의도된 사용자의 요구에 맞추어 그들의 의도된 사용을 달성하는 것이다. 이는—이 점을 강조하고 싶다—개발적 평가가 모든 상황에 적합하지 않음을 의미한다. 전혀 그렇지 않다. 사실, 나는 그 틈새가 작고 까다롭다고 주장할 것이다. 조건과 관계가 맞지 않으면 작동하지 않는다. 우리는 진행하면서 그 조건과 관계가 무엇인지 명확히 할 것이다. 여기서 요점은 모든 평가가 특정 상황의 환경, 자원, 시간, 데이터 요구, 정치, 의도된 사용자 및 목적에 맞게 평가 과정과 접근 방식을 맞추는 도전 과제를 포함한다는 것이다. 이를 맞추기 위해서는 날카로운 상황 인식이 필요하다. 이는 들리는 것만큼 쉽지 않다. 실제로 매우 어렵고, 왜 그런지 이해할 가치가 있다. 그래서 인지 과학과 과학 철학의 돌파구 이해로의 짧은 여행은 개발적 평가를 이해하고 프레임하는 맥락으로 언급할 가치가 있다.
상당한 연구가 인간의 비합리성에 초점을 맞추고 있으며, 이는 노벨 경제학상 수상자인 Daniel Kahneman의 영향력 있는 작업을 포함한다. 그는 우리가 무엇을 할지 결정하는 방식이 합리성과는 거리가 멀다는 것을 입증했다. 우리의 합리성은 "제한적bounded"이다(Simon, 1957, 1978). 이는 잘 교육받은 전문가들에게도 마찬가지이다. 우리는 모두 깊이 박혀 있는 휴리스틱, 경험적 규칙, 표준 운영 절차, 연습된 행동, 선택적 인식에 의존한다. 우리는 패러다임을 통해 세상을 운영하고 본다. 패러다임은 암묵적인 가정, 수용된 정의, 편안한 습관, 진리로서 방어되는 가치, 현실로 투영되는 믿음으로 구축된 세계관이다. 따라서 패러다임은 신봉자와 실천자의 사회화에 깊이 박혀 있다. 우리의 패러다임은 무엇이 중요하고, 정당하며, 합리적인지를 알려준다. 패러다임은 또한 규범적이어서, 존재론적 또는 인식론적 고려 없이 무엇을 해야 할지 알려준다. 그러나 이는 패러다임의 강점이자 약점—행동을 가능하게 하는 강점이자, 패러다임의 의문을 제기하지 않는 가정에 숨어 있는 이유 때문에 약점—을 구성한다. 이것은 이제 널리 이해되고 일반적으로 받아들여지고 있지만, 패러다임이 어떻게 작동하는지에 대한 Thomas Kuhn의 통찰을 잠시 되새길 가치가 있다. 다음은 그의 영향력 있는 고전 《과학 혁명의 구조》에서 발췌한 내용이다:
"과학자들은 교육과 이후 문헌에 대한 노출을 통해 획득한 모델을 바탕으로 작업하며, 이러한 모델이 커뮤니티 패러다임의 지위를 얻은 특성을 정확히 알거나 알 필요가 없는 경우가 많다. ... 과학자들이 특정 문제나 해결책이 정당한 이유를 묻거나 논의하지 않는다는 사실은, 적어도 직관적으로 그들이 답을 알고 있다고 가정하게 만든다. 그러나 이는 질문이나 답변이 연구와 관련이 없다고 느껴질 수 있음을 나타낼 수도 있다. 패러다임은 그들로부터 명확하게 추출할 수 있는 연구 규칙 세트보다 선행하고, 더 구속력이 있으며, 더 완전할 수 있다." (p. 46)
Scientists work from models acquired through education and subsequent exposure to the literature, often without quite knowing or needing to know what characteristics have given these models the status of community paradigms. . . . That scientists do not usually ask or debate what makes a particular problem or solution legitimate tempts us to suppose that, at least intuitively, they know the answer. But it may only indicate that neither the question nor the answer is felt to be relevant to their research. Paradigms may be prior to, more binding, and more complete than any set of rules for research that could be unequivocally abstracted from them. (p. 46)
이것이 우리가 상황의 본질에 맞추어 평가를 이상적으로 맞추려 할 때 직면하는 것이다. 다시 말하지만: 개발적 평가는 모든 상황에 적합하지 않다. 이 책은 개발적 평가가 언제 적합한지를 자세히 다룰 것이다. 예를 들어, 7장은 개발적 평가가 혁신가가 확장하려는 유망한 모델을 생성할 때와 그 모델의 적절한 평가가 그 모델의 확장 가능성과 확산 능력을 평가하기 위해 전통적인 형성적 및 총괄적 평가가 되는 시기를 다룬다. 또한, 개발적 평가는 전통적이고 지배적인 평가 연구 패러다임에서만 훈련된 평가자에게는 낯설게 보일 수 있으므로 그들의 적대감을 불러일으킬 수 있다는 점도 주목할 가치가 있다. 이해 관계가 높을 수 있다. 패러다임의 이탈에 대한 반응은 격렬할 수 있다. 평가 구분은 평가가 이 미친 정치적 결과 책임성의 세계에서 중요하기 때문에 중요하다. 이에 대해서는 나중에 더 다룰 것이다. 그래서 우리가 향하는 방향은 다음과 같다.
평가 역량으로서의 상황적 실천
캐나다 평가 협회는 캐나다 평가 실천을 위한 다섯 가지 역량 영역을 채택했으며, 그 중 하나는 상황적 실천으로 정의된다:
"상황적 실천 역량은 평가 기술이 적용되는 고유한 이해관계, 문제 및 상황적 환경을 분석하고 주의하는 데 평가적 사고를 적용하는 데 중점을 둔다." (www.evaluationcanada.ca/txt/20090531_competencies_companion.pdf)
개발 여정을 계획하기: 책의 개요
Charting the Developmental Journey: Overview of the Book
Chapter 2: 개발적 평가의 고유한 목적과 틈새
이 장에서는 개발적 평가의 역할과 고유한 기여를 더 깊이 살펴본다. 이는 형성적 평가와 총괄적 평가를 넘어서는 옵션을 제공하는 것의 함의를 포함하며, 지난 40년 동안 평가를 지배해 온 고전적인 구분이다. 개발적 평가에는 두 가지 고유한 틈새가 있다.
- 프로그램 모델을 개선하고 총괄적으로 테스트하기 전에 탐색과 혁신을 지원하는 역할. 이 의미에서 개발적 평가는 형성적 평가 이전의 형태지만, 이후에 형성적 및 총괄적으로 평가될 모델을 생성할 수 있다.
- 프로그램 직원과 자금 제공자가 프로그램을 계속 개발하고 적응시키기를 기대하는 동적인 상황으로, 표준화된 최선의 실행 모델에 대한 최종 총괄적 평가를 수행할 의도가 없는 경우. 이 틈새는 프로그램 모델이 효과적이고 다른 사람들이 채택할 가치가 있는지에 대한 전체적인 판단을 제공하지 않지만, 실시간으로 무엇을 변경하고 확장할지, 종료할지 또는 추가로 개발할지에 대한 결정을 지원한다.
이 장에서는 개선과 개발의 차이점과 그 평가 실천에 대한 함의를 강조할 것이다. 또한 지속적인 전략적 사고와 주기적인 전략적 계획을 비교하여, 개발적 평가를 혁신적 개입이 전개되는 동안 전략적으로 사고하고 행동하는 형태로 자리매김할 것이다.
Chapter 3: 평가의 틀을 벗어나 생각하기
이 장에서는 프로그램 개발과 평가가 그 개발을 지원하는 역할을 하는 광범위한 사례를 소개한다. 이 사례는 프로그램 개선과 프로그램 개발을 구별하는 것의 함의를 설명하고, 내부 및 외부 평가자에 의해 촉진되고 수행되는 개발적 평가에 대한 논의를 열어준다. 사례는 전통적인 평가 접근 방식이 부적절하게 적용될 때 복잡한 개발 상황에서 발생하는 몇 가지 제약을 설명한다.
상황적 대응성과 프로그램이 운영되고 전개되는 상황에 평가를 맞추는 실용적인 질문을 고려할 것이다: "합리적인 평가란 무엇인가? 무엇이 합리적인지를 어떻게 결정하는가? 실용적이라는 것은 무엇을 의미하는가?" 이는 책임성의 지배적인 개념과 평가 유용성 및 실제 사용에 대한 일반적인 장벽, 잘못된 평가, 오용 및 평가의 부패에 대한 경고를 포함한 다양한 문제를 고려해야 한다. 이 장은 사례 예시로 설명된 개발적 평가에 대한 10가지 주요 포인트로 마무리된다. 여기에는 적시 참여와 신속한 피드백의 중요성, 평가가 프로그램 개발의 엔진이 되어 지속적인 프로그램 개발과 평가가 상호 강화되는 방식으로 작용하는 방법이 포함된다. 개발적 평가를 수행하는 데 필요한 프로젝트 리더십과 지원, 그리고 개발적 평가의 도전에 민감한 능력 있는 평가자도 중요하다.
Chapter 4: 상황 인식과 대응성
이 장에서는 단순, 복잡, 복합 상황을 구별하는 프레임워크와 이러한 구분의 평가 함의를 제공한다. 복잡성은 지식이 불충분하고 주요 이해관계자가 상당한 갈등을 겪고 있기 때문에 무엇을 해야 할지 불확실성이 높은 상황으로 정의된다. 복잡 적응 시스템의 역동성과 불확실성으로 인해 문제를 해결하고 시스템을 변화시키기 위해 무엇을 해야 할지가 본질적으로 사전에 알 수 없게 된다. 따라서 탐색, 실험, 혁신 및 개발의 다음 단계를 알리기 위해 의도된 것과 의도되지 않은 것을 신속하게 평가할 필요가 있다. 이 장은 단순, 복잡, 복합 맥락에 맞춘 설계 우선순위에 대한 의사 결정을 위한 평가자 가이드로 마무리된다.
Chapter 5: 개발적 평가를 위한 시스템 사고와 복잡성 개념
이 장은 시스템 사고와 그 평가 함의를 탐구하면서 시작하며, 특히 현재 평가 사고를 지배하는 선형 논리 모델과 대비된다. 논리 모델은 평가에서 "IT" 질문을 명확히 하는 데 크게 기여했다: 우리가 "IT"가 작동한다고 말할 때, 또는 "IT"가 작동하지 않는다고 말할 때, 그 "IT"는 무엇인가? 프로그램 논리 모델은 "IT"를 설명하며, 이것이 평가 설계에서 지배적이고 선호되는 도구가 된 이유이다. 그러나 "IT"라는 개념 자체는 고정되고 기계적인 인과 관계 모델을 의미하며, 입력이 활동으로 이어지고, 활동이 출력으로 이어지며, 출력이 결과와 영향을 생성한다. 이는 높은 확실성과 높은 합의가 있는 단순한 상황에서는 잘 작동하지만, "IT"가 출현하고 진화하며 적응하는 복잡하고 역동적인 상황에서는 상당한 단점과 왜곡 효과가 있다. 시스템 사고와 매핑은 선형 논리 모델링에 대한 대안을 제공한다. 이러한 대안적 프레임워크를 확립한 후, Exhibit 1.1에서 제시된 복잡 적응 시스템의 여섯 가지 특성—비선형성, 출현, 역동 시스템, 적응성, 불확실성, 공진화 과정—이 개발적 평가에 미치는 함의를 검토할 것이다.
Chapter 6: 세상이 어떻게 변화하는가: 변증법
이 장은 세상이 널리 퍼진 최선의 실행을 통해 상향식으로 변화된다는 명제(변화 이론의 주요 이론)를 고려하는 것으로 시작한다. 반대 명제는 세상이 하향식으로 변화한다는 것이다. 나는 두 가지 명제를 모두 거부하고 복잡성에 민감한 개발적 평가의 합성 위치를 제안한다: "글로벌 마을에서 변화는 상향식과 하향식 힘이 충돌하고, 교차하고, 얽히고, 전투를 벌이는 중간에서 발생한다." 이 중간에서의 활동 합성을 고려하면서, 평가 결과의 형태로 최선의 실행과 효과적인 원칙을 구별하고, 이 구분이 변화 이론과 평가 결과에 미치는 함의를 검토할 것이다. 이 중간에서의 활동이 실제 프로그램 예시에서 어떻게 전개되었는지 살펴볼 것이다. 이 장은 다음과 같이 결론짓는다:
"변화의 주요 원천이 상향식일 때, 개발적 평가자는 지역 혁신가들이 더 넓은 시스템 관점을 취하고, 다른 곳의 지식과 원칙을 활용하도록 돕는다. 변화의 주요 원천이 하향식일 때, 개발적 평가자는 적절한 지역 적응을 개념화하고 테스트하도록 돕는다. 변화의 원천이 상향식과 하향식이 동시에 존재할 때, 개발적 평가자는 중간의 상호 작용 역학을 촉진하고 탐색하도록 돕는다."
Chapter 7: 적응 주기와 개발적 평가
이 장은 생태계 회복력에 대한 개념과 연구, 그리고 이것이 사회 혁신과 개발적 평가에 미치는 함의를 다룬다. 숲의 건강과 회복력을 연구하는 생태학자들은 이러한 복잡한 생태 시스템이 네 가지 단계를 통해 적응한다는 것을 발견했다: 해방(산불 또는 다른 파괴), 재조직/탐색(새로운 성장), 착취(자원 경쟁에서 일부 품종의 가속 성장), 보전(한 종이 지배하는 성숙한 숲). 적응 주기를 통한 각 단계의 주요 전환은 건강한 생태계뿐만 아니라 회복력 있는 사회 시스템에서도 관찰할 수 있다. 그러나 한 단계에서 다른 단계로의 적응이 이루어지지 않으면 시스템이나 조직의 건강이 위협받는다. 적응 주기는 평가에 중요한 함의를 가지며, 적응 주기의 다양한 단계에 적합한 평가 접근 방식과 유형이 다르다. 개발적 평가는 특히 재조직/탐색 단계에 잘 맞는다. 이 장은 특정 상황에 평가를 맞추는 것이 무엇을 의미하는지에 대한 이해를 심화시키고, 이를 위한 또 다른 프레임워크를 제공한다. 나는 또한 적응 주기를 사용하여 개발적 평가가 어떻게 개입 모델을 생성하고, 이 모델이 형성적 평가와 총괄적 평가로 이어지는지 논의하고 설명할 것이다.
Chapter 8: 개발적 평가 탐구 프레임워크
개발적 평가는 다음과 같은 개발적 질문에 초점을 맞춘다: 무엇이 개발되고 있는가? 개발되고 있는 것(출현하는 것)을 어떻게 평가할 것인가? 지금까지 개발된 것(출현한 것)을 고려할 때, 다음은 무엇인가? 개발적 평가는 개발 상황을 탐구하고, 개발을 추적하며, 개발과 그 중요성에 대한 해석을 촉진하고, 혁신가, 변화 주도자, 프로그램 직원, 과정 참가자 및 자금 제공자와 함께 개발되고 있는 것, 개발된 것, 다음 단계에 대한 판단을 내린다. 이는 넓은 파노라마이다. 그러나 그 넓은 파노라마 내에서도 특정 개발 과정과 영향에 관련된 특정 질문이 여전히 생성되어야 한다. 그리고 질문을 생성하고 초점을 맞추기 위한 많은 프레임워크가 있다. 이 장에서는 상황적 매칭을 주제로 하여 개발적 평가 탐구를 구성할 질문을 결정하는 방법에 대한 지침을 제공한다. 우리는 복잡한 상황의 역학과 사회 혁신에 참여하는 사람들의 성향과 세계관을 기반으로 개발적 평가를 집중시키는 다양한 대안적 방식의 10가지 탐구 프레임워크를 살펴볼 것이다.
Chapter 9: 개발적 평가 브리콜라주
이 장은 브리콜러로서의 개발적 평가자에 관한 것으로, 다양한 전통을 차용하고 다양한 접근 방식을 통합하여 현재 상황에 맞게 유용하게 작업을 수행하는 일종의 만능인이다. 이 장의 브리콜라주에는 반성적 실천, 액션 리서치, 민감화 개념, 가설적 추론, 시스템 변화, 방법론적 다양성 및 회고적 개발 평가가 포함될 것이다. 혁신적인 민감화 개념(예: 혁신 자체의 아이디어, 시스템 변화, 사회 정의)에 초점을 맞춘 반성적 실천이 지속적인 학습, 참여 및 적응을 촉진하는 강력한 개발적 평가 접근 방식이 될 수 있는 방법을 심도 있게 살펴볼 것이다. 또한 개발적 평가의 인식론적 기반 중 하나로서 실용주의를 간략히 살펴볼 것이다.
Chapter 10: 유용성 중심 개발적 평가
이 장은 의도된 사용자에 의한 의도된 사용에 초점을 맞춘 개발적 평가의 함의, 참여 실천, 다양한 설계 및 적응 방법을 살펴본다. 개발적 평가는 특정한 평가 방법, 설계 또는 도구에 의존하지 않는다. 개발적 평가는 혁신의 본질과 단계, 혁신의 개발 및 의사 결정을 지원할 우선 순위 질문에 따라 모든 종류의 데이터(정량적, 정성적, 혼합적), 모든 종류의 설계(예: 자연주의적, 실험적) 및 모든 종류의 초점(과정, 결과, 영향, 비용 및 비용-편익 등)을 포함할 수 있다. 이는 무작위 대조 시험, 설문 조사, 포커스 그룹, 인터뷰, 관찰, 성과 데이터, 커뮤니티 지표, 네트워크 분석 등을 포함할 수 있다.
무한한 가능성을 고려하여, 이 장에서는 복잡한 시스템 도전에 특히 적합한 10가지 개발적 평가 참여 접근 방식과 평가 설계를 제시한다. 예시는 다양한 방법이 사용될 수 있다는 것을 나타내기 위한 것이며, 설계와 방법의 가능성을 모두 제시하지 않는다. 각 예시는 유용성 중심 평가 템플릿으로 제시될 것이며, 여기에는 다음이 포함된다: 복잡한 시스템 도전의 본질, 주요 개발 목적, 주요 의도 사용자 및 개발적 평가 파트너, 주요 개발적 평가 질문, 피드백 시간표, 적절한 개발적 평가 참여 접근 방식, 설계 및 방법 옵션. 제시된 예시에는 프로그램 참가자와의 신속한 피드백 인터뷰, 영향력 있는 정책 입안자들의 벨웨더 설문 조사, 참여 액션 리서치, 사회 네트워크 분석 및 옹호 캠페인 메시지의 무작위 비교 시험이 포함된다.
개발적 평가 대 개발 평가
Developmental Evaluation versus Development Evaluation
개발적 평가는 개발 평가와 쉽게 혼동될 수 있다. 그러나 두 가지는 동일하지 않다. 개발적 평가는 개발 평가에서 사용될 수 있지만, 두 가지는 다르다. 혼란스러운가? 혼자가 아니다. 계속 읽어보자.
개발 평가는 개발도상국에서 수행되는 평가의 일반 용어로, 보통 국제 원조 프로그램 및 기관의 효과성에 초점을 맞춘다(Carlsson, Eriksson-Baaz, Fallenius, & Lövgren, 1999; De Coninck, Chaturvedi, Haagsma, Griffioen, & van der Glas, 2008; Hanna & Picciotto, 2002; Independent Evaluation Group, 2009; Picciotto, 2002). 《The Road to Results: Designing and Conducting Development Evaluations》(Imas & Rist, 2009)는 이 장르의 전형적인 예로, 세계은행의 매우 성공적인 국제 개발 평가 훈련(IPDET) 프로그램을 기반으로 한 책이다. 책의 저자들이 이 프로그램을 설립하고 이끌었으며, 이 책은 그들의 경험을 바탕으로 작성되었다. 전체 공개: 나는 이 프로그램이 시작된 이래로 IPDET 교수진으로 활동하고 있다.
《평가 백과사전》(Mathison, 2005, p. 116)에서 정의된 개발적 평가의 목적은 혁신, 개입 또는 프로그램을 개발하는 데 도움을 주는 것이다. 개발적 평가에서 평가자는 보통 프로그램 또는 혁신 설계 팀의 일원이 되어, 평가할 대상을 결정하고 평가 방법에 대한 논의를 촉진하며, 결과를 다음 개발 단계에 적용한다. 팀의 모든 구성원은 함께 평가 결과를 해석하고, 함의를 분석하며, 개발의 다음 단계를 적용한다. 평가자는 개입을 개선하는 데 참여하고, 평가 접근 방식을 사용하여 지속적인 프로그램, 프로젝트, 제품, 직원 및/또는 조직 개발을 촉진한다. 평가자의 주요 기능은 평가 질문, 데이터 및 논리를 팀 토론에 주입하여 토론을 촉진하고, 개발 과정에서 데이터 기반 의사 결정을 지원하는 것이다. 이 점에서 개발적 평가는 연구 및 개발(R&D) 부서와 유사하며, 여기서 평가적 관점이 운영 부서에 내재화되고 통합된다. 개발적 평가자의 역할을 수행할 때, 평가자는 개입의 개발을 R&D 활동으로 만든다.
경험 많은 개발적 평가자의 가치는 오랜 실천과 많은 평가 보고서를 읽은 경험에 기반하여 어떤 종류의 일이 잘 되는지와 어디서 문제가 발생할지를 예측하는 지식을 혁신 팀에 제공하는 것이다. 경험 많은 평가자는 보통 무엇이 작동하고 무엇이 작동하지 않는지에 대한 많은 지식과 지혜를 축적해 왔다. 더 일반적으로, 평가 분야는 효과성 패턴에 대한 많은 지식을 생성했다. 이러한 지식은 사회 혁신을 설계하고 평가하는 데 있어 평가자를 귀중한 파트너로 만든다.
개발도상국에서의 개발 지원에 초점을 맞춘 평가에서 개발적 평가 접근 방식을 사용할 수 있으며, 특히 이러한 개발 지원이 복잡한 조건 하에서 지역 맥락에 적응하는 것으로 간주될 때 그렇다. 이 책의 많은 예시는 개발 평가이며, 특히 3장에서 다룬다. 그러나 개발적 평가는 개발도상국의 프로젝트에만 국한되지 않는다. 개발적 평가는 복잡한 조건 하에서 시스템 변화를 일으키기 위해 노력하는 사회 혁신가가 있는 곳이면 어디서든 사용할 수 있다.
'개발'과 '개발적'의 차이는 쉽게 놓칠 수 있지만, 이 차이는 개발 평가와 개발적 평가를 구별하는 데 중요하다.
The al in developmental is easily missed, but it is critical in distinguishing development evaluation from developmental evaluation
DD2 = 개발 평가를 위한 개발적 평가 사용
DD2 = Developmental evaluation used for development evaluation
15년 전 내가 처음으로 개발적 평가를 명명하고 썼을 때(Patton, 1994), 개발 평가는 명확하고 가시적인 평가 실천 및 학문 분야로 존재하지 않았다. 개발도상국에서의 평가가 분명히 이루어지고 있었지만, 개발 지원을 평가하는 것에 초점을 맞춘 식별 가능한 문헌은 일반적인 전문적 관심을 끌지 못했다. 지난 10년 동안 가장 중요한 추세 중 하나는 평가가 전 세계, 특히 개발도상국에 급속히 확산된 것이다(Patton, 2008c, chap. 1). 여기에는 2002년 중국 베이징에서 발족한 국제 개발 평가 협회(IDEAS, 2009)의 창설이 강조된다.
개발 평가와 개발적 평가의 고유하고 때로는 겹치는 틈새에 대한 혼란은 이제 국제 평가의 복잡한 풍경의 일부가 되었다. 이 책이 이러한 구분과 겹치는 영역을 정리하는 데 도움이 되기를 바란다.
다섯 가지 개발적 평가 목적과 사용
Five Developmental Evaluation Purposes and Uses
이 책이 전개됨에 따라, 나는 개발적 평가가 다섯 가지 복잡한 상황과 개발 목적에 특히 적합하지만, 이에 맞추어야 한다는 주장을 펼칠 것이다.
- 복잡한 동적 시스템에서 새로운 조건에 프로젝트, 프로그램, 전략, 정책 또는 기타 혁신적 이니셔티브를 적응시키기 위한 지속적인 개발 (2, 3, 4, 5장의 초점)
- 아이디어와 혁신이 다른 곳에서 가져와 새로운 환경에서 개발되는 과정에서 효과적인 일반 원칙을 새로운 맥락에 적응시키기 (6장의 초점)
- 자연재해나 금융 붕괴와 같은 갑작스러운 주요 변화나 위기에 신속히 대응하고 실시간 해결책을 탐색하여 도움이 되는 혁신적 개입을 생성하기
- 전통적인 형성적 및 총괄적 평가를 준비하는 잠재적으로 확장 가능한 혁신의 형성 전 개발; 형성 전 개발적 평가는 탐색 기간 동안 새롭게 출현하는 아이디어와 비전적인 희망을 작업하여 이를 더 완전하게 개념화된, 잠재적으로 확장 가능한 개입 모델로 만든다.
- 주요 시스템 변화와 교차 규모 개발 평가, 주요 시스템 변화가 어떻게 전개되는지에 대한 피드백 제공, 출현하는 전환점의 증거, 혁신이 확장되는 과정에서 어떻게 변화하고 적응해야 하는지에 대한 증거 제공 (7장에서 논의). 시스템 전반에 걸친 수평적 확장 또는 더 넓은 시스템으로의 수직적 확장은 단순히 적응을 넘어설 수 있다; 이러한 확산과 확장은 본질적으로 새로운 개발로 진화할 수 있으며, 이는 개발적 평가의 일부로 문서화되고 분석될 수 있다.
10장 시작 부분의 Exhibit 10.1은 이 다섯 가지 목적을 요약하고 각 목적을 초래하는 특정 복잡한 시스템 도전 과제, 각 유형에 적합한 주요 개발적 평가 사용, 각 유형에 대한 특정 주요 의도 사용자와 현실 세계 예시, 그리고 평가와 사회 혁신에 대한 다양한 유형의 함의를 식별한다.
이 책 전반에 걸쳐 나는 개발적 평가를 이 다섯 가지 특정 목적과 사용에 봉사하는 것으로 위치시키고, 이 모든 것을 종합하여 사회 혁신을 개발하고 평가하기 위한 다양한 접근 방식과 창으로 제시할 것이다. 이 다섯 가지 다른 개발적 평가 사용은 다양한 상황에 맞춘다. 이들은 복잡성 조건 하에서 사회 혁신을 이해하고 평가에 참여하는 다양한 렌즈를 제공한다. 이 모두를 종합하면 평가의 크고 다양한 분야에서 특정 틈새를 구성한다.
Exhibit 1.2는 개발적 평가의 틈새에 대한 개요를 제공한다. 나는 개발적 평가를 전통적인 접근 방식과 대조하여, 평가의 많은 별이 있는 우주에서 개발적 평가를 위치시키는 데 도움을 주기 위해 비교와 대조를 시도했다. 이러한 비교와 대조는 제안적이고 조명적이어야 하며, 결론적이지 않다. 하나의 대조는 논쟁의 여지가 있을 수 있으며, 과장되거나 단순화될 수 있다. 그러나 전체적으로 보면 이러한 많은 요소의 통합이 개발적 평가가 제공하는 것에 대한 감각을 제공하기를 바란다.
하지만 Exhibit 1.2는 추적하고 종합해야 할 많은 요소를 제공한다. 그래서, 결론적으로: 평가가 진정으로 개발적인지 어떻게 알 수 있는가? 나는 책이 전개됨에 따라 더 정교한 답을 제시할 것이지만, 목적과 결과부터 시작하자: 평가의 목적과 초점이 무언가를 개발하는 데 도움이 되는가? 무언가가 개발되고 있는가? 무언가가 개발되었는가? 그렇다면 무엇이? 어떻게? 어떤 함의가 있는가? 개발적 평가의 초점은 혁신을 개발하는 것이다.
옛말을 빌리자면, "푸딩의 증거는 먹는 데 있다." 다음 장에서는 개발과 개선을 구별하고, 개발적 평가를 형성적 평가와 총괄적 평가와 중요한 방식으로 다르게 위치시킬 것이므로, 다음과 같은 전환을 제안하겠다. 저명한 평가 이론가이자 실천자인 Bob Stake는 이렇게 설명했다: "요리사가 수프를 맛볼 때, 그것이 형성적이다; 손님들이 수프를 맛볼 때, 그것이 총괄적이다" (Scriven, 1991, p. 169에서 인용). 더 일반적으로, 준비 과정에서 수프에 가해지는 모든 것은 개선 지향적이다; 수프가 제공될 때, 손님들이 소비하며 총괄적 판단을 내린다. 그리고 이 비유에서 개발적 평가란 무엇인가?
개발적 평가는 요리사가 시장에 가서 가장 신선한 야채가 무엇인지, 가장 최근에 도착한 생선이 무엇인지, 시장을 돌아다니며 가능성을 고려하고, 손님이 누구인지, 지난번에 그들이 무엇을 먹었는지, 날씨가 어떤지, 그리고 식사에 얼마나 모험적이고 혁신적일지를 생각할 때 시작된다. 요리사가 표준 레시피를 따르기로 결정하면, 상황은 규정된 레시피에 대한 충실도에 기반한 형성적 및 총괄적 평가에 적합하게 남아 있다. 요리사가 새로운 창작을 시도하고, 특히 이 특정 손님을 위해 이 특정 저녁에 적합한 새로운 요리를 개발하기로 결정하면, 창의성과 개발적 평가의 가능성이 열리게 된다. 그리고 손님과 요리사가 함께 수프를 만들고 조리할 때, 그 공동 창작이 개발적 평가이다.
맛있게 드세요.
EXHIBIT 1.2 전통적인 평가와 복잡성 민감 개발 평가의 대조
서론 및 주의 사항: 평가에는 다양한 모델, 접근법, 방법 및 목적이 있습니다. 전통적인 평가의 주요 경향에 대한 일반화는 과잉 일반화될 가능성이 높습니다. 오른쪽 열에 있는 대조는 개발 평가의 틈새를 정의합니다.
1. 목적 및 상황
1.1. 평가 목적
- 전통적 프로그램 평가 경향: 형성-총괄 구분 지배적; 형성은 개선하고, 총괄은 테스트하며, 프로그램 모델을 검증함; 책임성.
- 복잡성 민감 개발 평가: 혁신과 개입의 개발 및 적응을 지원.
1.2. 적절한 상황
- 전통적 프로그램 평가 경향: 관리 가능하고 안정적인 상황; 문제의 근본 원인이 알려져 있고 경계가 설정되어 있음; 목표가 알려져 있음.
- 복잡성 민감 개발 평가: 복잡하고 역동적인 환경; 우선 순위 문제에 대한 알려진 해결책이 없음; 다중 경로 가능.
1.3. 지배적 틈새 및 사고방식
- 전통적 프로그램 평가 경향: 프로그램 모델이 작동하는지 확인; 효과성, 효율성, 영향, 확장 가능성.
- 복잡성 민감 개발 평가: 가능성 탐색; 아이디어 생성 및 테스트; 끊임없는 혁신과 개발.
2. 평가의 초점 및 대상
2.1. 변화의 대상
- 전통적 프로그램 평가 경향: 의도된 프로그램 수혜자 및 참가자를 위한 확인된 결과.
- 복잡성 민감 개발 평가: 주요, 교차 규모의 문제에 영향을 미치는 사회적 혁신을 방해하는 시스템 변화.
2.2. 개입의 추진력
- 전통적 프로그램 평가 경향: 결과 중심; 시스템은 맥락으로 간주됨.
- 복잡성 민감 개발 평가: 시스템 변화 주도; 구체적 결과는 역동적으로 등장.
2.3. 평가 결과 초점
- 전통적 프로그램 평가 경향: 형성적; 모델을 개선 및 세밀 조정; 총괄적; 가치 및 성과 판단.
- 복잡성 민감 개발 평가: 개발을 위한 즉각적 피드백 제공; 학습 및 지원 생성.
2.4. 평가 위치
- 전통적 프로그램 평가 경향: 상향식(이론 주도) 또는 하향식(참여적).
- 복잡성 민감 개발 평가: 혁신가들이 혼란스러운 중간을 탐색하도록 도움.
3. 모델링 및 방법
3.1. 모델링 접근법
- 전통적 프로그램 평가 경향: 인과관계 모델 기반 평가 설계; 활동/프로세스에서 결과로의 선형 경로.
- 복잡성 민감 개발 평가: 복잡한 시스템 동력 및 상호 의존성을 매핑하는 시스템 사고 사용.
3.2. 반대 사실 Counterfactual
- 전통적 프로그램 평가 경향: 반대 사실이 귀속 문제를 다루는 주요 관심사.
- 복잡성 민감 개발 평가: 복잡성 때문에 반대 사실 무의미; 다수 변수와 가능성 동적 상호작용.
3.3. 측정 접근법
- 전통적 프로그램 평가 경향: 사전 결정된 목표 및 SMART 결과에 대한 성과 및 성공 측정.
- 복잡성 민감 개발 평가: 학습이 진행됨에 따라 조정되는 측정 및 추적 메커니즘 개발.
3.4. 예상치 못한 결과에 대한 주의
- 전통적 프로그램 평가 경향: 예상치 못한 결과와 부작용에 거의 주의를 기울이지 않음.
- 복잡성 민감 개발 평가: 예상치 못한 것을 예상; 예상치 못한 결과와 등장하는 결과에 특별한 주의.
4. 역할 및 관계
4.1. 이상적인 평가자 자세
- 전통적 프로그램 평가 경향: 평가자는 독립적임; 신뢰성은 독립성에 의존.
- 복잡성 민감 개발 평가: 평가자는 혁신 팀의 일원; 그룹에 평가적 사고를 제공.
4.2. 책임성의 초점 및 범위
- 전통적 프로그램 평가 경향: 외부 당국 및 자금 제공자에게 초점; 명시된 기준에 기반.
- 복잡성 민감 개발 평가: 혁신가들의 근본적인 가치와 헌신에 초점.
4.3. 조직 내 평가 위치
- 전통적 프로그램 평가 경향: 조직 내부 또는 외부의 외부 평가자에게 위임된 준수 기능.
- 복잡성 민감 개발 평가: 현실 테스트, 결과 지향적 리더십을 육성하는 리더십 기능.
5. 평가 결과 및 영향
5.1. 이상적 평가 결과
- 전통적 프로그램 평가 경향: 검증된 최선의 관행; 시간과 공간을 초월한 일반화 가능성.
- 복잡성 민감 개발 평가: 현지 맥락에 맞게 조정 가능한 최소 명세서를 통해 실천 및 개선 가능.
5.2. 확산 접근법
- 전통적 프로그램 평가 경향: 모델 확산 시 고충실도 복제에 초점.
- 복잡성 민감 개발 평가: 실천 적용 및 현지 적응에 초점.
5.3. 보고 모드
- 전통적 프로그램 평가 경향: 종종 무거운 공식 보고서; 학술적 목소리.
- 복잡성 민감 개발 평가: 신속한 실시간 피드백; 참여적, 현재적 목소리.
5.4. 조직 문화에 대한 평가 영향
- 전통적 프로그램 평가 경향: 종종 실패에 대한 두려움 발생.
- 복잡성 민감 개발 평가: 학습 열망을 키움.
5.5. 평가 과정에서의 능력 구축
- 전통적 프로그램 평가 경향: 목표가 아닌 경우가 많음; 엄격한 방법에 기반한 평가 결과에 초점.
- 복잡성 민감 개발 평가: 사고하고 참여하는 능력을 구축.
6. 복잡성에 대한 접근법
6.1. 불확실성에 대한 접근법
- 전통적 프로그램 평가 경향: 가능한 한 많은 확실성과 예측 가능성 추구.
- 복잡성 민감 개발 평가: 불확실성과 예측 불가능성을 기본으로 간주.
6.2. 통제 접근법
- 전통적 프로그램 평가 경향: 디자인 구현 및 평가 과정 통제 시도.
- 복잡성 민감 개발 평가: "통제 부족"에 대응하는 법을 배우고 상황에 맞춰 반응.
7. 전문적 자질
7.1. 주요 평가자 속성
- 전통적 프로그램 평가 경향: 방법론적 능력 및 엄격함에 대한 헌신; 독립성.
- 복잡성 민감 개발 평가: 방법론적 유연성, 적응성; 시스템 사고.
7.2. 평가 기준 및 윤리
- 전통적 프로그램 평가 경향: 평가의 전문 기준에 대한 지식과 헌신.
- 복잡성 민감 개발 평가: 평가의 전문 기준에 대한 지식과 헌신.
'Wilson Centre' 카테고리의 다른 글
| [프로그램 평가] 원칙 평가하기: 역사적 맥락과 미래 지향적 과제 (0) | 2024.07.03 |
|---|---|
| [프로그램 평가] 뚜렷한 목적과 틈새 시장으로서의 발달 평가 (0) | 2024.07.03 |
| [국제화] 서구가 정말 최고인가? 글로벌 의과대학 규제 정책의 현대화 담론 (0) | 2024.06.28 |
| [국제화] 권력과 장소: 글로벌 의학교육의 정치에 대한 이해 (0) | 2024.06.28 |
| [인증] CACMS 인증 절차 및 인증 문서 (0) | 2024.06.27 |