[프로그램 평가] 뚜렷한 목적과 틈새 시장으로서의 발달 평가

발전적 평가(Developmental Evaluation)의 고유 목적과 틈새시장

서문

비즈니스 세계는 적절히 수익성을 강조합니다. 경영 관리 구루인 피터 드러커가 비영리 부문에 주목했을 때, 그에게 비영리 기관의 수익성이 무엇인지 물었습니다. 그는 두 단어로 요약했습니다: 삶의 변화(Changed lives).

스티브 로스차일드의 비전

스티브 로스차일드는 비전을 가지고 있었습니다. 그는 만성적으로 고용되지 않거나 실직 상태인 노동자, 특히 유색인종 남성들에게 일자리를 제공하고 생활 가능한 임금을 받는 직업을 유지하도록 도와줌으로써 빈곤을 줄이고자 했습니다. 로스차일드는 이 비전을 통해 비즈니스 세계에서 상당한 성공을 거두었습니다. 그는 General Mills의 전 부사장이자 요거트 자회사 사장으로, 미국에서 Yoplait를 1위 요거트 브랜드로 만든 캠페인을 이끌었습니다. 그는 자신의 지식과 경험, 성공을 빈곤 완화에 적용하고자 했습니다.

 

로스차일드는 미니애폴리스에 본사를 둔 McKnight 재단에서 저에게 추천받았습니다. 저는 그 재단이 자금을 지원한 34개 프로젝트의 종합 평가를 막 완료했기 때문입니다. 로스차일드는 정부, 비영리 단체, 커뮤니티 조직, 컨설팅, 기업, 대학, 정치 활동가 등의 다양한 전문가들로 구성된 비공식 자문 그룹에 저를 초대했습니다. 이 그룹은 그의 계획을 도와줄 자금을 찾는 데 필요한 접근 방식을 개발하는 데 도움을 주었습니다. 그 결과 Twin Cities Rise!라는 주요 빈곤 퇴치 교육 및 취업 프로그램이 탄생했습니다.

 

로스차일드는 이 노력에 진정으로 차이를 만들고자 하는 강한 의지를 가지고 있었습니다. 첫 만남에서 제가 그에게 많은 이들이 시도했지만 성공한 사람은 거의 없다고 경고했을 때, 그는 의욕을 잃지 않고 20년 전 Yoplait 사업을 구축할 때와 마찬가지로 이 도전이 매력적이라고 강조했습니다. 그는 이 새로운 사업이 자신의 행운에 대한 보답으로 커뮤니티에 가치와 중요성을 되돌려주고자 하는 강렬한 욕구와 잘 맞는다고 보았습니다. 그는 오늘날의 용어로 소셜 이노베이터(social innovator)가 되고 있었습니다.

 

그는 이 이니셔티브에 기업의 성공과 인맥뿐만 아니라 자선 활동과 비영리 부문에서의 경험도 가지고 왔습니다. General Mills의 마지막 5년 동안 그는 회사의 자선 재단 이사회에 참여했으며, 그 재단은 매년 세전 이익의 약 3%를 안정적으로 지원받는 미국 최고의 기업 재단 중 하나입니다. 그는 또한 미국에서 가장 성공적인 공공 라디오 사업 중 하나인 미네소타 공공 라디오(Minnesota Public Radio, MPR)의 이사로 활동했으며, 이후에는 이사장으로 일했습니다. 자문 위원회 회의에서 그는 비전, 영감, 창의성을 철저한 분석, 비판적 사고, 신중한 계획과 결합했습니다. 그는 기존의 비영리 및 정부 지원 고용 교육 프로그램을 검토하고 공개적으로 비판했습니다. 그는 이 노력을 위해 자신의 자원을 투자하고, 자신의 신뢰성을 걸며, 새로운 방식으로 일을 수행하는 것을 눈에 띄게 보여주기로 했습니다.

Twin Cities Rise! 프로그램

Twin Cities Rise! 프로그램은 기업 고용주가 숙련되고 다양한 인력을 필요로 하는 요구를 충족하는 자립형 민관 협력 관계를 구축하는 데 초점을 맞추었습니다. 코치는 만성적으로 실업 상태에 있지만 동기가 있는 유색인종 남성과 함께 일하여 교육, 상담 및 기타 필요한 지원을 제공하며, 하드 스킬(할 수 있는 일)과 소프트 스킬(긍정적인 태도 및 행동)을 모두 향상시켰습니다. 이 프로그램은 고용주와 잠재적인 직원들을 연결하고 양쪽의 요구를 충족시키는 역할을 했습니다. 참가자는 자신의 능력과 요구를 결정하기 위해 철저한 평가를 받았습니다.

초기 계획 및 실천

자문 그룹은 위험이 크다는 것을 인식하고 신중하고 세밀한 계획을 권장했습니다. 그룹에 있던 대학 교수는 데모 프로그램을 실험군(프로그램에 입학한 사람들)과 대조군(나중에 입학을 대기하는 사람들)으로 나누어 무작위 대조 시험으로 설계할 것을 제안했습니다. 자문 그룹의 조언은 전통적인 지혜와 표준 계획 처방을 반영했습니다. 저는 다른 조언을 했습니다. 저는 프로그램 개발을 위한 일련의 원칙을 개발하되 과도한 계획을 세우지 말 것을 권장했습니다. "무슨 계획을 세우든 별로 중요하지 않을 겁니다." 저는 단언했습니다. "올바르지 않을 겁니다. 소규모 그룹과 함께 시작해서 어떤 것이 효과가 있는지 배우고 진행하면서 수정해 나가십시오. 그리고 아직 실험 설계를 고려하는 것은 너무 이릅니다. 프로그램은 그런 형식적이고 엄격한 테스트를 받기 전에 개발되어야 합니다. 그 단계에 도달하는 데는 아마 몇 년이 걸릴 것입니다." 활발한 논쟁이 이어졌습니다.

계획을 넘어: 도전에 뛰어들기
Beyond Planning: Jumping into the Fire

"어떤 전투 계획도 적과의 접촉 후에는 살아남지 못한다."
— 헬무트 카를 베른하르트 폰 몰트케, 프로이센군 참모총장

"모든 사람은 계획이 있다... 맞기 전까지는."
— 마이크 타이슨, 전 세계 헤비급 복싱 챔피언

 

프로그램 초기에는 로스차일드와 직원들이 경영 구루 톰 피터스(Tom Peters)가 그의 책 Liberation Management에서 주장한 "준비. 발사. 조준." 모드에 참여했습니다. 이와 대조적으로, 무거운 계획 모드는 "준비. 조준. 조준. 조준...."입니다. "준비, 발사, 조준"은 로스차일드에게 더 많은 계획 없이 프로그램을 시작하라고 조언했을 때 제가 권장한 본질이었습니다. 그는 이미 꽤 많은 계획을 세웠습니다. 실험하고, 무슨 일이 일어나는지 주의 깊게 관찰하고, 피드백을 강력하게 받고, 시행착오를 통해 배워야 한다고 조언했습니다. 이러한 조언은 행동 이전에 광범위한 계획(조준)이 있어야 한다는 전통적인 지혜에 반합니다. 그러나 상세한 계획은 높은 정도의 통제와 중요한 요소를 알고 있는 경우에만 효과가 있습니다. 더욱이, 상세한 계획 과정의 비용은 예상되는 이점과 비교하여 얼마나 많은 계획을 세울지에 대한 계산의 일부가 되어야 합니다. 비용에는 기회 비용, 지연의 좌절, 문이 열렸을 때의 모멘텀 상실이 포함됩니다. 사람들은 준비되어 있고 혁신가들은 지금이 행동할 때라고 감지합니다. 그렇지 않으면 부적절하고 성급한 행동으로 보일 수 있는 것은 강력한 발전적 평가에 대한 헌신과 함께 이루어질 수 있습니다. 이는 성공적인 혁신가들이 오르기 위해 준비해야 하는 가파른 학습 곡선을 오르는 데 도움이 됩니다. 높은 혁신 조건에서는 불확실성이 지배합니다. 통제에 집착하는 사람들은 무너집니다. 역설적으로, "준비, 발사, 조준Ready, fire, aim"의 이점 중 하나는 빠른 학습을 촉진하고 신속하게 진행할 수 있는 높은 실패율일 수 있습니다. 또는 아일랜드 작가 사무엘 베케트가 시적으로 표현했듯이:

 

"시도했다. 실패했다. 상관없다.
다시 시도해라. 다시 실패해라. 더 나은 실패를 해라."

다양한 참여 시나리오에서의 평가 질문
Evaluation Questions under Different Engagement Scenarios

문제의 복잡성과 그것이 지배하는 환경이 "준비, 발사, 조준"에 기반한 참여를 요구할 때, 평가 질문은 다음과 같습니다: 무엇을 맞췄습니까? 어떻게 알 수 있습니까? 그리고 다음에 무엇을 해야 할 것인지에 대한 함의는 무엇입니까? 이러한 질문들은 과정이 일련의 "준비/발사/조준" 탐색으로 전개됨에 따라 발전적 평가자가 소셜 이노베이터 앞에 두는 질문들입니다.

 

전통적인 목표 기반 평가는 완전히 "준비, 조준, 발사Ready, aim, fire"에 맞춰져 있습니다. 평가자는 미리 정해진 목표를 맞췄는지 여부를 판단합니다. 이것이 평가자들이 훈련받은 일이며, 대체로 그들은 그것을 잘 수행합니다. 그들이 준비되지 않았고 일반적으로 적응하는 방법을 모르는 것은 "준비, 발사, 조준" 모드로 운영되는 소셜 이노베이터들입니다. 발전적 평가자는 여전히 무엇을맞췄는지, 그리고 그 어떤 히트의 시스템 함의(연결된 다른 것들에 대한 결과)를 판단하지만, 분석은 미리 정해진 목표와 맞춘 것을 단순히 측정하는 것이 아닙니다. 혁신가가 무엇을 "맞췄는지"에 대해 피드백을 제공하는 과정에서 발전적 평가자는 다음과 같은 질문을 합니다:

• 지금까지 맞춘 것에 대한 당신의 반응은 무엇입니까? 그리고 놓친 것은?
• 이 "히트"는 당신에게 무엇을 말합니까? 지금까지 한 일이 당신의 가치와 비전에 어떻게 부합합니까?
• 이 "히트" (또는 "미스")는 다음에 무엇을 해야 할지에 대해 당신에게 무엇을 말해줍니까? 왜 그렇습니까?

이러한 질문들은 혁신가의 직관적 과정을 강조하고 체계적인 데이터로 강화하여 진행 상황(및 좌절)을 해석하고 새로운 가설과 다음 단계를 공식화하는 데 도움을 줍니다. 소셜 이노베이터들은 매우 바쁘게 참여하기 때문에 무엇이 발전하고 있는지 체계적으로 추적하고 중요한 결단점에서 다른 길을 선택하는 이유를 문서화하지 못합니다. 발전적 평가는 상황을 복잡하게 만드는 역학과 상황적 요소를 식별하는 데 도움을 주고, 복잡성에 직면하여 내린 결정을 포착하며, 무엇이 나타나는지에 대한 데이터를 피드백하고, 다음 단계를 정보화하기 위해 분석과 성찰을 촉구하며, 그런 다음 사이클이 반복됩니다.

비전이 현실과 만나다: 발전적 평가의 영역
Vision Encounters Reality: The Territory of Developmental Evaluation

스티브 로스차일드에게 원칙을 정립하고 실행과 학습에 집중하며 계획 단계를 단축하라고 조언한 것은 반(反)계획론에 기반한 것이 아닙니다. 제 비정통적인 조언의 근원은 무엇이었을까요? 제가 로스차일드를 만났을 때, 34개의 빈곤 퇴치 프로젝트에 대한 종합 평가 결과가 머릿속에 생생했습니다. McKnight 재단은 경쟁적인 제안 과정을 통해 이 프로젝트들을 선정했습니다. 재단의 명성, 잘 자금이 지원되는 다년간의 보조금 기회, 그리고 혁신적 아이디어에 대한 초대가 미네소타에서 빈곤 퇴치에 종사하는 많은 경험 많고 지식 있는 사람들과 조직들의 제안을 이끌어냈습니다. 이 문제들에 대한 최고의 사상가들이 최선을 다했습니다. 그들은 신중하게 계획하고 현장 경험을 프로젝트에 적용했습니다. 그러나 그 어떤 것도 계획대로 진행되지 않았습니다. 대부분의 경우, 전혀 예상하지 못한 결과가 나왔습니다.

 

오랫동안 빈곤층과 일해온 직원들조차 새로운 혁신적인 제안을 실행하는 데 있어 가파른 학습 곡선을 경험했습니다. 그들은 자신의 계획을 프로그램에 참여한 사람들의 현실과 자신이 일하는 더 큰 맥락의 복잡한 역학에 맞춰 조정해야 했습니다. 예를 들어, 복지 정책 개혁, 연방 빈곤 정의의 수정, 정치적 분위기의 악화, 그리고 침체된 일자리 시장 등의 요인들입니다. 프로그램의 초점이 가난한 가정의 청소년, 저임금 직종의 저고용자, 복지 수급 어머니, 양육비를 지불하지 않는 이혼한 아버지, 아동 보호 제공자 또는 저소득층 부모인지 여부와 관계없이 프로그램 직원들은 효과적으로 일하기 위해 주요 조정이 필요했고 계획한 것을 변경해야 했습니다. 이러한 조정은 프로그램에 온 사람들의 광범위한 질문과 주의 깊은 경청을 통해 이루어졌습니다. 그러한 상호작용은 초기 평가 때만 이루어진 일회성 이벤트가 아니었습니다. 가족 상황에 대한 평가는 보통 몇 달에 걸쳐 진행되었습니다. 핵심 문제들은 초기 검사에서 명확하지 않은 경우가 많았습니다. 겉모습을 넘어서 근본적인 문제를 파악하려면 신뢰를 구축해야 했습니다. 의미 있고 실행 가능한 변화 계획을 세우기 위해서는 가족 역학에 대해 충분히 이해하는 데 시간이 걸렸습니다.

 

McKnight 프로그램의 초기 실행 평가에서 주요 발견 중 하나는 참여자들의 사회적 및 경제적 상황의 예상치 못한 심각성에 적응하는 것이었습니다. 빈곤에 처한 많은 가정은 프로그램에 지원할 때 위기 상태에 있었지만, 자격 요건을 재치 있게 파악하여 자격을 얻기 위해 위기의 본질과 정도를 숨겼습니다. 참여자들이 초기 평가에서 과소평가된 위기를 드러내면서 프로그램 직원들은 장기적인 목표로 나아가기 전에 참여자들의 위기를 해결하는 것이 필수적이라는 것을 배웠습니다. 비록 그들이 위기에 처하지 않은 참가자와 가정을 모집하고 있다고 생각했더라도 말입니다. 이러한 학습을 체계적이고 엄격하게 만드는 것이 발전적 평가의 기능입니다. McKnight 프로그램에서 저는 34개 프로그램 전반에 걸쳐 반성적 실천 세션을 정기적으로 진행하여 학습 중인 교훈과 지속적인 개발에 대한 함의를 식별하고 추출했습니다. (9장에서는 발전적 평가 방법으로서의 반성적 실천에 대해 깊이 있게 다룹니다.)

빈곤의 복잡성

미국의 빈곤은 가족 폭력, 화학적 의존, 신체적 및 성적 학대, 영양 부족, 개인적인 분노, 절망, 소외감 등 많은 문제와 종종 연관되어 있다는 것이 잘 문서화되어 있습니다. 직업 훈련, 양육, 교육에 초점을 맞춘 프로그램은 가족의 개인적 문제나 생활 상황을 어느 정도 해결해야 프로그램의 목표 성과를 달성할 수 있다는 것을 발견했습니다. 예를 들어, 적절한 음식과 주거지를 확보하는 문제입니다. 다양한 프로그램이 이러한 도전에 대해 서로 다른 방식으로 대응했으며, Twin Cities Rise!도 마찬가지였지만, 모두가 참여자에 대해 많은 것을 배워야 최선의 대응 방법을 결정할 수 있었습니다.

 

로스차일드의 Twin Cities Rise! 프로그램도 마찬가지로 가파른 학습 곡선을 경험하게 되었고, 참여자들의 초기 평가가 신뢰가 구축되고 새로운 문제가 표면화됨에 따라 조정되고 재조정되어야 했습니다. 그들은 프로그램에 참여한 사람들이 예상보다 더 많은 어려움을 겪고 있음을 발견했습니다. 종종 그들은 프로그램에 신청할 때 인정했던 것보다 더 어려운 상황에서 왔기 때문입니다. 발전적 평가자로서 저는 프로그램이 진화하는 과정에서 배운 것과 그 함의를 포착하는 데 도움을 주었습니다. 여기에는 프로그램의 모집, 평가, 수용 방식, 필요한 직원 유형, 새로운 요구에 대응하기 위해 추가된 서비스, 변화하는 비용, 결과에 대한 결과 등이 포함됩니다. 효과적인 빈곤 퇴치 프로그램의 교훈을 잘 아는 사람들(e.g., Schorr, 1989, 1997)은 다른 사람들이 이미 이 학습 곡선을 경험했다는 것을 알 수 있습니다. 그러나 신뢰를 구축하는 데 시간이 걸린다는 것을 연구와 평가 문헌에서 아는 것과 실제 사람들과 실시간으로 그 도전을 경험하는 것은 별개의 문제입니다. 이전에 갔던 사람들의 지혜는 혁신가들에게 무엇을 주의해야 하는지 경고할 수 있으며, 6장에서 강조할 것처럼 학습 곡선을 오르는 속도를 가속화할 수 있지만, 일부 것들은 새로운 노력의 맥락에서 다시 배우고 적응해야 합니다. 이는 추상적인 원칙(신뢰 구축에는 시간이 걸린다)에서 구체적인 행동(우리 프로그램의 우리 클라이언트와 신뢰를 구축하는 데 이만큼의 시간이 걸리고 이 특정 문제들이 포함된다)으로의 이동을 포함합니다.

재강조할 가치가 있는 점

이 점은 더 나은 계획이 답이라고 믿는 사람들로부터의 논쟁과 반발의 원천이기 때문에 다시 강조할 가치가 있습니다. Twin Cities Rise! 프로그램이 시작되자, 직원들은 참여자들이 예상했던 것보다 더 많은 문제와 더 심각한 문제를 가지고 있다는 것을 새롭게 배웠습니다. 이야기를 알고 있는 경험 많은 사회복지사들은 만성적으로 실업 상태인 유색인종 남성들이 다수의 심각한 문제를 가지고 올 것이라는 것을 프로그램 개발자와 직원들이 예상했어야 하며, 그에 대한 계획을 세웠어야 했다고 주장합니다. 그 점은 이해됩니다—그리고 나중에 되돌아보면 쉽게 주장할 수 있습니다. 하지만 자문 위원회와 직원들은 심층 평가와 개별 코칭에 대한 혁신적인 접근 방식이 이번에는 다르게 만들 것이라고 믿었습니다. 일어날 수 있는 일을 미리 예상하는 것은 최선의 경우에도 까다로운 일이며, 일반적으로 우리는 그 일을 잘하지 못합니다(Morell, 2010), 특히 복잡한 조건 하에서는 더욱 그렇습니다. 그리고 위에서 말했듯이, 일부 교훈은 새로운 참여자들에 의해 새롭게 배우고 발전적 평가 기능으로 적응해야 합니다. 따라서 시간이 지남에 따라 Twin Cities Rise!가 제공하는 서비스의 강도와 범위가 원래 예상보다 훨씬 커진 것은 부분적으로 직면한 문제의 심각성에 대한 대응이었습니다. 그리고 모든 단계에서 디자인 팀은 우리가 처음에 식별한 원칙들에 집중하고 그에 따라 행동했습니다: 목적 지향, 시장 지향, 학습 지향; 상호 책임의 가치를 높이고 개인적 역량 강화를 지원하는 것(Rothschild, 2010).

 

---

경험 많은 발전적 평가자의 조언
Advice from an Experienced D evelopmental Evaluator

이 책에서는 "발전적 평가에 대해 처음 접하는 사람에게 어떤 조언을 하시겠습니까? 조언, 주의사항, 잠재력, 함정, 교훈, 도전 과제는 무엇입니까?"라는 질문에 대한 경험 많은 발전적 평가자들의 조언을 공유하겠습니다. Ehren Reed는 Innovation Network의 수석 연구원이자 옹호와 정책 변화 노력을 평가하는 전문가입니다. 그의 경험은 이 장에서 다루는 Twin Cities Rise! 프로그램에서 제 자신의 발전적 평가 작업과 유사합니다.

신뢰 구축

발전적 평가의 기본 전제 중 하나는 평가자와 평가 대상 간의 관계를 재구성하는 것입니다. 발전적 평가에서 평가자는 단순히 회의에 참석하는 것뿐만 아니라 전략과 미래 방향을 알리는 목소리를 가지고 있습니다. "내재된 평가자embedded evaluator"라는 용어는 때때로 이 역할을 설명하는 데 사용됩니다. 즉, 평가는 더 이상 사용되는 전략의 외부 관찰이 아니라 그 전략 중 하나가 됩니다.

 

제가 함께 일한 많은 옹호자들에게—그들은 평가라는 개념 자체에 불편함을 느끼고 저를 그들의 후원자 중 한 명 또는 그 이상을 연장선으로 보는 경향이 있습니다—평가의 첫 몇 달 동안 그들의 불가피한 두려움을 진정시키기 위해 많은 노력이 필요합니다. 몇 번의 경우, 초기 참여 때 저는 전략 회의 중간에 잠시 방을 나가달라는 정중한 요청을 받았습니다. 저는 신뢰감을 구축하기 위한 수단으로 항상 기꺼이 따랐습니다. 그 신뢰가 형성되지 않는 한, 발전적 평가는 성공적이지 않을 것입니다. 제 경험에 따르면, 신뢰를 형성하는 데 도움이 될 수 있는 몇 가지 중요한 단계가 있습니다.

 

첫째로, 많은 평가가 후원자의 요청에 따라 이루어지기 때문에, 후원자가 발전적 평가에 대한 지지 의사를 명확히 표현하고 보여주는 것이 중요합니다. 특정 보고 형식에 익숙하고, 형성 평가와 총괄 평가의 익숙한 방식을 알고 있는 조직은 후원자가 발전적 평가에서 얻은 결과를 받아들일 것이라고 믿기 어려울 수 있습니다. 게다가, 후원자가 그 지원을 반복해서 강조할 필요가 있다는 점을 과소평가할 수 없습니다. 한 번으로는 거의 충분하지 않습니다.

 

또한, 내재된 평가자로서 제 자신과 제 역할을 소개하는 방식을 수정해야 한다는 것을 발견했습니다. 제가 함께 일한 옹호자들은 그들의 문제에 대해 열정적으로 관심을 가지고 있습니다. 그리고 많은 경우, 그들은 동등하게 열정적인 반대 세력으로부터 지속적인 압력을 받고 있습니다. 옹호자들의 신뢰와 성공적인 발전적 평가를 위해 필요한 접근성과 정직성을 제공할 의향은 제가 그들의 문제에 대한 제 자신의 지지를 공유하고 자신을 그들의 원인의 동맹으로 식별할 때만 발생합니다. 그래서 저는 평가에 대한 중립적 객관성을 강조하기보다는 평가와 평가적 사고 촉진에 대한 제 전문성을 강조합니다. 그렇다고 해서 평가 설계가 객관성을 잃거나 엄격성을 희생하는 것은 아닙니다. 실제로, 발전적 평가에 참여하는 조직은 어려운 질문을 하고 그들의 단점과 실패를 식별하는 데 더 개방적입니다. 앞으로 더 나은 전략을 알리는 접근 방식의 합리성은 더 솔직한 성찰을 허용합니다. 총괄 평가에 참여하는 조직은 부정적인 평가 결과를 회피하거나 "왜곡"하려는 노력을 더 많이 기울일 가능성이 높습니다.

 

핵심 조언: 신뢰를 구축하라.

---

시스템 문제: 발전적 평가의 초점으로서의 경계 관리
Systems Issues: Boundary Management as a Developmental Evaluation Focus

빈곤한 사람들의 문제의 심각성을 고려할 때, McKnight 프로그램과 그 이후의 로스차일드의 고용 프로그램과 같은 이니셔티브는 그들이 돕고자 하는 모든 사람에게 효과적으로 대응할 수 없는 경우가 많습니다. 위에서 언급했듯이, 상당수의 빈곤한 사람들은 심각한 정신적 및/또는 신체적 장애를 안고 있습니다. 필요한 서비스를 자체적으로 제공할 수 없었던 McKnight 프로그램은 종종 그러한 사람들을 적절히 추천하려고 노력했지만, 그러한 가족들을 돕기 위한 프로그램이 존재하지 않아 좌절을 겪었습니다. 비용이 너무 높고 성공이 너무 문제가 되었습니다. 따라서 참가자의 요구에 대해 깊이 배우려는 의지는 그러한 서비스가 프로그램의 능력을 벗어나거나 다른 곳에서 이용할 수 없는 경우 적절한 서비스를 제공하는 것으로 항상 이어지지 않았습니다. 실질적인 고통을 겪고 실제로 도움이 필요한 사람이 직원 앞에 서 있는 경우입니다. 학술적 계획 강사나 정부 정책 입안자가 "자격이 없다고 말하십시오."라고 말하는 것은 쉽습니다. 그러나 자격은 항상 그렇게 명확하지 않습니다. 판단은 혼란스럽고 결국 어느 정도는 조작 가능하며 심지어 자의적인 평가 기준에 따라 이루어져야 합니다. 시스템 관점에서 보면, 이는 부분적으로 경계 관리 문제입니다.

 

경계 문제를 다루는 것은 빈곤 퇴치 및 커뮤니티 변화 프로그램, 그리고 목표로 한 것을 변경하는 것이 목표한 것에 영향을 미치는 다른 시스템을 변경하는 것으로 바뀌는 모든 종류의 사회 혁신 프로그램에서 공통적이고 지속적인 문제입니다. 경계 관리는 직원들에게 지속적인 도전 과제입니다. 빈곤한 사람들이 자신의 삶에서 경계 문제를 다루는 것을 돕는 것은 프로그램 노력에 또 다른 복잡성을 더합니다. McKnight 프로그램은 끊임없이 경계에 부딪히고 경계를 설정해야 했습니다: 누가 자격이 있습니까? 특정 가족에게 어떤 서비스가 허용됩니까? 참가자가 프로그램에서 "나가는" 경우(중도 탈락, 퇴출, 음주 등)는 언제입니까? 한 프로그램의 책임이 끝나고 다른 프로그램의 책임이 시작되는 시점은 어디입니까? 자금을 무엇에 쓸 수 있습니까? 어떤 규칙을 구부릴 수 있습니까? McKnight 이니셔티브의 개별화, 유연성, 대응성에 대한 약속은 경계 문제를 악화시키고 배가시켰습니다. 경계 관리 결정, 경계 변경의 함의, 그리고 다른 시스템의 경계가 어떻게 상호작용하는지를 추적하는 것은 발전적 평가의 공통적인 문제입니다. 경계 결정—우리는 이것을 하고 저것은 하지 않겠습니다—는 설정하고 유지하기가 쉽지 않습니다. 경계는 개발되고 진화합니다. 이것은 우리가 혁신적 이니셔티브에 시스템 사고를 도입하면서 발전적 평가가 무엇을 밝혀내는지 살펴보는 동안 반복될 주제 중 하나가 될 것입니다. 5장에서는 시스템 사고와 발전적 평가에서의 경계 문제를 깊이 있게 다룹니다.

프로그램 경계 문제

프로그램 경계 문제 외에도, 신체적 또는 성적으로 학대받았거나, 높은 의존성 또는 상호 의존성을 가진 참가자 또는 정신 건강 문제를 가진 참가자 등 자신의 경계 문제를 가지고 들어오는 참가자를 돕는 데 있어 프로그램 직원이 직면하는 도전 과제도 있습니다. 많은 경우, 참가자들은 프로그램 서비스 그 이상을 기대하며 직원들에게 우정을 원하고, 관계 상담과 다른 매우 개인적인 조언을 기대합니다. McKnight 빈곤 퇴치 프로그램 초기에는 직원들이 프로그램 경계(프로그램과 전문가로서의 자신들) 설정 방법, 경계에 대한 유연성을 결정하는 방법, 그리고 참가자가 경계를 설정하는 것을 돕는 방법에 대해 많은 학습을 해야 했습니다. 조직이 경계 문제를 다루는 방식(그리고 참가자가 그러한 문제를 다루는 것을 돕는 방식)은 그 조직이 어떤 조직이었고 어떤 조직이 되고 있는지에 대해 많은 것을 말해줍니다. 이는 발전적 문제입니다. 결과 지향적인 조직, 즉 사람들이 빈곤에서 벗어나는 것을 돕기 위해 무엇이든 하기로 한 조직과 직원들은 특히 경계 문제를 규칙, 다른 프로그램의 영역, 엄격한 직무 기술, 자금 제한, 때로는 모호한 참가자와의 관계 형태로 밀어붙일 가능성이 높습니다. 새로운 이니셔티브는 종종 점진적이고 비공식적으로 이러한 문제에 대한 대응을 개발하고 발전시키지만, 이는 거의 항상 상상했던 것과는 다른 이니셔티브가 되는 방식을 근본적으로 형성합니다. 관련된 사람들이 그러한 진화가 어떻게 일어나는지 추적하고, 발전에 대한 피드백을 제공하며, 혁신과 기대되는 결과에 대한 함의에 대해 성찰하도록 촉진하는 것은 발전적 평가 작업의 공통적인 과제입니다. 혁신 비전을 가진 사람들과 비전을 구현하는 일상적인 행동에 참여하는 사람들은 종종 그러한 추적과 발생하는 것의 의미를 이해하는 데 능숙하지 않습니다. 그들은 도움이 필요합니다. 그들은 발전적 평가가 필요합니다.

포착하기 어려운 동적 시스템 경계: 발전적 평가의 초점
Elusive and Dynamic System Boundaries: A Focus of Developmental Evaluation 

Lisbeth Schorr(1989)는 성공적인 빈곤 퇴치 프로그램에 대한 선구적인 연구에서 가장 불우한 사람들을 돕기 위한 효과적인 프로그램은 일반적으로 "광범위한 서비스 스펙트럼"과 감정적 및 사회적 지원을 제공한다고 발견했습니다(p. 256). 그녀는 워싱턴 DC의 한 프로그램을 보고했는데, 그 프로그램은 산전 관리를 필요로 하는 고위험 인구를 대상으로 했지만, 음식과 주거지 같은 더 즉각적인 요구를 다루지 않으면 "그들이 산전 관리에 집중하게 할 수 없다"고 밝혔습니다(p. 257). 그녀는 당시 로버트 우드 존슨 재단의 회장이었던 Dr. David Rogers가 비슷한 결론에 도달했다고 인용했습니다. 재단의 축적된 경험은 다음을 그에게 인식시켰습니다. 

"인간의 고통은 일반적으로 얽히고설킨 상황과 사건의 큰 난장판의 결과이거나 그와 동반된 것"이며, 문제를 극복하려면 이러한 모든 것들에 주의를 기울여야 한다. 성공적인 프로그램은 이러한 "난장판"의 요구에 응답하지 않으면 전통적인 전문적 및 관료적 경계를 정기적으로 넘나들 수 없다(p. 257).

 

난장판 같은 요구와 투과성 경계는 복잡성의 특성이며 발전적 평가의 주요 영역입니다. Schorr는 성공적인 프로그램에 대한 연구에서 대부분의 개입이 "정례화되거나 일률적으로 적용될 수 없다"고 발견했습니다.

"[성공적인 프로그램에서는] 직원들과 프로그램 구조가 근본적으로 유연합니다. 전문가들은 개별 요구를 충족하는 데 있어 재량을 발휘할 수 있으며(어떤 신생아 엄마는 매주 세 번의 가정 방문이 필요하고, 어떤 엄마는 첫 달 동안 한 번만 필요함), 가족들은 어떤 서비스를 이용할지(이용 가능한 데이케어 프로그램에 자녀를 등록할지 여부와 시기)와 어떻게 참여할지(자녀의 학교에서 도서관 자원봉사자로 일할지, 유급 보조로 일할지, 부모 자문 기구의 일원으로 일할지) 결정할 수 있습니다." (p. 257)

 

Schorr의 연구에서 나타난 효과적인 개입은 조리법 같은 모델이 아니라 맥락에 맞게 적용되고 상황에 따라 적응되며 시간이 지남에 따라 개발되는 일련의 원칙이었습니다. 이는 맥락에 민감한 적용, 상황적 적응, 그리고 시간이 지남에 따라 발전하는 것을 체계적으로 식별하고 이러한 발전이 도움을 필요로 하는 사람들의 삶에 어떤 영향을 미치는지 파악하는 데 도움을 주는 발전적 평가의 영역입니다.

혁신 개발 대 모델 개선 및 테스트: 발전적 평가와 형성 및 총괄 평가의 차이점
Developing Innovations versus Improving and Testing Models: Developmental Evaluation Distinguished from Formative and Summative Evaluation

이제 명확해지기를 바라는 내용을 요약하겠습니다: 발전적 평가는 높은 불확실성에 직면한 혁신적 이니셔티브에서 행동과 적응을 안내합니다. 예측 가능성과 통제가 상대적으로 낮은 곳에서는 목표, 전략 및 실행되는 내용이 사전 결정된 것보다 출현적이고 변화할 수 있습니다. 동적 조건에 대응하여 지속적인 발전이 이루어지며, 무엇이 작동하고 무엇이 작동하지 않는지에 대한 신속한 피드백에 주의를 기울입니다. 발전적 평가는 데이터를 활용하여 혁신적 과정의 일환으로 지속적인 의사 결정을 안내하고 지원합니다.

 

이는 특히 우리의 책 Getting to Maybe: How the World Is Changed(Westley, Zimmerman, & Patton, 2006)에서 다루는 사회 혁신에 해당됩니다. 공저자 Frances Westley는 워털루 대학교에서 J. W. McConnell 사회 혁신 석좌 교수를 맡고 있으며, 사회 혁신을 지원하는 발전적 평가의 사용을 개척하고 있습니다. 그녀는 사회 혁신을 새로운 요소나 형태(새로운 아이디어, 관행 또는 자원 흐름 포함)를 도입하여 확립된 것을 변경하는 것으로 정의합니다. 특히, 불굴의 광범위한 사회 문제를 변혁하기 위해 사회적 관계를 변화시키는 것입니다.

an alteration of what is established by the introduction of new elements or forms (including new ideas, practices, or resource flows); in particular the alteration of social relationships to allow for transformation of intransigent and broadly based social problems 

 

따라서 사회 혁신은 형식적인 프로그램의 형태를 취할 수도 있고 그렇지 않을 수도 있습니다. 7장에서 적응 주기와 관련하여 길게 논의할 사회 혁신의 탐색 및 발전 단계에서는 환경 운동에 청소년을 참여시키는 방법을 프로그램의 형식적 구조 없이 커뮤니티에서 시도하는 것과 같은 사전 프로그램 활동이 될 수 있습니다. 그러한 참여의 형성은 평가 가능성evaluability,을 위한 명확하고 구체적이며 측정 가능한 결과 및 그 결과를 달성하는 방법을 명시하는 공식 논리 모델 없이도 발전적 평가의 신속한 피드백에서 여전히 이점을 얻을 수 있습니다. 이와 관련하여 발전적 평가는 모델 개선 및 테스트의 더 일반적인 접근 방식을 제공하는 형성 및 총괄 평가와 대조됩니다. 이는 평가 직업이 시작된 이래로 지배해 온 고전적인 구분입니다. 1장에서 설명했듯이, 저는 평가자들에게 제공되는 옵션을 확장하려고 노력하고 있습니다. 따라서 발전적 평가가 형성 및 총괄 평가에 대한 대안을 제공한다고 해서 그것들을 대체하자는 것은 아닙니다. 그들은 중요한 고유 목적을 가지고 있으며, 저는 그들이 지금도 지배적인 구분으로 남아있을 것이라고 기대합니다. 이러한 전통적인 평가 유형이 무엇을 하고 무엇을 하지 않는지 아는 것은 가치가 있으며, 그 이해는 구분과 전문 용어의 기원에 기초합니다.

 

형성-총괄 구분은 철학자이자 비범한 평가자인 Michael Scriven(1967)이 학교 교육과정 평가를 위해 처음 개념화했습니다. 그는 교육과정을 평가하여 그것이 승인되고 널리 채택될 수 있는지 결정하는 것을 총괄 평가라고 불렀습니다. 이는 정상 회담 같은 결정이나 효과의 총합을 의미합니다. 총괄 평가의 개념은 프로그램이나 개입이 완료된 후 계속할지, 확장할지, 또는 확산할지 여부를 결정하는 모든 평가로 빠르게 확장되었습니다. 총괄 평가는 평가에서 가장 근본적인 질문에 답합니다: 프로그램이 효과가 있었는가? 1장에서 언급했듯이, 이는 의도된 결과와 관련하여 프로그램 개입이 무엇인지 명확히 규정해야 합니다. 프로그램에 대해 "효과가 있었다"고 말할 때, 그것이 무엇입니까? 무엇이 효과가 있었는지 또는 없었는지에 대한 것입니다.

 

총괄 평가를 수행하려면 프로그램이 식별 가능하고 명확히 규정되며 안정적이고 실행 가능하며 표준화되고 복제 가능해야 합니다. 그렇지 않으면 무엇이 평가되었는지 알 수 없습니다. 그것이 평가되는 모델입니다. 여기에 형성 평가가 들어옵니다.

 

Scriven은 교육과정이 총괄 평가를 받기 전에 버그와 문제를 해결하고, 공백을 메우고, 학생의 반응을 얻어 엄격한 총괄 테스트를 받을 준비가 되어 있는지 확인하기 위해 수정 및 개선 기간을 거쳐야 한다고 현명하게 주장했습니다. 총괄 평가와 마찬가지로, 형성 평가의 개념은 교육과정 평가를 넘어 프로그램을 개선하고 구현 문제를 식별 및 수정하고 피드백에 기반하여 조정을 하고 원하는 결과가 달성되고 있는지(또는 달성될 가능성이 있는지) 초기 평가를 제공하며 프로그램을 총괄 평가를 위해 안정화하고 표준화하는 모든 평가로 빠르게 확장되었습니다. 새로운 프로그램이 총괄 평가를 수행하기 전에 2~3년의 형성 평가를 거치는 것은 드문 일이 아닙니다.

 

시간이 지나면서 형성 평가는 개입 또는 모델을 개선하는 모든 평가를 의미하게 되었지만, 그러한 개선이 안정적이고 고정된 모델로 이어져야 한다는 암시가 남아 있었습니다. 그 모델은 계속 자금을 지원받을 가치가 있는지 평가되고, 가치와 효과가 있다고 판단되면 확산되고 규모가 커질 수 있습니다. 또한, 형성 및 총괄 평가 모두 평가의 목적이 모델을 테스트하는 것이라는 가정 하에 작동합니다. 이는 이해하는 데 매우 중요합니다. 형성 평가는 모델을 개선합니다. 총괄 평가는 모델이 원하는 결과를 산출하는지 여부를 결정하고, 관찰된 결과가 프로그램에 기인할 수 있는지 평가합니다. 형성-총괄 구분의 지배를 통해 평가 분야는 모든 종류의 프로그램과 혁신을 단순히 두 단계로 축소했습니다: 첫째, 모델 개선 단계(형성 평가)와 그 다음 모델 테스트 단계(총괄 평가). 그것이 전부입니다. 그것이 평가자들이 제공할 수 있었던 전부입니다. 그것이 평가자들이 40년 동안 자신의 일을 개념화해 온 방식입니다. 우리는 모델에 집착하게 되었습니다. 그리고 이해할 만합니다.

 

왜냐하면 후원자들과 정책 입안자들이 모델에 집착하고 있기 때문입니다. 베스트 프랙티스 모델. 은탄환 모델. 빠른 해결 모델. 모델. 모델. 모델.

 

그러나 모델은 어디에서 오는 것입니까? 형성 평가가 준비되기 전에 모델 개발 자체에서 평가의 역할은 무엇입니까?

---

성장과 개발: 시스템 전문가이자 저명한 경영 컨설턴트 러셀 애코프의 통찰
Growth versus Development: Insights from Systems Expert and Distinguished Management Consultant Russell Ackoff

성장과 개발은 동일하지 않습니다. 둘 중 하나가 다른 것을 필요로 하지도 않습니다. 쓰레기 더미는 성장할 수 있지만, 개발하지 않습니다. 예술가는 성장하지 않고도 개발할 수 있습니다. 그럼에도 불구하고 많은 관리자들은 개발을 성장과 동일시합니다. 기업 개발을 목표로 하는 대부분의 노력은 실제로는 기업 성장을 목표로 합니다.

 

• 성장은 크기나 수의 증가를 의미합니다.
• 개발은 자신의 필요와 정당한 욕구를 만족시키려는 능력과 욕구를 증가시키는 것을 의미합니다.
  • 정당한 욕구란, 충족될 때 다른 사람의 개발을 방해하지 않는 욕구를 말합니다.
• 개발은 능력과 역량의 증가를 의미합니다. 개인과 기업의 개발은 소득보다는 학습의 문제입니다. 그것은 얼마나 많은 것을 가지고 있는가보다 가지고 있는 것을 가지고 무엇을 할 수 있는가와 더 관련이 있습니다. 이 때문에 로빈슨 크루소가 장 폴 게티보다 개발의 더 나은 모델이 됩니다...

자원의 부족은 성장을 제한할 수 있지만 개발은 제한하지 않습니다. 개발된 개인, 조직, 사회는 자원에 대한 의존도가 줄어들고 가지고 있는 자원으로 더 많은 일을 할 수 있게 됩니다. 그들은 또한 필요한 자원을 창출하거나 획득하려는 능력과 욕구를 가지고 있습니다.

 

개인은 과도하게 성장할 수 있습니다. 일부 사람들과 많은 사회는 기업도 그럴 수 있다고 믿습니다. 하지만 개인, 기업, 국가가 과도하게 개발할 수 있다고 주장하는 사람은 있을까요?

• 출처: Ackoff (1999, pp. 44–45)

개발 대 개선 Development versus Improvement

로스차일드의 Twin Cities Rise!에 대한 비전과 같은 혁신적인 아이디어를 고려해 보십시오. 이는 매우 역동적인 환경에서 시도되고 있으며, 관련된 사람들이 지속적인 시행착오 실험에 참여하고, 효과가 있는지 알아보고, 교훈을 배우고, 변화된 상황에 적응하며, 새로운 참가자들과 함께 일하고, 모델을 만들어가고 있습니다. 그들은 개발에 관심을 가지고 헌신하고 있습니다. 빈곤 감소와 같은 분야에서는 무엇이 효과가 있는지에 대한 지식이 부족하고 매우 맥락적이기 때문에, 개발 단계는 Twin Cities Rise!에서 그랬듯이 수년간 지속될 수 있습니다.

첫 번째 파일럿 프로그램

• 첫 번째 파일럿은 20명의 참가자를 모집했습니다. 90%가 중도 탈락했습니다.
• 파일럿은 광범위한 인터뷰, 테스트, 선택, 진단 과정을 시작했습니다. 이 과정은 비용이 많이 들고 시간이 많이 소요되었습니다. 잠재적 참가자들은 겁을 먹었습니다. 원래의 접근 방식은 포기되었고, 전체 모집 및 선택 과정은 여러 번 재고하고 재설계해야 했습니다.
• 코칭 접근 방식은 프로그램이 기본적으로 참가자의 필요를 진단하고 커뮤니티에서 적절한 서비스를 받도록 지원할 것이라고 가정했습니다. 하지만 프로그램 직원들은 커뮤니티의 이용 가능한 교육, 교육 및 보충 서비스가 부적절하고 불충분하다는 것을 곧 알게 되었습니다. 원래 아이디어와는 완전히 반대로, 프로그램은 내부 교육을 창설하고 실행하는 방향으로 변화했습니다.
• 좋은 코치를 찾는 것은 큰 도전 과제였습니다. 첫 번째 고용된 사람들 중 어느 누구도 만성적으로 실업 상태인 남성들과 효과적으로 일할 수 있는 능력을 갖추지 못했습니다. 직원들은 이러한 남성들이 삶을 바꾸는 데 필요한 거리의 지혜, 통찰력, 공감과 엄격함의 조합을 갖추지 못했습니다. 직원 직무 설명, 모집, 선택 과정, 지원 배치는 모두 여러 번 재구성되어야 했습니다. 프로그램 성장이 반영되면서 새로운 직종 및 새로운 업무 분담 방식이 등장했습니다.
• 모든 것이 예상보다 오래 걸렸습니다. 파일럿 코호트의 참가자들은 예상보다 천천히 진전을 이루었습니다. 중도 탈락률은 오랫동안 높았습니다. 직원 이직도 문제였습니다. 이러한 문제들은 중도 탈락을 줄이기 위한 일련의 실험을 이끌었지만, 어느 것도 문제를 결정적으로 해결하지 못했습니다. 대신 프로그램에 완전히 들어가기 전에 조정 기간을 도입했습니다.
• 개별 코칭은 더 큰 공정성과 일관성을 추구하면서 표준화된 규칙과 절차로 대체되었습니다.
• 프로그램의 핵심 전략으로서의 역량 강화에 중점을 두었습니다. 이는 참가자의 프로그램 참여 순서를 재구성하게 만든 중요한 진화였으며, 새로운 역량 강화 강조와 관련된 결과에 중요한 함의를 가지고 있었습니다.
• 일부 원래의 희망은 비현실적이었고, 대기업과 협력하여 소수 민족에게 더 친화적이고 지원적인 환경을 만드는 것과 같은 것은 폐기되었습니다. 일부 경우 작은 기업이 소수 민족 배치를 더 잘 받아들였습니다.

이것들은 단순한 개선이 아닌 프로그램 개발의 예입니다. 각각은 수행되는 것과 참가자의 참여 방식을 크게 변화시켰습니다. 이러한 변화는 단기 및 장기적으로 결과의 개념화뿐만 아니라 결과 달성에 영향을 미쳤습니다.

 

개선 지향적인 형성 평가는 개입이나 모델을 개선하는 데 중점을 둡니다. 이에 반해 발전적 평가는 혁신의 매개 변수를 탐구하고, 그것이 형태를 취함에 따라 개입을 필요에 따라 변경하고, 변화된 상황에 적응하며, 발생하는 조건에 따라 전술을 변경하는 것을 포함합니다. 탐색의 유동적인 단계 동안 시도되는 것은 모델보다 접근 방식입니다. 따라서 발전적 평가는 혁신적인 아이디어의 탐색 및 개념화를 지원하고 혁신가들이 실행하면서 무엇을 하려는지 명확히 하고 집중하며 설명하도록 도울 수 있습니다. 체계적인 피드백을 통해 그들은 전개되는 것을 반영하고 알고, 희망했던 방향과 얼마나 다른지 이해하고, 차이에 대한 데이터를 가지고, 차이를 이해하며, 향후 적응에서 더 집중되고 의도적으로 되게 합니다.

 

발전적 평가는 개발적, 출현적, 혁신적, 변혁적 과정을 일치시키고 육성하도록 설계되었습니다. Exhibit 2.1은 개선과 개발을 대조하여 중요한 질적 차이를 설명합니다. Developmental evaluation is designed to be congruent with and nurture developmental, emergent, innovative, and transformative processes

 

때때로 발전적 평가는 형성 평가, 심지어 총괄 평가의 토대를 마련합니다. 혁신의 탐색 및 개발 단계가 확산 및 규모 확장을 위한 잠재력을 가진 모델로 이어질 경우, 평가의 목적과 초점이 더 전통적인 형성 및 총괄 평가로 이동할 수 있습니다. 예제를 통해 이것이 어떻게 일어나는지를 7장에서 집중적으로 다룰 것입니다.

 

10년 간의 개발 후, Twin Cities Rise! 모델은 안정되었지만 정적이지는 않습니다. 프로그램은 형성 평가를 수행했고 총괄 평가를 의뢰했습니다. 형성 및 총괄 평가의 토대는 초기 발전적 평가 작업에서 나왔습니다. 주 모델과 함께 수행된 새로운 혁신적 이니셔티브는 계속해서 발전적 평가를 사용하고 있습니다. 나중에 프로그램 개발을 형성한 몇 가지 외부 요인과 프로그램의 진화에 대한 발전적 평가의 역할을 더 자세히 살펴볼 것입니다. 우선, 발전적 평가의 영역을 파악하기 위해 초기 혁신 개발에서 장기간의 지속적인 개발로 이동해 보겠습니다. 이것은 제가 1장에서 설명한 예에서 직면한 상황이었습니다. 제가 평가하던 커뮤니티 리더십 프로그램이 총괄 평가를 수행하는 대신 지속적인 개발에 헌신하기로 결정했을 때의 상황입니다.

 

 

---

개선 또는 개발? Improvement or Development?

Yoplait 요거트는 두 프랑스 유제품 협동조합 "Yola"와 "Coplait"이 합병하여 "Yoplait"가 되면서 1965년에 탄생했습니다. 1969년, 그들은 스위스에서 처음으로 브랜드 라이선스를 부여한 후 전 세계 여러 나라에 라이선스를 부여했습니다. 예를 들어, 호주에서는 National Foods가 라이선스를 보유하고 있습니다. General Mills는 미국에서 라이선스를 얻었고, Steve Rothschild와 그의 팀은 성공적으로 마케팅했습니다.

 

Yoplait가 성공을 거두자, 동물 윤리 치료를 위한 사람들(PETA)은 폐기된 요거트 용기가 야생 동물, 특히 스컹크에 위협이 된다고 항의했습니다. 테이퍼드 디자인의 용기는 스컹크가 머리를 넣을 수 있을 정도로 크지만, 머리의 두꺼운 털 때문에 갇히게 했습니다. 테이퍼드 용기는 Yoplait의 브랜딩 특징이었기 때문에 General Mills는 디자인을 변경하고 싶지 않았지만, PETA의 항의에 대응하여 용기 바닥에 스컹크가 발로 용기를 밀어낼 수 있는 테두리를 추가했습니다. 또한 "야생 동물 보호: 폐기 전에 컵을 부수십시오"라는 경고를 추가했습니다.

 

여기에는 여러 가지 변화가 있습니다:

1. Yoplait 브랜드를 창출한 조직 합병;
2. 브랜드의 국제 라이선스 부여;
3. 용기 디자인 수정.

이것들은 개선입니까 아니면 개발입니까? 이러한 변화를 뒷받침하는 암묵적인 데이터는 무엇입니까? 개선인지 개발인지 구별하려면 무엇이 더 필요합니까?

 

이 질문들은 형성 평가와 발전적 평가를 구분하는 경계 문제를 예시합니다.

---

 

발전적 평가를 통한 지속적인 개발
Ongoing Development Informed by Developmental Evaluation

"유일하게 합리적으로 행동하는 사람은 내 재단사다. 그는 나를 볼 때마다 새로 내 치수를 잰다.

반면 다른 사람들은 옛날 치수를 계속 사용하며 내가 그에 맞기를 기대한다."
—조지 버나드 쇼(1856–1950), 1925년 노벨 문학상 수상자

 

앞서 언급한 바와 같이, 총괄 평가는 명확한 기준(효과성, 효율성, 관련성, 지속 가능성)을 바탕으로 안정적이고 고정된 프로그램 개입의 가치나 효용을 판단합니다. 이러한 판단을 내리는 것이 전통적으로 평가의 "황금 기준" 목적이었습니다. 총괄 평가는 프로그램의 목표 달성 효율성, 재현 가능성, 인과적 특이성의 명확성, 일반화 가능성을 평가합니다Summative evaluations judge a program’s efficiency in goal attainment, replicability, clarity of causal specificity, and generalizability. 그러나 이러한 총괄 기준은 비교적 안정된 환경에서 목표 개입을 가정합니다. 매우 불안정한 환경, 역동적인 사회 혁신, 출현적 개입은 고정되고 안정된 모델을 복제하는 것보다 지속적인 개발을 요구할 수 있습니다.

 

발전적 지향의 사회 혁신가는 총괄 평가를 위한 안정 상태에 도달하는 것을 목표로 하지 않습니다. 그들은 프로그램 참가자의 피드백, 변화하는 조건, 새로운 통찰, 새로운 도전에 반응하여 지속적으로 실험하고, 적응하고, 개발합니다. 그들은 일반화되고 전파될 수 있는 고정된 모델에 도달하기를 열망하지 않습니다. 오히려 그들은 개입 및 개발의 원칙을 발견하고 설명하는 것을 목표로 하지만, "A를 하면 B가 나온다"는 재현 가능한 모델은 아닙니다. 그들은 지속적인 진전, 지속적인 적응, 신속한 대응을 추구합니다. 그들은 어떤 과정의 측면을 설명하고 명확히 하자마자 그 인식이 개입이 되어 그들이 하는 일을 변화시키는 것을 발견합니다. 그들은 입력의 표준화, 처치의 일관성, 결과의 균일성, 복제의 충실성, 인과적 연결의 명확성과 같은 전통적인 총괄 평가의 특성을 중시하지 않습니다. 그들은 다중 원인, 다양한 결과, 개입의 불일치, 모든 수준에서의 상호작용 효과가 있는 세계를 가정하며, 그러한 세계를 자극적이고 도전적으로 여깁니다. 그들은 변화 이니셔티브나 세상이 총괄 판단을 내리기에 충분히 오래 고정될 것이라고 기대하지 않습니다. 그들은 영원히 개발하고 변화할 것이라고 기대하며, 개발과 변화를 지원하는 평가 접근 방식을 원합니다. 이것이 발전적 평가가 그들에게 공감하는 이유입니다.

 

일부 후원자들도 이러한 평가 접근 방식을 이해합니다. 혁신과 시스템 변화를 지원하는 후원자들은 좁고 구체적인 결과를 목표로 한 프로젝트를 지원하는 것과는 다릅니다. 이러한 후원자들과 사회 혁신가는 개선과 개발의 차이를 깊이 이해합니다. 형성 평가는 더 나은 것을 만드는 데 중점을 둡니다—개선—다른 것을 만드는 것이 아니라. "개발"은 어떤 것을 실제로 개입을 상당히 변경하는 방식으로 다른 수준에서 만드는 것을 의미합니다. 이러한 개발은 복잡한 시스템에서 나타나는 불안정한 환경과 혁신 역학에 의해 주도되고, 이에 대응하며, 상호 작용합니다. 사회 혁신가는 새로운 이해를 경험할 때 대응하고 반응하기 때문에 자신이 하는 일을 변경합니다. 그들은 상호작용이 깊어지고 신뢰가 형성됨에 따라 프로그램 참가자들로부터의 계시에 주의를 기울입니다. 그들은 기술의 효과를 주의 깊게 관찰합니다. 그들은 자신의 좁은 활동 영역에 영향을 미치는 주변 세상의 변화를 빠르게 파악합니다. 그들은 실제로 "예상치 못한 것을 기대하라Expect the unexpected."는 진부한 만트라를 실천합니다.

 

적응에 대한 헌신은 이전에 한 일이 부적절하거나 덜 효과적이었다는 판단을 내포하지 않습니다. 변화는 반드시 개선을 의미하지 않습니다. 변화는 적응입니다. 변화의 냉정한 현실을 평가하면서 사회 혁신가는 다음과 같이 말할 수 있습니다:

 

"각 단계에서 우리는 우리가 알고 있던 것과 우리가 가진 자원으로 최선을 다했습니다. 이제 우리는 개발의 다른 단계에 있으며, 다른 것들을 하고 다른 생각을 하고 있습니다. 이것이 개발입니다. 이것이 변화입니다. 이것은 단순한 몇 가지 개선을 넘어서 있습니다." (Jean Gornick, Duluth, Minnesota에서 빈곤 완화에 힘쓰는 비영리 단체 Damiano의 전 이사; Westley et al., 2006, p. 179 인용; Damiano의 개발 이야기는 6장과 9장에서 다룹니다)

 

Exhibit 2.2(44~47쪽)는 총괄, 형성, 발전적 평가의 차이점을 요약합니다.

전략적 사고와 발전적 평가 
Strategic Thinking and Developmental Evaluation

Twin Cities Rise! 프로그램이 겪은 변화는 단순한 프로그램 개선이 아닌 전략적 개발이었습니다. 전략적 개발이란 무엇일까요? 그것은 조직이 하는 일을 근본적으로 변경하는 것입니다.

 

저는 지식이 제한되고 환경이 불안정한 곳에서 세부 계획이 매우 유용하지 않다고 제안했습니다. 이 전제를 더 자세히 검토하면서, 전략적 계획과 전략적 사고의 중요한 차이점을 언급할 가치가 있습니다. 둘은 동일하지 않습니다. 실제로, 전략적 계획의 과정과 문서 작업은 종종 이를 비전략적으로 만듭니다. 이는 평가자가 참여하고 명확하고 구체적이며 측정 가능하고 시간 제한된 목표를 조기에 요구하기 시작할 때 악화됩니다. 전략적 계획의 약점과 지뢰밭은 그 유용성에 대한 논란을 일으켰습니다(Mintzberg, 2000). 따라서 전략적으로 생각하는 것이 더 중요해졌습니다. 전략적으로 생각하는 것은 조직의 지식 자산의 본질과 실체를 이해하는 것을 요구하며(Boisot, 1998; Boisot, MacMillan, & Han, 2008), 4장과 5장에서 집중적으로 다룰 복잡성의 역학에 적응하는 것과 일치하는 시스템 사고와 깊은 연관을 요구합니다. 발전적 평가는 지식 평가와 전략적 시스템 사고를 지원하고, 사회 혁신가들이 새로운 현실에 주의를 기울이고 반응하도록 돕습니다.

 

Henry Mintzberg는 비즈니스 전략의 전문가입니다. 그는 전략을 시간 경과에 따른 일관된 행동 패턴으로 정의합니다. 그의 교육과 훈련에서 Mintzberg는 "Egg McMuffin, 맥도날드의 아침식사 메뉴가 회사에 전략적 변화였는가?"라는 질문을 좋아합니다. 어떤 사람들은 이것이 새로운 시장인 아침 식사 소비자를 대상으로 한 신제품이었기 때문에 전략적 변화라고 답합니다. 다른 사람들은 이것이 여전히 맥도날드의 패스트푸드 접근 방식을 유지하고 있기 때문에 제품 개선이지만 전략적 변화는 아니라고 말합니다. 그는 이것을 "Egg McMuffin 증후군"이라고 부르며, 다른 종류의 변화를 구별하지 못하는 것입니다—평가자들도 비즈니스 관리자와 전략적 기획자만큼 이 증후군을 나타냅니다.

 

먼저, 비전략적 변화(기존 전략 내에서의 개선)와 전략적 변화(개발)를 구별해야 합니다. 전략적 변화 내에서 Mintzberg는 위치의 변화와 관점의 변화를 구별합니다. 위치는 무엇을 하고 있는지와 그것이 이루어지는 영역(경관, 공간)에 초점을 맞춥니다. 프로그램의 경우 이는 일반적으로 목표 인구와 주요 목표 결과를 의미합니다. 관점은 무언가를 어떻게 하는지에 초점을 맞추며, 프로그램의 경우 이는 직원들이 참가자 및 파트너와 어떻게 일하는지를 의미합니다. Egg McMuffin은 위치의 전략적 변화(새로운 시장을 대상으로 한 신제품)였지만, 여전히 표준화된 패스트푸드를 생산했기 때문에 관점의 변화는 아니었습니다. Mintzberg는 위치 내에서의 변화를 기존 방식을 유지하면서 새로운 일을 하는 것으로 비교적 쉽게 여기지만, 위치와 관점의 변화를 함께하는 것은 더 어려운 것으로 간주합니다. 예를 들어, 상상 속의 예시로 테이블에서 제공되는 고급 요리 "McDuckling à l'orange"는 카운터에서 주문하는 것이 아니라는 것입니다. 이는 더 어렵습니다. "관점은 조직, 그들의 문화에 깊이 뿌리박혀 있기 때문입니다" (Mintzberg, 2007, p. 8). 그러나 변화는 여전히 다른 환경에 대응하여 발생합니다: 오랜 주저 끝에, Euro Disney는 프랑스 인구의 요구에 따라 프랑스에서 와인을 제공하기로 결정했습니다. 맥도날드는 위치에 따라 다양한 변형을 실험하기 시작했습니다: 메인에서는 게샌드위치를 메뉴에 포함하고, 프랑스에서는 페이스트리를 제공하며, 고급 시장에서는 고급 커피를 제공합니다.

 

위치와 관점의 변화는 전략적일 수도 있고 비전략적일 수도 있습니다.

• 비전략적 변화는 기존 전략을 더 잘 구현하는 개선입니다.
• 반면 전략적 변화는 개발로, 조직의 초점이나 비즈니스 방식을 크게 변화시키는 것입니다. 발전적 평가는 전략적 변화를 추적하는 데 특히 유용합니다.

이러한 구분을 Twin Cities Rise!에 적용해 보겠습니다. 원래 로스차일드는 일반 코치가 유색인종 남성들이 커뮤니티에서 적절한 교육을 찾도록 돕는 모델(모든 교육을 아웃소싱)로 구상했습니다. 이 전략의 개선은 동기부여된 유색인종 남성을 더 잘 선택하고, 코치가 참가자를 커뮤니티의 교육 및 교육 기회에 적절히 맞추도록 지원하는 것이었습니다. 개선을 넘어서서 더 근본적인 전략적 변화는 참가자 구성을 여성과 저소득 백인으로 포함하도록 변경하는 것이었습니다. 이는 클린턴 행정부 동안 복지-고용 전환 법안이 새로운 수요를 증가시키면서 발생한 것이며, 프로그램은 그 증가된 수요와 요구에 대응했습니다. 이는 항상 빈곤을 목표로 했던 사명을 변경하지 않았지만, 프로그램의 참가자 구성을 중요한 변화로 가져왔습니다. Mintzberg의 구분을 사용하면, 이것은 전략적 위치의 변화로, 목표 인구와 결과의 변화(비즈니스 용어로는 제품의 변화)였습니다.

 

전략적 관점의 주요 개발 변화는 대부분의 교육을 내부에서 수행하고 프로그램의 맞춤형 과정을 만드는 결정이었습니다. 아웃소싱이 효과가 없었기 때문입니다. 참가자와 고용주 모두 커뮤니티의 이용 가능한 교육과 교육이 목표 참가자의 요구를 충족하지 못한다고 평가했습니다. 이는 직원 구성을 변경하고 트레이너, 배치 전문가 및 회사 채용 담당자를 고용하며, 프로그램의 다른 단계에서 참가자에게 필요한 것을 전문화하는 코치 역할을 재정의하는 결과를 가져왔습니다. (참가자가 프로그램의 다른 단계에서 다른 종류의 코칭이 필요하다는 것은 발전적 평가의 발견이었습니다.) 다른 주요 전략적 개발은 고객 회사의 이미 고용된 직원에게 역량 강화 교육을 제공하고, 교도소 내 남성을 위한 프로그램을 만드는 것이었습니다. Exhibit 2.3은 Twin Cities Rise!에서 Mintzberg의 위치와 관점 간의 차이를 적용하여 개선과 개발을 구분합니다.

 

Mintzberg의 연구는 전략적 개발을 지원하는 발전적 평가를 이해하는 중요한 틀을 제공합니다. 전략을 구현하는 것은 항상 계획된 과정과 비계획된 과정의 조합이라고 그는 발견했습니다. 수년간 수백 개의 회사를 연구한 결과, 의도된 전략(계획)으로 시작하여 실행 및 의도된 결과의 완전한 실현으로 이어지는 완벽하게 통제된 계획된 과정은 존재하지 않습니다. 현실 세계는 그렇게 전개되지 않습니다. Exhibit 2.4의 그래픽이 보여주는 것처럼, 일정 기간 후에 끝나는 실현된 전략은 의도된 전략(계획)으로 시작되지만, 모든 의도된 것이 실현되지는 않습니다. 일부는 중단되거나 실행되지 않으며, 이것은 실현되지 않은 전략이 됩니다. 남은 것은 의도된 전략으로, 새로운 기회를 포착하면서 비계획적 전략과 교차하여 실현된 전략이 됩니다. 비계획적 전략은 새로운 기회를 포착하는 데서 비롯됩니다. 이것이 계획된 것이 중단되는 이유 중 하나이며, 새로운 더 나은 기회가 발생하기 때문입니다(Mintzberg, 2007, chap. 1).

 

 

이러한 전략 구현과 실현에 대한 통찰은 고전적인 책임 중심의 평가 접근 방식과 크게 대조됩니다.

• 고전적 접근 방식에서는 프로그램 구현 및 결과가 계획된 것과 달성할 목표를 기준으로 측정되고 평가됩니다(의도된 결과). 이러한 책임 프레임워크에서는 새로운 기회를 포착하고 변화하는 조건에 적응하는 혁신적이고 적응적인 프로그램이 부정적으로 평가될 것입니다.
• 반면 발전적 평가는 계획된 것 중 일부는 실현되지 않고, 일부는 예상대로 실행되며, 새로운 것들이 나타날 것으로 기대합니다. 발전적 평가는 이러한 다양한 전략적 혁신 측면과 그들의 추가 혁신 및 개발에 대한 함의를 추적하고 문서화합니다.

개선과 개발: 이 구분이 중요한가?
Improvement versus Development: Does This Distinction Matter?

컨설턴트로서 저는 종종 평가가 필요하다는 전화를 받습니다. 이는 종종 자금 지원 조건에 포함된 요구 사항 때문입니다. 전화를 받으면 이렇게 묻습니다. "평가를 하는 Dr. Patton 맞습니까?"

 

"그런 소문이 있더군요," 저는 고백합니다.

 

"우리가 필요합니다," 전화 건 사람이 안도와 두려움, 그리고 간청의 목소리로 말합니다.

 

"어떤 종류가 필요합니까?" 제가 묻습니다.

 

"종류요?"

 

이렇게 구분을 시작하는 과정이 시작됩니다. 저는 차를 사러 갈 때 다양한 선택지가 있으며, 원하는 차종을 좁혀야 한다고 설명합니다. 마찬가지로 외식할 때도 어떤 음식을 먹을지, 어떤 레스토랑을 선택할지 결정해야 합니다. 사실 어떤 종류의 구매도 선택지를 구별하는 것을 포함하며, 이는 오락, 가족 활동, 자기 개선 결의와 같은 결정에도 해당됩니다. 세상은 선택지와 메뉴로 가득 차 있습니다. 평가도 마찬가지입니다. 저는 평가의 80가지 다른 초점 방법을 분류했습니다(Patton, 2008c, pp. 300–305). 여기에는 책임, 인증, 긍정적 탐구에서 활용 중심 평가에 이르기까지 다양한 목적이 있습니다. 형성과 총괄 평가 외에도 지식 생성 및 책임 중심 평가와 같은 목적이 있습니다(Patton, 2008c, chap. 4). 목표 기반 평가와 목표 없는 평가, 과정 평가와 결과 평가, 참여형 접근과 감식형 접근, 실제 기반과 이론 기반 프레임워크, 내부 옵션과 외부 옵션, 비용-편익 모델과 변혁적 모델, 구성주의적 평가와 현실주의적 평가 등이 있습니다. 평가는 유형을 구별하고, 옵션을 이해하며, 평가를 사용할 사람들의 필요에 맞는 평가 유형을 선택하는 것을 포함합니다.

 

Michael Scriven은 원래 형성-총괄 구분을 만든 사람으로, 평가의 용어집을 만든 사람입니다(Scriven, 1991). 그는 평가 분야에서 누구보다 많은 평가 개념을 식별하고 명명했습니다. 저는 한 번 그에게 새로운 용어와 구분을 어떻게 만드는지 물었습니다. 그는 많은 용어를 사용하여 분야를 혼란스럽게 하는 것을 좋아하지 않는다고 답했습니다. 그래서 그는 용어를 만들 때 필요하다고 느낄 때만 만들었습니다. 그는 어떤 문제에 대한 혼란을 알아차리거나, 분야에서 어떤 격차를 명확하게 인식할 때, 그 혼란을 해결하고 격차를 메우기 위해 새로운 용어를 만들거나 새로운 개념을 제안할 필요성을 느낀다고 말했습니다(Patton, 2000, p. 7).

 

이것이 바로 제가 발전적 평가를 구별하게 된 상황입니다. 저는 1장에서 설명한 커뮤니티 리더십 프로그램에서 발전적 평가를 하나의 옵션으로 처음 식별했습니다. 원래의 5년 형성-총괄 평가는 경제적, 정치적, 기술적 환경이 변화함에 따라, 그리고 프로그램이 새로운 목표 참가자들(이민자, 새로운 사업, 새로운 세대의 청소년)을 대상으로 함에 따라 프로그램을 전략적으로 계속 적응시킬 필요성을 재단 후원자들과 프로그램 직원들이 인식하면서 지속적인 발전적 평가로 변화했습니다. 프로그램을 원주민 보호구역에서 제공하는 것은 전략적 위치의 변화를 나타냈습니다. 참가자들이 프로그램 동안 잠재적인 커뮤니티 변화 프로젝트를 설계하는 것은 참가자들이 커뮤니티로 돌아간 후 특정 프로젝트를 시작하기를 기다리는 원래 디자인과 대조적으로 전략적 관점의 변화를 구성했습니다. 이것들은 리더십 프로그램을 수행하는 방식의 단순한 개선이 아니었습니다. 그것들은 효과성과 효율성에서 점진적인 변화를 포함하지 않았습니다. 그것들은 중요한 전략적 개발을 포함했습니다.

 

개발을 개선과 구별하는 것이 가치가 있다고 주장하면서도, 저는 이 구분이 절대적이지도 않고 모호하지도 않음을 인정합니다. 이 구분은 다른 목적에 중심을 두며, 목적은 의도와 인식의 문제를 포함합니다. 이는 많은 중요한 구분에서 사실입니다. 외과 의사는 외모를 향상시키는 성형 수술과 정상 상태를 회복하는 재건 수술을 구별합니다. 대부분의 경우 이 차이는 명확하지만, 재건 수술은 일반적으로 보험 적용을 받을 수 있는 반면 성형 수술은 그렇지 않기 때문에 판단과 인식을 포함하는 회색 지대가 생깁니다. 가정 리모델링에서는 수리와 개선이 세금 목적으로 다르게 취급됩니다. 새로운 지붕은 한 상황에서는 수리일 수 있지만(폭풍으로 인해 오래된 지붕이 날아간 후), 다른 상황에서는 개선일 수 있습니다(오랜 사용 후 누수가 시작된 경우). 목적과 의도가 중요합니다. 저는 이 구분이 단순히 학문적인 시시콜콜한 일이 아니라고 생각합니다.

 

발전적 평가를 형성 평가와 구별하는 것은, 제가 바라건대, 평가 용어를 번식시키는 운동이 아닙니다. 그러나 경험 많은 평가 실무자이자 동료의 대안적 관점을 위해, 형성 평가 대 발전적 평가 구별이 중요한지에 대한 이전 페이지의 사이드바를 참조하십시오.

---

형성 평가 대 발전적 평가 구별이 중요한가?
Does the Formative versus Developmental D istinction Matter?

Gene Lyle은 미네소타의 램지 카운티 커뮤니티 인간 서비스 부서에서 내부 평가자로 오랜 경력을 쌓았습니다. AEA는 2000년 그에게 Alva 및 Gunnar Myrdal 정부 상을 수여했습니다. 저는 Gene에게 이 장을 내부, 현장 평가 실무자의 관점에서 검토해 달라고 요청했습니다. 그의 관점은 이 장에서 형성 평가, 총괄 평가, 발전적 평가의 구분이 중요하다는 제 주장을 균형 있게 제공합니다.

 

"우리의 일에서 우리는 유용한 평가를 하려고 노력했습니다. 우리는 보고서를 형성 평가나 총괄 평가로 레이블링하는 것에 신경 쓰지 않았습니다. 동일한 보고서는 프로그램 개선을 위한 권장 사항과 향후 자금 지원에 대한 권장 사항을 모두 포함할 수 있었습니다. 카운티 커미셔너들은 형성 평가와 총괄 평가 같은 학문적 용어를 듣고 싶어하지 않았습니다. 그들은 프로그램이 책임을 지고 목표를 달성하며 더 효과적으로 작동하기 위해 노력하고 있다는 것을 보여주는 좋은 평가를 원했습니다. 그래서 우리가 한 일은 평가, 유용한 평가였습니다. 저는 형성 평가와 총괄 평가의 이분법적 구별에 항상 문제가 있었습니다. 제 경험상 형성 평가는 '총괄 평가를 준비시키지' 않습니다. 우리는 지속적인 형성 평가를 지원했습니다. 그것은 종종 연간 보고서처럼 형성 평가의 집계 데이터를 기반으로 한 연간 활동 요약과 같은 '일종의 총괄' 결론을 포함할 수 있지만, 진행 중인 유일한 평가 유형이었습니다. 거의 아무도 '형성', '총괄', '발전적'이라는 용어를 사용하지 않았습니다. 그것은 단순히 '평가'라고 불렸습니다.

 

정책 입안자와 의사 결정자는 거의 항상 형성 평가 유형의 평가 결과를 원하여 일이 잘 되고 있다는 확신을 제공합니다. 총괄 평가는 그것을 말해주지 않습니다. 그래서 그들에게는 총괄 평가가 황금 기준이 아닙니다. 저는 이것이 평가자로서 우리가 스스로에게 부여한 정의라고 생각하며, 제가 아는 현실에 기반한 것은 아닙니다. 하지만 저는 내부 평가자였습니다.

저는 발전적 평가가 총괄 평가/형성 평가보다 프로그램에 의해 더 많이 주도된다고 생각합니다. 평가자나 어떤 평가 철학에 의해 주도된 것이 아닙니다. 프로그램이 자신이 하는 일을 개발로 식별하고자 한다면, 프로그램은 발전적 평가를 하고자 할 것입니다."

 

발전적 평가의 틈새: 챕터 개요 및 요약
The Niche of Developmental Evaluation: Chapter Overview and Summary

"계획은 쓸모없지만, 계획하는 것은 필수적이다."
—드와이트 D. 아이젠하워, 제2차 세계 대전의 연합군 사령관이자 1952년부터 1960년까지 미국 대통령

 

이 장은 사회 혁신가 스티브 로스차일드에게 세부 계획을 멈추고 학습을 통해 진행하라고 조언하는 것으로 시작했습니다. 이 장은 전략적 시스템 사고와 전략적 계획 수립의 차이를 구별하고, 혁신을 지원하고 혁신 전략을 평가하는 도구로서 발전적 평가를 위치시켰습니다. 이 장 전반에 걸쳐, 저는 발전적 평가와 더 형식적이고 전통적인 모델 중심의 형성 및 총괄 평가를 구별했습니다(특히 Exhibit 2.2를 참조하십시오). 저는 특히 개선과 개발을 구별하는 것이 중요하다고 강조했습니다. 의미 있는 구별을 만드는 것이 핵심입니다.

 

이러한 구별은 제1장에서 논의한 상황 인식의 관점에서 고려하는 것이 중요합니다. 다른 상황에 따라 다른 계획, 프로그램 설계 및 평가 접근 방식이 적절합니다. 이것이 이 책의 반복되는 만트라입니다. 발전적 평가는 다양한 평가 우주에서 하나의 틈새를 채웁니다. 이는 평가의 하늘에서 빛나는 물체와 광활한 어둠(모든 종류의 평가를 본질적으로 어두운 면과 연관시키는 사람들을 위한 인사)으로 가득 찬 한 줄기 빛입니다. 발전적 평가는 사회 혁신가들이 동적 조건에 적응하고, 무엇이 효과가 있고 무엇이 효과가 없는지 가능성을 탐구하며, 성공을 이해하고 실패로부터 배우도록 돕습니다. 때로는 데이터가 지속적인 개발에서 결정적인 총괄 결론으로 직접 뛰어들 때임을 나타낼 수도 있습니다. 이는 위대한 코믹 평가 천재 W. C. 필즈가 간결하고 강력하게 표현한 추천 사항입니다:

 

"처음에 성공하지 못하면, 다시 시도하고 또 다시 시도하라. 그런 다음 그만둬라. 바보 같은 짓을 할 필요는 없다."