[프로그램 평가] 효과성 원칙을 위한 가이드: 고품질 효과성 원칙의 특징

효과성 원칙을 위한 GUIDE: 고품질 효과성 원칙의 특성

"우리는 연습을 통해 배운다.

춤추기를 연습하면서 춤을 배우든, 삶을 연습하면서 살아가는 법을 배우든, 원칙은 동일하다."

We learn by practice. Whether it means to learn to dance by practicing dancing
or to learn to live by practicing living, the principles are the same
—마사 그레이엄, 미국 안무가

평가자의 초기 명확화 역할

전통적으로 평가는 목표 달성도를 측정하는 것과 동의어였습니다. 고전적인 평가 질문은 다음과 같았습니다: 프로그램이 목표를 어느 정도 달성하고 있는가? 이 질문에 답하기 위해서는 명확하고 구체적이며 측정 가능한 목표가 필요했습니다. 그리고 문제는 여기서 시작되었습니다. 나는 《활용 중심 평가의 필수 사항》(Patton, 2012a)에서 목표를 논의하면서 다음과 같이 언급했습니다:

 

평가 문헌은 흐릿하고 모호하며 추상적이고 너무 일반적이며 지표를 찾기 어렵고 일반적으로 불충분한 목표에 대한 불만으로 가득 차 있습니다. 예를 들어: 삶의 질 향상. "삶의 질"의 차원은 무엇입니까? 향상의 기준은 무엇입니까? 토머스 제퍼슨의 "행복 추구"는 적합하지 않을 것입니다. (p. 204)

 

모호한 목표 외에도, 프로그램은 종종 다수의 상충되는 목표를 가지고 있으며, 다양한 이해관계자는 동일한 프로그램에 대해 다른 목표를 강조할 수 있습니다. 이는 평가자가 목표 달성도를 평가하는 것뿐만 아니라 의도된 목표가 달성되었는지 평가하기 위해 목표 명확화를 촉진해야 한다는 것을 의미합니다. 여기서 평가 가능성 evaluability assessment 평가가 등장합니다.

 

평가 가능성 평가 evaluability assessment 는 프로그램이 평가 준비가 되었는지 여부를 결정하는 것으로, 일반적으로 목표를 명확히 하는 것을 포함합니다Evaluability assessment involves determining if a program is ready for evaluation, which usually includes clarifying goals. 평가자는 우리가 초대될 때 명확하고 구체적이며 우선순위가 매겨지고 측정 가능한 목표의 진술을 거의 찾지 못하기 때문에 목표 명확화에 크게 관여하게 되었습니다. 이는 초보 평가자가 이미 설정된 목표에 대한 평가 설계를 수립하는 것이 주요 과제라고 생각할 경우 놀랄 수 있습니다. 목표가 존재하는 경우에도 자금을 확보하기 위해 과장된 BHAGs(큰 털복숭이 대담한 목표big hairy audacious goals)인 경우가 많습니다. 평가 가능성 평가가 중요한 사전 평가 과정이 된 이유 중 하나는 프로그램이 평가 준비를 할 수 있도록 도와주는 것이므로, 프로그램 직원, 관리자, 후원자 및 참가자와 함께 목표를 명확히 하고 현실적이고 집중적이며 합의된 측정 가능한 목표로 만드는 데 시간이 필요함을 인정하는 것입니다. 평가 가능성 평가는 다양한 이해관계자 간의 목표에 대한 합의 수준을 확인하고 차이가 있는 곳을 식별하기 위한 인터뷰를 포함할 수 있습니다.

 

평가자가 프로그램 모델(또는 이론)을 더 명확히 지정하기 위해 프로그램 사람들과 협력하면서, 프로그램 모델을 명확히 하는 과정에 참여한 사람들에게 평가가 단순한 사후 활동이 아니라 초기 활동up-front activity이라는 것이 점점 더 명확해졌습니다.

• 즉, 전통적인 계획 모델은 계획이 먼저, 그 다음 프로그램 실행, 그 다음 평가를 포함하는 일련의 단계를 제시하여 평가를 마지막으로 수행되는 작업으로 만들었습니다.
• 그러나 실제로 평가할 수 있는 프로그램 계획 또는 설계를 얻기 위해서는 목표, 논리 모델 및 변화 이론을 명확히 하는 초기 역할을 평가자가 맡아야 했습니다.

이는 평가자에게 큰 영향을 미쳤습니다. 이는 평가자가 프로그램 사람들, 정책 입안자 및 후원자와 협력하여 평가할 수 있는 방식으로 목표를 명확히 하는 데 능숙하고 기술이 있어야 함을 의미합니다. 원칙 중심 평가에서도 종종 초기 명확화 과정이 필요합니다 The same up-front process of clarification is often needed in principles-focused evaluation to develop and clarify principles 

 

SMART 목표(구체적, 측정 가능, 달성 가능, 관련성/현실적, 기한 설정/적시)는 목표 명확화의 프레임워크로 등장했습니다.

SMART 목표

• S 구체적 (Specific)
• M 측정 가능 (Measurable)
• A 달성 가능 (Achievable)
• R 관련성/현실적 (Relevant/Realistic)
• T 기한 설정/적시 (Time-bound/Timely)

이 장에서는 효과성 원칙을 명확히 하기 위한 기준으로 GUIDE 프레임워크를 제공합니다. 즉, 원칙 기반 프로그램이 원칙 중심 평가에 대한 준비가 되어 있는지 확인하는 도구입니다. GUIDE는 고품질 원칙 진술의 기준을 명시하는 두문자어이자 기억 보조 도구입니다. 고품질 원칙은 (1) 안내 역할을 하고, (2) 유용하며, (3) 영감을 주고, (4) 지속적인 개발 및 적응을 지원하며, (5) 평가 가능해야 합니다.

GUIDE 기준

• G 안내 (Guiding)
• U 유용 (Useful)
• I 영감을 주는 (Inspiring)
• D 개발적 (Developmental)
• E 평가 가능 (Evaluable)

본질적으로, GUIDE 기준은 원칙에 적용된 평가 가능성 평가 프레임워크를 제공합니다. GUIDE 프레임워크를 자세히 설명한 후, 목표 기반 평가와 원칙 중심 평가의 차이점 및 두 가지의 통합에 대한 추가 논의를 하겠습니다.

GUIDE 기준 설명 및 예시 적용
Elucidating the GUIDE Criteria and an Example Applying the Criteria

GUIDE 기준을 설명하기 위해, 활용 중심 평가를 지탱하는 근본 원칙을 제시하겠습니다. 그런 다음 이 원칙을 다섯 가지 GUIDE 기준을 사용하여 검토해 보겠습니다.

 

활용 중심 평가 원칙: 의도된 사용자가 평가의 모든 측면과 모든 단계에서 의도된 사용에 초점을 맞추도록 한다.
Utilization-focused evaluation principle: Focus on intended use, by and with intended users, in every aspect of, and at every stage of, an evaluation.

 

이제 이 원칙을 다섯 가지 GUIDE 기준에 따라 검토해 보겠습니다.

G: Guiding (안내)

원칙은 처방적입니다. 무엇을 해야 하고, 어떻게 생각해야 하며, 무엇을 가치 있게 여기고, 효과적으로 행동하려면 어떻게 해야 하는지에 대한 조언과 지침을 제공합니다. 방향을 제시합니다. 문구는 명령형입니다: 이것을 하라. 지침은 충분히 구별되어 대조적이거나 대안적인 지침과 구분될 수 있습니다.

 

[활용 중심 평가 원칙에 적용] 활용 중심 평가 원칙은 처음부터 의도된 사용자를 식별하고, 평가가 어떻게 사용될지 결정하는 과정에 그들을 참여시키고, 그에 따라 평가를 설계하도록 처방합니다. 대안적이고 대조적인 원칙은 다음과 같습니다: 학자들에게 신뢰성을 갖추기 위해 평가를 설계하라. 사용해야 할 결과가 있을 때 사용에 주의하라. 정확성을 걱정하라, 사용이 아니라. 대안적 원칙을 식별하고 명확히 하는 것은 특정 원칙의 지침을 명확히 합니다.

U: Useful (유용)

고품질 원칙은 선택과 결정을 알리는 데 유용합니다. 그것의 유용성은 실행 가능하고, 해석 가능하며, 실현 가능하고, 원하는 결과를 향해 나아가는 방법을 제시하는 데 있습니다. 원칙은 지식을 행동으로 변환하는 지침을 제공합니다.

 

[활용 중심 평가 원칙에 적용]  활용 중심 평가 원칙의 목적은 평가가 수행되는 대상과 함께 평가의 실제 사용을 향상시키는 것입니다. 이는 모든 평가 상황에 적용될 수 있습니다. 이 원칙은 평가의 시작부터 끝까지 사용에 초점을 맞추라고 조언합니다. 이것은 유용한 조언입니다. 쉽지는 않지만, 실행 가능하고 해석 가능하며 실현 가능합니다.

I: Inspiring (영감을 주는)

원칙은 가치 기반이며, 윤리적 전제를 포함하고 표현합니다. 이는 원칙을 의미 있게 만드는 요소입니다. 원칙은 어떻게 진행해야 하는지와 원하는 결과를 명확히 합니다. 원칙은 효과적으로 일하는 방법과 올바른 일을 하는 방법(행동의 가치 기반을 표현)을 명확히 합니다. 이는 영감을 줄 수 있어야 합니다.

 

[활용 중심 평가 원칙에 적용]  활용 중심 평가 원칙은 사용을 가치 있게 여깁니다. 사용을 가치 있게 여기는 것은 윤리적이고 실용적인 입장입니다. 이는 평가가 단순히 준수나 겉치레를 위해 수행되는 것이 아니라 실제로 유용하게 사용되도록 해야 한다는 것을 의미합니다. 이 원칙은 평가자의 소명이라고 주장합니다. 이는 평가를 가치 있게 만들고, 의미 있게 만들며, 사회 문제를 해결하고 삶을 개선하는 데 기여하는 것입니다. 그렇지 않게 행동하는 것은 낭비이고 비윤리적입니다. 원하는 결과는 사회 개선을 위한 평가 사용의 향상입니다. 더 나은 세상을 바라는 평가자에게 사용은 그 고귀한 비전을 실현하는 수단이므로, 이 원칙은 영감을 주기를 바랍니다. 원칙을 따름으로써 원하는 결과(더 큰 평가 사용)가 가능하다는 암시와 비전을 제공하기 때문에 더욱 그렇습니다.

D: Developmental (개발적)

고품질 원칙의 개발적 특성은 다양한 맥락과 시간에 따른 적응성과 적용 가능성을 의미합니다. 원칙은 따라서 맥락에 민감하고 실세계의 역동성에 적응할 수 있으며, 복잡성과 불확실성의 난류를 탐색하는 방법을 제공합니다. 시간이 지나도 적용 가능하며, 변화하는 세상에서 지속적인 개발과 적응을 지원합니다.

 

[활용 중심 평가 원칙에 적용]  활용 중심 평가 원칙은 평가가 수행되는 모든 맥락에 적용됩니다. 이는 지역, 지역, 주, 국가, 국제 수준에 걸쳐 적용됩니다. 이는 개입, 변화 이니셔티브, 정책 또는 프로그램이 개발되고 실행되는 과정에서 적용됩니다. 이는 의도된 사용의 수와 상관없이 지침을 제공하며, 다양한 평가 목적(책임성, 프로그램 개선, 전략 분석, 전반적인 가치와 가치 판단, 모니터링, 지식 생성)에 적용됩니다.

E: Evaluable (평가 가능)

고품질 원칙은 평가 가능해야 합니다. 이는 실제로 원칙이 따르고 있는지 여부를 문서화하고 판단할 수 있으며, 원칙을 따름으로써 어떤 결과가 나타나는지 문서화하고 판단할 수 있음을 의미합니다. 본질적으로, 원칙을 따름으로써 원하는 결과를 얻을 수 있는지 여부를 결정할 수 있어야 합니다.

 

[활용 중심 평가 원칙에 적용]  활용 중심 평가 원칙은 의도된 사용자를 추적하여 평가가 의도된 방식으로 사용되었는지 확인하고, 그들의 참여가 평가 사용에 어떤 영향을 미쳤는지에 대한 피드백을 얻음으로써 평가할 수 있습니다. 활용 중심 평가 원칙에 대한 평가 문헌이 상당히 많이 보고되어 있습니다(Patton, 2008, 2012a).

Exhibit 6.1은 GUIDE 프레임워크를 요약합니다.

 

 

EXHIBIT 6.1 원칙에 대한 GUIDE

G	Guiding (안내)	- 처방적입니다. 조언과 지침을 제공합니다. - 방향성을 제시합니다. 방향을 지정하고 우선순위를 알립니다. - 효과 지향적입니다. (활동형 동사 표현 사용) - "이렇게 하세요…" 효과적이 되기 위해. - 반대 또는 대안과 구별됩니다.
U	Useful (유용)	- 원하는 결과를 지향합니다. - 효과적으로 되는 방법을 설명합니다. - 선택과 결정을 지원합니다. - 유용성은 해석 가능하고, 실행 가능하며, 실현 가능하고 실행 가능한 것에 있습니다.
I	Inspiring (영감을 주는)	- 가치 기반, 윤리적 기반이 있습니다. - 의미 있습니다. - 중요하고 목적 의식을 불러일으킵니다.
D	Developmental (발달적인)	- 맥락에 민감합니다. - 복잡성에 적응 가능합니다. - 지속적입니다. (시간 제한 없음)
E	Evaluable (평가 가능)	- 지침이 따랐는지 문서화하고 판단할 수 있습니다. - 어떤 결과가 나왔는지 문서화하고 판단할 수 있습니다. - 원하는 곳으로 가는 데 필요한지를 결정할 수 있습니다.

---

 

SMART 목표와 GUIDE 원칙 비교
SMART Goals Compared to GUIDE Principles

SMART 목표와 목표는 매우 많이 권장되므로 이를 GUIDE 원칙과 비교하는 것은 유익합니다. Exhibit 6.2와 6.3은 이 비교를 보여줍니다. Exhibit 6.2는 전 세계적으로 소아마비를 근절하기 위한 캠페인의 SMART 목표를 제시합니다. Exhibit 6.3은 동일한 캠페인에 대한 GUIDE 효과성 원칙을 제공합니다.

 

• SMART 목표는 구체적이고 정확한 반면,
  • GUIDE 원칙은 일반적인 지침을 제공합니다.
• SMART 목표는 정량적 지표와 통계적 측정을 요구하는 반면,
  • GUIDE 원칙은 정량적 및 질적 방법 모두로 평가될 수 있습니다. 예를 들어, 의도된 사용자의 사용에 초점을 맞추라는 활용 중심 평가 원칙의 준수 여부는 의도된 사용자의 결과 유용성 평가와 사례 연구를 통해 평가될 수 있습니다.
• SMART 목표는 달성 가능한 결과를 명확히 하고 표현하는 반면,
  • GUIDE 원칙은 가치와 윤리를 명확히 하고 표현함으로써 영감을 주는 것을 목표로 합니다.
  • 원칙은 완료된 작업을 의미하는 달성 가능성과는 달리, 여러 개별 프로젝트와 다수의 변화 이니셔티브에서 지속적으로 참여하는 데 가이드 역할을 합니다.
• SMART 목표는 특정 프로젝트나 프로그램의 결과를 표현하는 반면,
  • GUIDE 원칙은 더 넓은 가치 기반, 윤리적으로 근거한 유용성을 강조합니다
  • 유용하다는 것은 의미가 있어야 하므로, 원칙을 따르는 것은 의미가 있어야 합니다.
• 그러나 SMART 목표는 결과에만 초점을 맞추고 결과를 달성하는 과정에는 초점을 맞추지 않습니다.
  • 반면, GUIDE 원칙은 프로세스와 결과 모두에 적용되며, 무엇을 달성할지와 어떻게 달성할지를 모두 포함합니다.
• 마지막으로, SMART 목표는 시간에 구속되는 반면,
  • GUIDE 원칙은 지속적이고 계속적인 지침을 제공합니다. 

이것은 SMART 목표의 프로젝트 사고방식과 GUIDE 원칙의 더 일반적인 전략적 사고 및 행동 사고방식의 차이입니다.  Exhibit 6.2와 6.3은 전 세계적으로 소아마비를 근절하기 위한 예제를 사용하여 이러한 차이를 요약하고 설명합니다.

 

EXHIBIT 6.2 SMART 목표 프레임워크의 예시: 소아마비 근절

SMART 목표 기준	SMART 목표 예시
Specific — 구체적인 결과	전 세계적으로 소아마비를 근절합니다.
Measurable — 정량적이고 통계적 정확성	2017년까지, 야생 폴리오바이러스에 의해 어떤 아이도 마비되지 않을 것입니다. 세계보건기구(WHO)는 적어도 3년간 원주민 야생 폴리오바이러스의 순환으로 인한 소아마비 확진 사례가 없는 상태를 보고합니다.
Achievable — 논리 모델이나 변화 이론을 통해 목표 달성 방법을 보여줄 수 있음	소아마비를 근절하기 위한 네 가지 주요 전략은 다음과 같습니다: 1. 생후 첫 해에 경구 폴리오 백신(OPV)으로 영아를 정기적으로 예방 접종합니다. 2. 예방 접종 활동 보완, 국가 예방 접종일(NIDs) 및 준국가 예방 접종일(SNIDs) 중 모든 5세 미만 아동에게 백신 접종 여부와 상관없이 예방 접종을 합니다. 3. 모든 어린이가 예방 접종을 받았는지 확인하고 마지막 전염 사슬을 끊기 위한 대규모 캠페인을 진행합니다. 4. 급성 이완성 마비(AFP)를 위한 효과적인 질병 감시를 통해 새로운 마비 아동을 찾아내고 소아마비가 마비의 원인인지 확인합니다.
Relevant/realistic — 논리 모델에 명시된 입력 및 활동과 함께 결과 달성이 합리적으로 예상됨	WHO 계획과 WHO 및 자선단체 자금 지원으로 뒷받침된 상세한 계획 (예: 빌 앤 멜린다 게이츠 재단, 로터리 인터내셔널, 미국 질병통제예방센터 [CDC], 유니세프).
Time-bound/timely — 목표가 달성될 시점을 위한 기한	2017년 말까지 소아마비 신규 사례가 없습니다.

 

---

EXHIBIT 6.3 GUIDE 프레임워크 적용 예시: 소아마비 근절 원칙

GUIDE 원칙 기준	GUIDE 원칙 예시
Guiding — 방향을 제공하고 우선순위 설정을 안내합니다	소아마비 근절 캠페인에 대한 전체적인 접근 방식을 취합니다. (교육, 적절한 정책 변화를 지원하고, 건강 시스템 역량을 구축합니다.)
Useful — 의사 결정을 알리고, 해석 가능하며, 실행 가능하고 실행할 수 있습니다	예방 접종 이니셔티브에서 제공된 가치를 커뮤니티가 보고 효과적인 예방 접종의 교훈이 건강 및 개발 이니셔티브에 적응하고 적용되도록 캠페인을 수행합니다.
Inspiring — 명확하고 동기 부여적이며 장기적 참여를 위한 의미 있는 가치	예방 접종 캠페인의 질을 보장합니다. 장기적 효과를 위해서는 양(예방 접종 받은 사람 수)만큼 질도 중요합니다. 따라서 소아마비 근절 캠페인에서 어린이 및 가족과의 상호작용의 질을 강조하여 그들의 이해와 협력을 심화합니다.
Developmental — 맥락과 복잡성에 민감하며, 지속적이고 시간에 구애받지 않음	종교적, 문화적, 경제적, 정치적, 사회적 문제를 인식하고 이를 고려하여 지역 맥락에 맞게 캠페인을 조정하여 소아마비 근절 캠페인에서 협력할 수 있도록 합니다.
Evaluable — 혼합 방법을 사용하여 정성적 및 정량적 데이터를 모두 해석하고 판단해야 함을 이해함	야생 폴리오바이러스 1형이 풍토병인 국가(예: 아프가니스탄 및 파키스탄)에 집중하여, 예방 접종이 자발적(강요되지 않음)인지 평가하고 캠페인이 전체적인지 확인합니다.

 

---

 

 

원칙과 목표
Principles and Goals

이 장에서는 원칙과 목표, 더 구체적으로 GUIDE 원칙과 SMART 목표를 대조했습니다. 두 가지 기준 세트는 직접적으로 비교할 수 없습니다.

• "구체적"이라는 것은 "안내"와 반대되는 것이 아닙니다.
• "측정 가능"은 "평가 가능"과 충돌하지 않습니다.
• "달성 가능"은 "영감을 주는" 요소일 수 있습니다.
• "관련성"과 "유용성"은 상호 보완적일 수 있습니다.
• "시간에 구속됨"과 "개발적"은 적절한 시간 관점의 문제이며, 각각의 가치는 있습니다.
• “specific” is not contrary to “guiding”; 
• “measurable” is not in conflict with “evaluable”; 
• “achievable” may be an element of “inspiring”;
• “relevant” and “useful” can be mutually reinforcing;
• and “time-bound” versus “developmental”

따라서 원칙과 목표는 공존할 수 있으며, 일반적으로 공존합니다.

• 원칙은 세상을 이해하고 행동하는 방법에 대한 일반적인 지침을 제공합니다.
• 목표는 제한된 시간 내에 특정 행동(프로젝트, 프로그램, 정책)의 의도된 결과를 프레임합니다.

원칙과 목표는 상호 보완적일 수 있지만, 그것들이 얼마나 일치하고 상호 보완적인지는 평가 질문입니다. 따라서 원칙과 목표는 모두 평가될 수 있으며, 평가되어야 합니다. 그리고 그들 사이의 정렬(또는 충돌)은 효과성 평가 조사에 포함될 수 있습니다. 그럼에도 불구하고, 이 장의 핵심 포인트는 원칙과 목표가 서로 다른 평가 대상(evaluand)을 구성하며, 그것들이 평가되는 방식이 다를 것이라는 점입니다.

• SMART 목표는 명확하고 구체적이며 측정 가능하고 관련성 있고 달성 가능하며 시간에 구속되는 특성 때문에 목표 지표가 달성되었는지 여부로 평가됩니다.
• 반면, 원칙을 평가하는 것은 프로세스와 결과를 모두 검토해야 하며, 정성적 데이터(인터뷰, 현장 조사, 관찰, 문서)에 더 많이 의존할 수 있습니다.

원칙을 목표나 프로젝트처럼 평가하는 것은 부적절하고 왜곡된 것입니다. 이어지는 장에서는 원칙을 개발하고 평가하는 방법에 대해 자세히 다루며, 구체적인 프로그램 및 변화 이니셔티브의 예를 통해 원칙과 목표가 어떻게 함께 작용하는지 살펴봅니다. 이 책의 제3부는 원칙 기반 개입과 이에 상응하는 원칙 기반 평가의 구체적인 예를 제공합니다. 이러한 예를 바탕으로 GUIDE 기준을 다시 살펴보겠습니다.

목표 달성 평가를 넘어
Beyond Evaluation as a Measure of Goal Attainment

목표와 원칙에 대한 마지막 의견을 말씀드리겠습니다. 평가가 여전히 종종 목표 달성 측정으로 정의되는데, 이는 방법론적, 개념적으로 매우 좁은 관점입니다. 원칙은 명확하게 가치들을 포함하고 표현하며, 원칙을 평가하는 것은 원칙을 따르는 과정과 그로 인한 결과 모두에 주의를 기울이는 것을 포함하기 때문에 원칙 중심 평가가 단순한 목표 달성 평가보다 더 포괄적입니다principles-focused evaluation is more comprehensive than mere goal attainment evaluation. 선구적인 평가자이자 과학 철학자인 마이클 스크리븐(Michael Scriven)은 평가를 목표 달성 평가로만 정의하는 것의 한계와 왜곡을 설득력 있게 강조했습니다. 그는 미국 심리학회(APA)의 2014년판 "통계 및 연구 방법 사전"에서 총괄 평가를 "프로그램이 목표와 목적을 운영 후 얼마나 잘 달성했는지를 평가하려는 시도"로 잘못 정의한 것에 대해 비판합니다.

 

[그] 정의는 나치 수용소가 매우 잘 평가될 것이라는 의미입니다 (적어도 몇 년 동안은), 또는 간통으로 여성을 돌로 쳐 죽이는 것이 (지역적으로 승인된 경우) 좋은 일이라는 의미입니다, 또는 미국 식품의약국(FDA)이 약물 설계자의 목표에 포함되지 않은 약물 부작용을 검사하는데 시간과 세금을 낭비하고 있다는 의미입니다. 목표 달성을 평가하는 것이 평가의 본질이라고 생각하는 기본 아이디어는 결함 중 하나 때문일 것입니다. 그것은 목표와 그 목표를 지지하는 가치를 평가할 필요성을 회피합니다. 이는 과학 철학의 실증주의에서 중대한 범죄로 간주되었습니다.
The basic idea that evaluation is determining the degree of goal achievement persists partly, one suspects, because of one of its flaws—it avoids the necessity for evaluating the goals and their supporting values, a process that was of course a capital offense in positivist philosophy of science

 또한 부작용 및 부수적인 영향을 발견하고, 비용 분석 및 위험 분석을 수행하며, 대안의 식별 및 비교, 개입 절차의 윤리, 자기 설명 및 자기 평가를 포함하는 평가의 나머지 부분을 생략합니다.
But it also omits the rest of what evaluation does that cannot be omitted without disaster, for example, finding side effects and side impacts, doing cost analysis and risk analysis, identification of and comparison with alternatives, and evaluating the intervention’s process—including the ethics of its procedures, its self-description, and its self-assessment
(Scriven, 2016, p. 28)

 

목표 달성 측정은 프로그램이 올바르게 작동하고 있는지 (효과적으로) 판단하는 데 도움이 되지만, 원칙은 이에 더하여 프로그램이 올바른 일을 하고 있는지 묻도록 초대합니다. 원칙이 기반을 둔 가치와 그 가치를 명확히 하고 행동에 옮기는 과정에서 제공되는 영감은 가정에 대해 질문하고 이중 루프 학습에 참여하도록 초대합니다.

 

 

예를 들어, 단일 루프 학습은 실무자가 특정 클라이언트와 작업하는 특정 방법을 개선하는 데 도움이 될 수 있습니다. 이중 루프 학습은 이 방법이 적절한지, 심지어 전체 서비스 개념이 적절한지 재고해야 합니다.
이는 때때로 "올바른 일을 하는 것"과 "올바른 일을 하는 것"으로 설명됩니다. . .
“doing things right” as compared to “doing the right thing.” . . .

많은 평가가 단일 루프 학습에 집중합니다. 즉, 오류를 식별하고 수정하지만 주로 기존의 세계관, 명시된 목표 및 의도된 프로세스 내에서 유지됩니다. 이는 유용할 수 있지만, 프로그램이 작동하는 방식, 환경이 작동하는 방식, 조직이 작동하는 방식에 대한 가정을 질문하는 이중 루프 학습에 참여하는 것도 중요할 수 있습니다. "프로그램이 명시된 목표를 달성했습니까?" 뿐만 아니라 "프로젝트의 목표가 대상 그룹의 요구에 정말 적합합니까?"라는 질문도 중요합니다. (Rogers & Williams, 2006, p. 78)

 

이중 루프 학습에는 숙련된 촉진이 필요하며, 가정에 대해 질문하는 것도 마찬가지입니다 (Patton, 2017a). 평가는 목표나 원칙이 평가의 초점이 무엇이든 간에 그것의 장점, 가치, 중요성을 평가하는 것을 포함합니다. 이 장의 요점은 원칙을 평가하는 것이 목표를 평가하는 것과는 상당히 다른 기준을 포함한다는 것입니다. 우리는 원칙을 평가하는 것이 방법론적인 것만큼 윤리적인 작업이기도 하다는 것을 보게 될 것입니다. 그림 6.4는 효과적인 원칙을 위한 GUIDE 프레임워크를 요약하고 각 기준을 평가하기 위한 평가지표를 추가합니다.

파트 II의 남은 장에서는 GUIDE 기준의 의미를 더 깊이 탐구합니다. PART II의 개요를 참조하여 GUIDE 기반 장의 개요를 확인하십시오. PART III의 원칙 주도 변화 이니셔티브 및 프로그램의 예는 실습에서 GUIDE 기준을 설명합니다.

 

 

---

EXHIBIT 6.4 GUIDE 프레임워크 및 효과성 원칙을 위한 평가 척도

GUIDE	각 기준의 정의	샘플 품질 평가 척도
G	Guiding (안내)	평가 척도:
Guiding	원칙은 처방적입니다. 무엇을 해야 하고, 어떻게 생각해야 하며, 무엇을 가치 있게 여기고, 어떻게 행동해야 효과적인지에 대한 조언과 지침을 제공합니다. 방향을 제시합니다. 문구는 명령형입니다: "이렇게 하세요... 효과적이 되기 위해." 이 지침은 반대 또는 대안의 지침과 구별될 만큼 충분히 뚜렷합니다.	- 훌륭함 (Excellent) - 좋음 (Good) - 보통 (Fair) - 나쁨 (Poor) - 무가치함 (Worthless)
U	Useful (유용)	평가 척도:
Useful	고품질의 원칙은 의사 결정에 유용합니다. 그 유용성은 실행 가능하고 해석 가능하며 실현 가능하고 모든 관련 상황에 대한 원하는 결과로 나아가는 길을 제시하는 데 있습니다.	- 매우 유용함 (Very useful) - 꽤 유용함 (Fairly useful) - 다소 유용함 (Somewhat useful) - 약간 유용함 (Slightly useful) - 쓸모없음 (Useless)
I	Inspirational (영감을 주는)	영감 평가:
Inspirational	원칙은 가치 기반이며 윤리적 전제를 통합하고 표현하여 의미를 부여합니다. 원칙은 중요한 것이 무엇인지, 어떻게 진행해야 하고 원하는 결과가 무엇인지 명확히 합니다. 이는 영감을 주어야 합니다.	- 매우 영감을 줌 (Very inspiring) - 꽤 영감을 줌 (Fairly inspiring) - 다소 영감을 줌 (Somewhat inspiring) - 약간 영감을 줌 (Slightly inspiring) - 영감을 주지 않음 (Uninspiring)
D	Developmental (발달적인)	발달 가능성 평가:
Developmental	고품질 원칙의 발달적 특성은 다양한 맥락과 시간에 걸쳐 적용 가능성과 적응성을 나타냅니다. 원칙은 따라서 맥락에 민감하고 현실 세계의 역동성에 적응할 수 있습니다. 이는 변화하는 세계에서 지속적인 개발과 적응을 지원합니다.	- 다양한 맥락과 복잡한 상황에 매우 잘 적응함 (Highly adaptable and applicable to diverse contexts and complex situations) - 다양한 맥락과 복잡한 상황에 꽤 잘 적응함 (Fairly adaptable and applicable to diverse contexts and complex situations) - 다양한 맥락과 복잡한 상황에 다소 적응함 (Somewhat adaptable and applicable to diverse contexts and complex situations) - 다양한 맥락과 복잡한 상황에 약간 적응함 (Slightly adaptable and applicable to diverse contexts and complex situations) - 다양한 맥락과 복잡한 상황에 적응하지 못함 (Not adaptable and applicable to diverse contexts and complex situations)
E	Evaluable (평가 가능한)	평가 가능성 평가:
Evaluable	고품질 원칙은 평가 가능해야 합니다. 즉, 실제로 지침을 따르고 있는지, 결과가 무엇인지 문서화하고 판단할 수 있어야 합니다. 본질적으로, 원칙을 따르는 것이 원하는 곳으로 가는 데 필요한지를 결정할 수 있습니다.	- 매우 평가 가능함 (Highly evaluable) - 꽤 평가 가능함 (Fairly evaluable) - 다소 평가 가능함 (Somewhat evaluable) - 약간 평가 가능함 (Slightly evaluable) - 평가 불가능함 (Can’t be evaluated)

---