[프로그램 평가] 원칙 중심 평가의 틈새와 본질: 다양한 목적에 부합하기

원칙 중심 평가의 틈새와 본질: 다양한 목적을 위한 서비스
The Niche and Nature of Principles‑Focused Evaluation: Serving Diverse Purposes 

"편의는 순간을 위한 것이지만 원칙은 영원을 위한 것이다."
—헨리 워드 비처, 미국의 목사, 연설가, 작가

 

Utilization-Focused Evaluation(Patton, 2008)의 평가 초점 옵션 장에서 나는 80가지 다른 평가 옵션을 식별하고 논의했다. 총괄 평가, 형성 평가, 발전적 평가, 이론 주도 평가, 역량 강화 평가, 결과 평가, 과정 평가, 비용-편익 평가, 내부 평가, 외부 평가, 현실주의 평가, 품질 보증, 대응 평가, 독립 평가, 실제 기반 평가, 책임성, 모니터링, 활용 중심 평가 등이 있다. 그렇다면 원칙 중심 평가(principles-focused evaluation)는 평가 옵션의 풍경 속 어디에 위치할까? 더 구체적으로, 발전적 평가, 활용 중심 평가, 원칙 중심 평가의 관계는 무엇일까? 먼저 두 번째 질문부터 다뤄보자.

활용 중심 평가
Utilization‑Focused Evaluation

활용 중심 평가는 특정 상황에 맞춰 평가를 설계하고 실행하기 위한 종합적인 의사 결정 프레임워크로, 그 상황에서 주요 의도된 사용자의 정보 요구를 충족시키고 평가의 의도된 사용을 향상시키기 위한 것이다. 활용 중심 평가는 특정 의도된 사용자를 위해, 특정 의도된 사용을 위해 수행된다. 이 접근법은 평가가 유용성과 실제 사용으로 판단되어야 한다는 전제에서 시작되며, 따라서 평가자는 처음부터 끝까지 모든 것이 사용에 어떻게 영향을 미칠지를 신중히 고려하여 평가 과정을 촉진하고 평가를 설계해야 한다. 사용은 실제 세계에서 실제 사람들이 평가 결과를 어떻게 적용하고 평가 과정을 어떻게 경험하는지에 관한 것이다. 따라서 활용 중심 평가는 특정 상황과 주요 의도된 사용자에 가장 적합한 평가 접근 방식을 결정하기 위한 체계적이고 연구 기반의 지침과 일련의 단계를 제공한다. 이는 활용 중심 평가가 방법론적, 개념적, 이론적, 분석적, 과정 측면에서 모든 평가 옵션을 포괄한다는 것을 의미한다. 위에서 언급한 80가지 옵션 중 어떤 것이든, 또는 특정 평가 요구와 요구를 충족시키기 위해 명시된 다른 많은 옵션 중 어떤 것이든 활용 중심 평가에서 사용할 수 있다. 본질적으로 활용 중심 평가는 무엇에 초점을 맞출지를 규정하지 않지만, 의도된 사용자의 의도된 사용에 대한 한결같은 주의를 바탕으로 무엇에 초점을 맞출지를 결정하는 과정을 규정한다. Exhibit 5.1은 일반적인 활용 중심 평가 옵션을 요약한다. 이 옵션들 내에서 발전적 평가는 목적 옵션인 반면 원칙 중심 평가는 초점(평가 대상) 옵션이자 평가 유형이다. 아래에서 각각을 논의한다.

 

EXHIBIT 5.1 평가 초점의 옵션
EXHIBIT 5.1. Options for Focusing an Evaluation

 

평가를 구별하는 방법	샘플 옵션	활용 중심 평가에서 옵션을 선택하는 방법
1. 목적 구분 1. Purpose distinctions	a. 총괄 평가: 주요 결정을 알리기 위해 프로그램의 전반적인 가치, 중요성을 판단합니다. (계속, 종료, 확장 또는 모델 프로그램에 연락 여부) b. 형성 평가: 강점과 약점을 식별하고 피드백을 제공하여 모델을 개선하고 총괄 평가를 위해 준비합니다. c. 책임성: 자금 제공자에 의해 자원이 규정된 대로 적용되고 있는지 여부와 특정 명령된 작업 방식이 준수되고 있는지 결정합니다. d. 개발 평가: 복잡한 역동적 환경에서 혁신과 적응을 지원합니다. e. 지식 생성: 미래의 이니셔티브와 평가에 정보를 제공하기 위해 교훈을 도출합니다.	- 목적이 평가의 방향을 결정하고 주도합니다. - 주요 사용자와 협상하고 평가의 주요 목적에 대해 명확히 합니다. - 다른 목적 간의 갈등과 긴장을 관리합니다. - 목적이 평가 질문, 디자인, 방법, 분석, 보고 및 사용을 결정합니다.
2. 평가의 초점 (평가 대상) 2. Focus of evaluation (evaluand)	a. 프로그램 b. 프로젝트 c. 제품 d. 인원 e. 전략 f. 정책 g. 원칙 (개입으로서)	- 평가 대상에 상관없이 활용 중심으로 초점을 맞춥니다; 동일한 프로세스와 단계를 적용하여 사용을 향상시킵니다.
3. 평가 유형 3. Types of evaluation	a. 결과 b. 과정 c. 구현 d. 영향 e. 비용 효과 f. 비용 편익 g. 전략 중심 h. 원칙 중심 i. 이상의 조합	- 주요 사용자들의 가장 중요한 관심사, 문제 및 질문에 집중합니다. - 평가가 수행되고 있는 어떤 유형이든 고품질 평가를 수행하기 위해 적절한 자원과 시간을 확보합니다.
4. 평가 접근법 4. Evaluation approaches	a. 이론 기반 b. 참여적 c. 권한 부여 d. 무작위 대조 시험(실험 디자인) e. 준실험적 디자인 f. 실체 시스템 g. 페미니스트 h. 문화적으로 반응적인	- 주요 사용자가 다른 평가 접근법과 관련된 가정, 가치, 요구 사항, 평가자 기술 및 결과 유형을 이해하도록 합니다.
5. 평가자 역할 5. Evaluator roles	a. 독립적, 외부 b. 독립적, 내부 c. 내부 및 외부와 팀 d. 협력적 e. 코치/촉진자로서 평가자 f. 상호작용적 g. 내재적	- 주요 사용자가 평가 비용, 평가자 기술 요구 사항 및 이해 관계자 참여 기대와 관련된 역할 옵션의 함의를 이해하도록 합니다.

---

발전적 평가
Developmental Evaluation

발전적 평가는 혁신 개발을 목적으로 한다. 발전적 평가는 복잡하고 역동적인 환경에서 변화 이니셔티브의 적응적 개발을 알리기 위해 사회 혁신가와 그들의 후원자 및 지지자들에게 평가적 정보 및 피드백을 제공한다. 발전적 평가는 혁신과 적응에 평가적 질문을 하고, 평가 논리를 적용하며, 평가 데이터를 수집하고 보고하여 혁신 프로젝트, 프로그램, 이니셔티브, 제품, 조직 및/또는 시스템 변화 노력의 개발을 지원하기 위한 적시의 피드백을 제공한다. 사회 혁신가, 사회 혁신의 후원자, 사회 혁신의 옹호자와 지지자, 변화 요원은 발전적 평가의 주요 의도된 사용자이며, 이는 특정 발전적 평가에서 명확히 식별된다. 발전적 평가의 의도된 사용(목적)은 혁신의 적응과 개발을 지원하는 것이다. 이는 지속적이고 적시적인 평가를 통해 수행된다. 발전적 평가 피드백과 결과는 사회 혁신가와 변화 요원social innovators and change agents들이 혁신 전략과 결정을 명확히 하고 적응하는 데 사용된다. 이것이 의도된 사용자의 의도된 사용이다. 이것이 발전적 목적을 가진 활용 중심 평가이다. 사회 혁신의 후원자는 발전적 평가 결과를 자금 지원 결정에 반영하고 책임성 기대와 요구를 충족시킨다. 이것도 의도된 사용자의 의도된 사용이다. 이것도 활용 중심 평가이다. 간단히 말해, 발전적 평가는 특정한 종류의 활용 중심 평가이다. 40년 동안의 활용 중심 평가 실천과 연구를 통해 얻은 모든 것이 발전적 평가를 뒷받침한다(Patton, 2008, 2012a, 2015a, 2016a, 2016b).

 

발전적 평가의 틈새developmental evaluation niche는 복잡하고 역동적인 환경에서 혁신을 평가하는 데 초점을 맞춘다. 사회 생태적 혁신가는 예를 들어, 인간과 자연 세계를 상호 의존적이고 상호 작용하는 복잡하고 역동적인 시스템으로 이해하고 행동을 통합한다. 사회 생태적 혁신가는 사람과 장소, 맥락 내 개입을 다룬다. 혁신은 난제에 대한 새로운 접근을 창출하고, 변화하는 조건에 프로그램을 적응시키며, 효과적인 원칙을 새로운 맥락에 적용(혁신 확장), 시스템 변화를 촉발하고, 위기 상황에서 신속한 대응을 즉흥적으로 수행하는 것을 포함하는 넓은 틀을 포함한다. 사회 생태적 혁신은 본질적으로 역동적이고 복잡하며, 종종 불안정한 사회 시스템에서 전개된다. 이는 사회 혁신가들이 복잡성에 직면하여 개입을 적응시켜야 하는 경우가 많다는 것을 의미한다. 사회 생태적 혁신의 후원자들도 복잡한 시스템에서 사회 혁신의 역동적이고 불확실한 본질에 맞춰 유연하고 적응할 필요가 있다. 발전적 평가자는 혁신과 적응의 본질과 함의를 추적하고, 문서화하고, 해석하는 데 도움을 주며, 혁신의 과정과 결과를 모두 다루고, 지속적인 적응적 혁신 과정을 알리고 지원하기 위한 교훈과 통찰을 추출하는 데 도움을 준다. 동시에, 이는 사회 혁신의 후원자와 지지자들에게 책임성을 제공하고, 그들이 진화하는 솔루션에 대한 기여를 이해하고 세밀히 조정하는 데 도움을 준다. 사회 생태적 혁신가는 종종 문제를 다루고, 전략을 시도하며, 변화 과정에 참여하면서 발생하는 목표를 달성하려고 노력하는데, 이러한 목표는 참여 전에 식별할 수 없었으며, 학습 결과로 계속 진화한다. 발전적 평가는 이러한 출현적 문제, 전략 및 목표를 사회 혁신이 발전함develops에 따라 식별하고 이해하는 데 도움을 준다. 사회 혁신가들이 복잡한 문제를 해결하기 위해 생성한 출현적/창의적/적응적emergent/creative/adaptive 개입은 단순한 개선이 아닌 발전을 이루기 때문에 발전적 평가가 필요하다.

 

전통적 평가 접근 방식은 선형 논리 모델에 상세히 명시된 프로세스를 통해 달성할 수 있는 명확하고 구체적이며 측정 가능한 결과를 요구한다. 그러나 높은 혁신, 탐색, 불확실성, 혼란 및 출현 조건에서는 이러한 전통적 평가의 요구가 작동하지 않는다. 사실, 성급한 구체성은 탐색을 제약하고, 적응을 제한하며, 실험 옵션을 줄이고, 평가자, 후원자 또는 기타 이해 관계자가 적절하다고 이해하는 모델을 강제로 채택하게 함으로써 해를 끼칠 수 있다. 발전적 평가는 사회 혁신가들의 비판에 대한 대응으로 등장했으며, 그들이 자신들의 작업을 평가하는 대안적 방법을 요구한 것이다.

 

발전적 평가는 평가적 사고를 전체적으로 포함한다Developmental evaluation involves evaluative thinking throughout. 적응적 혁신을 지속적으로 알리는 가치, 중요성, 의미, 혁신성 및 효과(또는 협상된 기타 기준)에 대한 판단이 포함된다. 이러한 평가적 판단은 일정 기간 후(예: 3년간의 보조금) 끝나는 것이 아니라, 지속적이고 적시에 이루어진다. 경험적 결론과 해석도, 평가적 판단도 평가자가 독립적으로 도출하고 내리는 것이 아니다. 발전적 평가는 협력적, 상호작용적, 활용 중심 과정이다Developmental evaluation is a collaborative, interactive, utilization-focused process.. 이는 복잡하고 역동적인 시스템에서 전개되며, 정보의 특정 의미와 중요성을 사전에 결정하기 어려울 수 있으므로, 발전적 평가자는 출현적 결과를 함께 이해하기 위해 사회 생태적 혁신가, 후원자, 옹호자, 변화 요원 및 시스템 변화 지지자와 협력collaboratively하여 데이터를 해석해야 한다. 이러한 경험적 초점의 상호작용을 통해 발전적 평가는 혁신 과정의 필수적인 부분이 된다.

 

원칙 중심 평가
Principles‑Focused Evaluation

지금까지의 구별은 다음과 같습니다.

• 활용 중심 평가는 특정 상황에 적합한 평가 유형을 결정하고, 특정 주요 의도된 사용자의 의도된 사용을 충족시키기 위한 포괄적인 의사 결정 프레임워크입니다.
• 발전적 평가는 평가의 한 가지 특정 목적, 즉 복잡하고 역동적인 상황에 사회 혁신가가 도입한 사회 혁신의 개발을 지원하는 평가입니다.
• 원칙 중심 평가는 평가의 특정 객체, 즉 원칙을 평가 대상evaluand으로 삼고 주목합니다.
  • 결과 중심 평가의 평가 대상은 결과입니다.
  • 프로젝트 중심 평가의 평가 대상은 프로젝트입니다.
  • 변화 이론 중심 평가의 평가 대상은 변화 이론입니다. 
  • 과정 중심 평가의 평가 대상은 프로그램 과정입니다. 
  • 원칙 중심 평가의 평가 대상은 원칙입니다.

원칙 중심 발전적 평가
Principles‑Focused Developmental Evaluation

원칙 중심 발전적 평가는 원칙이 복잡하고 역동적인 상황에서 혁신적 발전을 어떻게 알리는지 평가합니다. 발전적 평가는 종종 사전 결정된 고정된 과정과 결과 없이 전개되므로, 혁신 과정은 원칙 준수에 의해 guide될 수 있습니다. 이러한 원칙을 특정 도전 과제와 변화하는 맥락에 적응시키는 것이 종종 발전적 평가의 주요 초점입니다. 예를 들어, 혁신적인 커뮤니티 기반 반빈곤 이니셔티브는 포용의 원칙에 전념할 수 있습니다. 포용에 초점을 맞춘 원칙 중심 발전적 평가는 혁신 개발을 지원하고 평가하는 목적과 개발적 적응 과정에서 복잡성을 탐색하는 방향타로서 원칙에 초점을 맞추는 것을 결합하므로 그러한 이니셔티브에 적합합니다. 그러나 모든 발전적 평가가 원칙 중심인 것은 아니며, 모든 원칙 중심 평가가 발전적 목적인 것은 아닙니다. 따라서 원칙 중심 평가의 다른 목적과 적용 사례를 고려해 보겠습니다. Exhibit 5.2는 원칙 중심 평가가 다양한 목적을 어떻게 제공할 수 있는지 또는 다양한 평가 유형을 어떻게 포함할 수 있는지 보여줍니다.

---

EXHIBIT 5.2 원칙 중심 평가가 다양한 목적을 제공하는 방법

평가 목적	원칙 중심 평가 질문	구체적인 예시
1. 형성 평가	프로그램의 원칙 준수를 어떻게 개선할 수 있습니까?	평가 결과, 노숙 청소년 프로그램의 직원들이 "트라우마 인식 치료" 원칙을 다르게 해석하고 있다는 것이 드러났습니다. 원칙에 대한 일관된 준수를 개선하기 위해 직원 교육이 권장됩니다.
2. 책임성 평가	프로그램이 자금 지원 및 정책 명령에 명시된 원칙을 따르고 있습니까?	저소득층 커뮤니티의 주요 주택 개조 프로젝트는 놀이터 및 녹지 디자인에 대한 커뮤니티 협의를 의무화합니다. 평가에서는 커뮤니티 협의의 성격, 범위 및 유형을 문서화하고 공공 책임 보고서에 결과를 보고합니다.
3. 지식 생성 평가	원칙의 효과성에 대해 무엇을 배울 수 있습니까?	온라인 학생 참여 원칙을 따르는 온라인 코스가 교직원과 학생의 피드백을 수집하고 분석하여 온라인 코스 원칙의 효과에 대한 교훈을 생성하기 위해 평가를 수행합니다. 이 교훈은 향후 온라인 코스에서 사용할 수 있습니다.
4. 총괄 평가	현재 따르고 있는 원칙이 관련 있고 효과적입니까? 유지, 변경 또는 제거되어야 합니까? (최고 관행으로 대체됨)	혁신적인 고등 교육 프로그램은 학생들에게 커리큘럼에 대한 주요 통제권을 부여하는 학습자 중심 원칙을 따릅니다. 평가에서는 졸업생과 고용주로부터 데이터를 수집하여 학생들이 성공하기 위해 무엇을 배웠는지에 대한 결과를 사용하여 학습자 중심 접근 방식이 고용 시장에서 효과가 있는지 또는 더 많은 고용주 중심 프로그램이 설계되고 구현되어야 하는지를 판단합니다.
5. 개발 평가	새로운 위치에서 혁신의 적응에 원칙이 어떻게 적용되고 있습니까?	여성의 권한 부여 원칙에 기반한 소액 금융 프로그램은 다양한 문화와 다양한 특성을 가진 여성들(젊은 여성, 나이든 여성; 결혼 여부; 자녀 유무; 교육 수준의 차이)에 대한 권한 부여 원칙의 적용을 문서화하기 위해 평가됩니다.

원칙 평가
Evaluating Principles

 

이 책에서 설명한 것처럼, 원칙 중심 평가는 원칙 구현 과정, 원칙과 관련된 결과, 원칙 주도 프로그램으로부터 발생하는 장기적이고 광범위한 영향, 그리고 원칙 적응에 대한 혁신적 접근 방식을 평가할 수 있습니다. 원칙 중심 평가는 다음과 같은 다양한 목적을 제공할 수 있습니다: 책임성, 형성 평가, 총괄 평가, 발전적 평가 및 지식 생성. 이 모든 적용에서 원칙 중심 평가는 활용 중심이어야 합니다. 이러한 모든 적용, 다양한 목적, 다양한 사용에 걸쳐 원칙 중심 평가의 구별되는 특성은 평가 객체로서의 원칙, 즉 평가 대상으로서의 원칙에 초점을 맞추는 것입니다. 세 가지 핵심 질문이 원칙 중심 평가에 초점을 맞춥니다:

• 의미 있고 평가 가능한 원칙이 어느 정도로 명확히 제시되었습니까?
• 원칙이 명확히 제시되었다면, 실제로 어느 정도로, 그리고 어떤 방식으로 준수되고 있습니까?
• 원칙이 준수된다면, 원칙이 어느 정도로, 그리고 어떤 방식으로 원하는 결과를 이끌어내고 있습니까?

활용 중심 평가, 발전적 평가, 원칙 중심 평가의 원칙 비교
Comparing Principles of Utilization-Focused Evaluation, Developmental Evaluation, and Principles-Focused Evaluation

원칙이 접근 방식을 어떻게 구별할 수 있는지, 그리고 활용 중심 평가, 발전적 평가 및 원칙 중심 평가 간의 구별과 상호 연결을 어떻게 더 명확히 할 수 있는지 설명하기 위해, 이 장의 마지막 부분에서는 각각의 필수 원칙을 제시하겠습니다. Exhibit 5.3은 활용 중심 평가 원칙을, Exhibit 5.4는 발전적 평가 원칙을, Exhibit 5.5는 원칙 중심 평가 원칙을 제시합니다. Exhibit 5.6은 세 가지 접근 방식 간의 관계를 보여줍니다. 즉, 활용 중심 평가가 포괄적인 프레임워크로서, 그 안에서 발전적 평가와 원칙 중심 평가가 별개의 옵션으로 존재하며, 때로는 원칙 중심 발전적 평가와 같이 겹칠 수 있지만, 각 접근 방식은 때로는 별개의 접근 방식을 구성합니다. (Part IV에서는 대안적인 평가 접근 방식을 구별하는 데 있어 원칙의 역할에 대해 더 자세히 논의하고, 원칙 중심 평가자들의 경험에 대한 반성을 공유할 것입니다.)

Exhibit 5.3. 활용 중심 평가의 원칙
EXHIBIT 5.3. Principles of Utilization-Focused Evaluation

1. 상황 분석: 평가가 이루어질 상황을 분석합니다.
2. 의도된 사용자: 평가의 주요 의도된 사용자를 식별하고 참여시킵니다.
3. 의도된 사용: 주요 의도된 사용자와 협력하여 평가의 우선 사용을 결정합니다.
4. 의도된 사용자의 의도된 사용: 평가의 모든 측면(질문, 방법, 설계, 측정, 분석, 타이밍, 보고)을 의도된 사용자의 의도된 사용에 맞춥니다.
5. 사용에 대한 지속적인 초점: 평가의 시작부터 끝까지 사용에 대한 주의를 평가의 중심으로 삼습니다.
6. 참여: 의도된 사용자와 함께 능동적-반응적-상호작용적-적응적으로 작업합니다.
7. 과정 사용: 평가에 참여하는 것이 관련된 사람들에게 미치는 영향을 인식하고 전략적으로 접근합니다.
8. 적응: 우선순위 변경, 의도된 사용자 교체, 자원 재분배, 타임라인 변경 및 시간 경과에 따라 발생하는 기타 요인에 적응하고 경직성을 피합니다.
9. 후속 조치: 의도된 사용자와 함께 평가 결과를 해석하고 행동에 옮깁니다.
10. 학습: 활용 중심 평가 과정과 결과의 강점과 약점을 반영하여 배우고 개선합니다.

Exhibit 5.4. 발전적 평가 원칙
EXHIBIT 5.4. Developmental Evaluation Principles

1. 발전적 목적: 개발 중인 것(혁신, 적응, 시스템 변화)의 본질과 패턴, 그리고 그 패턴의 함의와 결과를 식별하여 명확히 하고 지원합니다.
2. 평가 엄격성: 평가 질문을 면밀히 조사하고, 평가적 사고를 하고, 가정을 질문하며, 평가 논리를 적용하고, 적절한 방법을 사용하며, 경험적으로 기반을 두어 데이터를 철저히 수집, 해석, 보고합니다.
3. 활용 초점: 시작부터 끝까지 의도된 사용자의 의도된 사용에 초점을 맞추고, 유용성과 실제 사용을 보장하기 위해 평가 과정을 촉진합니다.
4. 혁신 틈새: 평가되는 변화 과정과 결과가 혁신과 적응을 어떻게 포함하는지 명확히 합니다.
5. 복잡성 관점: 복잡성의 렌즈를 통해 개발을 이해하고 해석하며, 평가를 이에 맞게 수행합니다. 이는 문제를 이해하고 혁신, 적응 및 시스템 변화 전략을 안내하며, 개발된 내용을 해석하고, 필요한 경우 평가 설계를 적응시키고, 출현한 결과를 분석하기 위해 복잡성의 전제와 역학을 사용하는 것을 의미합니다.
6. 시스템 사고: 혁신이 개발되고 평가가 수행되는 사회 시스템과 맥락 내에서 상호 관계, 관점, 경계 및 기타 주요 측면에 주의를 기울이며 시스템적으로 사고합니다.
7. 공동 창조: 혁신과 평가가 함께 발전하며, 상호 얽혀 있고, 상호 의존적이며, 반복적이고 공동으로 창조됩니다. 이를 통해 발전적 평가는 변화 과정의 일부가 됩니다.
8. 적시 피드백: 분기별, 중간 및 프로젝트 종료와 같은 사전 결정된 시간에만 피드백을 제공하는 것이 아니라, 필요, 결과 및 통찰이 출현함에 따라 지속적인 적응을 알리기 위해 적시에 피드백을 제공합니다.
   출처: Patton (2016a).

Exhibit 5.5. 원칙 중심 평가를 안내하는 원칙
EXHIBIT 5.5. Principles Guiding Principles-Focused Evaluation

1. 매칭: 원칙에 헌신하는 사람들과 함께 원칙 중심의 이니셔티브에 대해 원칙 중심의 평가를 실시하세요. 원칙이 평가의 기준(평가의 초점)입니다.
2. 구분 중시: 원칙의 유형을 자연적, 도덕적, 효과성으로 구분하고 원칙을 가치, 신념, 교훈, 규칙, 속담과 구별하세요.
3. 품질: 가이드 기준을 충족하는 원칙의 개발을 지원합니다: 지침이 되고, 유용하며, 영감을 주고, 발달적 적응을 지원하며, 평가할 수 있습니다.
4. 평가의 엄격성: 실행(원칙이 지켜졌는가?)과 결과(어떤 차이를 만드는가?) 모두에 대한 효과성 원칙을 체계적으로 조사하고 평가합니다.
5. 활용에 중점: 처음부터 끝까지 의도된 사용자의 용도에 초점을 맞춰 평가 프로세스를 용이하게 하여 유용성과 실제 사용을 보장합니다.
6. 수사를 넘어선 원칙: 원칙을 포괄적으로 사용하도록 지원하고, 원칙이 단순한 목록이 되지 않도록 하며, 직원 개발, 고객과의 협력, 전략 계획, 모니터링 및 평가 등 모든 기능에 적용하세요.
7. 상호 연결: 원칙을 상호 연결하세요. 원칙 중심 평가의 8가지 원칙은 선택과 집중의 목록이 아니라 상호 의존적이고 상호 연결된 전체입니다. 평가 대상인 원칙 집합에 대해 개별 원칙이 어떻게 연계되어 있는지(또는 연계되어 있지 않은지), 상호 연결되는지(또는 연결되지 않은지) 검토하세요.
8. 학습: 원칙 중심 평가 과정과 결과의 강점과 약점을 성찰하여 학습하고 개선하며 원칙 중심의 반성적 실천에 참여합니다. 원칙 중심 프로그래밍 및 원칙 중심 평가에 대해 더 깊이 학습하고, 교훈을 추출하고 적용합니다.

---