[프로그램 평가] 유용성은 누구에게? 프로그램 평가의 범위 설정과 평가 활용 이론

출처: Onyura, B. (2020). Useful to whom? Evaluation utilisation theory and boundaries for programme evaluation scope. Medical Education, 54(12), 1100-1108.
https://asmepublications.onlinelibrary.wiley.com/doi/10.1111/medu.14281

 

유용성은 누구에게? 프로그램 평가의 범위 설정과 평가 활용 이론

1. 서론

건강 직업 교육 분야에서 개입(인터벤션)의 의무적인 평가가 조직 생활의 일환으로 자리 잡아가고 있습니다. 특히, 의료 교육에서 평가의 중요성은 성공적인 프로그램의 확산을 촉진하고, 역량 기반 의료 교육의 약속을 실현하는 데 필수적이라고 주장됩니다.

 

하지만 이러한 평가의 이점을 주장하는 것과는 달리, 실제로 프로그램 평가가 건강 직업 교육 내에서 어떻게 활용되는지에 대한 경험적 연구는 부족한 상황입니다. 다양한 이해관계자가 프로그램 평가에 참여하면서 얻는(혹은 얻으려고 하는) 가치에 대해 조사하는 연구도 제한적입니다.

 

평가 활용 이론(Evaluation Utilisation Theory)은 평가 관행의 예상되는 유용성과 실제 영향을 탐구하는 데 도움을 줄 수 있습니다. 또한, 평가를 사용하는 이해관계자들의 우선순위가 프로그램 평가의 범위에 어떻게 영향을 미칠 수 있는지를 이해하는 데도 도움이 됩니다.

 

이 논문에서는 평가 활용의 개념과 평가 관행에 대한 사고에서 다양한 형태의 활용을 고려하는 것의 중요성에 대해 논의합니다. 또한, 관련 이론과 연구를 바탕으로 다양한 형태의 평가 활용을 우선시하는 것의 이점과 위험성에 대해 논의합니다. 이러한 이론적으로 기반을 둔 평가 활용 이해는 보다 의미 있는 평가 방법론의 선택, 투명한 보고, 평가 영향에 대한 더 나은 이해를 가능하게 합니다.

프로그램의 정의

여기서 사용되는 '프로그램'이라는 용어는 특정 목표를 달성하기 위해 의도된 관련 활동들을 포함하는 모든 사회적 또는 교육적 개입을 의미합니다. 프로그램은 소규모의 지역 개입부터 대규모의 국가적 개입에 이르기까지 크기와 범위가 다양하며, 프로그램 평가는 프로그램의 목표, 기능, 결과에 대한 경험적 조사를 포함합니다.

---

이해를 돕기 위해 논문에서 언급한 핵심 포인트를 요약하자면 다음과 같습니다:

1. 의료 교육에서의 평가 중요성: 성공적인 프로그램 확산과 역량 기반 의료 교육의 실현을 위해 평가가 필수적입니다.
2. 경험적 연구의 부족: 실제 프로그램 평가가 어떻게 활용되는지에 대한 연구가 부족합니다.
3. 평가 활용 이론의 필요성: 평가 관행의 예상 유용성과 실제 영향을 탐구하고, 이해관계자의 우선순위가 평가 범위에 미치는 영향을 이해하는 데 도움을 줍니다.
4. 프로그램의 정의: 특정 목표를 달성하기 위한 사회적 또는 교육적 개입으로, 크기와 범위가 다양합니다.

이 논문은 평가 활용 이론을 바탕으로 건강 직업 교육 분야에서의 평가 활용에 대한 이해를 돕고, 이를 통해 더 나은 평가 방법론 선택과 평가 영향에 대한 이해를 촉진하려는 목적을 가지고 있습니다.

---

2. ‘유용성’의 다양성: 평가 활용 용어 이해하기

평가 활용의 정의

‘평가 활용’은 프로그램 평가 과정과 결과를 활용하여 프로그램과 그 운영 기관에 대한 사고, 의사 결정 또는 행동에 영향을 미치는 것을 의미합니다. 초기의 다수 연구에서는 다양한 분야에서 평가 활용률이 낮다는 결과를 보고하였고, 이는 평가 결과가 자주 사용되지 않으며 평가된 프로그램과 운영 기관에 최소한의 영향만 미친다는 것을 시사했습니다.

 

이러한 결과는 평가가 ‘유용하다’는 것이 정확히 무엇을 의미하는지에 대한 평가 이론가들 사이에서 논의를 불러일으켰습니다. 이는 특정 개입에 대해 이해관계자(및 이해관계자 그룹)가 다양하기 때문입니다. 예를 들어, 의료 교육에서 이해관계자 그룹에는 프로그램 참가자(예: 의대생 및 레지던트), 교직원, 병원 관리자, 부서 리더십, 프로그램 직원, 환자, 연구원, 정책 입안자, 정부 및 지역 사회 등이 포함됩니다. 각 그룹의 필요, 배경, 관심사가 다르기 때문에 ‘유용한 평가’라는 것은 가변적이고 이동하는 목표가 될 수 있습니다.

평가 범위에 대한 결정

평가 범위에 대한 결정은 의도적이든 무의식적이든, 한 이해관계자 그룹의 활용 우선순위를 다른 그룹보다 더 중요하게 여기는 결정을 반영할 수 있습니다. 평가자들은 종종 평가의 정치적 현실을 인정하면서 중립성의 상징을 유지해야 하는 상황에 직면한다고 설명됩니다. 따라서 평가 범위에 대한 결정에 영향을 미치는 요소에 대한 더 큰 인식은 방법론을 조정하고 영향을 이해하는 데 가치가 있을 뿐만 아니라, 평가 학문에서 누구의 이익이 우선시될 수 있는지에 대해 투명성을 확보하는 데도 중요합니다.

평가 활용의 유형

평가 활용 이론 문헌에서는 다양한 형태의 평가 활용이 확인되었습니다. 주요 평가 활용 용어의 요약은 다음 표에 나와 있습니다:

평가 활용 용어 요약 (Table 1)

유형	정의
도구적 활용	특정 프로그램에 대한 행동을 알리기 위해 평가 결과를 직접 적용 (주로 단기적으로) (예: 커리큘럼 수정, 프로그램 확대 또는 종료)
개념적 활용	특정 프로그램 또는 유사한 개입 유형의 일부 측면에 대한 청중의 사고 방식을 변화시키기 위해 평가 결과를 적용
과정 활용	평가 과정에서 발생하는 학습의 기능으로 이해관계자의 참여로 인한 행동, 프로그램 개념화 또는 조직 절차 및 문화의 변화
상징적 활용	지위 또는 정치적 자본을 확보하기 위해 평가를 사용 (예: 채용 또는 영향력 과시)
정당화 활용	이미 내려진 결정을 정당화하기 위해 평가를 사용 (예: 프로그램 변경에 대한 결정을 강화하기 위해 평가를 의뢰)
오용	개인적 또는 프로그램적 이익을 확보하기 위해 평가 과정이나 결과를 고의적(또는 악의적)으로 조작 (예: 프로그램 보고서가 효과가 없다는 것을 보여주는 평가 보고서 결과를 선택적으로 사용하여 지속적인 자금 지원을 정당화)
비사용	평가 결과를 무시하거나, 데이터 품질이 낮거나 더 설득력 있고 고품질의 데이터 소스가 있을 때 평가 결과를 의도적으로 사용하지 않음

요약

평가 활용의 다양한 형태는 상호 배타적이지 않으며, 종종 다양한 형태의 사용이 공존하고 상호 작용합니다. 그러나 어떤 활용 결과를 최적화하려는지에 따라 범위와 방법론적 접근에 현저한 차이가 있을 수 있습니다. 각 접근 방식에는 장점과 단점이 있으며, 평가 계획을 설계하고 평가의 영향을 조사할 때 의미 있게 고려되어야 합니다.

---

이 부분에서는 평가 활용의 개념을 소개하고, 다양한 이해관계자들의 필요와 배경을 고려하여 평가의 유용성이 어떻게 다르게 정의될 수 있는지를 설명합니다. 평가 범위 결정의 중요성과 평가 활용의 여러 유형에 대해 이해하는 것이 중요합니다.

---

3. 품질 향상을 위한 평가: 도구적 활용

도구적 활용의 중요성

많은 사람들에게 도구적 활용은 프로그램 평가의 최종적인 가치 지표로 여겨집니다. 이는 평가를 통해 도출된 데이터와 통찰이 직접적으로 프로그램 개선에 활용된다는 것을 의미하기 때문입니다. 하지만 평가 접근 방식은 단기적인 프로그램 품질 개선을 평가 실천의 목표로 얼마나 우선시하는지에 따라 다릅니다. 도구적 활용을 우선시하는 평가 접근 방식은 평가 결과를 기반으로 프로그램을 개선할 권한을 가진 사람들이 즉각적으로 활용할 수 있는 데이터 제공에 초점을 맞춥니다.

도구적 활용을 우선시하는 평가 접근법

도구적 활용은 Patton의 활용 중심 평가나 개발 평가와 같은 유명한 평가 접근법의 특징입니다. 이러한 접근법은 의료 교육 프로그램 평가의 이상적인 기준으로 일부 학자들에 의해 홍보되었습니다. 활용 중심 평가에서는 ‘주요 사용자에 의한 의도된 사용’을 충족하는 정보 요구를 충족시키는 데 중점을 둡니다. 주요 사용자들은 평가 결과를 프로그램에 대한 의사 결정에 활용할 의지와 권한을 가진 프로그램 이해관계자(대부분 평가를 의뢰한 프로그램 리더십이나 프로그램 기금 제공자)입니다.

 

이러한 접근법은 평가 과정 전반에 걸쳐 이해관계자(주요 사용자)의 적극적인 참여가 필요합니다. 이는 평가 질문 개발, 평가 도구 설계, 결과 분석 및 해석 등의 단계에 걸쳐 이루어집니다. 연구에 따르면 이러한 집중적인 이해관계자 참여는 프로그램 리더십의 평가 결과에 대한 도구적 행동을 보장하는 데 도움이 될 수 있습니다. 그러나 도구적 활용을 우선시하는 평가 설계의 잠재적 위험에 대한 우려도 있습니다.

도구적 활용 우선시의 잠재적 위험

첫째, 프로그램 관리자와 같은 특정 이해관계자가 평가 범위에 과도한 영향을 미칠 수 있는 편향이 강조될 수 있습니다. 이러한 이해관계자는 프로그램 활동에 대한 깊은 지식을 가지고 있으며, 경험적 및 연구 증거를 바탕으로 한 프로그램 운영에 대한 정신적 모델을 보유할 수 있습니다. 그러나 이러한 이해관계자의 정신적 모델에 대한 과도한 의존과 프로그램 관리자에게 '절대적 합리성'을 상정하는 것(즉, 그들이 필요를 완전히 알고, 위험과 기회에 대해 정보가 있으며, 자원 사용을 최적화하는 결정을 내리고 있다고 가정하는 것)의 위험이 있습니다. 프로그램과 그 활동이 항상 합리적인 행동은 아니며, 주요 이해관계자의 프로그램 운영에 대한 직관적 이론은 불확실한 가정에 기초할 수 있습니다. 도구적 활용을 최대화하는 데 초점을 맞추면 이러한 가정을 면밀히 검토하지 않고 넘어갈 수 있으며, 이는 대안적 프로그램 이론을 탐구하거나 예상치 못한 결과를 식별할 기회를 놓칠 수 있습니다.

 

둘째, 도구적 활용을 우선시하는 평가가 항상 정치적으로 중립적인 개혁 도구라고 가정하는 위험이 있습니다. 실제로 평가 결과의 비사용은 흔합니다. 연구에 따르면 프로그램 평가의 급진적인 도구적 사용(예: 프로그램 종료)은 드문 결과입니다. 특히 교육, 의료 교육을 포함한 분야에서는 기관이 급진적인 개혁에 저항하는 경향이 있습니다. 평가 결과가 사용될 때 프로그램 관리자들은 급진적인 개혁을 추구하기보다는 점진적인 접근 방식을 채택하는 경향이 있습니다. 따라서 도구적 활용을 최대화하려는 평가는 좁은 범위의 사전 결정된 전략적 우선순위에 의해 제한될 수 있습니다. 이러한 접근 방식은 특정 상황에서는 타당할 수 있지만, 소수의 이해관계자의 전략적 우선순위에 너무 집중하면 다른 이해관계자 그룹의 이익을 간과하고 프로그램 변경에 대한 주요 기초적 요구를 파악하지 못할 수 있습니다.

도구적 활용을 강조하지 않는 평가 접근법과의 비교

도구적 활용을 최대화하려는 평가 접근법과 이를 강조하지 않는 평가 접근법(즉, 목표 없는 평가) 사이의 비교가 유용합니다. 목표 없는 평가는 프로그램 품질 개선을 보장하는 것이 평가자의 역할이라는 개념을 거부합니다. 목표 없는 평가자는 평가 보고서에서 도구적 사용의 '잠재력'을 제공하기 위해 실행 가능한 권고 사항을 도출하도록 권장되지만, 도구적 활용을 최적화할 목적으로 평가 계획을 설계할 필요는 없습니다. 또한, 목표 없는 평가자는 평가 범위를 결정할 때 프로그램 관리자들의 프로그램 목표나 프로그램 운영에 대한 개념에 의존하는 것을 권장하지 않습니다. 대신, 평가자는 특정 소비자 또는 사회적 필요에 따라 평가 범위와 경계를 결정할 책임을 집니다.

---

이 부분에서는 도구적 활용의 중요성과 이를 우선시하는 평가 접근법의 특징을 설명합니다. 또한, 도구적 활용을 우선시할 때 발생할 수 있는 잠재적 위험과 이를 강조하지 않는 평가 접근법과의 비교를 통해 도구적 활용의 장단점을 다룹니다.

---

4. 지식과 이해를 위한 평가: 개념적 활용

개념적 활용의 정의와 중요성

'개념적 활용' (또는 '계몽적 사용')은 평가 결과를 사용하여 특정 프로그램이나 유사한 유형의 개입에 대한 새로운 지식이나 이해를 생성하는 것을 의미합니다. 이 접근법은 평가된 프로그램에 직접적으로 영향을 미칠 수 있는지 여부에 관계없이 지식을 축적하는 가치를 강조합니다. 개념적 활용은 평가 결과가 프로그램 직원들에게 프로그램과 해결하려는 문제에 대한 풍부한 이해를 제공하는 경우처럼 지역 수준에서 발생할 수 있습니다. 또한 평가 결과가 공공 또는 학술 포럼을 통해 확산되면 더 넓은 청중에게 영향을 미칠 수 있습니다.

개념적 활용의 확장성과 장점

개념적 활용을 우선시하는 것은 평가의 범위를 확장하여, 프로그램 실패와 비정상적인 활동에 대한 질문을 수용하는 것을 포함합니다. 이러한 접근법은 결과 지식이 정치적으로 수용 가능하거나 실행 가능하지 않을 때에도 발생할 수 있습니다. 지식과 이해를 위한 평가에 중점을 두는 것은 내부(지역 프로그램) 관점과 외부 관점 및 전문 지식 간의 상호 작용을 촉진할 가능성이 더 큽니다. 외부 관찰자들은 지역 프로그램 수준을 넘어 지식을 전파하는 데 관심이 있으므로, 평가의 엄격성과 포괄성을 포기하지 않으려는 경향이 있습니다.

개념적 활용을 우선시하는 평가 접근법

개념적 활용을 우선시하는 평가 접근법은 평가 과정에서 이해관계자의 참여에 덜 의존하며, 사회적 및 교육적 개입의 이론적 기반에 대한 명확한 설명과 검토, 방법론적 엄격성에 더 중점을 둡니다. 이들은 이론 기반 평가의 범주에 속하는 접근법으로, 예를 들어 이론 주도 평가와 현실 평가가 포함됩니다.

개념적 활용의 위험성과 한계

개념적 활용이 발생하려면 평가 결과가 수신자에게 신선한 통찰을 불러일으킬 수 있는 새로운 것을 드러내야 합니다. 따라서 개념적 활용을 우선시하는 평가들은 독창성을 강조하며, 가장 독창적이거나 혁신적으로 여겨질 가능성이 높은 평가 질문에 중점을 둡니다. 그러나 이러한 접근 방식은 프로그램 실행의 더 일상적인 측면을 검증하는 데 필요한 작업을 수행하는 것을 소홀히 할 위험이 있습니다.

 

예를 들어, 일부 연구자들은 평가 연구에서 프로그램 이론에 관한 질문을 다루면서 실제로 평가되는 프로그램의 존재 여부에 대한 '기본 질문'을 다루지 않는 것에 대해 우려를 표명했습니다. 이러한 연구에서는 프로그램 변경 메커니즘, 영향 경로 또는 프로그램 결과에 대한 이론적으로 기반을 둔 질문을 탐구할 수 있지만, 평가 범위는 프로그램의 실제 실행 정도를 조사하는 것을 제외할 수 있습니다. 제대로 실행되지 않은 프로그램을 평가하는 것은 '유형 III 오류'로 불립니다.

의료 교육에서의 평가

의료 교육 학자들은 최근 평가 연구가 프로그램의 특성과 실제 실행을 맥락에서 더 잘 조사하여 프로그램 영향에 대한 의미 있는 지식을 생성할 필요가 있다고 주장했습니다. Horsley와 Regehr는 평가 학문에서 실행 세부 사항을 명확하게 보고하는 것이 증거 기반 실습 교육의 효과적인 번역을 위한 중요한 전제 조건이라고 주장합니다. Varpio와 동료들은 혁신을 새로운 맥락으로 이전할 때 이러한 평가적 주의가 특히 중요하다고 주장합니다. 이는 이전 과정에서 타협과 적응이 필요하며, 이로 인해 개입의 본질이 변할 수 있기 때문입니다.

 

교육에서 실행을 경험적으로 연구하는 데 도움이 되는 방법론적 자원이 많이 있기 때문에, 이 연구 영역이 반복적으로 평가 범위 밖으로 떨어지는 이유와 평가 지식 생산자들 사이에서 '유용성'에 대한 인식이 이러한 간과에 어떻게 영향을 미칠 수 있는지를 주목하는 것이 중요합니다.

---

이 부분에서는 개념적 활용의 정의와 중요성, 그리고 이를 우선시하는 평가 접근법의 장점과 한계를 다룹니다. 개념적 활용은 평가 결과가 새로운 지식이나 이해를 생성하는 데 중점을 두며, 이를 통해 지역 및 더 넓은 청중에게 영향을 미칠 수 있습니다. 또한, 개념적 활용을 우선시하는 평가 접근법은 이론적 기반과 방법론적 엄격성을 강조하며, 이러한 접근법의 위험성과 한계를 설명합니다.

---

5. 역량 강화와 사회 정의를 위한 평가: 과정 활용

과정 활용의 정의와 중요성

평가에 참여하는 것이 평가 결과와 상관없이 하나 이상의 이해관계자 그룹이나 주최 조직에 유용한 경우, 과정 활용이 발생한 것으로 간주됩니다. 과정 활용은 프로그램 평가 과정에 참여하는 개인이나 그룹의 사고, 행동 또는 문화에 발생하는 변화를 의미합니다. 이는 프로그램 평가의 부수적인 부산물이 될 수 있으며, 평가 과정에 참여함으로써 개인이 배우고, 관계를 구축하며, 의사소통을 개선하고, 사기를 증진시킬 수 있습니다.

 

과정 활용은 프로그램 품질 개선으로 이어질 수도 있지만, 그 차이점은 프로그램 개선의 동인이 평가 결과에 있는 것이 아니라 평가 탐구 과정 자체에 내재되어 있다는 점입니다.

과정 활용의 발생 가능성

과정 활용은 모든 평가 탐구의 부수적인 부산물로 발생할 수 있지만, 과정 활용을 의도적으로 유도하도록 설계된 참여적이고 협력적인 평가 접근 방식에서 더 자주 발생합니다. 참여적 평가에 관한 연구는 참가자들이 프로그램 평가와 프로그램 운영에 대한 이해를 높임으로써 역량 강화를 지원한다는 것을 시사합니다.

 

그러나 이러한 혜택이 모든 참가자에게 실현되는 것은 아닙니다. 과정 활용은 개인의 평가 과정 참여 강도와 관련이 있기 때문입니다. 특정 개인이나 이해관계자 그룹은 여러 가지 이유로 평가에 한정적으로 참여할 수 있습니다.

참여적 평가의 성공 조건

King에 따르면, 참여적 평가가 성공하기 위해서는 몇 가지 조건이 필요합니다:

• 경험의 공유 의미: 참가자들 간에 경험에 대한 공유된 의미가 있어야 합니다.
• 충분한 자원: 충분한 자원이 제공되어야 합니다.
• 높은 수준의 대인 및 조직 신뢰: 높은 수준의 대인 및 조직 신뢰가 필요합니다.
• 수용적인 권력 구조: 수용적인 권력 구조가 필요합니다.

따라서 과정 활용을 우선시하는 평가 설계자는 평가 과정에서 이러한 조건을 지원하기 위해 노력해야 합니다.

과정 활용의 장점과 한계

과정 활용의 장점은 평가 과정에 참여하는 동안 개인이 학습하고, 관계를 구축하며, 의사소통을 개선하고, 사기를 증진시킬 수 있다는 점입니다. 이러한 접근 방식은 프로그램 개선의 동인이 평가 결과에 있지 않고 평가 탐구 과정 자체에 내재되어 있음을 강조합니다.

 

하지만 과정 활용이 모든 참가자에게 동등하게 혜택을 줄 수 없다는 한계도 있습니다. 개인의 평가 과정 참여 강도와 관련이 있기 때문에 특정 이해관계자 그룹이 평가에 한정적으로 참여할 수 있습니다. 따라서 평가 설계자는 평가 과정에서 참여를 최대한 유도하고 지원하기 위해 필요한 조건을 충족해야 합니다.

---

이 부분에서는 과정 활용의 정의와 중요성, 그리고 참여적 평가의 성공 조건을 설명합니다. 과정 활용은 평가 결과와 상관없이 평가 과정에 참여하는 개인이나 그룹의 사고, 행동 또는 문화에 변화를 가져오는 것을 의미하며, 참여적 평가 접근 방식에서 더 자주 발생할 수 있습니다. King에 따르면, 성공적인 참여적 평가를 위해서는 여러 조건이 필요하며, 평가 설계자는 이러한 조건을 지원하기 위해 노력해야 합니다.

---

5. 역량 강화와 사회 정의를 위한 평가: 과정 활용 (계속)

사회 정의를 위한 과정 활용

과정 활용은 사회 정의를 지원하기 위해 평가를 사용하려는 평가 접근 방식에서도 종종 강조됩니다. 여기에는 역량 강화 평가와 교육적 가치 참여 평가가 포함됩니다.

• 역량 강화 평가는 평가자가 프로그램 참가자와 클라이언트 사이에서 자기 결정을 촉진하려는 목표를 가지고 있습니다. 이 접근법은 전통적으로 억압받고 소외되며 경제적으로 빈곤한 인구에 초점을 맞추었지만, Fetterman은 억압과 소외는 사회적 및 경제적 계층의 모든 수준에서 존재할 수 있으며, 따라서 자기 결정의 목표는 항상 적용 가능하다고 주장합니다. 실제로 역량 강화 평가 원칙은 커리큘럼 개혁 동안 교수진과 학생들을 협력적인 과정 설계 및 평가 피드백 주기에 참여시키는 데 사용되었습니다.
• 교육적 가치 참여 평가는 포괄성, 대화, 심의를 강조하여 평가 과정에서 사회 정의를 우선시합니다. 이 접근법은 다양한 사람들의 포용, 토론과 인터뷰를 통한 대화, 그리고 차이점과 공통점을 표면화하는 심의를 강조합니다.

예를 들어, 특정 개입의 영향을 연구하는 맥락에서 이러한 접근법이 유용할 수 있습니다. 예를 들어, 의료 학생들 사이에서 일차 진료 전공 선택을 촉진하기 위해 재정적 지원 인센티브를 사용하는 것과 같은 논란이 있는 개입의 효과를 연구하는 경우입니다. 이러한 개입은 부족한 지역 사회에 일차 진료 제공자를 증가시키려는 명시적 목표로 설계되었지만, 저소득층 의료 학생들을 일차 진료로 선택하게 하고, 부유한 학생들에게는 광범위한 전문 선택 옵션을 허용함으로써 불평등한 조건을 만들 수 있다는 우려가 있습니다. 이러한 개입의 의미 있는 평가는 사회 정의 문제에 명확히 초점을 맞추고, 평가 과정 전반에 걸쳐 영향을 받는 지역 사회의 적극적인 참여를 요구합니다.

과정 활용 접근 방식을 선택할 때 고려해야 할 요소

과정 활용을 강조하는 접근 방식을 선택할 때 몇 가지 요소를 고려해야 합니다.

• 참여자의 적극적인 참여: 이러한 접근 방식의 성공은 프로그램 평가에 지속적인 노력과 심의를 기울일 수 있는 개인들의 적극적인 참여에 달려 있습니다. 이는 자원 집약적이며, 이해관계자 그룹 전반에 걸쳐 적절한 대표성이 확보되지 않으면 접근 방식의 목표가 약화될 수 있습니다.
• 권력 불균형 및 신뢰 문제: 권력 불균형과 취약한 대인 또는 조직 신뢰와 관련된 문제는 다양한 목소리의 진솔한 참여를 크게 제한할 수 있습니다. 이러한 문제에 대한 명확한 주의가 없으면, 접근 방식은 참여하지 않는 참가자와 덜 강력하거나 적절히 대표되지 않는 이해관계자 그룹의 우려를 간과할 위험이 있습니다.
• 내부 초점의 평가 범위: 과정 활용을 강조하는 평가의 범위는 지역적 책임성(프로그램과 프로그램 참가자 내) 강조에 중점을 둔 경우가 많습니다. 일부 학자들은 이러한 접근 방식의 내향적 범위가 외부 책임성을 저평가한다고 우려를 표명했습니다. 이는 평가 범위가 프로그램과 그 평가에 적극적으로 참여하는 참가자들의 성찰과 학습 우선순위에 특화되어 있기 때문입니다.

---

이 부분에서는 과정 활용의 정의와 중요성을 설명하고, 사회 정의를 위한 평가 접근 방식을 소개하며, 과정 활용 접근 방식을 선택할 때 고려해야 할 요소를 다룹니다. 과정 활용은 참여적이고 협력적인 평가 접근 방식에서 더 자주 발생하며, 참여자의 적극적인 참여와 권력 불균형 및 신뢰 문제에 대한 주의가 필요합니다. 과정 활용을 강조하는 평가의 범위는 지역적 책임성에 중점을 두며, 외부 책임성을 저평가할 수 있다는 우려가 있습니다.

---

6. 프로그램 자본을 위한 평가: 설득적 활용

설득적 활용의 정의와 중요성

프로그램 평가를 정치적 또는 기타 자본을 확보하기 위해 사용하는 것을 설득적 활용이라고 합니다. 이는 평가를 사용하여 프로그램의 지위를 확보하는 상징적 활용과, 이전 결정을 정당화하는 정당화 활용을 포함합니다. 교육 프로그램은 자원이 제한된 환경에서 진행되며, 자금 조달을 위해 치열한 경쟁을 벌이거나 어떤 유형의 활동이 자금을 받아야 하는지에 대한 경쟁적인 이념과 마주하게 됩니다. 이는 평가 실천의 정치적 차원을 추가하며, 평가가 자원을 위한 정치적 투쟁에서 이해관계자의 이익을 방어하는 도구가 될 수 있습니다. 평가를 의뢰하는 행위 자체가 설득적 행위가 될 수 있습니다. 프로그램 평가를 시작하는 것은 평가를 의뢰한 프로그램이나 조직이 비판과 변화에 열려 있다는 인상을 주기 때문에 상징적으로 '올바른 일을 하는 것'과 연관됩니다.

설득적 활용의 동기와 평가 범위 제한

설득적 활용을 우선시하는 평가 의뢰자는 평가자가 '영향을 찾도록' 도와줌으로써 평가 결과를 상징적 및 정당화 목적으로 활용하려는 명시적 의도를 가지고 평가를 의뢰할 수 있습니다. 이러한 평가 동기는 이해할 만하지만, 이는 평가 범위를 제한할 수 있는 점도 중요하게 고려해야 합니다.

 

첫째, '영향을 찾는' 욕구는 일반적으로 평가를 인식된(그리고 사전에 개념화된) 프로그램 성과의 식별로 향하게 합니다. 이러한 결과 중심의 평가 탐구는 평가 실천의 중요한 부분이지만, 평가가 프로그램 구현 과정, 기본 가정 또는 의도하지 않은 결과를 질문하지 않고 좁은 결과 세트에만 집중할 때 문제가 발생합니다. 상징적 목적으로 영향을 찾는 것은 단기 보고 주기 내에서 달성되고 측정될 수 있는 결과에 대한 과도한 집중을 초래할 수 있습니다.

 

이러한 좁게 초점을 맞춘 평가가 프로그램 관리자에게 설득적 사용을 위한 긍정적인 결론을 제공할 수 있지만, 이는 특정 유형의 개입의 기능과 장기적인 결과에 대한 의미 있는 학습을 더 넓은 이해관계자 커뮤니티에 제공하지 않습니다. 또한, 이는 단기적 결과에 초점을 맞추는 부정적인 인센티브를 만들어 더 의미 있는 장기적 결과를 희생시킬 수 있습니다. 이는 혁신적인 개입이 단기적으로 긍정적인 결과를 보일 수 있으며, 동시에 문제 있는 장기적 영향을 초래할 수 있기 때문에 문제가 됩니다.

 

예를 들어, 재정적 인센티브를 받는 레지던트들의 오류 보고 증가와 관련하여 긍정적인 단기 효과를 보일 수 있는 환자 안전 인센티브 프로그램이 있습니다. 그러나 동일한 개입은 레지던트의 오류 보고에 대한 내재적 동기 부여에 미치는 잠재적 부정적 영향, 다른 임상 팀 구성원에 대한 영향, 그리고 오류 보고에 따른 후속 조치와 관련된 비용 등 장기적인 결과에 대한 질문을 제기할 수 있습니다. 초기 긍정적인 성과에 대한 과도한 강조는 보다 불확실한 장기적 영향을 평가하는 것을 막을 수 있습니다.

---

이 부분에서는 설득적 활용의 정의와 중요성, 그리고 설득적 활용을 우선시하는 평가가 어떻게 평가 범위를 제한할 수 있는지 설명합니다. 설득적 활용은 상징적 활용과 정당화 활용을 포함하며, 자원 조달과 정치적 투쟁에서 중요한 역할을 합니다. 그러나 이러한 동기가 평가 범위를 제한하고, 장기적인 결과보다는 단기적인 성과에 과도한 집중을 초래할 수 있는 위험이 있습니다.

---

6. 프로그램 자본을 위한 평가: 설득적 활용 (계속)

설득적 활용의 한계와 위험

두 번째, 설득적 활용을 우선시하여 평가 범위를 결정하는 것은 프로그램이 ‘영향을 받는 자’에게 긍정적인 효과를 미친다는 전제를 내포합니다. 실제로 사회적 및 교육적 개입을 임상 개입과 같은 방식으로 의도치 않게 해를 끼칠 수 있다고 생각하지 않지만, 목표한 참가자와 의도하지 않은 영향 대상에게 해를 끼칠 가능성이 있습니다.

 

의료 교육에서 이러한 상황의 뚜렷한 예는 의료 학습자들에게 문화 간 역량을 가르치기 위해 설계된 교육 개입에 대한 평가 연구에서 드러났습니다. 연구 결과에 따르면, 이 환경에서 문화적 소수자인 의료 학생들은 의도하지 않은 영향 대상이 되었으며, 개입 과정에서 동료와 교사로부터 불쾌하고 낙인 찍히는 행동을 경험했습니다. 이러한 사례로 인해 일부 학자들은 프로그램 이론을 고려할 때 평가자가 ‘어두운 논리(dark logic)’에 주목하고 프로그램의 해로운 영향을 식별하며, 해로움이 발생하는 메커니즘을 연구하는 평가 프로토콜을 개발해야 한다고 주장했습니다. 그러나 평가자는 종종 어두운 프로그램 이론에 주목하지 않으며, 대신 프로그램의 해로움을 예상치 못한 결과로 우연히 발견하는 경향이 있습니다.

 

설득적 활용의 과제

 

상징적 및 정당화 목적이 우선시되는 환경에서는 프로그램의 부정적 효과에 대한 조사에 이해관계자의 지원을 얻는 것이 어려울 수 있습니다. 이러한 평가는 프로그램 생존에 대한 위협으로 간주될 수 있으며, 바람직하지 않은 결과를 찾거나 보고하는 데 주저할 수 있습니다. 연구에 따르면 관리자들은 성공을 과장하고 프로그램 결과에 대한 부정적인 정보를 내부적으로 유지하려는 경향이 있습니다.

 

설득적 활용의 연구 어려움

 

설득적 활용은 다른 유형의 평가 활용보다 경험적으로 연구하기 더 어려울 수 있습니다. 이는 매우 상황적이며, 종종 도구적 활용으로 가장될 수 있고 경험적 흔적을 거의 남기지 않기 때문입니다. 그럼에도 불구하고, 이용 가능한 연구와 평가자의 경험에서 얻은 증거는 설득적 활용이 평가의 일반적인 결과임을 시사합니다. 설득적 사용의 유행은 고위 기관 리더십과 프로그램 이해관계자에게 프로그램 영향을 공유하는 업무 역할 기대와 관련이 있을 수 있습니다.

 

따라서 설득적 활용이 평가 결과에 의해 타당하다고 여겨질 때 일부 상황에서는 유효한 부산물이 될 수 있습니다. 그러나 설득적 활용이 평가 범위를 결정하는 주된 동력이 되면, 이는 평가 남용으로 간주될 수 있습니다.

요약

설득적 활용은 프로그램 평가를 정치적 또는 기타 자본을 확보하기 위해 사용하는 것을 의미하며, 상징적 활용과 정당화 활용을 포함합니다. 이는 자원 조달과 정치적 투쟁에서 중요한 역할을 하지만, 평가 범위를 제한하고 단기적 성과에 과도한 집중을 초래할 수 있습니다. 또한, 프로그램의 부정적 효과를 조사하는 데 어려움을 겪을 수 있으며, 평가 남용으로 이어질 수 있습니다.

---

이 부분에서는 설득적 활용의 정의와 중요성, 그리고 설득적 활용을 우선시할 때 발생할 수 있는 한계와 위험을 설명합니다. 설득적 활용은 상징적 및 정당화 목적으로 평가를 사용하는 것을 포함하며, 평가의 범위를 제한하고 단기적 성과에 과도한 집중을 초래할 수 있습니다. 평가 남용으로 이어질 수 있는 위험성도 경고합니다.

---

7. 평가 남용과 오류 평가

평가 남용의 정의와 유형

평가 '남용'은 평가의 윤리적이지 못한 사용을 의미하며, 평가의 일부 측면을 조작하여 지위를 얻거나 지지를 확보하려는 행위입니다. 남용은 평가 범위의 보다 은밀한 제한에서부터 기존 데이터나 잠재적 데이터 소스에 대한 접근을 제한하거나 문제 있는 프로그램 활동을 고의로 조사하지 않는 평가를 의뢰하는 등 보다 명백하게 비윤리적인 행동에 이르기까지 다양합니다.

평가 남용의 원인과 결과

평가 남용의 문제가 발생하는 이유는 시스템이 평가를 제도화하고 가치 있게 여기며 활용할수록, 평가 범위에 대한 문제적 경계가 증가할 가능성이 높아지기 때문입니다. 이는 학술 의학 분야에서 일어나고 있는 현상입니다. 경험 많거나 자격을 갖춘 평가 실무자들은 윤리적 평가 실천을 위한 전문 사회 가이드라인(예: 교육 평가에 대한 공동 위원회 표준[JCSEE])에 능숙할 수 있습니다. 그러나 평가를 의뢰하는 교육 실무자나 프로그램 관리자들은 이러한 표준에 익숙하지 않을 수 있습니다.

일부 이론가들은 평가 남용을 고려할 때 의도가 중요하다고 주장하지만, 평가를 의뢰하는 사람들이 평가의 남용자가 되는 경우도 있습니다. 예를 들어, 평가자들 사이에서 수행된 연구에 따르면, 그들은 종종 평가 의뢰자나 고객이 평가의 정당성을 위협하는 방식으로 행동하도록 압박한다고 보고합니다. 반면 평가 의뢰자들 사이에서 수행된 연구는 그들이 이러한 압박을 부인하거나 인식하지 못하고 있음을 시사합니다. 이러한 경우, 평가의 유용성에 대한 경쟁적인 규범적 관점이 이러한 인식 차이를 설명하는 데 도움이 될 수 있습니다.

평가 윤리에 대한 대화의 필요성

따라서 학술 보건 과학 시스템 내의 학자와 검토자들은 건강 직업 교육에 대한 평가 윤리에 대한 규범적 표준과 기대에 대해 대화를 시작해야 할 필요가 있습니다. 이러한 대화는 평가 남용을 줄이고 평가의 정당성을 보장하는 데 중요한 역할을 할 것입니다.

---

이 부분에서는 평가 남용의 정의와 유형, 그리고 평가 남용이 발생하는 원인과 그 결과를 설명합니다. 또한 평가 윤리에 대한 규범적 표준과 기대에 대해 학술 보건 과학 시스템 내에서 대화를 시작해야 할 필요성을 강조합니다. 평가 남용을 방지하고 평가의 정당성을 유지하기 위해 이러한 대화가 중요합니다.

---

8. 결론

프로그램 평가는 단순히 기술적 탐구의 형태가 아닙니다. 오히려 그 범위, 실행 및 보급은 특정 이해관계자 그룹에게 무엇이 '유용한지'에 대한 상이한 규범적 기대를 포함한 사회정치적 요인에 의해 영향을 받습니다. 따라서 이 분야에서 프로그램 평가의 명시된 약속을 실현하려면 프로그램별 수준과 더 넓은 건강 직업 교육 시스템 내에서 평가 활용을 의미 있게 고려해야 합니다.

프로그램별 수준의 고려사항

첫째, 프로그램별 수준에서는 평가를 담당하는 사람들이 평가를 수행하는 이유에 대한 기관, 프로그램 및 개인 수준의 합리적 이유와 관련하여 이해관계자의 요구를 고려해야 합니다. 평가 활용 이론은 이와 관련하여 우리의 평가 계획을 정보로 채울 수 있으며, 관련 이해관계자의 요구에 가장 적합하게 맞는 방법론을 선택할 수 있게 합니다.

• 질적 개선 강조: 리더십이 지속적인 프로그램 개선을 위해 빠른 피드백을 요구하는 프로그램에서는 개발적 평가나 활용 중심 평가와 같은 질적 개선을 강조하는 방법론이 가장 적합합니다.
• 지식 창출 목표: 특정 유형의 사회적 문제나 개입에 대한 지식을 생성하려는 목표가 있는 교육 개입에서는 이론 주도 평가 가족의 접근법을 포함한 개념적 활용을 강조하는 방법이 더 적합합니다.
• 신규 및 덜 구조적으로 권한을 부여받은 목소리의 참여: 프로그램 목표와 기능을 검토하는 과정에서 신선하고 덜 구조적으로 권한을 부여받은 목소리를 참여시키는 것이 필요할 때는, 과정 활용과 목표 권한 부여 및 사회 정의를 목표로 하는 평가 접근법(예: 가치 참여 평가 및 역량 강화 평가)을 채택해야 합니다.

프로그램 평가의 프로그램적 접근 채택

둘째, 모든 프로그램 평가 연구의 범위를 제한하여 실현 가능성을 보장하는 것이 종종 필요하기 때문에, 대규모 교육 개입은 프로그램 평가에 프로그램적 접근을 채택하는 것이 유용할 수 있습니다. 이를 통해 일련의 연구 또는 보완적인 연구가 여러 접근 방식을 사용하여 더 광범위한 평가 질문에 응답할 수 있습니다. 이렇게 하면 각 선택된 평가 접근법의 원칙을 타협하지 않고도 '프로그램 평가의 프로그램'을 통해 다양한 활용 요구를 충족할 수 있습니다.

투명성 증대

셋째, 평가 연구를 주도하는 사람들은 활용 우선순위에 대해 더 투명하게 보고해야 합니다. 평가 학자들은 평가 질문과 설계 선택, 그리고 평가 범위를 결정하는 데 평가 의뢰자들이 맡은 역할에 대해 명확하게 설명해야 합니다. 프로젝트 전반에 걸쳐 성찰성을 촉진하거나 편향을 완화하기 위해 취해진 노력은 공개적으로 배포된 작업에서 보고되어야 합니다. 이에 따라, 학술지 편집자는 평가 연구의 저자가 평가된 프로그램(예: 리더십) 및 평가 기금 제공자(예: 고용)와의 관계를 잠재적 이해충돌로 보고하도록 하는 루틴 기대를 만들 것을 고려해야 합니다.

---

이 결론에서는 프로그램 평가가 기술적 탐구를 넘어서는 사회정치적 요인에 의해 영향을 받는다는 점을 강조합니다. 프로그램별 수준과 더 넓은 건강 직업 교육 시스템 내에서 평가 활용을 의미 있게 고려해야 하며, 이를 통해 평가의 명시된 약속을 실현할 수 있습니다. 투명성을 증대하고, 각기 다른 평가 접근법을 조화롭게 사용하여 다양한 활용 요구를 충족할 수 있는 프로그램적 접근을 채택하는 것이 중요합니다.

 

시스템 수준에서의 평가 활용

 

시스템 수준에서의 평가 활용을 고려할 때, 몇 가지 문제에 주목할 필요가 있습니다.

 

첫째, 우리 분야에서 프로그램 평가를 수행하는 책임이 누구에게 있으며, 그들이 고품질의 평가 실천을 준비하는 방법을 고려해야 합니다. 전 세계적으로 평가 실천의 전문화를 강조하는 움직임이 있었으며, 이는 평가 리더를 위한 적절한 교육과 역량 강화를 중시합니다. 이러한 움직임은 전통적으로 기술적 역량을 강조했습니다. 그러나 현대 평가 이론가들은 모든 역량 강화 노력이 평가 실천의 윤리적 기준에 대한 전문적인 윤리를 함양해야 한다고 주장합니다. 이렇게 함으로써 평가자는 평가 활용과 관련된 시스템 전반의 해로움과 이점을 더 잘 고려하고, 이러한 문제를 실제로 해결하는 전략을 개발할 수 있습니다. 건강 직업 교육은 이러한 움직임에서 교훈을 얻고, 평가 학문에 참여하는 교육자를 위한 혁신적인 전문 개발 개입을 개발하기 위해 기존의 교수진 개발 인프라를 사용할 수 있습니다.

 

둘째, 기관은 프로그램 평가가 '시스템 혜택'이나 '사회적 선'으로 기능하고 있다는 것을 당연시해서는 안 됩니다. 우리는 프로그램 평가가 어떻게 활용되는지에 대한 이해를 높이고, 평가 작업을 수행하는 사람들의 경험을 연구하는 연구에 투자해야 합니다. 또한, 상징적 활용의 우선시로 인해 평가 남용이 만연할 수 있는 문화를 어떻게 최선으로 재정비할 수 있는지 이해해야 합니다. 프로그램 평가는 공공 관계에서 분리된 관계를 유지해야만 신뢰성을 가질 수 있으며, 그렇지 않으면 과학적 외양을 띤 공공 관계 활동으로 축소될 위험이 있습니다. 더 중요한 것은, 평가가 특정 이해관계자에 의해 시작되고 제한되지 않도록 민주적 잠재력을 유지해야 한다는 점입니다.

 

셋째, 의미 있는 평가 활용의 옵션을 확대하기 위해서는 건강 직업 교육에서 평가 방법론의 사용을 넓혀야 합니다. 예를 들어, 현재 분야에서 공평성, 다양성 및 포용성 문제에 주목하고 있는 만큼, 과정 활용과 사회 정의를 강조하는 평가 접근 방식을 장려하는 것이 유용할 수 있습니다. 이를 통해 프로그램 평가는 학생과 환자와 같은 당사자들을 프로그램 소비자(또는 평가 대상)로서가 아닌, 사회적 요구에 더 주목하는 건강 직업 교육 시스템을 구축하려는 우리의 노력에서 영향력 있는 이해관계자로 대우할 수 있게 도울 수 있습니다.

기타 고려사항

마지막으로, 평가 실천에 대한 반성에서 유용성만이 고려되어야 할 유일한 문제는 아닙니다. JCSEE(평가 연구의 질에 관심 있는 전문 협회의 연합체)는 정확성, 실현 가능성, 적절성 및 책임성과 같은 다른 주요 관련 문제를 설명했습니다. 이는 향후 작업에서 더 목표 지향적인 주의를 받을 만한 가치가 있을 수 있습니다.

---

이 결론에서는 시스템 수준에서의 평가 활용에 대해 논의하며, 프로그램 평가의 책임과 준비, 프로그램 평가의 신뢰성 유지, 평가 방법론의 확장, 그리고 기타 고려사항에 대해 설명합니다. 평가 실천의 윤리적 기준을 강조하고, 평가가 공공 관계로 축소되지 않도록 하며, 다양한 평가 방법론을 사용하여 사회적 요구에 더 잘 대응할 수 있는 건강 직업 교육 시스템을 구축하는 것이 중요합니다. 평가 실천에 대한 반성에서 정확성, 실현 가능성, 적절성 및 책임성과 같은 문제도 중요하게 고려해야 합니다.