[프로그램 평가] 프로그램 이론에 따른 CBME 개입의 과정 및 결과 평가

1. 서론

보건 시스템은 여러 요인의 산물이며, 최근 몇 년 동안 의학교육이 주목받고 있습니다.1-4 일부 증거는 현재의 훈련 방법이 복잡하고 다양한, 지속적으로 진화하는 지역사회의 요구를 충족하는 의사를 양성하는 데 있어 개선이 필요하다고 제안합니다.1-4 1978년에 처음 도입된 역량기반 의학교육(CBME)은 지난 10년 동안 보건 시스템의 현재 문제를 해결할 수 있는 교육적 접근 방식으로 다시 주목받고 있습니다.5, 6 문헌에서 CBME의 정의와 해석은 다양하지만, 우리는 CBME를 다음과 같이 정의합니다:

 

“[…] 졸업 후 역량을 중심으로 구성된 접근 방식으로, 사회와 환자의 요구를 분석하여 도출된 역량을 중심으로 구성된 의사 양성 방법입니다. 시간 기반의 훈련을 강조하지 않으며, 더 큰 책임성, 유연성, 그리고 학습자 중심을 약속합니다.”7
[…] an approach to preparing physicians for practice that is fundamentally oriented to graduate outcome abilities and organized around competencies derived from an analysis of societal and patient needs. It deemphasizes time-based training and promises greater accountability, flexibility, and learnercentredness.

 

전 세계의 여러 보건 직업 교육 규제 기관이 CBME로의 전환을 명령했지만,6, 8 모든 이해관계자가 CBME를 수용하는 것은 아닙니다.8-11 CBME의 가정은 확립된 교육 이론과 이를 뒷받침하는 증거를 기반으로 하지만,5, 12-15 이 교육 혁신의 잠재적 영향에 대해 건강 직업 교육 문헌에서 중요한 논쟁이 있었습니다. 주요 논쟁 중 하나는 결과에 관한 것입니다: CBME가 개선된 결과를 낳을지 어떻게 알 수 있으며, 더 나은 결과에 대한 확신이 없는 상황에서 CBME로의 전환에 대한 인적 및 재정적 비용을 정당화할 수 있는가?16-18

1.1 복잡한 교육 개입, 즉 CBME를 어떻게 평가할 수 있는가?
1.1 | How can we evaluate a complex education intervention, such as CBME?

실행은 새로운 집단 행동 패턴을 의도적으로 도입하거나 기존 패턴을 수정하는 것으로 정의됩니다.19Implementation is defined as the deliberate introduction of new, or modifying existing, patterns of collective action  이러한 집단 행동 패턴은 제도적으로 승인되고, 공식적으로 정의되며, 의식적으로 계획되었고, 의도된 결과를 이끌어내기 위해 설계되었습니다.19 새로운 교육 모델의 실행은 사람들이 생각하고 행동하며 자신과 다른 사람들을 조직하는 방식을 수정하여 원하는 결과를 촉진하기 때문에 복잡합니다.19 여러 저자는 CBME를 실행하는 데 있어 다양한 이해관계자와 설정이 필요하고 여러 수준의 승인이 장애물을 만들어 채택에 영향을 미친다는 점에서 복잡성을 강조했습니다.20-23 비평가들은 변화의 실행에 수반되는 복잡성이 CBME를 엄격하게 평가할 수 없는 이유로 자주 사용된다고 주장했습니다.6, 11, 24-26 우리는 CBME의 과정과 결과를 의도적으로 평가할 필요가 있으며, 이는 CBME의 지속적인 실행과 개선을 지원하는 유용한 정보를 제공할 수 있다고 제안합니다.

 

문헌에서 CBME가 “개선된” 졸업생을 배출하는지에 대한 비판은 결과 평가outcome evaluation.를 통해 답할 수 있습니다.8-11, 16-18 결과 평가outcome evaluation는 프로그램의 진행 상황과 원하는 결과를 달성하는 상태를 검사하고, 의도하지 않은 결과, 투자 수익, 지식, 태도, 행동의 변화를 포함한 질문에 답합니다.27, 28 CBME에 대한 문헌적 논의는 주로 졸업생의 개별 역량 형태의 결과에 초점을 맞추고 있지만, CBME를 실행하는 최선의 관행을 이해하는 것은 그 결과를 측정하는 것만큼이나 중요합니다. 즉, CBME가 실행되는 방식을 평가하고, 그것이 실행되는 맥락을 이해함으로써 결과가 어떻게 나타나는지에 대한 더 완전한 이해를 제공할 수 있습니다.

 

과정 평가Process evaluation는 조직 변혁의 실행 중에 발생하는 사회적 과정과 메커니즘을 탐구하고, 변화와 관련된 결과 평가로의 다리를 전향적으로 그립니다.29, 30 과정 평가 질문은 CBME 실행의 모든 단계에서 다음과 같은 질문을 통해 물을 수 있습니다: CBME 활동 실행의 장벽/촉진 요인은 무엇인가; 무엇이 달성되었는가; 그리고 누가 CBME 변혁의 영향을 받고 있는가.27 긍정적이든 부정적이든 결과에 영향을 미치는 요인을 이해함으로써 향후 활용할 수 있는 더 많은 정보를 얻을 수 있습니다.

 

CBME의 실행은 매우 맥락에 의존적입니다. 한 맥락에서 성공한 CBME 개입을 다른 곳에서 적용하는 것은 가능하지 않을 수 있습니다. 그러나 실행과 함께 과정과 결과의 평가가 계획된다면 다른 사람들이 혁신을 성공적으로 수용할 가능성이 더 큽니다.29, 31 이러한 평가가 없으면 맥락적 메커니즘과 과정에 대한 정보가 부족하여, 미래의 실행자가 "체크리스트" 프로토콜에 따라 실행 과정을 단순화하지만, 원래 맥락에서 관찰된 결과를 지원하는 본질적인 메커니즘과 과정이 부족하여 구체성이 없는 피상적인 모방을 하게 될 위험이 있습니다.32 실행과 관련된 "어떻게"와 "왜"에 대한 질문을 모르면, 예상되는 결과에 영향을 미치는 필수 요소나 장벽에 대한 유용한 정보에 접근하지 못할 수 있습니다. 또한 항목화된 프로토콜에 영향 요인이 포함되지 않으면, 자신들의 맥락에서 실행을 어떻게 수행할지 알지 못할 수도 있습니다.29, 31, 33

1.2 이론 기반 평가
1.2 | Theory-based evaluation

이 논문은 복잡한 지역사회 기반 사회 및 보건 케어 이니셔티브를 평가하는 데 사용된 것과 같은 이론 기반 평가 접근 방식을 CBME에 사용할 수 있다고 제안합니다.34-38 이론 기반 평가는 변혁 또는 개입이 해결할 것으로 예상되는 문제를 명확히 정의하고, 이 변화(이 경우 CBME로의 전환)가 성공할 것으로 예상되는 방식을 체계적으로 맵핑하는 프로그램 이론(변화 이론이라고도 함)의 개발로 시작합니다Theory-based evaluation begins with the development of a program theory (also called a theory of change), which clearly defines a problem that a transformation or intervention is anticipated to address, and how this change (in this case the shift to CBME) is anticipated to be successful.39-42 프로그램 이론은 변화 또는 개입의 의도된 영향을 정의하고, 짧고 긴 시간 동안 영향을 미칠 것으로 예상되는 결과의 사슬에 기여하는 요인을 체계적으로 맵핑합니다.41, 43-45 프로그램 이론과 함께, CBME 실행에 관련된 활동을 설명하고 짧고 긴 시간 동안의 결과를 설명하는 로직 모델이 포함되어야 합니다.46-49 실행 과정과 결과에 영향을 미치는 요인을 로직 모델에 식별하고, CBME의 결과에 대한 가정/가설을 포함해야 합니다.50, 51

 

프로그램 이론은 입력, 과정, 결과 및 영향을 의도적으로 탐구할 수 있는 프로그램 평가 계획 개발의 지침 역할을 합니다. 이 논문에서 정의된 과정 및 결과 평가의 결과는 지속적인 개선을 위한 순환적 기회를 제공하여, 예상된 프로그램 이론과 그 과정 및 결과를 향상시킵니다.52-54 CBME에 참여하는 사람들에게는 실행의 충실성fidelity(즉, 실행된 프로그램이 구상된 프로그램과 같은 모습인가?)을 평가하는 과정 요소와 그 무결성integrity(예: 작업 기반 평가가 상세하고 실행 가능한 질 높은 피드백을 제공하는가?)을 이해하는 것이 포함됩니다.29, 54-56 이러한 평가 유형의 결과는 CBME의 최선의 실행 접근 방식을 이해하고, 그 성공을 방해하거나 촉진할 수 있는 요인을 강조하는 데 도움이 될 수 있습니다.

1.3 실전 사례: Triple C Competency-based Curriculum (Triple C)
1.3 | Worked example: Triple C Competency-based Curriculum (Triple C)

프로그램 이론과 평가의 연관성은 실전 사례를 통해 가장 잘 이해할 수 있습니다. 실전 사례는 문제와 문제 해결 접근 방식을 설명하여 최종 해결책에 도달하는 과정을 설명하며, 결과와 과정 모두에 초점을 맞춥니다.57-61 과정 지향 실전 사례는 특정 단계가 왜 그리고 어떻게 실행되었는지에 대한 명시적 설명을 제공하여, 관찰된 해결책에 어떻게 기여했는지를 설명하는 데 도움을 줍니다.57-61 여기서는 캐나다의 가정의학 레지던시 훈련에서 실행과 동시에 수행된 이론 기반 프로그램 평가의 실전 사례를 제시합니다. 이 실전 사례는 프로그램 이론과 평가 간의 연결을 설명할 뿐만 아니라, 프로그램 이론을 정기적으로 업데이트하여 지속적인 프로그램 개선을 촉진할 수 있는 방법을 보여줍니다. 마지막으로, 이 실전 사례는 CBME 혁신이나 기타 커리큘럼 개혁을 위한 프로그램 평가를 설계하는 사람들에게 템플릿 역할을 할 수 있습니다.

1.4 배경
1.4 | Background

캐나다 가정의학학회(CFPC)는 캐나다에서 가정의학 분야의 인증 및 자격을 담당하는 기관입니다. 2010년, CFPC는 국가 가정의학 레지던시 교육 커리큘럼 및 평가 지침을 CBME의 핵심 요소와 일치하도록 변혁했습니다.62

CFPC의 CBME 버전은 Triple C Competency-based Curriculum(Triple C)이라고 불립니다. Triple C에 대한 자세한 설명은 Triple C Competency-based Curriculum Reports 1 및 2에서 확인할 수 있습니다.63, 64

1.5 프로그램 평가 접근 방식 요약
1.5 | Summary of program evaluation approach

Triple C의 프로그램 이론 개발은 처음에 가족 의학 레지던시 교육을 어떻게 개선할지 정의하는 데 초점을 맞추었으며, 사회적 책임 접근 방식을 사용하여 "지역사회, 지역 및/또는 국가(캐나다)의 우선 건강 문제를 해결address the priority health concerns of the community, region, and/or nation (Canada)."하기 위해 이루어졌습니다.65 CFPC는 다양한 이해관계자와 상담하고 데이터 검토를 수행했으며, 전문가 작업 그룹을 통해 학계와의 합의를 도출하는 접근 방식을 사용하여 2010년부터 캐나다 전역에서 실행될 가정의학 레지던시 교육 개혁을 정의했습니다.63 CFPC는 Triple C를 레지던시 프로그램이 사용할 지침으로 제공했으며, CFPC는 아직 Triple C를 인증 기준에 포함하지 않았습니다.63 적응이 이루어질 것이며, 프로그램 평가 계획에 캡처된 프로그램 이론을 향상시킬 수 있는 학습이 생성될 것으로 예상되었습니다. 그림 1은 Triple C의 원래 프로그램 이론을 보여주며, 이는 가족 의사가 제공하는 의료 서비스의 접근성과 질을 향상시키기 위한 장기 목표를 달성하기 위해 의학교육의 질을 향상시키는 데 중점을 둡니다.

 

 

이론 기반 평가는 주요 활동을 설명하고 다양한 CBME 이해관계자에 대한 예상 단기 및 장기 결과를 포함하는 로직 모델을 사용합니다. 그림 2는 가정의학 레지던트, 졸업생, 교수, 전체 학문 분야 및 인증 기관인 CFPC에 대해 가정된 결과를 설명하는 CFPC의 논리 모델을 보여줍니다. (그림 2)

 

 

논리 모델(그림 2)은 데이터 수집 기회를 식별하는 지도로서 역할을 했으며, 이는 과정과 예상 결과를 모두 평가하는 데 중점을 둔 평가 계획에 포함되었습니다(그림 3). 이러한 결과는 CFPC의 다음 커리큘럼 갱신 주기를 개선하고 수정하는 데 사용되었습니다. 배운 교훈은 실제 경험을 바탕으로 원래 프로그램 이론을 향상시킵니다.

 

 

1.6 프로그램 평가: 가정 테스트 및 원래 프로그램 이론 수정
1.6 | Program evaluation: Testing assumptions and  revising the original program theory 

표 1에서는 원래 Triple C 프로그램 이론과 수집된 데이터를 기반으로 업데이트된 내용을 사용하여 이론 주도 프로그램 평가 계획의 과정을 설명합니다. 데이터 출처는 참고 자료와 함께 나열되어 더 많은 정보를 원하는 사람들에게 공유됩니다. 원래 프로그램 이론의 가정과 그 가정의 프로그램 평가를 위한 데이터 출처가 아래에 제시되어 있으며, 평가 결과 예제와 그에 따라 원래 프로그램 이론에 대한 수정 사항도 제시되어 있습니다. 이것은 특정 단기 결과에 중점을 둔 예시적인 예제이며, Triple C의 전체 평가에 포함된 모든 평가 영역의 포괄적인 목록은 아님을 강조하고자 합니다.

 

 

가정 1:
CFPC의 정책(인증 및 인증 기준) 및 레지던시 프로그램에 제공되는 변화 관리 지원을 통해 캐나다 전역에서 Triple C의 성공적인 채택을 가능하게 할 것입니다.
The CFPC's advancement of a CBME approach to family medicine residency education through policies (accreditation and certification standards) and change management support offered to residency programs will enable successful adoption of Triple C across Canada.

 

결과:
레지던시 프로그램 실행 프로파일(RPIP, 프로그램 디렉터가 완료한 자체 보고 설문 조사)에서 모든 프로그램이 Triple C를 구현했지만, 시기는 다양했습니다.66 일부 초기 수용자는 이 훈련 모델 도입 후 1~2년 내에 대부분의 핵심 요소를 구현했지만, 다른 프로그램은 Triple C를 구현하는 데 몇 년이 더 걸렸습니다.66 Triple C의 질적 이해 및 평가 연구(QUEST, 2016년에 수행된 프로그램 디렉터, 학과장, 행정 지원 인력, 대학원 학장 및 레지던트의 경험을 조사한 질적 연구)는 Triple C 채택에 영향을 미친 요인과 관련된 더 많은 정보를 밝혀냈습니다.67 Triple C의 초기 수용자는 CFPC가 가이드 제공 및 프로그램 경험과 배운 교훈을 공유할 수 있는 기회를 제공함으로써 Triple C를 지원하는 데 도움이 되었다고 보고했습니다.66, 68 CFPC가 2000년부터 2010년까지 가정 의학 프로그램 디렉터 및 학과장과 협력하여 공동 창작 접근 방식을 취한 것도 채택 증가에 도움이 되었습니다.63, 66, 69 초기 수용자는 CFPC가 충분한 지원을 제공했다고 느꼈지만, Triple C의 공동 창작에 참여하지 않은 새로운 프로그램 리더가 있는 후발 수용자는 CFPC가 더 많은 지시적이고 지속적인 지원을 제공했어야 한다고 느꼈습니다.66, 68

1.7 원래 프로그램 이론 업데이트
1.7 | Updating the original program theory

가정에서 CFPC의 정책 및 변화 관리 지원이 Triple C 채택을 촉진할 것으로 가정했습니다. 그러나 2017년 기준이 발표되기 전에도 인증 변화에 대한 기대만으로도 변화를 가능하게 했습니다. 결과는 Triple C 개발에 이해 관계자, 특히 프로그램 리더십의 참여가 구현을 촉진하는 데 도움이 되었음을 시사합니다. CFPC의 가이드와 초기 프로그램 간 공유는 유용했지만, 참여하지 않은 후발 수용자는 CFPC가 더 많은 지원을 제공할 수 있었음을 느꼈습니다. 효과적인 커뮤니케이션과 리더십 변화 지원을 위한 장기적인 변화 관리 전략이 향후 사용할 주요 교훈입니다.

 

가정 2:
레지던시 프로그램의 Triple C 채택은 외부 요인(예: 가족 의학 교육/실습 및 의학교육 문화와 관련된 주 정책) 및 내부 요인(예: 교수 참여, 학습자 인구 통계, 의대/레지던시 리더십 및 인프라 지원)에 따라 달라집니다.

 

결과:
RPIP의 결과는 캐나다의 10개 주에 위치한 17개 대학 기반 프로그램과 교육 현장에서 Triple C 실행 시기가 크게 다르다는 것을 나타냈습니다.66 결국 채택은 확인되었지만, 시간 변동성은 관심의 대상이었습니다. 가족 의학 종단 조사(FMLS 2010-2017, 캐나다의 16개 가족 의학 프로그램에서 레지던트 입학 시 및 졸업 시 자가 보고 설문 조사)의 결과는 대부분의 레지던트가 가정 의학 중심의 포괄적이고 연속적인 진료 경험과 Triple C에 특정한 역량 기반 프로그램 평가 요소를 경험했다는 것을 확인했습니다.66, 70 QUEST 연구는 지원적인 행정 인프라, 효과적인 커뮤니케이션 네트워크, 보호된 자원(예: 인적 및 재정적 자본 및 시간)을 가진 프로그램과 이해 관계자(예: 대학원 학장 및 보건부)와의 협의 접근 방식을 채택한 프로그램이 Triple C 전환을 더 원활하게 했다는 것을 보고했습니다.66, 68 인증 검토 및/또는 교육 현장 확장을 동시에 진행 중인 프로그램은 기존 자금 및 리더십 지원을 활용하여 Triple C로의 전환에 필요한 변경 사항을 포함할 수 있었습니다.66, 68 Triple C의 핵심 요소에 대한 해석이나 정의의 차이와 같은 특정 요인은 실행에 어려움을 겪었습니다.66, 68 관리자, 프로그램 고문, 커리큘럼 디자이너 및 대학원 학장과 같은 이해 관계자 간의 지속적인 커뮤니케이션과 협력을 통해 Triple C를 추진하는 모든 사람들 사이에서 일관된 공유 정신 모델이 개발되었습니다. 이러한 공유 정신 모델은 실행을 추진하고 지원하는 데 도움이 되었고, 채택을 촉진했습니다.66, 68 또한, 가족 의학 레지던트를 지도하는 모든 감독자를 위한 교수 개발이 필요하다는 점이 일관되게 확인되었습니다.66, 68

1.8 원래 프로그램 이론 업데이트
1.8 | Updating the original program theory

RPIP 및 FMLS의 결과는 프로그램이 Triple C를 구현했음을 확인했습니다. 두 번째 가정은 외부 및 내부 요인이 Triple C의 채택에 영향을 미칠 것이라고 언급했지만, 구체적인 내용은 제시하지 않았습니다. 모든 프로그램이 Triple C를 실행했지만, 시간과 관련된 변동성은 QUEST 연구에서 더 잘 이해되었습니다. 이는 CFPC가 주 정부 및 외부 정책이 레지던시 교육 및 레지던시 교육 개혁에 어떻게 영향을 미치는지 이해하는 방법을 모색하도록 촉구했습니다. 이 문제에 대한 프로그램 평가에서 수집된 정보가 부족하기 때문에, CFPC는 이러한 외부 영향 연구를 보다 완전하게 탐구하는 방법을 적극적으로 모색하고 있습니다. 채택에 영향을 미치는 내부 요인에 관해서는, 기존 개혁 프로세스, 인증 검토 및 새로운 자원을 활용하여 Triple C를 포함한 프로그램이 더 쉽게 전환되었다는 점이 흥미로웠습니다. 이는 변화 촉진자에 대한 새로운 통찰력을 제공합니다.

 

가정 3:
가정의학 레지던트가 Triple C를 경험하면, 졸업생은 포괄적인 가정의학을 실습하고, 전통적으로 소외된 다양한 지역사회에서 일하기를 선택하며, 지속적인 학습 필요성을 자기 평가하고 해결할 수 있게 될 것입니다.

 

결과:
FMLS의 결과: 레지던트는 훈련 프로그램을 완료한 후 Triple C 비전을 반영한 학습 및 실습 경험의 증가를 보고했습니다.66 또한, 일부 학습 및 실습 경험의 격차가 확인되어 프로그램 및 CFPC에서 해결해야 할 필요가 있습니다.66

전국 의사 조사(NPS 2010, 실습 중인 의사를 대상으로 한 팬-캐나다 자가 보고 설문 조사. 가정의학 의사의 실습 범위에 관한 질문은 Triple C 이전 대조군으로 사용됨): NPS는 Triple C 전후 코호트를 비교하여 여러 임상 도메인 및 설정에서 포괄적 진료를 실습할 의도의 상당한 증가를 보여주었습니다.66, 70 레지던트의 응답은 또한 특정 임상 도메인 및 설정에서 실습할 의도의 감소를 보여주었으며,66, 70 이는 이러한 결과를 유발하는 요인을 이해하기 위한 추가 평가 및 연구의 필요성을 촉구했습니다.

1.9 원래 프로그램 이론 업데이트
1.9 | Updating the original program theory

FMLS 결과를 프로그램에 다시 공유하는 것이 Triple C 실행에 도움이 된다는 것은 프로그램 평가가 실행과 동시에 수행될 필요성을 강화했습니다. 초기 프로그램 평가 계획은 CFPC가 Triple C에 대해 작동하는 것, 작동하지 않는 것, 변경할 필요가 있는 것을 이해하는 데 도움이 되었지만, 프로그램 평가 데이터가 프로그램에서 지역 커리큘럼 및 평가를 개선하는 데 매우 유익하다는 것이 일찍부터 분명했습니다.

2 토론
2 | DISCUSSION

Triple C 역량 기반 커리큘럼을 CBME 실행의 실전 사례로 사용하여, 우리는 과정과 결과를 모두 살펴보는 이론 기반 평가를 통해 프로그램 이론을 개발하고 업데이트하는 방법을 시연했습니다. 이 과정은 문제나 과제를 식별하고, 지역사회의 필요와 자산을 결정하며, 문제나 과제에 대응하는 전략과 이러한 전략이 원하는 결과나 결과에 연결된다고 가정하는 가정을 파악하는 것에서 시작됩니다. This process begins by identifying the challenge or problem, determining the needs and assets of the community, strategies to counter the challenge or problem, and the assumptions that are held that link the strategies to the desired outcomes or results.  사회적 요구와 같은 문제와 결과에 영향을 미칠 수 있는 요인은 원래 프로그램 이론 개발에서 식별됩니다. 프로그램 이론이 개발되면, CBME 실행을 지원하기 위한 입력 및 활동, 실행 과정, 초기 투자가 단기 및 장기 결과로 이어질 것으로 예상되는 방법과 같은 로직 모델에 포함되어야 할 기능이 명확해집니다. 우리는 또한 프로그램 이론과 논리 모델이 새로운 교육 모델을 실행하는 과정과 결과에 대한 질문에 효과적으로 답하기 위해 평가 방법론 및 데이터 수집 방법 선택을 안내하는 방법을 설명했습니다.

 

우리는 실전 사례에서 프로그램 평가 과정의 몇 가지 예를 제시했을 뿐만 아니라, 연구에서 도출된 결과를 해석하고 레지던시 프로그램 실행을 위한 추가 개선에 어떻게 사용될 수 있는지 탐구했습니다. CFPC가 실행과 함께 프로그램 평가를 사용하여 "데이터 수집 및 실행" 모델링을 통해 커리큘럼 실행 및 개혁을 지속적으로 알리는 데이터 사용은 캐나다 가정의학 레지던시 프로그램에 여러 가지 이점을 가져왔습니다. 잘 설계된 평가의 과정과 결과가 지속적인 변화와 레지던시 교육 개선을 촉진하는 데 중요한 역할을 할 수 있음이 분명합니다. 데이터 수집 및 실행 모델링은 참가자(즉, 교수, 교사, 관리자 및 레지던트)가 Triple C의 성장을 지원했다는 실질적인 증거를 가지고 평가 및 연구에 참여하도록 권장했습니다. 프로그램 평가의 결과는 이 분야의 미래를 개선하기 위한 변화를 촉진하는 데 중요한 역할을 했습니다.

3 결론
3 | CONCLUSION

변화와 함께 평가를 의도적으로 결합하면 새로운 혁신을 실행하고 경험하는 사람들의 경험에서 얻은 귀중한 정보를 얻을 수 있습니다. "“from the field현장"에서의 발견은 사회적 과정과 메커니즘이 프로그램이 경험되고 실행되는 방식에 중요한 역할을 하며, 이러한 숨겨진 요인으로 인해 결과가 어떻게 달라질 수 있는지에 대한 개념을 강화합니다. 또한, 프로그램 평가의 결과는 현재 프로세스의 개선을 지원할 뿐만 아니라 배운 교훈을 밝히고 자원을 효과적이고 효율적으로 사용할 수 있도록 하여 미래 실행을 안내할 수 있습니다. 평가 및 업데이트된 프로그램 이론의 개발은 발견을 기반으로 한 새로운 변화 및 이론의 도입을 촉진하여 "바퀴를 다시 발명하는 것"이 아니라 누적 과학에 기여하는 목표를 지원합니다cumulative science rather than “reinventing the wheel.”

 

향후 연구는 시간이 지남에 따라 변화를 주도, 지원 및/또는 도전하는 요인에 대한 경향을 식별하고, 이러한 요인이 시간이 지남에 따라 어떻게, 왜 변하는지 파악하기 위해 지속적인 종단 평가에서 이점을 얻을 수 있습니다.