Process evaluation of complex interventions: Medical Research Council guidance
🔍 복잡한 중재에서 '과정 평가'가 왜 중요할까?
MRC의 새 가이드를 중심으로 알아보는 Process Evaluation의 모든 것.
최근 보건의료나 교육 같은 분야에서 사용하는 중재(intervention)는 점점 더 복잡(complex)해지고 있습니다. 단순한 한 가지 전략이 아니라, 여러 요소가 상호작용하는 방식으로 설계되는 경우가 많아졌죠. 이런 상황에서 단순히 “효과가 있었는가?”만 따져보는 건 한계가 있습니다.
그래서 요즘 연구자들이 중요하게 여기는 게 바로 과정 평가(Process Evaluation)예요. 이 개념을 본격적으로 정리해준 게 바로 영국 의학연구위원회(MRC)에서 발표한 새로운 가이드입니다.
✅ 과정 평가란?
과정 평가는 단순히 '중재가 효과 있었는지'만 보는 게 아니라,
- 무엇을 얼마나 충실히 구현했는지(fidelity, dose)
- 누가 실제로 그 중재를 경험했는지(reach)
- 그 맥락(context)에서 왜 그렇게 작동했는지
를 파헤치는 평가입니다.
“Process evaluation can be used to assess fidelity and quality of implementation, clarify causal mechanisms and identify contextual factors associated with variation in outcomes.”
→ “과정 평가는 중재의 충실도와 구현의 질을 평가하고, 인과 메커니즘을 명확히 하며, 결과의 변이에 영향을 미치는 맥락적 요인을 식별하는 데 사용할 수 있다.” (원문 인용: MRC 2008 Guidance³)
🧱 어떤 구조로 평가를 설계해야 할까?
MRC 가이드는 세 가지 핵심 축을 강조합니다:
- Implementation (구현): 실제로 어떤 활동이, 어떻게 이루어졌는가?
- Mechanisms of impact (영향 메커니즘): 어떤 과정을 통해 결과가 나타났는가?
- Context (맥락): 환경이 구현과 결과에 어떤 영향을 미쳤는가?
“Our framework also emphasises the relations between implementation, mechanisms, and context.”
→ “우리가 제안하는 프레임워크는 구현, 메커니즘, 맥락 사이의 관계를 강조한다.”
📦 실전에서의 적용 – NERS 사례
예시로 자주 등장하는 건 웨일즈의 국가 운동 의뢰 프로그램(NERS)이에요. 여기서는 건강 전문가가 환자에게 할인된 그룹 운동 프로그램을 의뢰하게 했는데요, 이 중 일부 구성 요소(예: 동기부여 면담 motivational interviewing)는 잘 실행되지 않았다고 해요.
“Some activities, such as motivational interviewing and goal setting, were poorly delivered.”
→ “동기부여 면담과 목표 설정과 같은 일부 활동은 충실히 전달되지 않았다.”
하지만 정성적 분석을 해보니, 다른 환자들과의 사회적 지지(social support)가 운동 동기를 촉진하는 데 중요한 역할을 했다는 점도 확인할 수 있었어요!
🧪 방법론은 어떻게 선택하지?
과정 평가는 일반적으로 정량적(quantitative)과 정성적(qualitative) 방법을 함께 씁니다.
- 정량적 방법: 투여량, 충실도, 도달률 같은 수치를 측정
- 정성적 방법: 경험, 인식, 실행상의 장애 등 깊이 있는 이해 제공
이 둘은 따로가 아니라 서로 보완 관계에 있어요. 예를 들어, 정성적 분석에서 나온 가설을 정량적으로 검증하기도 하죠.
📊 분석과 통합: '결과'와 '과정'을 연결하자
MRC는 결과 분석 전 과정 데이터를 먼저 분석할 것을 권장해요. 왜냐하면, 결과를 미리 알면 과정 데이터를 그 결과에 끼워 맞춰 해석할 위험이 있기 때문이죠.
“Some argue that initial analysis of process data should be conducted before the outcomes analysis to avoid biased interpretation.”
→ “일부는 과정 데이터 분석을 결과 분석 이전에 수행해야 해석 편향을 피할 수 있다고 주장한다.”
또한 결과 데이터와 과정을 통합 분석하면, 복잡한 인과 경로(causal pathways)를 더 잘 이해할 수 있습니다.
📢 보고 시 주의할 점
과정 평가 결과는 정량-정성 간 연결, 중재 이론의 가정, 다른 논문과의 관계 등을 명확히 보고해야 해요. 특히 실무자나 정책결정자에게는 일반인용 형식(lay summary)으로도 잘 전달해야 합니다.
💬 마무리하며
복잡한 중재를 연구할 때, 단순히 결과만 보고 '효과 있음/없음'을 판단하는 건 이제는 불충분해요.
어떻게 작동했는지, 무엇이 잘됐고, 무엇이 맥락에서 영향을 미쳤는지, 그 '과정'에 주목하는 게 진짜 실천 가능한 중재를 만드는 길이겠죠.
복잡한 중재(Complex interventions)를 설계하고 검증하는 과정에서 과정 평가(Process evaluation)는 필수적인 요소이다. 최근 영국의학연구위원회(MRC)에서 발표한 새로운 가이드는 과정 평가 연구를 수행하고 보고하는 데 필요한 프레임워크를 제공한다.
흡연이나 비만과 같은 문제를 해결하기 위한 시도는 점점 더 복잡한 중재(complex interventions)를 활용하는 방향으로 나아가고 있다. 이러한 중재는 일반적으로 상호작용하는 여러 구성요소로 이루어진 개입(interventions comprising multiple interacting components)으로 정의되지만, 구현의 어려움(implementation difficulty)이나 대상으로 하는 조직 수준의 다양성(number of organisational levels targeted) 등 다른 복잡성의 차원들도 존재한다¹. 무작위 대조 시험(Randomised Controlled Trials, RCT)은 개입의 효과를 입증하는 데 있어 가장 신뢰할 수 있는 방법으로 여겨지지만, 무작위화가 가능한 경우에만 해당된다. 그러나 효과 크기(effect size)는 정책결정자들에게 특정 맥락에서 해당 개입을 어떻게 복제할 수 있는지, 또는 시험에서 나타난 결과가 실제로 재현될 수 있을지를 알려주지 않는다.
초기 MRC의 복잡한 중재 평가 가이드는 무작위 대조 시험(RCT)에 초점을 맞추고 있었으며, 과정 평가(process evaluation)에 대해서는 전혀 언급하지 않았다². 이후 개정된 가이드는 시험 내에서 과정 평가의 가치를 인정하며, 그것이 “개입의 충실도(fidelity)와 구현의 질(quality of implementation)을 평가하고, 인과적 메커니즘(causal mechanisms)을 명확히 하며, 결과의 다양성과 연관된 맥락적 요인(contextual factors)을 확인하는 데 사용될 수 있다”고 서술하였다³. 그러나 이러한 개정 가이드조차 과정 평가를 실제로 어떻게 수행해야 하는지에 대해서는 구체적인 지침을 제공하지 않았다.
🔍 요약 포인트 (Summary points)
- MRC의 복잡한 중재 개발 및 평가 가이드는 시험(trial) 내에서 과정 평가의 중요성을 인정했지만, 실제 수행을 위한 구체적인 지침은 제공하지 않았다.
- 본 논문은 2008년 MRC 가이드에서 언급된 세 가지 과정 평가 주제(구현, 메커니즘, 맥락)를 기반으로 한 과정 평가 프레임워크를 제시한다.
- 중재 이론(intervention theory)의 명확한 서술과 핵심 과정 평가 질문의 도출을 바탕으로, 체계적인 설계 및 수행 접근법을 강조한다.
- 각 과정 평가는 서로 다르지만, 본 가이드는 계획 수립 및 수행을 위한 실용적 지원을 제공한다.
📘 과정 평가 지침 개발(Developing guidance for process evaluation)
2010년, MRC 인구 건강과학 연구 네트워크(MRC Population Health Science Research Network)의 지원으로 열린 워크숍에서는 과정 평가에 대한 지침의 필요성이 논의되었다⁴. 연구자, 연구기금 제공자, 심사자 모두가 지침의 혜택을 받을 수 있다는 데 의견이 일치하였다. 이에 따라, 복잡한 중재 평가에 풍부한 경험과 전문성을 가진 연구자들이 모여 지침을 제작하게 되었다.
이전 MRC 가이드라인 개발 시 따랐던 원칙에 따라, 문헌 리뷰, 사례 연구, 워크숍, 학술대회 및 세미나에서의 논의를 바탕으로 초안이 작성되었고, 이후 학계, 정책 분야, 실무 현장의 다양한 이해관계자들에게 회람되어 의견을 받았다. 약 30명의 이해관계자들이 문서 구조에 대해 서면 의견을 제공하였고, 개발 과정에서 여러 학술대회 워크숍을 통해 실시간 의견도 반영되었다. 완성된 초안은 재검토 과정을 거쳐 주요 MRC 기금 심의 패널들의 승인을 받아 최종화되었다.
비록 이 지침의 주요 목적은 공중보건 개입(public health interventions)에 대한 과정 평가를 위한 것이지만, 이는 보건의료 서비스(health services), 교육(education) 등 다른 분야의 복잡한 중재 연구에도 매우 유용하게 적용될 수 있다. 전체 지침(www.populationhealthsciences.org/Process-Evaluation-Guidance.html)은 먼저 과정 평가의 필요성을 설명하고, 이후 개발에 참고된 주요 이론과 프레임워크들을 검토한 뒤, 실천적 권고사항과 6개의 상세 사례 연구를 제시한다. 본 논문에서는 이 새로운 프레임워크의 개요를 소개하고, 사례 중 하나를 활용하여 실용적 권고사항을 요약해보고자 한다.
🧭 MRC 과정 평가 프레임워크 (MRC process evaluation framework)
이번에 제시된 새로운 프레임워크는 2008년 MRC 복잡한 중재 가이드라인에서 제안된 과정 평가의 세 가지 핵심 주제(implementation, mechanisms, context)를 기반으로 확장된 것이다 (그림 1)³. 과정 평가에서 이론의 역할은 논쟁의 여지가 있는 주제지만⁵⁶, 우리는 2008년 가이드라인의 입장을 지지한다. 해당 가이드는 중재를 뒷받침하는 인과적 가정(causal assumptions)을 이해하고, 중재가 실제로 어떻게 작동하는지를 파악하기 위해 평가를 활용하는 것이, 정책과 실천을 뒷받침할 수 있는 근거 기반(evidence base)을 구축하는 데 필수적이라고 보았다¹.
이러한 인과적 가정은 사회과학 이론(social science theory)에서 도출될 수 있으며, 실제로는 과거의 경험이나 상식(common sense)과 같은 다른 요소들도 개입될 수 있다. 예를 들어, 단순한 건강 정보 전단지(health information leaflet)조차도, 건강 결과에 대한 지식이 증가하면 행동 변화가 유발될 것이라는 가정을 반영할 수 있다. 이처럼 중재가 어떻게 효과를 낼 것인지에 대한 인과적 가정을 명시적으로 밝히는 것은, 그 타당성을 외부에서 비판적으로 검토할 수 있게 하고, 평가자가 어떤 중재 요소 또는 맥락 요소를 우선적으로 조사할지 결정하는 데 도움을 준다.
우리가 제안하는 프레임워크는 또한 중재의 구현(implementation), 영향 메커니즘(mechanisms), 그리고 맥락(context) 간의 관계에 주목한다. 예를 들어, 새로운 개입의 구현은 기존의 맥락에 영향을 받을 수 있으며, 반대로 새로운 개입이 그 맥락 자체를 변화시키기도 한다.
📊 Implementation: 무엇을, 어떻게 구현했는가?
중재가 기대한 효과를 내지 못하는 이유는 설계 자체의 결함일 수도 있고, 혹은 의도한 대로 실행되지 않았기 때문일 수도 있다⁷. 반면, 때로는 중재가 완전히 계획대로 수행되지 않았음에도 불구하고 긍정적인 결과가 나타나는 경우도 있다⁸. 따라서 무엇이 효과가 있었는지를 이해하기 위한 출발점으로서, 과정 평가는 일반적으로 다음 두 가지를 포착하는 것을 목표로 한다:
- 충실도(fidelity): 중재가 의도한 대로 전달되었는가
- 투여량(dose): 얼마나 많은 중재가 구현되었는가
복잡한 중재는 다양한 맥락에서 실행될 때 일정 수준의 조정(tailoring)을 거치게 된다. 따라서 중재 이론(intervention theory)에 기반하여 실제로 무엇이 전달되었는지를 면밀히 포착하면, 다양한 맥락에 맞추기 위한 조정과 중재의 일관성을 해치는 변화를 구분할 수 있게 된다⁹¹⁰. 중재 조정(adaptation)과 충실도(fidelity)의 개념에 대한 미해결된 논쟁은 전체 가이드 문서에서 심도 있게 다뤄진다.
무엇이 전달되었는가에 더해, 어떻게 전달되었는가를 파악하는 것도 과정 평가에서 매우 유익하다¹¹¹². 이는 정책 결정자와 실무자에게 중재를 어떻게 복제할 수 있을지에 대한 정보, 그리고 복잡한 중재를 어떻게 구현할 수 있는지에 대한 일반화 가능한 지식을 제공한다. 여기서 고려될 수 있는 요소에는 교육 및 지원(training and support), 커뮤니케이션 및 관리 구조(communication and management structures), 그리고 이러한 구조들이 실행자의 태도와 환경과 어떻게 상호작용하는지 등이 포함된다.
또한 과정 평가는 중재가 의도된 대상(reach)에게 실제로 도달했는지, 그리고 어떤 방식으로 도달했는지를 분석하는 것이 일반적이다¹³. 하지만 충실도(fidelity), 투여량(dose), 도달률(reach) 등의 하위 구성요소로 구현을 어떻게 나눌 것인지에 대해서는 명확한 합의가 없으며, 이를 시도하는 다양한 프레임워크들 사이의 우열을 현재로서는 판단할 수 없다. 이러한 문제는 전체 지침 문서에서 보다 자세히 논의된다.
🔄 Mechanisms of impact: 구현된 중재가 어떻게 변화를 유도하는가?
중재가 어떻게 변화를 유도하는지에 대한 메커니즘을 탐색하는 것은, 특정 중재가 어떻게 효과를 냈는지를 이해하는 데 핵심적이며, 유사한 미래 중재가 이를 어떻게 재현할 수 있을지를 이해하는 데에도 중요하다¹⁴. 과정 평가는
- 가설화된 인과 경로(hypothesised causal pathways)를 정량적 데이터(quantitative data)를 통해 검증할 수 있으며,
- 복잡한 경로나 예상치 못한 메커니즘(unexpected mechanisms)을 파악하기 위해 질적 방법(qualitative methods)도 활용될 수 있다¹⁵.
🌐 Context: 맥락은 구현과 결과에 어떤 영향을 미치는가?
맥락(context)은 중재 외부에 존재하면서, 그 구현 또는 효과에 장애 또는 촉진 요인으로 작용하는 모든 요소를 의미한다. 앞서 설명했듯이,
- 중재의 구현은 맥락에 따라 다양하게 달라질 수 있다.
- 하지만 때로는 동일한 방식으로 구현된 중재조차도 서로 다른 맥락에서 상이한 효과를 낼 수 있다¹⁶.
- 복잡한 중재는 해당 맥락에 적절히 작동할 수 있는 메커니즘을 도입함으로써 효과를 낼 수 있으며¹⁷, 중재가 대상으로 삼는 문제의 원인 자체가 맥락마다 다를 수 있다.
따라서 맥락을 이해하는 것은 개별 평가 결과를 해석하고, 그 결과를 일반화하기 위한 필수 조건이다. 심지어 중재 자체는 비교적 단순할지라도, 그것이 맥락과 상호작용하는 방식은 매우 복잡할 수 있다.
📈 과정 평가의 기능: 중재의 개발, 평가, 실행 단계별 차이
과정 평가의 초점은 중재가 수행되는 단계에 따라 달라질 수 있다. MRC 프레임워크는
- 중재가 개발된 후에 타당성 및 파일럿 단계(feasibility and piloting phase)를 거치도록 권장하고 있다¹³. 이 단계에서는, 중재의 실행 가능성(feasibility)을 이해하고, 중재의 설계 및 평가 방법을 최적화하는 데 있어 과정 평가가 핵심적 역할을 한다.
- 그러나 다음 단계인 효과성 평가(evaluating effectiveness)로 넘어가면, 과정 평가는 무엇이 얼마나, 어떤 질로 전달되었는지를 평가함으로써 효과성에 대한 결론의 신뢰도를 높이는 것, 그리고 맥락의 역할을 이해함으로써 효과성의 일반화 가능성(generalisability)을 평가하는 것에 초점을 두게 된다.
- 이미 타당성 단계에서 과정 평가가 수행되었다고 하더라도, 더 크고 다양한 표본에 대해 중재를 시험하는 전체 시험(full trial)에서는 새로운 문제들이 발생할 가능성이 크므로 또 다른 과정 평가가 필요하게 된다.
🛠 과정 평가의 계획, 설계, 수행, 보고
Box 1은 새로운 MRC 과정 평가 지침의 핵심 권고사항을 요약한 것이다. 복잡한 중재가 매우 다양하기 때문에 과정 평가의 목표와 방법은 중재에 따라 달라질 수 있지만, 공통적으로 고려해야 할 요소들이 있다. 여기서 제시하는 권고사항은 지침으로서 강제력이 있는 것이 아니라, 연구자가 더 나은 의사결정을 할 수 있도록 돕기 위한 참고 기준이다.
이 섹션 전반에서 우리는 전체 지침 문서에 수록된 6개의 사례 연구 중 하나인 웨일즈 국가 운동 의뢰 사업(Welsh National Exercise Referral Scheme, NERS)의 과정 평가를 예시로 활용하고 있다⁸¹⁸¹⁹. 이 사업은 1차 진료(primary care)를 통해 지역 공공 체육시설의 운동 전문가에게 환자를 의뢰함으로써 신체 활동을 촉진하는 것을 목표로 하였다.
📦 Box 1: 과정 평가에 대한 핵심 권고사항 (Key recommendations for process evaluation)
1. 계획(Planning)
- 중재 개발자 또는 실행자와의 관계 설정 범위를 명확히 정의하라.
- 현장에서 밀착 관찰이 가능하도록 충분히 좋은 협력관계를 유지할 필요와 독립된 평가자로서의 신뢰성을 유지할 필요 사이의 균형을 유지하라.
- 평가자가 중재 수행 중 발생하는 문제를 해결하는 데 적극적으로 관여할 것인지 아니면 보다 수동적인 역할만 수행할 것인지를 사전에 합의하라.
- 연구팀이 적절한 전문성을 보유하고 있는지 확인하라. 이는 다음을 포함할 수 있다:
- 정량적 및 정성적 연구 방법에 대한 전문성
- 적절한 학제 간 이론적 전문성(interdisciplinary theoretical expertise)
- 과정 평가팀과 효과성 평가팀 간의 통합 혹은 분리 정도를 결정하라.
- 평가의 모든 구성 요소를 균형 있게 중요시하는 책임연구자(PI)가 총괄 감독을 맡도록 하라.
- 과정 평가와 효과성 평가 사이의 중복과 갈등을 최소화하기 위한 커뮤니케이션 체계를 구축하라.
- 과정 데이터와 효과성 데이터의 통합 방안을 사전에 합의하라.
2. 설계 및 수행(Design and conduct)
- 중재를 명확히 기술하고, 어떻게 실행되며, 어떤 메커니즘을 통해 특정 맥락에서 변화를 유도할 것인지에 대한 인과 가정(causal assumptions)을 분명히 하라.
- 핵심 불확실성(key uncertainties)을 파악하고, 우선적으로 다루어야 할 질문을 체계적으로 선정하라.
- 중재가 내포하고 있는 가정(assumptions)을 통해 평가 질문의 후보를 도출하라.
- 정책 및 과학적으로 우선순위가 높은 질문(priority questions)은 이론적 근거와 관련 이해관계자들의 자문을 통해 합의하라.
- 유사한 중재에 대한 선행 과정 평가 문헌을 검토하고, 그 결과를 부분적으로 복제하거나 확장할 수 있는지 고려하라.
- 평가 질문에 적합한 복합적 방법론을 선택하라. 예를 들어:
- 정량적 방법: 핵심 과정 변수를 측정하고, 사전에 설정된 영향 메커니즘이나 맥락 조절자(contextual moderators)를 검증하는 데 유용
- 정성적 방법: 중재 수행 도중 나타나는 변화, 참가자 경험, 예기치 못한 인과 경로를 포착하고, 새로운 이론을 생성하는 데 유용
- 모든 사이트/참여자에 대한 전반적 자료 수집과 소규모 표적 집단에 대한 심층 자료 수집 사이의 균형을 고려하라.
- 시간 흐름에 따른 중재의 변화를 포착하기 위해, 다양한 시점에서 자료를 수집할 것도 고려하라.
3. 분석(Analysis)
- 충실도(fidelity), 투여량(dose), 도달률(reach)에 대한 기술적 정량 정보(descriptive quantitative information)를 제공하라.
- 참여자나 사이트 간의 차이를 더 정교하게 모델링하라 (예: 특정 사회경제적 계층이 중재를 더 많이 받았는가?).
- 과정 데이터를 효과성 데이터와 통합하여, 중재의 효과가 구현 방식이나 사전 설정된 맥락 조절자에 따라 달라지는지를 분석하고, 사전 가설화된 매개 변수(mediators)를 검증하라.
- 정성 데이터는 반복적으로 수집 및 분석하여, 초기 인터뷰에서 도출된 주제를 후속 인터뷰에서 더 탐색할 수 있도록 하라.
- 정량적 분석과 정성적 분석이 상호 보완되도록 설계하라. 예: 정성 자료는 정량 결과를 설명하고, 정량 자료는 정성 결과에서 도출된 가설을 검증한다.
- 가능하다면, 본 시험(outcome trial)의 결과를 알기 전에 과정 데이터를 분석하고 보고하여, 해석의 편향을 방지하라.
- 과정 데이터를 가설 생성에 사용하는 것인지(시험 결과를 모른 채 분석), 아니면 사후 해석을 위한 것인지(시험 결과를 알고 나서 분석)를 명확히 구분하여 투명하게 보고하라.
4. 보고(Reporting)
- 채택한 연구 방법에 특화된 기존 보고 지침이 있다면 이를 식별하고 따르라.
- 로직 모델(logic model) 또는 중재 이론(intervention theory)을 보고하고, 이를 평가 질문 및 방법 선정에 어떻게 활용했는지 설명하라.
- 결과를 정책 및 실천 이해관계자에게 적극적으로 전파하라.
- 동일한 과정 평가에서 복수의 논문이 출판되는 경우, 각 논문이 전체 평가 내에서 어떤 맥락에 위치하는지를 명확히 밝혀야 한다.
- 전체 평가 내용을 포괄하는 종합 보고서(full report)나 프로토콜 논문(protocol paper)을 출판하고, 모든 논문에서 이를 인용하도록 하라.
- 특정 중재에만 국한되지 않도록, 중재 이론(intervention theory) 또는 방법론 발전에의 기여를 강조하여 더 넓은 독자층의 관심을 유도하라.
🧩 과정 평가의 계획 (Planning a process evaluation)
🤝 중재 개발자 및 실행자와 협력하기
고품질의 과정 평가를 수행하려면, 중재의 개발 혹은 실행에 관여한 모든 이해관계자와의 원활한 관계가 필수적이다. 하지만 이러한 관계는 구축하기 어려울 수 있다. 예를 들어, 이해관계자들은 자신의 직업적 또는 개인적 이해관계 때문에 중재를 긍정적으로 보이게 하고 싶어 하거나, 평가 자체를 위협으로 인식할 수 있다. 하지만 이러한 협력 관계가 없으면 중재에 대해 밀착하여 관찰(observation)하기가 어려워진다.
한편, 평가자는 중재 이해관계자의 활동을 비판적으로 관찰할 수 있을 정도의 독립성(independence) 또한 유지해야 한다. 예를 들어, NERS 과정 평가에서는 중재 구성요소 중 일부의 실행 과정에서 심각한 문제들이 발견되었다¹⁹. 이때 평가자들은 문제를 기록하고 그 원인을 이해하기 위해서는 중재에 충분히 가까이 있어야 했고, 동시에 해당 문제를 이해관계자에게 솔직하게 보고할 수 있을 만큼의 독립성도 유지해야 했다.
정책 및 실천 이해관계자들과의 관계를 투명하게 보고하고, 이러한 관계가 평가에 미치는 영향을 인지하는 것이 매우 중요하다.
📢 핵심 도전과제: 결과 공유 여부
중재 이해관계자들과 협력하는 데 있어 주요한 도전 과제 중 하나는 진행 중 발견된 결과(emerging findings)를 공유할 것인지 여부이다. 즉, 평가자가 평가 종료 시점에 결과를 전달하는 수동적 관찰자(passive observer)로 남을 것인지, 아니면 문제를 발견할 때마다 그것을 바로잡는 데 도움을 주는 능동적 역할(active role)을 할 것인지에 대한 결정이 필요하다²⁰.
보다 능동적인 역할은 타당성 테스트(feasibility testing) 단계에서 적절할 수 있다. 그러나 중재의 효과성을 평가(evaluating effectiveness)할 때는, 지속적인 질 관리 활동(continuous quality improvement activities)에 연구자가 개입하는 것은 외적 타당성(external validity)을 저해할 수 있으므로 이상적이지 않다.
연구 시작 전부터 정보 전달 체계를 명확히 합의해 두면, 평가자가 지나치게 개입했다는 인식이나 중요한 정보를 은폐했다는 오해를 방지할 수 있다.
👥 자원과 인력 구성 (Resources and staffing)
과정 평가를 계획할 때는 그 목표를 결정하고 달성할 수 있을 만큼의 충분한 전문성과 경험을 갖춘 인력이 있는지를 반드시 확인해야 한다. 일반적으로 과정 평가팀은 정량적·정성적 연구 방법에 대한 전문성을 동시에 갖추어야 하며, 보건학, 1차 진료(primary care), 역학(epidemiology), 사회학(sociology), 심리학(psychology) 등 다양한 학문 분야의 전문성이 요구될 수 있다.
또한, 다양하고 방대한 양의 자료를 수집하고 분석할 수 있도록 충분한 자원(resources)이 확보되어야 한다. 특히, 정성적 자료의 분석은 많은 시간과 노력을 필요로 하므로 이를 고려해야 한다.
🤝 평가팀 내의 관계 (Relationships within evaluation teams)
과정 평가는 일반적으로 효과성(outcomes) 혹은 비용 효과성(cost effectiveness) 평가를 포함하는 더 큰 연구의 일부로 수행된다. 어떤 경우에는 과정 평가팀과 효과성 평가팀을 분리(separate)하기도 하고, 어떤 경우에는 하나의 팀으로 통합(combined)하기도 한다. Box 2에서는 이 두 모델의 장단점을 간략히 비교하고 있다.
- 팀이 분리되어 있을 경우, 중복이나 충돌을 방지하기 위해 효과적인 커뮤니케이션 체계가 필수적이다. 반면,
- 팀이 통합되어 있을 경우, 평가의 수행과 해석에 어떤 영향을 줄 수 있는지에 대해 투명성(transparency)이 요구된다.
평가 구성요소 간 통합이 효과적으로 이루어지기 위해서는, 팀 구성원 간에 상호 존중(respect)과 상대방의 작업에 대한 가치 부여가 있어야 하며, 연구 전체가 각 평가 구성요소의 중요성을 균형 있게 평가하는 책임연구자(PI)에 의해 총괄 감독될 필요가 있다²¹.
📦 Box 2: 과정 평가팀과 결과 평가팀의 분리 또는 통합 – 무엇이 더 나은가?
⚖️ 과정 평가팀과 결과 평가팀을 분리해야 하는 이유 (Arguments for separation)
- 중재가 어떻게 작동하고 있는지에 대한 피드백이 결과 데이터 해석에 영향을 줄 수 있는데, 평가팀을 분리하면 이러한 편향의 위험을 줄일 수 있다.
- 무작위 대조 시험(RCT)에서는, 과정 평가자는 실험군/대조군에 대한 정보를 몰래(blind) 처리할 수 없지만, 결과 데이터를 수집하거나 분석하는 사람은 가능하면 blind 처리하는 것이 이상적이다.
- 시험 결과에 대한 사전 지식 없이 과정 데이터를 분석하면, 결과에 맞춘 설명을 억지로 찾아내거나(fishing) 해석에 편향이 생기는 것을 방지할 수 있다. 물론 실제로는 과정 분석이 완료될 때까지 결과 분석을 미루는 것이 항상 실용적이지는 않지만, 과정과 결과를 각각 다른 연구자가 담당한다면, 분석을 동시에 진행하면서도 편향을 줄일 수 있다.
- 과정 평가는 이해관계자에게 불편하거나 민감한 정보를 포함할 수 있는데, 이해관계를 가진 연구자가 이를 공정하게 분석하고 보고하는 데 어려움이 있을 수 있다.
- 중재 시행자나 참가자가 시험에 대한 우려를 가지고 있는 경우, 과정 평가자가 시험으로부터 어느 정도 거리를 두고 있으면 더 쉽게 신뢰를 쌓고 그들의 고민을 파악할 수 있다.
🔗 과정 평가팀과 결과 평가팀을 통합해야 하는 이유 (Arguments for integration)
- 과정 평가자와 결과 평가자는 함께 협력함으로써, 중재 실행에 대한 데이터가 결과 분석에 통합되도록, 혹은 과정 중 발생하는 문제에 대한 데이터가 시험 데이터 수집에 반영되도록 할 수 있다.
- 과정 평가자가 파악한 중간 결과(intermediate outcomes)나 인과적 경로(causal processes)는, 새로운 측정 항목을 결과 데이터에 통합하는 데 도움을 줄 수 있다.
- 일부 관련 있는 과정 지표들이 이미 결과 평가의 일환으로 수집되고 있는 경우, 노력의 중복을 방지하고, 참여자의 측정 부담(measurement burden)을 줄이는 것이 중요하다.
- 어느 한 측정 활동이 다른 측정을 방해해서는 안 된다. 예를 들어, 과정 데이터 수집이 참여자에게 과도한 부담을 준다면, 결과 평가에서 응답률 저하로 이어질 수 있다.
📌 요약하자면, 평가팀을 분리할 경우 분석의 독립성과 편향 방지 측면에서 유리할 수 있고, 통합할 경우에는 자료 통합과 참여자 부담 감소 측면에서 강점이 있습니다. 따라서 연구의 목적, 민감도, 시행 환경에 따라 신중하게 판단해야 합니다.
🧪 과정 평가의 설계 및 수행 (Designing and conducting a process evaluation)
🧱 중재를 설명하고 인과 가정을 명확히 하기
중재가 어떤 내용을 담고 있으며, 어떻게 시행될 예정이고, 어떤 방식으로 작동할 것으로 기대되는지에 대한 명확한 설명은 이상적으로는 평가가 시작되기 전에 이미 개발되어 있어야 한다. 그런 경우, 과정 평가의 설계는 이러한 설명들을 검토하여 어떤 요소를 조사할 것인지 결정하는 것에서 시작된다.
중재가 무엇인지, 어떻게 작동할 것인지에 대한 모호함이 남아 있다면, 과정 평가 설계가 확정되기 전에 중재 개발자들과 협력하여 이러한 모호성을 해소해야 한다. 예를 들어, NERS 평가자들은 해당 중재가 웨일즈 정부의 정책적 기획으로 추진된 것이었기 때문에, 개발 과정에 깊이 관여하지 못했다. 평가가 시작될 당시에도 중재의 구성 요소나 작동 방식에 대한 불분명한 점들이 남아 있었다. 평가자들은 이 모호성을 중재 개발자들과 함께 해결했지만, 이 작업이 평가 시작 후에 이루어졌기 때문에, 일부 핵심 활동에 대한 정밀한 측정 도구를 개발할 시간은 제한적이었다⁸.
중재 및 그 평가가 기존 이론에 명시적으로 근거하고 있다면, 그 이론을 실제로 검증하고 정교화할 수 있기 때문에 유익하다. 하지만 어떤 경우에는 중재 개발이 경험이나 상식(common sense) 등 다른 요인에 의해 주도될 수 있으며, 이럴 경우에는 억지로 기존 이론 틀을 맞추기보다는, 그 가정들이 무엇인지 솔직하고 명확하게 제시하는 것이 중요하다. 또한 하나의 학문 분야에 속한 부적절한 이론에 지나치게 집중하는 것도 피해야 한다. 예를 들어, 심리학 이론은 개인 수준 개입에는 유용하지만, 조직이나 사회적 수준의 개입에는 덜 유용할 수 있다²².
중재를 로직 모델(logic model)로 시각화하는 것은 인과 가정(causal assumptions)을 명확히 하는 데 매우 유용하다²³. 예를 들어, INCLUSIVE 프로그램은 학교 기반 중재로서 학교 전체에 restorative practices를 도입하여 학교 폭력을 줄이고 학생 건강을 증진시키는 것을 목표로 하였다²⁴. 이에 대한 로직 모델은 Markham과 Aveyard의 ‘인간 기능 및 학교 조직 이론(human functioning and school organisation theory)’에 기반하였으며, 이는 학생들이 학교의 학습 및 공동체에 얼마나 연결감을 느끼는지가 건강 효과를 매개한다(mediated)고 제안하였다²⁵. 이 이론을 토대로 연구자들은 ‘소속감’과 ‘헌신도’를 중간 결과(intermediate outcomes)로 설정하였다²⁶.
🔍 이전 과정 평가로부터 배우기 (Learning from previous process evaluations)
과정 평가를 설계할 때는 그 결과가 향후 체계적 문헌 고찰(systematic review)에 포함될 가능성을 염두에 두어야 한다. 과정 평가는 Waters 등 연구자들이 강조한 바와 같이, 중재의 실행 및 맥락에 대한 정보를 제공함으로써 문헌 고찰이 정책 결정자들에게 실질적인 도움을 줄 수 있게 만든다²⁷. 따라서 유사한 중재에 대한 과정 평가들 간에 서로의 결과를 축적하고(comparative accumulation), 가능하다면 유사한 방법을 사용하여 수행하는 것이, 비교 가능한 근거를 마련하는 데 유익하다.
🎯 핵심 연구 질문 결정하기 (Deciding core research questions)
과정 평가는 복잡한 중재의 모든 불확실성에 답할 수는 없다²⁸. 따라서 너무 많은 질문에 얕게 답하려고 하기보다는, 가장 중요한 질문에 깊이 있게 접근하는 것이 바람직하다. 이를 위해 평가자는 먼저 중재 매뉴얼이나 로직 모델에 내포된 인과 가정들(causal assumptions)을 나열하고, 가장 근거가 부족한 가정을 파악할 수 있다. 이 작업은 문헌 검토, 정책·실천 이해관계자와의 협의, 연구팀 내부 논의를 통해 수행할 수 있다.
복잡한 중재는 본질적으로 예측 불가능(unpredictable)하기 때문에, 평가 과정에서 추가적인 질문들이 발생할 수 있다. 따라서 초기 설계 시 명확한 초점을 설정하는 것이 중요하지만, 동시에 새로운 질문에 대응할 수 있는 유연성(flexibility)과 자원(resources)도 확보되어 있어야 한다.
🧪 방법론 선정 (Selecting methods)
그림 3에는 과정 평가에서 일반적으로 사용되는 자료 수집 및 분석 방법들이 정리되어 있다. 각 방법의 장점은 연구 질문과의 적합성을 고려하여 신중하게 선택해야 한다.
복잡한 중재의 과정 평가는 일반적으로 정량적 방법(quantitative methods)과 정성적 방법(qualitative methods)의 복합적 접근을 요구하며, 그 상대적 중요성은 평가 단계나 기존 근거 수준에 따라 달라질 수 있다. 예를 들어, 타당성 검토나 파일럿 단계에서는, 기본적인 정량 지표와 심층적인 정성 자료를 결합하여 소규모 맥락에서의 중재 작동 방식을 상세히 이해할 수 있다.
효과성 평가 단계에서는, 가설화된 인과 경로(hypothesised pathways)를 검증하거나 맥락 요인(contextual factors)을 측정하기 위해 정량적 과정 자료 수집이 우선순위가 될 수 있다. 만약 직접적으로 관련된 정성 자료가 이미 이전 타당성 연구에서 확보되어 있다면, 효과성 평가 시점에서 정성 자료를 대규모로 새롭게 수집하지 않아도 될 수 있다. 그러나 추가 정성 자료 수집은 중재가 소규모에서 대규모로 확장되면서 생기는 실행자, 환경, 참가자 다양성에 따른 문제를 이해하는 데 여전히 도움이 된다.
표집(sampling) 및 자료 수집 시점(timing)도 주요한 방법론적 고려 사항이다. 예를 들어, 모든 실행자를 인터뷰하는 것이 항상 더 많은 통찰을 주는 것은 아니며, 오히려 선별된 소수에게서 심층 인터뷰를 진행하는 것이 더 효과적일 수 있다. 모든 사이트에서 관찰을 수행하는 것은 비용이 매우 높고, 중재 자체에 과도한 영향을 미칠 위험도 있다. 반대로, 소수의 사이트에서만 자료를 수집하고 이를 근거로 중재 전반에 대해 결론을 도출하려는 것도 위험하다²⁸. 따라서 가능하다면, 모든 사이트에서 핵심 변수에 대한 정량 데이터를 수집하는 한편, 중재의 작동에 영향을 줄 것으로 예상되는 차원에 따라 선별된 표본에서 심층 정성 데이터를 수집하는 것이 유용하다. 또한, 중재가 시간이 지나면서 개선될 수 있으므로, 다양한 시점에서 데이터를 수집하는 것이 도움이 된다.
📊 NERS의 방법 적용 사례
NERS 과정 평가에서는 다음과 같은 정량적 방법이 사용되었다.
- 환자 상담을 오디오 녹음 후 구조화된 관찰(structured observation)을 통해 분석하였으며, 이를 통해
- 충실도(fidelity): 동기부여 면담 원칙(motivational interviewing principles)에의 일치도
- 투여량(dose): 상담 시간의 길이 등을 측정하였다.
- 참여자 구성의 사회인구학적 패턴(sociodemographic patterning), 즉 도달률(reach)은 일상적으로 수집된 모니터링 자료를 통해 분석되었다⁸.
- 운동 동기 및 자신감 등 가설화된 심리적 메커니즘(예: motivation, confidence)에 대한 정량 측정은 본 시험(trial)의 일부로 수행되었다¹⁸.
- 정성 인터뷰는 환자, 운동 전문가, 프로그램 조정자, 보건 전문가를 대상으로 수행되었으며, 맥락별 실행의 어려움과 NERS가 실제로 어떻게 작동한다고 인식되는지에 초점을 맞추었다⁸.
📊 과정 데이터의 분석과 과정-결과 통합 (Analysis of process data, and integration of process and outcome data)
정량적 과정 데이터의 분석은 보통 충실도(fidelity), 투여량(dose), 도달률(reach) 등의 질문과 관련된 기술 통계(descriptive statistics)로 시작된다. 이후, 이 정량적 과정 지표를 결과 데이터셋과 통합(integration)하면, 예를 들어 중재의 실행 변이(implementation variability)가 결과에 어떤 영향을 미쳤는지를 이해하거나(on-treatment analysis), 정성적 분석에서 도출된 가설을 검증하는 데 도움이 될 수 있다.
일부 학자들은 과정 데이터 분석을 결과 분석 이전에 수행하는 것이 바람직하다고 주장한다. 이는 과정 데이터 해석에 편향이 생기는 것을 방지하기 위해서이다²⁹. 이 방식을 따를 경우, 과정 데이터는 향후 연구자들이 왜 긍정적 또는 부정적인 효과를 기대하게 되는지를 사전에 설명해주는 통찰을 제공할 수 있으며, 결과의 변이(variability in outcomes)가 어떤 메커니즘으로 발생하는지를 설명해주는 가설을 생성할 수도 있다³⁰.
NERS 과정 평가에서는, 중재가 건강 전문가의 의뢰를 통해 할인된 감독 하의 그룹 운동을 제공하는 공통된 핵심 요소를 포함하고 있다는 것이 실행 지표(implementation measures)를 통해 확인되었다. 그러나 동기부여 면담(motivational interviewing)이나 목표 설정(goal setting)과 같은 일부 활동은 충실히 전달되지 않았다⁸.
그럼에도 불구하고, 시험 결과가 공개되기 전 수행된 정성 분석(qualitative data)은 환자의 운동 동기가 다른 메커니즘, 예를 들어 다른 환자들과의 사회적 지지(social support)에 의해 보완되고 있다는 것을 보여주었다⁸. 이후, 운동 동기 등 심리적 변화 메커니즘에 대한 정량 지표를 시험 결과 데이터와 통합한 결과, 운동 수준의 유의미한 향상은 운동에 대한 동기의 변화로 설명될 수 있음이 밝혀졌다¹⁸.
따라서 정성 및 정량 과정 데이터와 시험 결과의 통합은, 복잡한 인과 경로(complex causal pathways)를 보다 명확히 이해하는 데 기여했다.
📢 결과 보고 (Reporting findings)
보건 연구 보고를 위한 가이드라인은 EQUATOR 네트워크 웹사이트(www.equator-network.org/home)에 게시되어 있으나, 과정 평가는 워낙 다양하여 통일된 보고 지침을 마련하기 어렵다. 따라서 과정 평가에서 고려해야 할 핵심 사항은 다음과 같다.
- 정량 및 정성 자료 구성요소 간의 관계를 명확히 보고해야 하며,
- 과정 평가가 전체 평가(예: 결과 평가 또는 경제성 평가)에서 어떤 위치를 차지하는지도 명확히 해야 한다.
- 중재가 어떻게 작동한다고 가정했는지(가능하다면 로직 모델 포함),
- 이 가정이 평가 질문 및 방법 선정에 어떻게 반영되었는지도 기술하는 것이 바람직하다³¹.
학술지에 보고할 경우, 하나의 과정 평가를 여러 편의 논문으로 나눠 발표해야 할 수 있다. 이때 전체 맥락을 놓치지 않기 위해, 각 논문은 동일 연구에서 발표된 다른 논문이나, 전체 평가를 설명하는 프로토콜 논문 또는 종합 보고서에 반드시 연결(refer)되어야 한다.
과정 평가가 시험 결과 해석을 위해 수행된 경우, 학술 논문 내 해석에서도 과정 평가 자료와 시험 결과 간의 연결고리가 명확히 드러나야 한다. 그리고 중재를 수행했던 사람들이나, 향후 중재 실행 여부를 결정할 사람들을 위해 일반 독자용 형식(lay formats)으로도 결과를 보고하는 것이 중요하다.
🧩 그림 설명: 과정 평가의 핵심 구성 요소와 상호작용
🟦 Context (맥락)
- 정의: 중재가 어떻게 작동하는지에 대한 이론을 형성하거나 변형시키는 외부 요인들.
- 세부내용:
- 구현(Implementation), 메커니즘(Mechanisms), 결과(Outcomes)에 영향을 주거나 영향을 받음
- 현존하는 인과 메커니즘이 현재 상태(status quo)를 유지하거나, 중재의 효과를 증폭시킬 수 있음
- 핵심 개념: 맥락은 단순한 배경이 아니라, 중재가 성공할 수 있는 환경인지 아닌지를 결정하는 역동적 요소입니다.
🟦 Implementation (구현)
- 정의: 중재가 실제로 어떻게 실행되었는지를 다룸
- 세부내용:
- 실행 과정: 전달 방식, 교육, 자원 등
- 핵심 질문: 무엇이 전달되었는가?
- 평가 지표:
- Fidelity (충실도)
- Dose (투여량)
- Adaptations (조정 사항)
- Reach (도달률)
- 핵심 개념: 단순히 '했는가'가 아니라, ‘얼마나, 어떻게, 누구에게’ 했는지를 정밀하게 평가해야 함
🟦 Mechanisms of Impact (영향 메커니즘)
- 정의: 중재가 어떻게 참여자에게 영향을 미쳐 결과를 이끌어내는지 설명하는 메커니즘
- 세부내용:
- 참여자의 반응 및 중재와의 상호작용
- Mediators (매개 변수): 결과에 영향을 미치는 심리적·행동적 요인
- 예상치 못한 경로 및 결과
- 핵심 개념: 결과가 '왜' 나왔는지를 설명할 수 있는 내부 동력 구조
🔁 상호작용 흐름
- 회색 박스 1: Description of intervention and its causal assumptions
→ 중재와 그것이 작동할 것이라는 인과적 가정(causal assumptions)에 대한 명확한 서술이 출발점입니다.
이 설명은 모든 평가 구성요소의 방향을 설정합니다. - 파란 화살표:
- 모든 요소는 Context (맥락)과 상호작용합니다.
- Implementation과 Mechanisms은 서로 연결되어 있으며, 모두 Outcomes과 연결됩니다.
- Outcomes는 다시 Context에 피드백을 주며, 이 과정에서 이론과 실행 전략이 재정립될 수 있습니다.
⚙️ Outcomes (결과)
- 정의: 중재의 결과 (예: 건강 개선, 행동 변화 등)
- 연결성:
- Implementation과 Mechanisms of Impact의 결과물
- Context에 의해 영향받고, 다시 Context를 변화시킬 수도 있음
📌 전체 구조 요약
이 그림은 과정 평가가 단순히 "중재가 효과 있었는가?"를 넘어,
- 중재는 어떤 전제를 바탕으로 설계되었는가?
- 실제로 어떻게 구현되었는가?
- 참여자들은 어떻게 반응했는가?
- 그것이 어떤 결과로 이어졌는가?
- 그리고 이 모든 것이 어떤 맥락에서 일어났는가?
를 입체적으로 파악할 수 있도록 돕는다는 것을 보여줍니다.
이 그림은 INCLUSIVE 중재(INCLUSIVE intervention)의 로직 모델(logic model)로, 학교에서의 폭력과 공격성을 줄이기 위한 개입이 어떻게 구조화되어 있으며, 그 과정이 학생의 행동과 건강에 어떤 영향을 미치는지를 단계적으로 시각화한 것입니다. 전체 그림은 왼쪽에서 오른쪽으로 논리적으로 흐르며, 중재 투입 → 활동 → 학교 변화 → 학생 영향 → 건강 결과로 이어지는 구조를 갖고 있습니다.
🟦 1. INCLUSIVE intervention inputs (중재 투입 요소)
중재를 위한 자원과 초기 기반들을 의미합니다.
- 학교당 행정비, 대체 인력, 특정 활동 등을 위한 £4000 예산 지원
- 8학년 학생의 요구 및 기존 정책·실천에 대한 조사
- 학생과 교직원으로 구성된 action group 회의 지원
- 교직원 대상 restorative practice(회복적 실천) 교육
- 새로운 사회·감성 교육과정과 학습 자료 개발
➡ 기반을 마련하고, 학교 내 변화를 시작할 수 있는 준비 작업들입니다.
🟦 2. Intervention processes and actions (중재 과정 및 활동)
위 자원을 활용해 실제로 수행되는 활동들입니다.
- 액션 그룹이 우선순위 설정 및 활동 감독
- 1차 회복적 실천(primary restorative practices): 학교 규칙 및 교육과정 재검토, 감정 및 사회기술 교육 추가
- 2차 회복적 실천: 또래 중재(peer mediation) 개선, 교직원 교육
- 3차 회복적 실천: ‘circle time’ 및 회복적 회의(conferencing)
➡ 학생의 권한 강화, 회복 중심 소통, 학교 정책의 전환 등 학교 문화 자체를 전환시키는 실천이 포함됩니다.
🟦 3. Changes to school practices (“boundaries” and “framing”)
중재 활동으로 인한 학교 내부 관계 및 관점의 변화
- 학생과 교사 간, 학생 간 소통 및 관계 향상
- 학습, 훈육, 지원, 조직 전반에서 학생 중심(student-centred) 접근 강화
➡ 학생이 단순 수용자가 아니라 학교 문화 형성의 주체로 자리 잡게 되는 변화입니다.
🟦 4. Changes to school ethos (학교의 ‘분위기’와 규범 질서 변화)
조직 문화 및 학교의 포괄적 분위기 변화
- Instructional order: 학습이 더 흥미롭고, 감성 교육과 통합됨
- Regulatory order: 규율이 더 포용적이고, 협력적이며, 갈등을 학습 기회로 간주
- 교직원과 학생 모두가 더 안전하고, 존중받고, 참여적인 학교 문화 유지에 책임
➡ 단지 규칙을 지키게 하는 게 아니라, 서로 신뢰하며 존중하는 관계성 중심 학교 분위기 조성
🟦 5. Student intermediate impacts (학생 중간 영향)
중재가 학생에게 미치는 직접적 변화
- 더 많은 학생들이 높은 목표 의식을 갖고 학습에 참여
- 학교 커뮤니티와의 연결감 향상, 문제 집단 회피
- ‘라이프 스킬’(life skills) 향상: 감정 조절, 의사소통 능력 등
- 신뢰와 공감 기반의 관계 형성
- 더 건강한 의사결정 수행
➡ 학생의 정서, 사회성, 관계성이 눈에 띄게 발전함을 의미합니다.
🟦 6. Student health outcomes (학생 건강 결과)
최종적으로 기대하는 중재 효과
- 학교 폭력 및 공격성 감소 (주요 결과)
- 정신 건강 및 삶의 질 향상
- 약물 사용 및 성적 위험 행동 감소
- 무단 결석 및 퇴학 감소
➡ 학생의 전반적인 웰빙과 학교 적응을 증진하는 데 목적을 두고 있습니다.
📌 요약하면:
이 로직 모델은 "학교 폭력을 줄이기 위한 중재"를 단순한 훈육 강화로 보지 않고,
학교 정책 → 관계 개선 → 감정 교육 → 학생 행동 변화 → 건강 효과라는 복합적이고 다층적인 변화 경로로 설명하고 있습니다.
❝ 중재의 효과는 단순히 한 가지 활동이 아니라, 구조적-문화적-개인적 수준의 변화가 복합적으로 작용한 결과라는 것을 보여주는 설계입니다. ❞
'논문 읽기 (with AI)' 카테고리의 다른 글
| 의료 개입의 실행 가능성: 검토 문헌의 개요 및 개념적 프레임워크 개발 (Implement Sci. 2022) (0) | 2025.06.19 |
|---|---|
| 이론 기반 평가: 10년 후의 반성: 이론 기반 평가: 과거, 현재, 그리고 미래 (New Directions for Evaluation, 2007) (0) | 2025.06.18 |
| 실행 연구: 무엇이며 어떻게 수행하는가 (BMJ. 2013) (0) | 2025.06.18 |
| 통합 실행 연구 프레임워크(CFIR)와 함께 사용하기 위한 결과 개념화: CFIR 결과 부록 (Implement Sci. 2022) (0) | 2025.06.18 |
| 행동 변화의 이론적 영역 프레임워크(TDF)를 활용한 구현 문제 조사 가이드 (Implement Sci. 2017 ) (2) | 2025.06.15 |