논문 읽기 (with AI)

실행 충실도를 위한 개념적 프레임워크(Implement Sci. 2007)

Meded. 2025. 6. 19. 16:40
Implement Sci. 2007 Nov 30:2:40. doi: 10.1186/1748-5908-2-40.

A conceptual framework for implementation fidelity

 

 

📌 중재가 ‘제대로’ 실행되었는지 어떻게 확인할 수 있을까?

👀 왜 이 주제가 중요할까?

여러분도 아마 연구 논문이나 보건의료 개입(intervention)을 읽다 보면,
“이걸 우리 병원/학교/기관에 적용하면 효과가 있을까?”라고 생각하신 적 있으실 거예요.

하지만 여기서 중요한 게 하나 있습니다.
그 중재가 원래 의도대로 ‘제대로’ 실행되었는지를 평가하지 않고선,
그 결과가 진짜 그 중재 덕분인지,
아니면 실행이 엉망이라서 효과가 없었던 건지 알 길이 없다는 점이죠.

이 글에서 소개할 논문은 바로 그 Implementation Fidelity(중재 충실도) 개념을
어떻게 이해하고, 어떻게 평가할 수 있을지에 대한 프레임워크를 제안한 고전적인 논문입니다.


🧩 Implementation Fidelity란?

논문에서는 이렇게 정의하고 있어요:

“프로그램이 프로그램 개발자의 의도대로 실행된 정도”
"the degree to which . . . programs are implemented . . . as intended by the program developers"

 

이 개념은 때로 Integrity(정확성, 진실성)이라는 이름으로도 불립니다.


⚙️ Fidelity를 구성하는 5가지 핵심 요소

이 논문은 fidelity를 평가하려면 다섯 가지 요소를 고려해야 한다고 봤어요:

 

요소  설명
Adherence 중재가 원래 설계대로 제공되었는가
Exposure (Dose) 얼마나 자주, 얼마나 오래 제공되었는가
Quality of Delivery 전달 방식은 적절했는가
Participant Responsiveness 참여자들이 중재에 얼마나 잘 반응했는가
Programme Differentiation 중재의 핵심 구성 요소가 무엇인지 구분되었는가

🔄 조절 변수도 중요해요!

중재가 ‘잘’ 실행되지 않는 건 단지 태만 때문만은 아닙니다.
이 논문은 fidelity에 영향을 줄 수 있는 조절 변수(moderator)들도 정리해요:

  • 중재의 복잡성 (Intervention Complexity) → 단순하고 명확한 중재일수록 fidelity가 높게 나타날 가능성이 커요.
  • 실행 촉진 전략 (Facilitation Strategies) → 예: 교육, 매뉴얼, 피드백 제공. 이들이 있으면 fidelity가 높아질 가능성이 있어요.
  • 전달의 질 (Quality of Delivery) → 아무리 좋은 내용이라도 전달이 엉망이면 효과도 낮겠죠?
  • 참여자 반응성 (Participant Responsiveness) → 참여자가 “이건 내게 맞는 중재야!”라고 느껴야 제대로 이행돼요.

논문에서는 이렇게 말합니다:

“중재가 제대로 전달되지 않는다면, 아무리 좋은 내용을 담고 있어도 중재의 충실도는 낮아질 수 있다.”
"If the content of an intervention is delivered badly, then this may affect the degree to which full implementation is realised."


🧪 측정은 어떻게 할까?

현실적으로는 대부분의 연구가 fidelity를 측정할 때 adherence(준수도)만 다루는 경우가 많습니다.
하지만 이 논문은 분명하게 지적해요:

“위에서 설명한 조절 변수를 함께 측정해야만, 왜 중재 fidelity가 낮았는지를 이해할 수 있다.”
"It is only by measuring the moderators described above that potential explanations for low or inadequate implementation may be apprehended or understood."


🧭 이 프레임워크의 의의는?

이 논문이 중요한 이유는 단지 ‘구성 요소’를 나열한 데 그치지 않고,
이들이 어떻게 서로 영향을 주고받는지까지도 설명했다는 점이에요.

그리고 이런 말을 덧붙입니다:

“이 프레임워크를 따라 fidelity를 모니터링하면, 중재가 실제로 성과에 어떤 영향을 주었는지를 더 잘 평가할 수 있다.”
"Monitoring of implementation fidelity following this framework enables better evaluation of the actual impact of an intervention on outcomes."


🧠 마무리하며

현장에서 중재를 ‘진짜로’ 잘 해보고 싶은 사람,
연구에서 성공한 개입을 ‘우리 조직’에서도 제대로 적용하고 싶은 사람에게
이 프레임워크는 꽤나 유용한 나침반이 되어줄 수 있습니다.

하지만 논문은 말합니다:

“이 프레임워크 자체를 검증하고, 각 요소들의 조절 효과를 밝히기 위한 더 많은 실증 연구가 필요하다.”
"Empirical research is needed to test the framework itself and to clarify the moderating impact of the components included here."

 

💡 여러분이 생각하는 중재 충실도(fidelity)는 어떤 모습인가요?
직접 경험한 시행착오나 고민도 댓글로 나눠보아요! 😊


 


📌 배경 (Background)

Implementation fidelity“프로그램이 프로그램 개발자의 의도대로 실행된 정도(the degree to which programs are implemented as intended by the program developers)”를 의미합니다 [1]. 이 개념은 때때로 “integrity(정확성, 진실성)”라고도 불립니다 [1, 2]. Implementation fidelity는 중재(intervention)와 그 의도된 결과(outcomes) 사이의 관계에 영향을 미칠 수 있는 조절 변수(moderator)로 작용합니다. 즉, 중재가 실제로 결과에 얼마나 영향을 미치는지를 판단하는 데 있어 중요한 요인이 될 수 있다는 의미입니다. 바로 이것이 implementation fidelity를 측정해야 하는 주요한 이유 중 하나입니다.

 

다양한 연구에서 중재가 얼마나 충실히 이행되었는지에 따라 그 성공 여부가 달라진다는 것이 입증되었습니다 [1–5]. 예를 들어, 정신 건강 문제를 겪는 사람들이 취업할 수 있도록 돕는 프로그램을 평가한 두 개의 연구에서는, 프로그램이 제대로 구현되지 않은 집단에서 취업률이 가장 낮게 나타났습니다 [6, 7]. 마찬가지로, 부모 교육 프로그램(parent training programme)에 대한 한 연구에서는 프로그램이 높은 fidelity로 실행되었을 때 부모의 양육 방식이 유의미하게 개선되었지만, fidelity가 낮았던 경우 그 효과는 훨씬 적었습니다 [8]. 이와 유사한 결과는 최근의 여러 연구에서도 반복적으로 나타났습니다 [9, 10].

 

중재가 어떻게 이행되었는지를 적절히 평가하지 않고서는, 해당 중재가 결과에 기여했는지를 타당하게 판단할 수 없습니다. 즉, 중재가 성과에 미친 영향을 알 수 없다는 의미입니다. 만약 이런 평가가 이루어지지 않는다면, 중재의 효과가 없었던 이유가 실행의 미흡 때문인지 아니면 프로그램 자체의 근본적인 문제 때문인지—즉, 제3형 오류(Type III error) [11]—를 알 수 없습니다. 이러한 관점은 ‘포괄성의 논제(thesis of comprehensiveness)’에서도 다루어지고 있습니다 [12]. 또한, 중재가 완전하게 이행되지 않은 것으로 밝혀졌을 경우, 현재 나타난 긍정적 효과가 더 나아질 수 있는지 여부조차 알 수 없게 됩니다.

 

따라서 중재 효과를 정확히 파악하고자 한다면, 중재 연구(Primary research)에서는 반드시 implementation fidelity에 대한 평가를 포함해야 합니다. 더 나아가, 근거 중심 실무(evidence-based practice)를 수행하는 전문가들도 자신이 실행 중인 중재가 얼마나 충실히 이행되고 있는지를 이해하고 정량화할 수 있어야 합니다. 근거 중심 실무의 전제는, 중재가 그 출판된 매뉴얼 혹은 지침에 따라 완전히 실행되고 있다는 것입니다. 이는 실험 환경보다는 실제 환경(real-world settings)에서 중재 실행의 일관성이 훨씬 더 떨어질 수 있다는 점에서 더욱 중요합니다. 따라서 근거 중심 실무는 중재 재현(replication)을 가능하게 하기 위해, 연구자들로부터 단순히 ‘어떻게 중재를 실행해야 하는가’에 대한 정보뿐 아니라, 해당 중재가 ‘정확히 그렇게’ 실행되고 있는지를 평가할 수 있는 수단도 함께 요구합니다.

 

이와 유사한 문제는 이차 연구(secondary research)에서도 발생합니다. 많은 1차 연구들이 fidelity에 대한 정보를 제공하지 않기 때문에, 이를 “thinness(정보 부족)”라고 부르며, 체계적 문헌고찰(systematic reviews)이나 메타분석(meta-analyses)을 수행하는 연구자들은 연구들 사이의 이질성(heterogeneity)을 파악할 수 없게 됩니다. 그 결과, 부적절한 방식으로 데이터를 통합하거나 집계할 가능성이 생깁니다 [13, 14]. 이는 문헌고찰의 내적 타당도(internal validity)에 부정적인 영향을 미치며, 결국 해당 연구의 신뢰도(credibility)와 활용 가능성(utility) 자체를 흔들 수 있습니다. 또한, 겉보기에는 동일한 방식으로 수행된 것처럼 보이는 연구들이 서로 다른 결과를 낳는 이유가 fidelity의 차이 때문일 수 있습니다.

 

📍 요약하면, implementation fidelity에 대한 평가는 단순히 중재와 결과 간의 관계를 조절하는 변수로서의 중요성 때문만이 아니라, 중재의 효과성에 대해 잘못된 결론을 내리는 것을 방지하고, 더 나은 결과를 달성할 수 있는 기회를 제공하기 때문에 반드시 필요합니다.

  • 1차 연구자(primary researchers)는 중재 결과를 자신 있게 중재 자체의 효과로 귀속시킬 수 있고,
  • 근거 중심 실무자(evidence-based practitioners)는 자신이 중재를 정확히 실행하고 있다고 확신할 수 있으며,
  • 2차 연구자(secondary researchers)는 여러 연구를 종합(synthesize)하는 데 있어 더 높은 신뢰를 가질 수 있게 됩니다.

이를 위해서는 implementation fidelity라는 개념과 그 측정 과정을 이해하고 평가할 수 있는 체계적인 프레임워크가 필요합니다. 따라서 본 논문의 목적은 implementation fidelity에 대한 문헌을 비판적으로 검토하고, 특히 중재의 실제 실행과 관련된 1차 연구 문헌을 중심으로 이 개념을 이해하고 평가할 수 있는 새로운 프레임워크를 제안하는 것입니다.


📘 Implementation Fidelity의 개념화와 그 한계
(Conceptualisations of implementation fidelity and their limitations)

Implementation fidelity(중재 충실도)에 관한 문헌을 확인하기 위해 검색을 실시하였다. 여기에는 경험적 연구, 문헌 고찰, 이론적 논문 등이 포함된다. 다음의 데이터베이스에서 "implementation fidelity" 또는 "fidelity"가 "implement", "implementation", "implemented" 등의 단어와 5단어 이내에 등장하는 논문을 검색하였다:

  • Applied Social Sciences Index and Abstracts,
  • CINAHL (Cumulative Index of Nursing and Allied Health Literature),
  • International Bibliography of the Social Sciences,
  • MEDLINE,
  • Social Science Citation Index.

이 검색을 통해 확인된 관련 연구들은 다시 스캔하여 추가 문헌을 확인하였고, 학회 초록 및 발표 자료도 또 다른 자료 출처로 활용되었다. 이러한 다양한 접근(multi-method search)을 통해 implementation fidelity의 개념화에 대한 문헌 고찰과 다양한 중재가 얼마나 충실하게 실행되었는지를 측정한 경험적 연구들이 확인되었다. 본 논문은 특히 2002년부터 2007년 사이에 발표된 연구를 중심으로 논의하고자 하는데, 이는 2003년까지의 주요 리뷰 논문들 [1, 2, 4, 5]이 이미 존재하기 때문이다. 이 기간의 문헌에서 제시된 주장, 한계점, 연구결과는 이 논문에서 제안하는 새로운 프레임워크의 개발에 기여하였으며, 해당 프레임워크의 개별 요소를 평가하는 방법의 사례도 제공하였다.


🧭 개념적 프레임워크: 배경과 근거
(A conceptual framework: Background and Rationale)

현재 문헌에서는 implementation fidelity를 다섯 가지 요소(five elements)를 측정해야 할 개념으로 정의하고 있다 [1, 2, 4]. 이 다섯 가지 요소는 다음과 같다.

  1. Adherence (중재 준수도)
  2. Exposure or Dose (노출 정도 또는 용량)
  3. Quality of Delivery (전달의 질)
  4. Participant Responsiveness (참여자의 반응성)
  5. Programme Differentiation (프로그램 구분도)

이러한 개념화는 과정 평가(process evaluation) 개념과 일부 중첩되는 면도 있다 [15].

  • Adherence“프로그램 서비스나 중재가 원래 설계된 대로 제공되고 있는가”를 의미한다 [4].
  • Dosage 또는 Exposure참여자가 중재를 얼마나 많이 받았는지를 의미한다. 다시 말해, 중재가 설계자가 의도한 빈도(frequency)와 기간(duration)에 따라 완전하게 제공되었는지를 평가한다 [1, 4]. 예컨대, 중재의 모든 요소가 제공되지 않았거나 필요한 횟수보다 덜 제공되었을 수도 있다. 또한, 이 항목에는 Coverage(대상자 도달률)도 포함될 수 있는데, 이는 중재의 대상자 모두가 실제로 중재에 참여하거나 그 혜택을 받았는가를 묻는 것이다.
  • Quality of Delivery(전달의 질)“교사, 자원봉사자, 또는 스태프가 프로그램을 제공하는 방식”을 의미한다 [4]. 그러나 이 개념은 위 정의보다 훨씬 모호할 수 있다. 이를 평가하기 위해서는 프로그램 설계자가 명시한 기준 내지 외부의 기준(benchmark)을 활용해야 할 수도 있다. 이 요소는 프로그램에서 제시된 전달 기법을 사용하는 것 [4] 또는 이론적 이상 상태에 얼마나 접근했는가 [1]를 기준으로 평가할 수 있다.
  • 만약 이렇게 명확한 기준이 존재한다면, Quality of DeliveryAdherence, Dosage와 함께 중재 fidelity를 평가하는 독립된 세 가지 핵심 요소로 간주될 수 있다. 그러나 동시에, 이 요소는 중재와 fidelity 간의 관계를 조절하는 조절 변수(moderator)로도 간주될 수 있다. 이러한 역할은 현재까지의 문헌에서는 제대로 다루어지지 않았다. 예를 들어, 중재는 실행되었지만 형편없이 전달되었다면, 결과적으로 실행된 중재의 fidelity 수준도 낮아질 수 있다.
  • Participant Responsiveness(참여자 반응성)참여자가 중재에 얼마나 반응하고 몰입하는지를 측정한다. 이는 중재 결과에 대한 수용자들의 판단중재의 적절성과 관련성에 대한 평가를 포함한다. 이런 점에서 평가 연구(evaluation literature)에서 말하는 “reaction evaluation(반응 평가)”은 중재의 fidelity 평가에서 중요한 부분으로 간주될 수 있다 [16].
  • 다섯 번째 요소인 Program Differentiation(프로그램 구분도)“여러 구성 요소나 프로그램의 고유한 특성을 식별하는 것”, 그리고 “프로그램이 의도된 효과를 내기 위해 반드시 필요한 요소는 무엇인지 식별하는 것”으로 정의된다 [1]. 문헌에서는 이를 implementation fidelity의 구성 요소로 간주하고 있지만, 실제로 이 개념은 fidelity 그 자체보다는 전혀 다른 성격의 평가 지표이다. Program differentiation은 중재의 성공에 필수적인 구성 요소들을 판별하는 데 초점을 둔다.
    • 이러한 작업은 신규 중재 평가에서 매우 중요한 절차로 간주된다. 왜냐하면, 결과에 영향을 주는 요소가 무엇인지, 또는 어떤 요소는 불필요한(redundant) 요소인지를 밝혀내는 것이 가능하기 때문이다. 이러한 이른바 “essential elements(필수 요소)”는 중재 설계자에게 직접 자문하거나, 이상적으로는 “component analysis(구성요소 분석)”를 통해 발견할 수 있다. 구성요소 분석은 중재가 결과에 미치는 영향을 평가하고, 어떤 구성 요소가 가장 큰 영향을 주는지를 확인하는 절차이다 [17].
    • 따라서 Program differentiation이라는 명칭보다는 "Identification of an intervention's essential components(중재의 필수 구성요소 식별)"라는 표현이 더 적절하다고 할 수 있다. 이러한 절차는 implementation fidelity와도 밀접한 관련을 가질 수 있는데, 예를 들어 필수 요소들이 가장 구현하기 어려운 구성 요소들일 경우, 이는 중재가 성공하지 못한 이유를 설명해주는 단서가 될 수 있다.

문헌에서는 implementation fidelity가 위에서 설명한 다섯 가지 요소를 측정하는 것이라는 데에 대체로 동의하지만, 이 다섯 가지 요소를 어떻게 측정해야 하는지에 대해서는 두 가지 상이한 입장이 존재한다.

  • 한쪽 입장에서는, 이 다섯 가지 요소 각각이 fidelity를 측정하는 대안적 방법(alternative way)이라고 주장한다. 즉, implementation fidelity는 adherence, dosage, quality of delivery 등 중 하나만을 사용해도 측정이 가능하다는 것이다 [4, 5].
  • 다른 한쪽에서는, fidelity의 전체적 과정을 포착하려면 다섯 가지 요소 모두를 측정해야 하며, 이를 통해 “포괄적(comprehensive)”이고 “완전한(more complete picture)” 평가가 가능하다고 주장한다 [1, 2].

하지만 실제로는 이 요소들 간의 관계가 이렇게 단순하지 않다. 각각이 독립적인 지표로 작용할 수도 있지만, 때로는 상호작용하거나 조절 요인으로 작용할 수도 있기 때문이다. 

📍 따라서 이 논문에서는 기존의 두 입장을 넘어서서 제3의 개념적 프레임워크(third conceptual framework)를 제안한다. 이 프레임워크는 다섯 가지 요소를 모두 측정하자는 데 동의할 뿐 아니라, 각 요소의 기능과 이들 간의 관계까지 명확히 설명하고 해석하는 시도를 포함한다는 점에서 기존의 모든 시도와 차별화된다.

또한, 이 새로운 프레임워크는 다음의 두 가지 요소를 추가적으로 포함한다:

  1. Intervention Complexity (중재의 복잡성)
  2. Facilitation Strategies (실행 촉진 전략)

📌 중재의 복잡성(Intervention Complexity)이 implementation fidelity에 영향을 미칠 수 있다는 통찰은, 조직 내 혁신의 확산(diffusion of innovations)을 방해하는 요인과 촉진 요인을 탐색한 체계적 문헌고찰(systematic review)에서 얻어진 것이다. 이 문헌에서는 “아이디어가 복잡할수록 그것이 채택(adoption)되는 데 방해가 된다”는 점을 강조하였다 [18]. 이를 통해 복잡성은 implementation fidelity의 중요한 조절 변수임이 시사되었다.

📌 한편, 실행 촉진 전략(Facilitation Strategies)의 역할은 특정 중재의 fidelity를 향상시키기 위해 실행된 전략들을 평가한 연구들에서 제시되었다. 여기에는 매뉴얼 제공, 가이드라인, 교육(training), 모니터링과 피드백, 역량 강화(capacity building), 인센티브 제공이 포함된다 [3, 6, 8, 17]. 이러한 전략은 fidelity 수준을 최적화하는 실질적 수단으로 활용되며, 중재가 단순히 설계대로 실행되었는가를 넘어, 어떻게 하면 fidelity를 보장하고 유지할 수 있을지를 설명하는 중요한 맥락이 된다.

 

 

📐 제안된 프레임워크 (Proposed Framework)

Implementation fidelity를 평가하기 위한 모든 요소들은 Table 1에 정리되어 있으며, 이들 요소 간의 관계는 Figure 1에 제시된 프레임워크로 시각화되어 있다.

Table 1 Implementation fidelity 평가 요소 전체 목록

Figure 1 Implementation fidelity 개념적 프레임워크

 

 

📌 Figure 1에 제시된 프레임워크는 implementation fidelity의 핵심 요소들과 이들 간의 관계를 도식적으로 나타낸 것이다. 이 프레임워크에서 implementation fidelity를 측정한다는 것은 곧 adherence(중재 준수도)를 측정하는 것이다. 즉, 중재를 전달하는 책임자들이 해당 중재를 설계자의 의도대로 얼마나 충실히 이행하고 있는지를 평가하는 것이다.

 

Adherence는 다음의 하위 항목(subcategories)으로 구성된다:

  • Content (내용)
  • Frequency (빈도)
  • Duration (지속 기간)
  • Coverage (대상 도달률, 즉 dose)

중재의 의도된 내용(content)이나 실시 빈도(frequency)가 실제로 어느 정도 이행되었는가가 곧, 해당 중재의 implementation fidelity 수준을 결정한다.

 

📌 그런데 이 fidelity 수준은 다음과 같은 다른 변수들에 의해 영향을 받거나 조절(moderated)될 수 있다:

  • Intervention complexity (중재의 복잡성)
  • Facilitation strategies (실행 촉진 전략)
  • Quality of delivery (전달의 질)
  • Participant responsiveness (참여자의 반응성)

예를 들어, 참여자들이 중재에 대해 열의가 부족할수록, 해당 중재가 정확하고 완전하게 실행될 가능성도 낮아질 수 있다.


Figure 1에 표시된 점선(broken line)은 중재와 결과(outcomes) 간의 관계가 implementation fidelity의 외부에 존재함을 나타낸다. 그러나 implementation fidelity 수준은 이 관계에 영향을 미칠 수 있다. 다시 말해, 중재가 결과에 어떤 영향을 미치는지는 fidelity 수준에 따라 달라질 수 있다.

 

마지막으로, 결과 분석(outcome analysis)을 통해 해당 중재에서 반드시 구현되어야 효과가 나타나는 핵심 구성 요소(essential components)를 식별할 수 있다. 이러한 평가는 implementation fidelity의 최소 요건(minimum requirements)을 규명함으로써, 중재의 내용 자체를 재구성하거나 정교화하는 데 기여할 수 있다. 즉, 핵심 요소의 이행 여부가 높은 fidelity를 보장하는 기준이 될 수 있다.

 

📍 이후 본문에서는 위에 소개된 각 구성 요소의 기능을 구체적인 연구 사례와 함께 설명하며, 이들 요소 사이의 조절 관계(moderation relationship)도 함께 논의할 것이다.


🔗 개념적 프레임워크: 구성 요소와 상호관계

📍 Adherence (중재 준수도)

Adherence는 implementation fidelity를 측정하는 데 있어 가장 핵심적이며, 결과적으로 최종적인 지표(bottom-line measurement)로 간주된다. 즉, 중재가 설계자가 제시한 내용(content), 빈도(frequency), 기간(duration), 그리고 대상 도달률(coverage)완전히 부합하게 실행되었다면, 해당 중재의 fidelity는 높다고 판단할 수 있다. Implementation fidelity를 측정한다는 것은, 곧 중재 실행 결과가 설계자의 의도대로 중재가 실제로 구현되었는지를 평가하는 것을 의미한다.

 

  • 중재의 내용(content)은 흔히 그 중재의 ‘활성 성분(active ingredients)’으로 여겨질 수 있다. 즉, 수혜자에게 제공하고자 하는 약물, 치료, 기술, 지식 등이 이에 해당한다.
    • 예를 들어, ‘재혼가정의 결혼과 부모역할(Marriage and Parenting in Stepfamilies)’이라는 부모 교육 프로그램은 총 13회기의 세션으로 구성되며, 각각의 세션은 훈련받은 교육자들에 의해 부모에게 전달되는 특정 자료들로 구성된다 [8]. 이 프로그램은 기술 격려(skill encouragement), 훈육(discipline) 등의 지정된 구성 요소(designated components)를 포함하며, 해당 중재의 fidelity(즉, 모델에 대한 adherence 수준)는 세션 녹화 영상을 분석한 훈련된 코더(coders)에 의해 평가되었다. 이때 사용된 도구는 Fidelity of Implementation Rating System (FIMP)이다. 이러한 fidelity 평가는 중재를 수행하는 사람을 훈련된 평가자가 직접 관찰하는 방식으로도 자주 이루어진다 [19, 20].
  • Adherence의 하위 범주(subcategories)는 중재가 실행된 빈도, 기간, 도달 대상(coverage) 등에 해당되며, 이는 기존 문헌에서 포괄적으로 “dose(용량)”라고도 불린다.
    • 예를 들어, 한 폭력 예방 프로그램에서는 직원 면담 및 설문조사를 통해 중재가 설계된 만큼의 횟수와 시간 동안 실행되었는지를 확인하였고, 그 결과 절반 약간 넘는 사례에서만 높은 fidelity가 달성되었음을 발견하였다 [3].
    • 또 다른 예로, 약물 사용 문제를 가진 청소년들을 위한 입원 치료 프로그램에 대한 실행 평가에서는, Adolescent Treatment Program이 제공한 서비스 시간 수를 직원들이 기록하도록 하였고, 이 수치를 모델에서 제시된 표준 시간 수와 비교하였다 [21]. 이 연구에서는 전체 처방 시간의 절반 정도만 실제 활동에 사용되었으며, 이로 인해 fidelity 수준은 상대적으로 낮은 것으로 나타났다.

이처럼, 중재 모델에서 미리 정의된 구성 요소에 대한 adherence는 정량적으로 측정 가능하다. 다시 말해, 중재 내용이 얼마나 전달되었는가, 얼마나 자주, 얼마나 오랫동안 제공되었는가를 평가할 수 있다.

 

하지만 여기서 중요한 점은, adherence가 반드시 중재의 모든 구성 요소가 전부 다 구현되어야만 성취되는 것은 아니라는 것이다. 경우에 따라서는 모델의 “essential components(필수 요소)”만 충실히 구현되었더라도, 중재가 성공적이고 의미 있게 이행되었다고 평가될 수 있다. 그렇다면 어떤 구성 요소가 “essential”한가? 이 질문은 여전히 논의 중이다. 이를 파악하는 한 가지 방법으로는, sensitivity analysis(민감도 분석) 또는 component analysis(구성 요소 분석)를 실시하는 것이다. 이는 동일한 중재를 다룬 여러 연구에서 얻은 implementation fidelity 데이터와 성과(outcome)를 비교 분석하여, 어떤 구성 요소가 필수적(pre-requisite)이며, 어떤 요소의 조합이 효과에 결정적 영향을 미치는지를 밝혀내는 방식이다. 하지만 이러한 필수 요소가 알려지지 않은 상태라면, 중재의 전체 모델에 대한 fidelity를 유지하는 것이 필요하다.


이처럼 essential components(필수 구성 요소)를 식별하는 과정은, 중재를 지역 조건에 맞게 조정할 여지를 확보하는 데에도 기여할 수 있다. 실제 환경에서는 중재를완전히 원형 그대로 구현하는 것이 어려울 수 있으며, 지역 맥락에 따라 중재를 유연하게 조정(adaptation)할 필요가 있을 수 있다. 일부 중재 설계에서는 지역적 조정을 공식적으로 허용하기도 하며, 공식적으로 명시되지 않더라도 지역 맥락에 더 잘 맞도록 조정(adapt)하는 경우도 있다.

 

실제로 pro-adaptation perspective(적응 지지 관점)는, 성공적인 중재란 지역적 요구에 맞춰 조정된 중재라고 주장한다 [22]. 하지만 반대로, 모든 중재가 지역적 조정을 필요로 한다는 주장이 과장되었다는 비판도 존재한다. 특히 조정이 근거에 의해 충분히 뒷받침되지 않는 경우에 그러하다 [3].

 

따라서 이 두 입장을 조율하는 중간적 관점은 다음과 같다:

“중재는 유연하게 실행될 수 있으나, 반드시 essential components는 fidelity 있게 이행되어야 한다.”

 

📍 이들 필수 요소가 없을 경우, 중재가 목표를 달성할 수 있는 능력 자체가 현저히 떨어지며, 결국 해당 중재는 높은 fidelity를 달성했다고 말할 수 없다.

⚖️ 조절 변수 (Moderators)

중재나 중재의 핵심 요소(essential components)에 대해 높은 수준의 adherence(준수도), 즉 높은 fidelity(충실도)를 달성하는 것은 결코 쉬운 일이 아니다. 실제로 중재가 얼마나 충실히 실행되는지에 영향을 미치거나 그 정도를 조절할 수 있는 다양한 요인들이 존재한다. 이제 이러한 조절 변수들 각각을 하나씩 살펴보자.


🔹 중재의 복잡성 (Intervention Complexity)

중재는 간단하거나 복잡하게, 구체적이거나 모호하게 기술될 수 있다. 그리고 구체적이고 명확하게 제시된 중재일수록 높은 fidelity로 실행될 가능성이 더 크다.

  • 예를 들어, 일차진료 의사(General Practitioners, GPs)를 대상으로 한 진료 가이드라인에 대한 연구에서는, 명확하고 구체적인 권고안이 모호하고 비구체적인 권고안보다 거의 두 배나 더 잘 준수되는 경향이 있다는 결과가 나왔다 [23]. 이때 가이드라인의 구체성(specificity)은 연구자 집단에 의해 평가되었고, 실제 이행 여부는 GP들의 자가 보고(self-report)를 통해 측정되었다.

마찬가지로, 모든 핵심 요소가 사전에 명확히 정의되어 있는 잘 계획된 중재는, 그렇지 않은 덜 구조화된 중재보다 더 높은 adherence 수준을 유도하는 것으로 나타났다 [1, 5]. 📌 즉, 중재가 구체적일수록 adherence는 높아진다(Specificity enhances adherence).

 

또한, 단순한(simple) 중재복잡한(complex) 중재보다 높은 fidelity를 달성하기 더 쉽다는 증거도 존재한다 [1]. 이는 아마도 단순한 모델에서는 실행 과정에서 직면하는 “반응 장벽(response barriers)”이 적기 때문일 수 있다 [18]. 반면, 복잡한 중재는 전달 방식에 변동의 여지가 많으며, 그로 인해 하나 이상의 구성 요소가 원래 의도대로 실행되지 않을 위험에 더 쉽게 노출된다. 이러한 이유로, 복잡한 중재의 기록과 보고(recording and reporting)를 보다 향상시켜야 한다는 주장도 제기되고 있으며, 이는 중재 실행의 이질성(heterogeneity)의 원인을 식별하고 해결하기 위함이다 [13, 14, 24].

 

📍 종합하면, 단순하면서도 구체적인 중재는 너무 복잡하거나 모호한 중재보다 높은 fidelity로 실행될 가능성이 더 높다. 따라서 중재가 실제로 이행될 때 얼마나 설계에 충실하게 실행되는지(adherence)는 해당 중재가 얼마나 포괄적이고 구체적으로 기술되어 있는지의 여부에 크게 좌우된다.

 

 

🛠️ 실행 촉진 전략 (Facilitation Strategies)

Implementation fidelity를 최적화(optimize)하고 표준화(standardize)하기 위해 지원 전략(support strategies)이 활용될 수 있다. 즉, 모든 전달자가 동일한 훈련과 지원을 받도록 하여, 중재가 가능한 한 균일하게(delivery is as uniform as possible) 실행되도록 돕는 것이다 [25]. 이러한 전략에는 매뉴얼 제공, 가이드라인 작성, 교육(training), 모니터링 및 피드백(feedback) 등이 포함된다.

  • 실행 과정을 평가한 일부 연구에서는 중재가 정확하게 이행되고 있는지 여부를 모니터링하고, 그 결과를 중재를 수행하는 사람에게 피드백으로 제공하였다. 예를 들어, 고관절 골절을 겪은 여성들을 위한 운동 프로그램의 fidelity를 측정한 한 연구에서는, 중재 설계자가 직접 중재 실행 현장을 관찰하고, 그 후 운동 지도자에게 피드백을 제공하였다 [21]. 이 과정을 통해 프로그램의 원래 내용에서 벗어난 부분을 수정할 수 있었고, 높은 수준의 fidelity를 달성할 수 있었다.

📌 따라서 이러한 전략들은 중재 설명의 구체성과 마찬가지로, implementation fidelity 수준을 조절하는 역할을 할 수 있다. 즉, 모니터링, 피드백, 교육 등의 지원이 많아질수록, implementation fidelity 수준 또한 더 높아질 가능성이 있다.

 

이러한 facilitation strategies는 특히 복잡한 중재(complex interventions)에 있어서 더욱 중요하다. 복잡한 중재는 구성이 다면적(multifaceted)이어서 실행 과정에서의 변이(variation)에 더 취약하기 때문이다 [24]. 일부 연구들은 특정 facilitation 전략을 제공했을 때 중재 실행이 개선되었다고 주장하지만, 이러한 주장은 경험적 연구(empirical research)를 바탕으로 한 것이 아닌 경우가 많다 [13]. 📍 아직까지도 이러한 전략들이 implementation fidelity 수준에 미치는 조절 효과(moderating effect)를 체계적으로 측정한 연구는 존재하지 않는다.

 

중요한 점은, 지원 전략이 많다고 해서 반드시 실행이 더 잘 되는 것은 아니라는 것이다.

  • 예를 들어, 단순한 중재(simple intervention)높은 fidelity를 달성하기 위해 별다른 교육이나 지침 없이도 충분할 수 있다.
  • 반면, 복잡한 중재(complex intervention)더 많은 지원 전략이 필요할 수 있다.

이러한 측면에서 “적절성(adequacy)”의 문제가 제기된다. 이는 중재의 복잡성과 지원 전략 간의 관계를 통해 판단될 수 있다. 이러한 잠재적 조절 변수들 간의 관계(relationship between potential moderators)는 다음 절에서 더 상세히 논의된다. 📌 현재까지 실증적 연구에서는 facilitation strategies가 중재의 성공적인 실행 여부에 어떤 영향을 주는지 명확히 규명하지 못하고 있지만, 이는 분명히 implementation fidelity에 영향을 미칠 수 있는 잠재적 조절 변수로 간주되어야 한다.

 

 

🎯 전달의 질 (Quality of Delivery)

Quality of delivery(전달의 질)은 중재(intervention)와 그것이 얼마나 충실히 실행되었는지(fidelity) 사이의 관계를 조절할 수 있는 명백한 잠재적 조절 변수(potential moderator)이다. 이 요소는 중재가 원래 의도한 목적을 달성할 수 있도록 적절한 방식으로 제공되었는지를 다룬다. 📌 만약 중재 내용(content)이 잘못된 방식으로 제공된다면, 이는 중재가 온전히 실행되었는지의 여부(implementation fidelity 수준)에 부정적인 영향을 미칠 수 있다.

 

중재의 fidelity를 평가하는 연구들에서는, 중재를 전달하는 담당자에게 충분한 교육(training), 자료(materials), 지원(support)을 제공하는 것 자체가, delivery quality를 최적화하기 위해 일정 수준의 노력이 필요함을 암묵적으로 인정하는 행위로 해석될 수 있다 [3, 26–28]. 마찬가지로, 지속적인 모니터링과 피드백을 제공하는 품질보증 또는 품질개선 전략(Quality Assurance or Improvement Strategies)은, delivery quality의 중요성과 그것이 fidelity에 미칠 수 있는 조절 효과보다 명시적으로 인정하는 방식이다 [28, 29].

 

예를 들어, 부모 교육 프로그램(parent training programme)의 실행 평가 연구에서는 Fidelity of Implementation Rating System (FIMP) 내에 교수의 질(quality of teaching) 항목이 포함되어 있었다 [8]. 이 평가는 훈련된 관찰자(trained observers)가 부모 교육자가 중재 설계에서 요구한 대로 언어적(verbal) 및 활동 기반(active) 교수 전략을 모두 적용했는지를 평가하는 방식으로 수행되었다. 이 평가 도구는 다음과 같이 명시하고 있다:

“언어적 교수에 지나치게 의존할 경우(over-reliance on verbal teaching), 낮은 점수를 받을 수 있다.”

 

또 다른 연구에서는 미국 교사들이 수행한 생활기술 훈련 프로그램(life skills training program)을 대상으로, 내용(content)과 과정(process) fidelity, 그리고 그 안에 포함된 delivery quality까지 훈련된 관찰자가 함께 평가하였다 [19]. 하지만 이들 연구는 delivery quality를 implementation fidelity의 조절 변수로 분석한 것은 아니며, 단지 fidelity의 독립적 구성 요소(discrete aspect)로 간주하여 평가하였다는 한계가 있다.


🙋 참여자 반응성 (Participant Responsiveness)

참여자들이 특정 중재가 자신들과 무관하다고 여기게 될 경우, 그들의 비참여(non-engagement)는 중재 실패나 낮은 대상 도달률(coverage)의 주요 원인이 될 수 있으며, 이로 인해 implementation fidelity 역시 낮아질 수 있다. 이러한 관점은, 신규 중재의 채택(uptake)은 수혜자의 수용(acceptance) 및 수용 가능성(acceptability)에 달려 있다는 점을 강조한 로저스(Rogers)의 혁신 확산 이론(diffusion of innovations theory)과도 맥락을 같이 한다 [30]. 따라서 Participant responsiveness는 implementation fidelity를 평가하는 모든 과정에서 중요한 조절 변수로 작용할 수 있다.

 

예를 들어, 지역사회에 거주하는 고령자를 대상으로 한 약물 중재(drug intervention)의 fidelity가 낮았던 이유 중 하나는, 이들이 자신의 약물 복용 계획(prescribed regimens)을 의도적으로 따르지 않았기 때문으로 밝혀졌다 [31–33]. 이러한 의도적인 불이행(intentional non-compliance)의 이유는 다음과 같다:

  • 약물의 불쾌한 부작용(side effects),
  • 치료 목적이 예방적(preventive)이거나,
  • 증상이 경미(mild)하여 복약 의지가 약화되는 경우 등 [31–33].

또한, 학교 기반 건강증진 프로그램(school-based health promotion intervention)에 대한 한 연구에서는, 학생들이 반응하지 않거나 흥미를 보이지 않는다고 판단될 경우, 교사들이 중재의 일부 요소를 아예 실행하지 않았다고 보고하였다 [34].

 

사실, implementation fidelity에 대한 조절 변수로서의 participant responsiveness는 단지 중재 수혜자만을 의미하지 않는다. 여기에는 중재를 실제로 수행하는 사람들도 포함된다. 예컨대, 학교 내 약물남용 예방 및 건강증진 프로그램과 관련된 연구에서는,

  • 교사들이 중재 자체에 대해 어떻게 인식하는가 (예: 중재가 마음에 드는지 여부),
  • 그들이 받은 훈련(training)과 지원(support)의 수준 등이
    해당 교사들의 adherence(중재 준수도) 수준과 관련이 깊은 것으로 나타났다 [34, 35].

📌 다시 말해, 중재를 수행하는 담당자가 해당 중재에 대해 열의를 가질수록 fidelity 수준은 높아졌다. 나아가, 조직 차원의 요인 중재를 수행하는 사람들의 반응성에 영향을 줄 수 있다. 예를 들어, 조직의 고위 관리자(senior management)가 중재에 헌신적이지 않다면, 개별 구성원의 참여 태도 역시 부정적인 영향을 받을 수 있다 [2]. 이는 조직 변화(organisational change) 문헌에서 반복적으로 강조되는 핵심 주제이기도 하다 [36].

 

자기보고(self-report)는 참여자의 responsiveness를 평가하는 데 있어 가장 일반적으로 사용되는 방법이다 [30–34, 37]. 이러한 평가는 다양한 관점을 포함할 수 있다. 예를 들면:

  • 참여자가 중재에서 요구되는 책임을 얼마나 수용하는지 평가하거나 [38],
  • 중재가 유용하다고 인식하는 정도,
  • 또는 보다 넓게는 중재가 도입되는 환경(environment), 즉 “치료 환경(therapeutic milieu)” 자체가 참여자 반응에 우호적인 환경인지 여부를 평가할 수 있다 [21].

이와 같은 참여자 반응성의 다양한 차원을 측정한 연구에서는, 참여자들이 일지(log)나 달력(calendar)을 활용해 중재에 대한 자신의 반응을 기록하고 보고하였다. 

 

또한, 참여자 반응성은 단지 태도(attitude)에 그치지 않고 실제 행동(action)까지 확장될 수 있다. 예를 들어, 다음과 같은 평가가 이루어질 수 있다:

“참여자가 치료를 이해했는지, 그리고 치료와 관련된 기술이나 전략을 실제로 수행하는지를 확인한다.” [29]

 

이러한 의미에서 볼 때, “실행(enactment)”이라는 개념은 participant responsiveness의 잠재적 하위 요소로 간주될 수 있다 [25].

 

🔄 조절 변수들 간의 관계 (Relationships between moderators)

이들 조절 변수들(moderators)은 반드시 서로 분리된(discrete) 요소로 존재하는 것이 아니다. 실제로는 두 개 이상의 조절 변수들 사이에 상호작용 관계가 존재할 수 있다. 그 대표적인 예는 다음과 같다:

중재를 어떻게 전달할 것인지에 대한 교육(training)과 가이드라인(guidelines)을 제공하는 것이 중재의 전달 질(quality of delivery)에 직접적인 영향을 미치고, 이는 다시 중재가 얼마나 충실히 이행되었는지(fidelity)에 영향을 미칠 수 있다.

 

예를 들어, 제공된 교육의 양이 적을 경우, 그 결과로서의 전달 질 역시 낮을 가능성이 높다.
또한 Facilitation strategies(실행 촉진 전략)는 참여자의 반응성(participant responsiveness)에도 영향을 줄 수 있다.
예컨대, 인센티브 제공은 중재 전달자와 수혜자 모두에게 새로운 중재에 대한 호감과 수용성을 높일 수 있다.
잘 전달된 중재(well-delivered intervention)는 참여자의 열의와 헌신도를 높이는 방식으로 작용할 수도 있다.

📌 결과적으로, 하나의 조절 변수가 다른 조절 변수를 예측하거나 설명하는 기능을 할 수 있다.


하지만 앞서 언급한 것처럼, 이들 관계는 단순히

“많은 수의 실행 전략이 높은 전달 질을 낳는다”거나
“적은 인센티브는 제한된 참여자 반응만 유도한다”

 

와 같은 단순한 상관관계(correlation)로 설명할 수 있는 수준 이상으로 훨씬 복잡하다. 그 이유 중 하나는 중재의 복잡성(intervention complexity)이 갖는 조절적 역할 때문이다. 즉, 단순한 중재(simple intervention)는 높은 전달 질이나 참여자 반응성을 얻기 위해 많은 교육이나 지침이 필요하지 않을 수 있다. 적은 양의 훈련만으로도 충분할 수 있다.

 

📌 이런 맥락에서, 조절 변수들 간에는 상호작용 효과(interaction effects)가 존재할 수 있다. 즉, 하나의 요인의 효과는 다른 요인의 수준에 따라 달라질 수 있다. 또한, 참여자들은 인센티브나 전략과 관계없이, 다른 이유로 인해 새 중재에 열의와 관심을 가질 수도 있다.

 

따라서 이들 조절 변수들의 상호작용은 중재와 그 fidelity 간의 관계 자체에 추가적인 영향을 미칠 수 있다.


📏 측정 (Measurement)

이 프레임워크가 시사하는 바는 다음과 같다:

Implementation fidelity를 평가하는 어떤 작업이든, 중재의 복잡성(intervention complexity),
실행 전략의 적절성(adequacy of facilitation strategies)
fidelity에 영향을 미치는 모든 요인을 반드시 함께 측정해야 한다는 것이다.

 

또한, 제안되거나 실행된 중재에 대해 참여자들이 얼마나 수용하고 반응하는지(participant responsiveness or receptiveness) 역시 함께 측정되어야 한다. 하지만, 전달 질(quality of delivery)이나 참여자 반응성(participant responsiveness)을 측정한 몇몇 예외적 연구 [8, 20, 38]를 제외하고는, 대부분의 implementation fidelity 연구는 fidelity 점수를 오로지 adherence(중재 준수도)만으로 평가하고 있다 [3, 6–8, 21, 22, 27–29, 38, 39].

 

더 나아가, 📉 이러한 연구들에서도 높은 수준의 fidelity가 보고되는 경우는 드물며, 이상적인 수준에 미치지 못하거나, 때로는 매우 낮은 수준의 fidelity만을 보여주기도 한다 [8, 29, 40]. 📌 그러나 위에서 기술한 다양한 조절 변수들을 함께 측정해야만, 왜 implementation fidelity가 낮거나 부족하게 나타나는지를 설명할 수 있는 실마리를 찾을 수 있다. 실행을 방해하는 잠재적 장애 요인들(barriers to implementation)을 식별하고 통제하는 작업 없이는, 이러한 문제들은 해결될 수 없으며, 더 높은 fidelity 달성 또한 불가능하다.

 


📚 요약 (Summary)

높은 수준의 implementation fidelity(중재 충실도)를 달성하는 것은, 원래의 연구에서 중재가 보여준 성공을 재현(replication)해내는 가장 효과적인 방법 중 하나이다. 성공적인 근거 기반 실무(evidence-based practice)는 여러 요인에 의해 좌우되며, implementation fidelity는 그 중 하나이다 [41]. 본 논문은 지금까지 제안된 개념들을 넘어, 보다 완전한 conceptual framework(개념적 틀)을 제시하고, 왜 그리고 어떻게 implementation fidelity를 평가해야 하는지를 설명한다.

 

이 프레임워크는 다차원적(multifaceted)으로 구성되어 있으며, 중재 자체와 그 전달(delivery) 모두를 포괄한다.

  • Adherence(중재 준수도)는 중재의 내용(content)과 용량(dose)에 관련된다. 즉, 중재의 ‘활성 성분(active ingredients)’이 참여자에게 적절한 빈도와 기간에 걸쳐 충분히 전달되었는가를 평가하는 것이다.
  • 그러나, 완전한 adherence(= 높은 fidelity)를 달성하는 수준은, 중재 전달 과정에 영향을 미치는 다음과 같은 요인들에 의해 조절(moderated)될 수 있다:
    • Facilitation strategies (실행 촉진 전략)
    • Quality of delivery (전달의 질)
    • Participant responsiveness (참여자의 반응성)

이러한 개념화는 연구자들에게 implementation research(중재 실행 연구)를 위한 실용적인 프레임워크를 제공한다. 또한, 이 틀을 기반으로 implementation fidelity를 지속적으로 모니터링함으로써, 중재가 실제로 결과에 미친 영향을 보다 정확히 평가할 수 있게 된다.

📌 그 결과, 도출된 연구의 신뢰도(credibility)와 활용도(utility) 역시 향상된다.

 

이 프레임워크는 또한 근거 기반 실무자들(evidence-based practitioners)에게도, 연구에 기술된 중재를 실제로 적용할 때 고려해야 할 과정과 요인들을 이해할 수 있는 실질적인 안내서로 기능할 수 있다. 그러나 이 주제에 대해서는 훨씬 더 많은 연구가 필요하다. 즉, 이 프레임워크 자체를 검증하고, 여기 포함된 구성 요소들이 얼마나 조절 효과를 발휘하는지를 명확히 밝히기 위한 실증 연구(empirical research)가 요구된다.

 

 

 

 

📌 전체 흐름 요약

Intervention → Adherence → Outcomes
         ↑             ↑
         └── Feedback ─┘

하지만 이 흐름은 단순한 선형 관계가 아닙니다. 중재가 효과를 내기 위해 얼마나 충실히 실행되었는지, 그 충실도(fidelity)를 결정짓는 다양한 요소들이 개입합니다.


🧩 각 구성요소 설명

1. Intervention (중재)

  • 시작점입니다. 어떤 프로그램이나 개입이 실행되는 것입니다.
  • 하지만 그냥 실행된다고 효과가 있는 게 아니죠. 충실히 이행(adherence)되어야 합니다.

2. Potential Moderators (잠재적 조절 변수들)

→ 위쪽의 타원형 박스에 포함된 네 가지는 fidelity 수준에 영향을 줄 수 있는 조절 변수(moderators)입니다:

  1. Comprehensiveness of policy description
    → 중재가 얼마나 구체적으로 설명되어 있는가
  2. Strategies to facilitate implementation
    → 실행을 돕는 전략: 교육, 가이드라인, 피드백 등
  3. Quality of delivery
    → 중재가 얼마나 잘 전달되었는가
  4. Participant responsiveness
    → 참여자들이 중재에 어떻게 반응했는가

🟡 이 변수들은 중재가 ‘설계대로’ 얼마나 잘 실행되었는지를 결정짓는 중요한 요인입니다.

3. Adherence (준수도)

→ Fidelity의 핵심 구성입니다. 네 가지 하위 항목으로 나뉘어요:

  • Details of content (내용의 충실도)
  • Coverage (도달 대상의 범위)
  • Frequency (실시 빈도)
  • Duration (지속 기간)

🔍 이 영역에서 “중재가 실제로 얼마나 설계대로 실행되었는가”가 결정됩니다.

4. Evaluation of implementation fidelity (중재 충실도 평가)

  • 위에서 말한 adherence 요소들이 실제로 충실히 이행되었는지를 평가하는 단계입니다.
  • 평가 후에는 다시 중재 실행에 피드백 루프(feedback loop)를 통해 반영할 수 있어요.

5. Outcomes (결과)

  • 최종적으로 중재가 어떤 효과를 냈는지를 평가합니다.
  • 하지만 이 ‘결과’는 fidelity 수준에 따라 크게 달라질 수 있습니다.

6. Evaluation → Component analysis to identify "essential" components

  • 결과 분석을 통해 중재의 핵심 구성요소(essential components)를 식별합니다.
  • 이렇게 확인된 핵심 요소는 다시 다음번 중재 설계 시 반영되어 더 충실한 실행을 유도합니다.
    → 즉, 중재 디자인의 반복적 개선 과정이 내포되어 있습니다.

🔁 요약하면?

이 도식은 단순히 “중재 → 결과”로 끝나는 것이 아니라,

“중재가 충실히 이행되었는가?” → “왜 또는 왜 안 되었는가?” → “어떤 요소가 진짜 핵심인가?”
체계적으로 분석하고, 반복적으로 개선하기 위한 프레임워크예요.