J Clin Transl Sci. 2021 May 14;5(1):e126. doi: 10.1017/cts.2021.789. eCollection 2021.
Understanding and applying the RE-AIM framework: Clarifications and resources
💡 RE-AIM 프레임워크에 대한 오해들, 이제는 바로잡아야 할 때
– RE-AIM과 PRISM의 현재와 미래
안녕하세요 😊
오늘은 이행 과학(Implementation Science) 분야에서 오랫동안 사랑받아온 프레임워크인 RE-AIM과 그것에 대해 우리가 흔히 가지고 있는 오해(misconceptions)들을 짚어보려고 해요.
그동안 RE-AIM을 써보셨거나 들어보셨다면, ‘이거 평가할 때만 쓰는 거 아냐?’ ‘다섯 개 항목 다 써야 하는 거 아냐?’라는 생각 한 번쯤 해보셨을지도 몰라요.
하지만 최근 논문에서는 이처럼 널리 퍼진 오해들에 대해 조목조목 정리하고, RE-AIM의 최신 방향과 자원들까지 소개해줍니다.
🔍 RE-AIM은 뭐였더라?
RE-AIM은 1999년에 제안된 프레임워크로, 연구 결과가 실제 현장에 잘 적용되기 위한 다섯 가지 핵심 요소를 제시해요.
- Reach (도달률)
- Effectiveness (효과성)
- Adoption (채택률)
- Implementation (이행도)
- Maintenance (지속성)
초기에는 평가(evaluation) 중심으로 많이 활용되었지만, 지금은 기획, 실행, 확산, 개선 전 과정에 적용되는 종합 프레임워크로 확장되었죠.
❗ 많이들 헷갈리는 RE-AIM 오해들
논문에서는 RE-AIM에 대한 13가지 오해를 정리해요. 그 중 대표적인 것들 몇 가지를 소개할게요.
1. “RE-AIM은 평가용 프레임워크잖아?”
사실 RE-AIM은 처음부터 '연구를 실제로 연결하는 도구'로 설계되었어요.
논문에서는 이렇게 강조하죠:
“RE-AIM has always been designed to help translate research into practice.”
→ "RE-AIM은 항상 연구를 실천으로 전환하는 데 도움을 주기 위해 설계되어 왔다."
기획할 때도, 교육할 때도, 실행 중 피드백을 줄 때도, RE-AIM을 활용할 수 있어요.
2. “도달률이랑 채택률은 비슷한 말 아닌가요?”
많은 사람들이 이 두 개념을 헷갈려해요.
하지만 Reach는 프로그램의 ‘대상자’ 수준에서 얼마나 많이 참여했는지를 말하고,
Adoption은 그 프로그램을 실행하려는 기관이나 제공자가 실제로 ‘채택했는가’를 보는 거예요.
“Reach is measured at the level of the individual… Adoption is measured at one or more levels of the organizational or community setting.”
3. “RE-AIM은 대형 연구에서나 쓰는 거지...”
NOPE!
작은 커뮤니티 프로젝트나 예산이 거의 없는 상황에서도 RE-AIM은 충분히 쓸 수 있어요.
논문에서도 실제 사례들을 소개하며 강조합니다:
“Many successful projects described use of RE-AIM with low budgets or even no budget.”
→ “예산이 적거나 전혀 없는 프로젝트에서도 RE-AIM을 성공적으로 활용한 사례들이 다수 보고되었다.”
4. “RE-AIM은 정량 데이터만 다루지 않나요?”
RE-AIM도 질적 자료(qualitative data)를 아주 중요하게 여겨요.
요즘은 적응(adaptation), 맥락(context), 형평성(equity) 같은 복잡한 요소를 이해하기 위해 혼합 방법(mixed methods)을 적극 권장하고 있어요.
🧭 RE-AIM의 현재 위치는? PRISM과 함께 진화 중!
요즘 RE-AIM은 PRISM이라는 이름으로 한층 더 발전하고 있어요.
PRISM은 Pragmatic Robust Implementation and Sustainability Model의 약자로,
RE-AIM의 다섯 가지 요소에 더해
- 정책 요인
- 이행 기반 구조
- 건강 형평성
- 비용(cost)
같은 요소들을 포함해서 현장의 맥락을 더 잘 반영할 수 있는 실용적 도구로 쓰이고 있어요.
“The changes to RE-AIM have been in response to growing knowledge in implementation science and practice and include… context, adaptations, health equity, and costs.”
📚 어디서 더 배울 수 있을까?
RE-AIM 공식 웹사이트인 www.re-aim.org에서는
- 체크리스트 ✔
- FAQ ❓
- 오해 정리 슬라이드 📊
- PRISM 통합도 📌
등 유용한 자료를 계속 업데이트하고 있어요.
적용 전 자가진단 체크리스트도 꼭 한 번 써보세요!
✨ 마무리하며 – 프레임워크는 살아있다
프레임워크는 고정된 틀이 아니라, 변화하는 환경과 연구에 따라 계속 진화하는 도구예요.
논문은 이렇게 강조하며 마무리해요:
“TMFs should change and adapt over time so that they do not become ossified.”
→ “TMF는 시간이 지남에 따라 변화하고 적응해야 하며, 고착되어서는 안 된다.”
RE-AIM도 예외가 아닙니다.
우리가 제대로 이해하고, 유연하게 적용해나간다면, RE-AIM은 여전히 강력한 실행 과학의 동반자예요.
📌 읽어주셔서 감사합니다!
서론 (Introduction)
Implementation science(이행 과학)는 theories, models, or frameworks(TMFs: 이론, 모형, 또는 프레임워크)의 도움을 받는다. 이러한 TMF들은 (a) 연구 설계와 가설 생성, 측정 도구 선택, 분석 과정을 안내하고, (b) 일반화 가능성을 높이며, (c) 결과를 개선하거나 최소한 그 과정을 이해하는 데 기여한다 [1,2]. 이러한 이유로 TMF의 활용은 이행 과학 분야에서 연구 제안서의 자금 지원을 결정짓는 기준이 되었다. 그만큼 TMF들은 새로운 연구 결과와 응용을 반영하여 시간에 따라 발전해야 한다 [3]. 그러나 TMF의 진화를 따라가고, 이를 실제 연구에 적용하고 실행 가능한 형태로 바꾸는 일은 결코 쉽지 않다 [4].
이행 과학 분야에는 150개가 넘는 TMF가 존재하고 있으며 [5], 이들은 유형, 목적, 사용 방식 면에서 다양하기 때문에 연구 목적에 가장 적합한 TMF를 선택할 수 있도록 정리하고 분류하는 작업이 필요하다 [1]. 이와 동시에 연구자들이 TMF를 선택하거나 설명할 때, 최초 논문이나 단일 리뷰에만 의존하지 않고, 가장 최근의 문헌과 자료를 검토하는 것이 매우 중요하다. TMF들은 적용 맥락이나 대상 행동에 따라 진화하기 때문이다. 예를 들어, PARIHS 프레임워크는 수정과 보완을 거쳐 iPARIHS라는 이름으로 재소개되었다 [6]. 이러한 점은 특히 중요하다. Kislov 등의 주장에 따르면 TMF는 데이터, 새로운 과제, 변화하는 상황에 따라 진화해야 하며, 고정되고 경직되어서는 안 된다 [3].
그러나 TMF에 관한 논문과 논의가 방대하고 복잡하기 때문에, 연구자들이 특정 TMF에 대해 가장 핵심적인(seminal) 논문이나 리뷰에서 제시한 해석에만 의존하게 되는 경향은 충분히 이해할 수 있다. 그 결과, 초기의 분류 방식이 이후에도 이행 과학 수업, 교육 프로그램, 교과서, 후속 연구, 리뷰 논문, 리뷰의 리뷰 등에서 반복적으로 재생산된다. 이러한 과정을 거치며 TMF가 새로운 방식으로 적용되거나, 확장되거나, 경험적으로 검증되거나, 새로운 환경이나 인구집단에 적용되는 동안 이루어진 진화나 정교화가 간과되기 쉽다.
이러한 경향은 RE-AIM 프레임워크에서도 동일하게 관찰된다 [7,8]. 많은 TMF 리뷰에서는 TMF를 설명(explanatory)용, 과정(process)용, 결과(outcome)용과 같이 서로 배타적인 유형으로 분류하거나, 계획(planning), 평가(evaluation), 개선(improvement) 중 오직 하나의 용도에만 사용할 수 있는 것으로 경계를 설정한다. 그러나 실제로는 이러한 경계가 모호하며, 일부 TMF는 여러 범주에 동시에 해당될 수 있다. RE-AIM의 핵심 개념들과 측정 지표들 역시 초기 발표 이후 새로운 데이터와 연구 방법, 이행 과학의 발전에 따라 진화해 왔다. 이 논문에서는 이러한 이슈와 그로 인해 생긴 오해에 대해 자세히 논의하고자 한다.
TMF의 활용과 관련된 혼란을 방지하고 줄이려는 노력은 매우 중요하다. 이해 부족이나 TMF의 진화로 인한 오해를 명확히 밝히는 작업은 이행 과학의 발전을 가속화할 수 있다. 이는 TMF의 활용을 지나치게 제한하거나 혁신을 억제하며, 연구자들에게 부정적인 영향을 미치는 등 원하지 않는 결과를 줄이는 데에도 기여할 것이다.
이 논문의 목적은 다음 네 가지이다.
- RE-AIM 프레임워크가 시간이 지나면서 어떻게 진화해 왔는지 요약하고, 이 진화가 어떤 오해와 관련되어 있는지를 밝힌다.
- RE-AIM에 대한 구체적인 오해(misconceptions)를 식별하고, 이에 대해 정정 설명을 제공한다.
- RE-AIM의 사용과 관련된 혼란을 해소할 수 있는 자료와 자원(resources)을 제시한다.
- TMF 개발자, 논문 심사자, 저자, 과학 문헌 사용자들에게 TMF 오해의 빈도를 줄이거나 영향을 줄이기 위한 권고(recommendations)를 제공한다.
RE-AIM의 진화 (The Evolution of RE-AIM)
많은 TMF(theories, models, or frameworks)는 적용 범위가 다양한 환경, 인구집단, 주제로 확장됨에 따라, 그리고 과학적 진보에 부응하여 시간이 지나면서 진화한다. 예를 들어, EPIS(Exploration, Preparation, Implementation, Sustainment) 프레임워크는 처음에는 보다 선형적인 형태(linear form)로 구상되었지만 [9], 국제적 맥락에서의 적용을 통해 순환적 모델(circular model)로 진화하였다.
RE-AIM 프레임워크는 20년 이상 전에 처음 개념화된 것으로, 과학적 근거가 실제 정책이나 실행으로 전환되는 데 있어 발생하는 잘 알려진 실패와 지연 문제를 해결하고자 고안되었다 [10]. RE-AIM은 내적 타당성(internal validity)뿐만 아니라 외적 타당성(external validity, 예: 일반화 가능성)의 중요성을 강조하고, 모든 RE-AIM 차원에서 투명한 보고(transparency in reporting)를 강조한 핵심 TMF 중 하나로 자리 잡았다 [7].
RE-AIM은 공중보건, 행동과학, 이행 과학 분야 전반에서 가장 널리 사용되는 기획 및 평가 프레임워크 중 하나이며 [7], 기획, 평가(가장 빈번함), 또는 둘 다의 목적으로 명시적으로 사용된 논문만 해도 700편이 넘는다. RE-AIM은 다양한 임상, 지역사회, 기업 환경을 포함하여 광범위한 설정과 인구, 건강 문제에 걸쳐 적용되어 왔으며 [7, 11, 12], 정책 및 환경 변화(policy and environmental change) 분야에서도 활용되어 왔다.
RE-AIM의 다섯 가지 핵심 차원(dimension)은 개인 수준(individual level)뿐 아니라 여러 생태학적 수준(ecologic levels)에서 작동하며 측정된다. (예: 보건 시스템의 직원 및 환경 수준에서 가장 흔히 적용되지만, 지역사회 및 국가 수준에서도 자주 활용됨). 주요 차원은 다음과 같다:
- 도달률(Reach)과 효과성(Effectiveness): 개인 수준
- 채택률(Adoption)과 이행도(Implementation): 직원, 조직, 시스템 또는 정책 수준
- 지속성(Maintenance): 개인 수준과 조직/시스템/정책 수준 모두 [7]
표 1(Table 1)에서는 각각의 RE-AIM 차원에 대해 정의, 보고 권고사항, 예시를 요약하고 있다. 리뷰에 따르면 RE-AIM의 모든 지표가 항상 보고되지는 않으며, 예를 들어 채택률과 지속성은 상대적으로 덜 보고되는 경향이 있다 [13, 14]. 최근에는 이 프레임워크를 실제 적용하기 전에 이해관계자와 함께 사전에(priori) 논의하여 어떤 차원을 우선 개선할지, 어떤 차원은 제외할지, 어떤 것은 어떻게 측정하고 실행할지 결정하는 ‘실용적 적용(pragmatic application)’에 더 큰 강조가 이루어지고 있다 [7, 15, 16]. 이러한 진화적 변화는 Glasgow 외 연구진이 정리한 논문 [7]에서 자세히 논의되며, 그 내용은 아래에 간략히 요약되어 있다.
📌 표 1. RE-AIM 각 차원의 명확화 및 보고 기준 요약
(RE-AIM: Reach, Effectiveness, Adoption, Implementation, Maintenance)
곧 학술지 Frontiers in Public Health에 출간될 “Use of the RE-AIM Framework: Translating Research to Practice with Novel Applications and Emerging Directions” 주제 논문에서는 RE-AIM을 활용한 기획, 적응, 평가 사례와 최근 활용 방향의 확장을 잘 보여주는 우수 사례와 실천적 가이드를 제시하고 있다.
RE-AIM의 원 출판 논문인 Glasgow 외 연구진의 논문 [10]에서는 “RE-AIM 평가 모델은 참여자와 환경의 도달률(reach) 및 대표성(representativeness)을 강조한다”고 명시하고 있으며(p. 1322), 이는 RE-AIM을 단지 “평가 모델(evaluation model)”로만 오해하고 분류하는 원인이 되었을 수 있다 [17]. 그러나 후속 연구에서는 기획, 확산 설계, 전이 연구(translational science) 전반에 걸친 연구 설계에 있어서의 RE-AIM의 가치가 명확히 강조되었다. RE-AIM은 이후 Evidence-Based Cancer Control Programs 데이터베이스에 포함된 근거 기반 암 예방 프로그램의 일반화 가능성 평가에도 통합되었고 [18], NIH와 다양한 재단의 이행 과학 연구 자금 공고에서도 추천 TMF로 지정되었다.
RE-AIM은 앞으로도 계속 진화하면서, 현실 평가(realist evaluation)에서 제기되는 “어떤 개입 구성요소가, 어떤 이행 전략과 함께, 누구에게, 어떤 맥락에서, 어떻게, 왜, 그리고 얼마나 오래 효과적인가”라는 질문에 답하는 데 적합한 위치에 있다 [19]. 이러한 맥락적 증거(contextualized evidence)는 현장의 상황에 맞춰 효과적인 개입을 복제하거나 적절히 수정(adapt)할 수 있게 해준다. RE-AIM은 ‘어떤 개입이 전반적으로 효과적인가?’라는 질문보다, ‘인구 건강과 관련된 여러 차원과 맥락 속에서 그 개입이 효과적이거나 효과적이지 않은 이유는 무엇인가?’라는 보다 실천적이고 세분화된 질문에 더 관심을 둔다.
RE-AIM의 이해와 활용: 흔한 오해와 그에 대한 정정
(Understanding and Using RE-AIM: Common Misconceptions and Clarifications)
아래에서 설명하는 내용은 RE-AIM 프레임워크에 대해 자주 발생하는 오해(misconceptions)를 설명하고 이에 대한 정정 및 해설을 제공한다. 이 오해들은 RE-AIM을 실제로 활발히 연구에 적용해 온 전문가들로 구성된 National RE-AIM Working Group의 회원들을 대상으로 한 설문조사(polling)를 통해 확인되었다 [20]. 이 그룹에는 본 논문의 저자들뿐만 아니라, RE-AIM의 주요 개발자, RE-AIM 관련 논문을 가장 많이 발표한 연구자들, RE-AIM.org 웹사이트 운영자들이 포함되어 있다.
이들은 RE-AIM과 관련된 논문 심사(review panels), 원고 리뷰(manuscript review), 학술대회 발표, 교육 프로그램, 초청 강의 등에 자주 참여하며, 이 과정에서 반복적으로 제기된 질문이나 혼란을 통해 오해 사례를 확인하였다. 또한 RE-AIM 웹사이트로 접수된 문의들도 이러한 오해를 파악하는 데 도움이 되었다.
물론 이러한 오해의 빈도(frequency)를 정량적으로 분석한 체계적 문헌고찰이 추가된다면 그 정당성이 더 강해질 수 있었겠지만, 최근에 출판된 RE-AIM 적용 관련 체계적 문헌고찰들의 결론이 달라질 가능성은 낮다고 판단된다 [12–14]. 더 중요한 점은, 기존 문헌 리뷰만으로는 실제 오해가 발생하는 프레젠테이션, 연구계획서, 논문 심사, 교육 프로그램, 출판되지 않은 문서 등 1차 정보(primary sources)를 포괄할 수 없다는 사실이다.
이번 논문에서는 총 13개의 오해(misconceptions)를 표 2(Table 2)에 정리하여, 모델의 진화와 최신 적용 방식에 대한 이해를 돕고자 한다. 이 오해들은 위에서 설명한 과정을 통해 수집되었으며, 중복(redundancy)은 제거하고, 유사한 항목은 통합, 그리고 더 큰 개념적 범주로 조직화하였다. 이 13가지 오해는 빈도나 우선순위에 따라 나열된 것이 아니며, 개념적(conceptual), 방법론적(methodological), 실행적(implementation) 이슈로 분류하여 독자의 이해를 돕는다. 각 오해에 대한 서술적 설명(narrative explanation)은 이어지는 문단에서 개별적으로 제공된다.
📌 표 2. RE-AIM에 대한 오해의 유형
(RE-AIM misconceptions including misunderstanding of the original model, evolution of the model, and the current guidance)
이 표는 다음과 같은 내용을 포함한다:
- RE-AIM 원래 모델에 대한 오해
- RE-AIM의 진화 과정에 대한 인식 부족
- 현재 적용 가이드라인에 대한 오해 또는 미숙지
🔹 RE-AIM은 다음의 다섯 가지 핵심 요소로 구성된다:
Reach (도달률), Effectiveness (효과성), Adoption (채택률), Implementation (이행도), Maintenance (지속성)
🔹 PRISM은 Practical, Robust Implementation and Sustainability Model (실용적이고 견고한 이행 및 지속 가능성 모델)의 약자이다.
🔹 TMF는 Theories, Models, and Frameworks (이론, 모형, 프레임워크)의 총칭이다.
개념적 오해 (Conceptual Issues)
❌ 오해 1: “RE-AIM은 오직 평가(evaluation) 프레임워크이다”
RE-AIM은 단지 평가(evaluation)를 위한 도구가 아니며, 애초부터 연구 결과를 실제로 전환(translation of research into practice)하는 데 도움을 주기 위해 설계되었다 [7, 10, 15, 21]. 초기에는 RE-AIM을 다수 수준(multi-level)의 개입을 대상으로 하는 포괄적 평가 프레임워크(comprehensive evaluation framework)로 개념화하였지만 [10], 그 이후 기획, 이행, 평가, 보고 전반을 포괄하는 도구로 발전하였다.
예컨대, 2005년 Klesges 등 [22]은 RE-AIM을 프로그램을 설계(design)하는 도구로 명시적(explicitly)으로 활용할 수 있음을 강조하였고, 2013년 Kessler 등 [23]은 RE-AIM을 기획, 이행, 평가, 보고를 통합한 모델로 설명하며, 외적 타당성(external validity)을 강조하였다.
결론적으로, RE-AIM은 단순한 평가 프레임워크를 넘어서서,
- 실제 적용을 고려한 연구 설계(research-to-practice translation),
- 확산을 염두에 둔 프로그램 설계(dissemination-focused design),
- 기획과 설계에서의 맥락 고려(context consideration)
등을 강조하는 전 주기적 모델로 진화하였다.
❌ 오해 2: “RE-AIM은 개인(individual)과 조직(organizational) 수준에만 적용된다”
RE-AIM은 다양한 사회생태학적 수준(socioecologic levels)에 적용될 수 있으며, 이해 수준의 차이로 인해 혼란이 자주 발생하는 지점이다. 초기 연구들에서는 개인 수준(예: 환자, 직원, 학생)과 조직 수준(예: 병원, 직장, 학교)의 예시만 제시되었고, R(Reach), E(Effectiveness)는 주로 개인 수준, A(Adoption), I(Implementation), M(Maintenance)는 조직 수준에서 논의되어 이러한 오해가 발생한 것으로 보인다. 그러나 이 두 수준에만 국한하겠다는 의도는 애초에 없었다.
최근 연구들에서는 RE-AIM이 세 개 이상 수준에서 적용될 수 있음이 명확히 드러났다 [24]. 그 중에서도 ‘채택(Adoption)’ 차원은 특히 다층적(multilevel)으로 확장되어, 개입이 전달되는 환경(setting)을 조직을 넘어 여러 수준의 전달 주체(delivery agents)와 맥락(context)을 포함하도록 넓혀졌다.
이는 인간의 행동이 본질적으로 다층적 맥락에서 발생하며, 그 맥락에 의해 영향을 받기 때문이다 [25]. 또한, 정책, 지역사회, 조직 등 다양한 ‘설정(setting)’에서의 개입 노출이 도달률, 집단적 효과(collective impact), 지속적 효과성(sustained effectiveness)을 극대화하기 위해 필요할 수 있다 [24]. 따라서 잠재적 채택 주체(potential adopters)는
- 정책 입안자(policy makers),
- 행정기관(agencies),
- 지자체 부서(municipal departments),
- 지역 단체(community groups) 등 매우 다양할 수 있다.
이러한 정의의 확장(broadened definition)은 채택률 측정을 더욱 복잡하게 만들 수 있다. 예컨대, ‘보건 시스템 내 병원’이 ‘지역 내 보건 시스템’ 안에 위치한 상황처럼, 중첩된 구조(nested structure)가 있을 경우가 많다. 또한, 개입이 다음과 같은 형태라면:
- 정책 변화(예: 포장 식품의 영양 표시 의무화),
- 환경 변화(예: 신체활동을 장려하는 공공 공간 개선사업),
이행 전략과 그에 해당하는 측정 지표는 다음과 같은 내용을 포함해야 할 수 있다:
- 결정권자들의 참여와 관여(participation and engagement of decision-makers),
- 지원 기관의 협력(cooperation of supportive agencies),
- 집행자의 활동(implementation by enforcers).
기획, 승인, 실행, 유지 각 단계에서 어떤 이해관계자(key stakeholders)가 중요한지,
누가 프로그램을 유지하거나 집행할 책임을 질 것인지를 명확히 규정하는 것이 핵심이다.
그리고 채택률(adoption)을 정의하고 측정하는 방식은 적용 환경에 맞게 맞춤화(tailored)되어야 한다.
❌ 오해 3: “RE-AIM은 결정요인(determinants), 맥락 요인(contextual factors), 또는 결과 향상을 위한 전략을 포함하지 않는다”
RE-AIM의 초기 논문 및 초기 연구들에서는 결정요인(determinants)을 포함하지 않았던 것이 사실이다. 그러나 RE-AIM은 이후 몇 년 전부터 PRISM 모델로 확장되었다 [7, 26]. PRISM (Practical Robust Implementation and Sustainability Model)은
- RE-AIM의 결과 지표(RE-AIM outcomes)를 중심(도표의 가운데 부분)으로 포함하며,
- 이 결과에 영향을 미치는 핵심 맥락 요인(contextual factors)을 명시적으로 제시한다(도표의 바깥 부분 참고) [26].
PRISM은 2008년에 개발되었으며, 맥락(context)을 다루고, 연구자 및 실무자들이 기획, 개발, 평가, 지속화를 실용적으로 설계하고 실행할 수 있도록 돕기 위한 가이드로 제안되었다. PRISM은 RE-AIM 결과 외에도 다음과 같은 주요 개념들을 통합하고 있다:
- Diffusion of Innovations 이론 [27]
- Chronic Care Model (만성질환 관리모형) [28]
- IHI의 변화 모델(Institute for Healthcare Improvement Change Model) [29]
📊 [도표 1] Pragmatic Robust Implementation and Sustainability Model (PRISM)
PRISM(자세한 내용은 www.re-aim.org 참고)은 다음과 같은 주요 결정요인(determinants)을 명시한다:
- 정책(policies)
- 이행 및 지속성 기반 구조(implementation and sustainability infrastructure)
- 다층적 조직 관점(multilevel organizational perspectives) [30]
PRISM은 다양한 설정과 주제를 아우르는 개입의 기획, 중간 조정(mid-course adjustment), 평가를 안내하는 데 성공적으로 사용되어 왔다 [16]. PRISM의 원 논문은 160편 이상의 연구에서 인용되고 있으며, 맥락을 개념화하는 도구로서 그 적용 범위와 유용성이 널리 입증되었다 [7, 26, 30]. 또한 Feldstein과 Glasgow, 그리고 RE-AIM 웹사이트에서는 기획 단계에서 각 결정요인을 성찰할 수 있는 질문(reflection questions)도 제공한다 [26].
👉 따라서 RE-AIM을 사용할 계획인 연구자와 실무자들은 PRISM을 함께 고려할 것을 권장한다. 모든 연구나 프로그램이 맥락을 포괄적으로 평가할 필요는 없지만, PRISM은 중요한 맥락 요인을 실용적이고 실행 가능하며 강건하게 고려할 수 있는 구조를 제공한다. RE-AIM 공식 웹사이트(re-aim.org)의 새 섹션에서는 PRISM과 RE-AIM의 관계와 관련된 내용을 명확히 설명하고 있다.
❌ 오해 4: “RE-AIM은 장기적 유지(longer term sustainment)를 다루지 않으며, 임의적으로 6개월만 평가 대상으로 한다”
이 오해는 아마도 RE-AIM의 원 논문에서 제시된 다음 문장에서 비롯된 것으로 보인다:
“유지(Maintenance)는 프로그램 종료 후 최소 6개월 동안 평가한다” (maintenance was defined as “at least 6 months following program completion”)
그러나 여기서 강조된(at least) 표현에서도 알 수 있듯, RE-AIM이 유지 기간을 6개월로 한정한다는 의미는 아니며, 평가 시점을 6개월까지만 설정하라는 의미도 아니다. 실제로 6개월 이상 장기적으로 유지 여부를 평가한 연구들이 다수 존재한다 [31].
RE-AIM은 장기적 유지의 의도와 계획(long-term sustainment intentions and plans)까지 포함할 수 있으며, 비록 재정 제약으로 인해 장기 시점에서의 평가가 어려울 수 있어도, 이러한 내용은 설계에 포함되어야 한다 [7].
역사적으로 RE-AIM은 조직 수준에서 지속성 또는 유지 개념을 명시적으로 강조한 최초의 프레임워크 중 하나였다. 체계적 문헌고찰에서는 ‘지속성(maintenance)’ 데이터가 자주 보고되지 않는다는 점이 반복적으로 지적되어 왔지만 [14], 최근에는 역동적 맥락(dynamic context) 속에서 장기적 지속성을 이해하는 것의 중요성이 점점 더 강조되고 있다 [32, 33].
🔍 이러한 공백을 해소하기 위해, 최근에는 RE-AIM의 확장 모델이 개발되어 다음과 같은 개념을 명시적으로 포함하게 되었다 [34].
- RE-AIM 평가를 반복적으로(iteratively) 적용하여, 개입의 전체 생애주기(life cycle) 동안 지속성(sustainability)을 다룸
- 역동적 지속성(dynamic sustainability) 및 개입의 진화 가능성(evolvability) 개념을 구체화
- 이는 원래 개입의 기능과 이행 전략을 지속적 전달하면서,
- 적응(adaptation) 및 경우에 따라 비이행(de-implementation)을 고려하여,
- 지속적이고 공정한 건강 결과(sustained and equitable health outcomes)를 산출하는 것을 의미함
- 비용(costs)과 형평성(equity)을 지속성에 영향을 미치는 핵심 요인(driving forces)으로 지속적이고 명시적으로 고려
❌ 오해 5: “RE-AIM은 비용(costs)을 포함하지 않는다”
비용 및 경제성 분석(cost and economic analyses)은 모든 이행 환경에서 확산(dissemination) 및 이행(implementation)을 논의할 때 핵심적 이슈이다. RE-AIM에서는 최소한 2013년부터 비용(cost)을 명시적으로 포함해 왔지만, 실제로는 연구 보고서에서 가장 덜 보고되는 요소 중 하나이다. 반면, 비용은 잠재적 채택자(potential adopters) 및 의사결정자(decision makers)들이 가장 우려하는 핵심 요소이기도 하다 [13]. 더욱이, 비용이 보고되는 경우에도 그 방식이 일관되지 않아, 연구 간 비교가 어렵다 [35]. 개입의 복잡성, 이행 전략, 적용 환경에 따라 비용이 달라지므로 비용을 이해하는 작업 자체가 도전적일 수밖에 없다.
현재 RE-AIM에서는 비용을 주로 ‘이행(Implementation)’ 차원 아래에서 명시적으로 고려하고 있으며, 이는 수년간 일관되게 유지되어 왔다 [23]. 최근에는 RE-AIM의 다섯 가지 모든 차원에서 목표 결과 달성을 위한 비용 고려를 포함하는 사례도 등장하고 있다 [23]. 예컨대, Rhodes 외 [36]는 개입 참여자(individual participants), 개입 전달자(intervention agents), 설정(setting) 등 여러 수준의 이해관계자 관점에서 비용과 자원 요구를 실용적으로 측정할 수 있는 절차와 지표를 제시하였다. 이러한 다층적 이해관계자 관점(multilevel stakeholder perspectives)에서의 비용 평가는, 연구 결과의 실제 적용 가능성(translation into practice)을 높이는 데 필수적이다 [35].
❌ 오해 6: “RE-AIM은 이행 성과로서 ‘충실도(fidelity)’만을 다룬다”
RE-AIM의 원 논문에서는 이행(Implementation)을 “계획된 대로 프로그램이 제공되었는가”를 평가하는 충실도(fidelity) 중심으로 정의하였다 [10]. 그러나 그 이후 지난 20년 동안 이행 차원은 가장 다양한 구성요소를 갖춘 영역으로 발전해왔다.
현재의 이행 평가 기준은 다음을 포함한다:
- 개입 제공의 충실도(fidelity to delivering the intervention)
- 설정/장소 간 이행의 일관성(consistency across settings/sites)
- 개입 또는 이행 전략의 적응(adaptations)
- 비용(cost) [7, 23]
이행 차원은 단지 개입이 제공되었는가뿐 아니라, 다양한 설정과 인구집단에 어떻게 통합되었는가, 시간과 맥락에 따라 어떻게 조정(adapt)되었는가를 이해하려는 데 초점이 있다. 특히 적응(adaptation)의 필요성을 식별하고 추적하며 이해하는 일은 이행에서 중심적인 요소이다. 또한 이 차원은 질적 연구 방법(qualitative methods)을 통합하면서 크게 강화되었으며, 이를 통해
- 어떤 적응이 있었는가뿐만 아니라,
- 누가 적응을 했고,
- 왜 그렇게 했으며,
- 그 결과는 무엇이었는가
에 대한 심층적 탐색이 가능해졌다 [19, 30, 37, 38].
❌ 오해 7: “RE-AIM은 이행 단계의 시간적 구분(phases)을 고려하지 않는다”
일부 프레임워크(예: EPIS)에서는 이행 단계를 명시적으로 정의하며 [9], 이에 비해 RE-AIM은 시간적 구분이 부족하다는 비판을 받아왔다. 그러나 실제로는, PRISM이 RE-AIM의 각 차원을 이행 단계(planning, early/mid-implementation, sustainment)에 따라 적용할 수 있도록 지원한다 [16].
RE-AIM 자체에도 암묵적인 시간 순서(temporal order)가 존재한다. 즉,
- 프로그램은 채택(adoption)되어야 이행(implementation)될 수 있고,
- 이행되어야 참여자에게 도달(reach)할 수 있으며,
- 도달과 이행이 이루어져야 효과(effectiveness)도 발생할 수 있다.
실제 이행팀은 RE-AIM 각 차원을 이행 전, 도중, 이후에 각각 어떤 질문을 던질 수 있는지를 고려하고, 이를 PRISM이나 CFIR(Consolidated Framework for Implementation Research) 같은 맥락 결정요인 프레임워크(contextual determinant frameworks)와 짝지어 사용할 수 있다 [26, 39, 40]. 이렇게 하면 각 시간대에 가장 관련성 높은 구성요소를 선택할 수 있고, 이행팀은 이를 기반으로 다음을 보장하는 표적화된 전략(targeted implementation strategies)을 설계할 수 있다:
- 최대 도달률(maximum reach)
- 효과(effectiveness)
- 이행 충실도(fidelity)
- 지속성(maintenance)
방법론적 오해 (Methods Issues)
❌ 오해 8: “RE-AIM은 정량적 데이터(quantitative data)만 사용한다”
RE-AIM의 각 구성 요소는 항상 정량적 정의를 포함해 왔다. 예를 들어, 도달률(Reach)은 개입 대상이 되는 사람들 중 실제로 개입에 참여한 사람의 수 및 비율, 그리고 그 참여자들의 대표성(representativeness)으로 정의된다. 그러나 도달률에는 단지 숫자뿐만 아니라, 어떤 유형의 대상자가 참여했는지(type of recipients), 참여 또는 비참여의 이유(reasons for participation or nonparticipation)도 포함된다.
이러한 “유형”과 “이유”는 인구통계학적 특성, 교통/비용 장벽 언급 빈도 등으로 정량화 가능하지만, 도달률의 핵심 요소인 ‘누가(who)’, ‘무엇을(what)’, ‘왜(why)’, ‘어떻게(how)’ 참여하고 혜택을 얻는가에 대한 깊이 있는 통찰은 숫자만으로는 파악하기 어렵다. 이는 RE-AIM의 다른 차원에서도 마찬가지이다.
이러한 이유로, 질적 연구(qualitative methods) 및 혼합 방법(mixed methods)은 개입 참여 및 효과에 영향을 주는 요소들을 깊이 있게 탐색할 수 있는 귀중한 도구로 간주되며, 실제로 여러 RE-AIM 리뷰 논문에서도 질적 접근의 활용이 명시적으로 권장되어 왔다¹⁴,²³. Holtrop 등은 2018년에 RE-AIM의 질적 적용에 대한 종합적인 해설 및 가이드를 제시하였다³⁷.
❌ 오해 9: “RE-AIM은 고정적(static)이며 반복적으로(iteratively) 사용되지 않는다”
앞서 언급한 바와 같이, RE-AIM은 프로그램의 기획(planning), 실행(implementation), 지속화(sustainment) 단계에 모두 활용 가능하다. 또한, 특정 시점에서 RE-AIM의 각 차원에 대한 영향(impact)을 평가함으로써 진행 상황을 구조화하여 평가하고, 중간 조정(mid-course adjustment) 및 적응(adaptation)을 위한 지침을 제공할 수 있다¹².
RE-AIM은 오랫동안 비공식적으로 반복적(iterative) 의사결정을 돕는 프레임워크로 활용되어 왔으며⁴¹,⁴², 최근에는 Glasgow 외 연구진이 2020년에 RE-AIM의 반복적 적용을 위한 명확한 절차(protocol)를 개발하였다¹⁶. 이 절차는 미국 재향군인 건강 시스템(VA)에서 수행된 다섯 개 연구에 적용되었으며, 프로젝트 팀 내에서의 성찰적 대화(reflective conversation)와 적응 계획 수립(adaptation planning)을 이끌어내는 데 유용한 것으로 나타났다.
❌ 오해 10: “RE-AIM은 다섯 가지 차원을 모두 동일하게 중요하게 보고, 모두 반드시 사용해야 한다”
이 오해는 RE-AIM의 원 출판 논문이 다섯 가지 차원 모두의 중요성을 강조하고, 공중보건에 미치는 잠재적 영향(potential public health impact)은 각 차원 결과의 곱(product)으로 계산될 수 있다고 제안한 데서 비롯되었을 가능성이 있다¹⁰. 하지만 실제 RE-AIM 문헌들을 검토해 보면, 대부분의 연구에서 다섯 차원 모두를 보고하지 않는다는 사실이 일관되게 나타난다¹⁴.
이러한 현실적 한계와 고려사항들은, RE-AIM을 실제 적용할 때 이해관계자의 우선순위(stakeholder priorities)를 기반으로 차원의 상대적 중요성과 정보 수집 필요성을 판단하는 실용적 접근(pragmatic approach)을 개발하는 계기가 되었다¹⁵. 즉, 모든 연구에서 다섯 가지 차원을 모두 평가할 필요는 없지만, 다음과 같은 원칙은 중요하다¹⁵:
- (a) 모든 차원을 한 번쯤 고려해야 하며,
- (b) 사전에(a priori) 어떤 차원을 우선할지 결정하고, 그 이유를 명시적으로 제시해야 하며,
- (c) 평가하거나 강화하기로 한 차원에 대해서는 투명한 보고(transparent reporting)가 이루어져야 한다.
이러한 실용적 접근은
- 연구 기획 단계에서 모든 차원을 염두에 두고,
- 의사결정에 중요하게 작용하는 차원 중심으로 평가를 수행하며,
- 직접적으로 타깃하지 않은 차원에 대해서도 배경 정보(contextual information)를 제공할 것을 장려한다.
RE-AIM의 실행(Implementation of RE-AIM)
❌ 오해 11: “RE-AIM의 구성 요소들은 서로 구분하기 어렵다”
RE-AIM을 처음 접하는 사용자들은 흔히 도달률(Reach)과 채택률(Adoption)이 같은 것이라 생각하거나, 채택(Adoption)과 이행(Implementation)이 서로 중복되며, 둘 다 고려하는 것이 중요하지 않거나 불필요하다고 결론내리곤 한다. RE-AIM의 구성 요소들이 명확하게 구분되지 않거나(fuzzy boundaries) 중복된다는 우려는, RE-AIM 측정과 적용에 대한 교육 및 가이드라인을 통해 해결되고 있다¹¹.
RE-AIM은 직관적으로 이해하기 쉬우며(face validity) 많은 사람에게는 자연스럽게 받아들여지지만, 실제로는 세부적인 차이(nuance)가 존재하며, 적절하게 학습하고 적용하기 위해서는 충분한 이해와 학습이 필요하다.
- 도달률(Reach)은 개입의 최종 수혜자인 개인(individual) 수준에서 측정된다 (예: 환자, 직원).
- 채택률(Adoption)은 프로그램을 전달하는 조직 또는 지역사회 수준의 한 개 이상 수준에서 측정되며, 이들 설정 안의 전달자(delivery agents)나 직원(staff) 수준에서도 평가된다 (예: 의료인이 개입을 제공하기로 하거나 훈련을 받기로 결정하는 경우)¹¹.
- 효과성(Effectiveness)은 수혜자 수준에서의 결과 (예: 신체활동 증가, 체중 감소)를 의미하고,
- 이행(Implementation)은 서비스 제공자 수준에서의 개입 실행 정도 (예: 개입 제공자가 개입 프로토콜을 일관되게 따르는가, 의료 제공자가 환자를 꾸준히 선별(screening)하는가)를 나타낸다.
❌ 오해 12: “RE-AIM은 대규모 연구나 잘 자금이 지원된 평가에만 사용 가능하다”
RE-AIM이 연구 외 환경(nonresearch settings)에서 어떻게 적용되는지를 정리한 최근 보고서에서는, RE-AIM이 “현실 세계(real world)”의 임상 및 지역사회 환경에서 건강 개선을 위한 프로그램, 제품, 서비스의 기획, 평가, 개선에 효과적으로 활용될 수 있음을 강조하였다. 이때의 목적은 일반화 가능한 지식의 생산이 아닌, 특정 인구 집단이나 설정에서의 실질적 개선이었다¹¹.
여기에는 예산이 거의 없거나 전혀 없는 프로젝트에서도 성공적으로 RE-AIM을 적용한 사례들이 다수 포함되어 있다. 실제로 데이터 출처, 타임라인, 범위(scope), 규모(scale) 등은 RE-AIM 적용의 실행 가능성 및 자원 요구량에 영향을 준다.
예를 들어, RE-AIM 기반 평가에서 가치가 높은 1~2개의 핵심 지표 또는 질적 질문을 선택하고, 이미 존재하는 데이터를 활용하면 범위 내에서 효율적인 평가 수행이 가능하다. 실제로 Frontiers in Public Health의 2015년 특별호에서는, 아주 적은 자원으로도 고령자 신체활동 증진과 낙상 예방 평가에 RE-AIM을 성공적으로 적용한 여러 조직의 사례들이 소개되었다⁴³.
❌ 오해 13: “RE-AIM을 사용하면 다른 이행 과학 프레임워크를 사용할 수 없다”
RE-AIM은 다른 이행 과학 프레임워크들과 병행하여 함께 사용하는 것이 일반적이며, 이는 권장되기까지 한다⁷. 단, 각 프레임워크 간의 호환성(compatibility)이 전제되어야 한다³⁹. 서로 보완적인 정보를 제공하는 프레임워크(process, explanatory, 또는 타 분야 TMFs)를 결합하면, 이행이 왜, 어떻게 성공 또는 실패했는지를 보다 잘 이해할 수 있다³⁹. 다만 다중 프레임워크를 사용할 경우, 각 프레임워크가 어떻게 서로를 보완(supplement)하는지를 설명하는 이론적 근거(theoretical rationale)를 명확히 제시해야 한다¹⁷.
예를 들어, Rosen 외 연구팀은 EPIS 프레임워크와 CFIR을 활용하여 핵심 채택 결정요인(adoption determinant)으로 ‘클라이언트의 요구와 자원(client needs and resources)’을 평가하고, RE-AIM을 사용하여 도달률과 효과성(reach and effectiveness)이라는 이행 성과(implementation outcomes)를 평가하였다⁴⁴.
이처럼 RE-AIM을 다른 TMF들과 통합하여 사용하는 예시들은 www.re-aim.org 웹사이트에 다수 소개되어 있다.
RE-AIM을 위한 자료와 향후 방향
(Resources and Current Directions for RE-AIM)
우리는 앞서 서술한 오해들을 해소하기 위해 여러 조치를 취하고, 다양한 자료를 개발해왔다. 또한, 추가적인 명확화와 지침 제공에 도움이 될 것으로 기대되는 현재 진행 중인 활동들도 간단히 소개한다.
🔧 RE-AIM 웹사이트 개편, 확장 및 기타 자원
위와 같은 오해들을 해소하기 위해서는 동료 평가를 거친 학술 논문(peer-reviewed publications)을 넘어서는 적절한 사용 지침(guidance)이 필요하다. 이러한 필요를 인식하고, National RE-AIM Working Group은 2004년 RE-AIM 적용을 돕기 위한 웹사이트(www.re-aim.org)를 개설하였다²⁰.
이 웹사이트는 다음과 같은 기능과 자료를 제공한다:
- 정의(definitions)
- 계산기(calculators)
- 체크리스트(checklists)
- 인터뷰 가이드(interview guides)
- 지속적으로 업데이트되는 검색 가능한 참고문헌 목록(searchable bibliography)
이후 웹사이트는 더욱 확장되어 다음 항목을 포함하게 되었다:
- 블로그 게시물(blog posts)
- 슬라이드 자료(slide decks) – 특히 오해(misconceptions)를 주제로 한 자료
- 웨비나 시리즈(webinar series)
- 프레임워크 적용 관련 질문과 답변, FAQ
→ http://www.re-aim.org/about/frequently-asked-questions/ - RE-AIM의 근거 기반 문헌 정리
본 논문의 독자들에게 특히 유용한 자료로는 다음 두 가지가 있다:
- (a) 앞서 소개된 주요 이슈들을 다룬 최신 RE-AIM 요약 슬라이드
→ http://www.re-aim.org/recommended-re-aim-slides/ - (b) PRISM/RE-AIM 통합을 시각화한 새로운 요약 그림
→ 이 그림은 여러 교차 이슈(crosscutting issues)를 강조하며, 위에서 언급한 오해들을 명확히 설명하는 데 도움을 준다⁷.
이 웹사이트는 매월 업데이트되며, RE-AIM 적용을 위한 사례와 가이드를 추가로 제공하는 새로운 섹션도 운영 중이다. 이에는 RE-AIM 사용자가 자가 점검(self-evaluation)할 수 있도록 설계된 체크리스트도 포함되어 있다.
또한, RE-AIM 기획 및 평가 프레임워크의 현재 워킹 그룹은 이 웹사이트 플랫폼을 통해 다양한 자료와 도구를 보급하는 방식에 대해 기술한 논문도 최근 발표하였다²⁰.
🧩 비연구 환경에서의 RE-AIM 활용
우리는 이미 RE-AIM이 통제된 연구나 대규모 자금 지원이 있는 연구에만 적합하다는 오해에 대해 설명한 바 있다. 하지만 실제로 RE-AIM을 비연구 환경(non-research settings)에 적용하기 위해서는, RE-AIM에 익숙하지 않은 사용자들을 위한 지침과 방향 제시가 필요하다¹¹.
기본적인 RE-AIM 개념 및 방법론은 웹사이트에 있는 실용적 도구(pragmatic tools)와, 지역사회 및 임상 환경에서 RE-AIM 모델을 성공적으로 적용한 주요 출판물들을 통해 익힐 수 있다¹¹,¹². 보다 복잡한 문제의 경우에는, 경험 있는 RE-AIM 사용자나 National Working Group과의 상호작용적인 자문(interactive consultation)을 권장한다.
🚀 향후 방향 (Current Directions)
시간이 지나며, RE-AIM의 핵심 원칙과 구성 요소들 중 일부는 유지되었지만, 일부는 상당한 진화를 겪었다⁷.
- 핵심 원칙과 차원은 여전히 동일하게 유지되고 있으며,
- 공중보건 영향(public health impact) 및 연구 결과의 일반화 가능성(generalizability)에 대한 강조도 계속되고 있다.
RE-AIM의 변화는 다음과 같은 이행 과학 및 실제 실행에 대한 지식의 진보에 따라 이루어졌다:
- (a) 핵심 차원의 실행 가능한 정의(operationalization)의 정교화 및 일부 확장
- (b) 맥락(context), 적응(adaptation), 건강 형평성(health equity), 비용(cost)의 통합
- (c) 질적 접근(qualitative approaches)의 적용에 대한 구체적 지침 마련
앞으로도 방법론적 접근법과 측정 실천이 발전함에 따라, RE-AIM/PRISM은 Kislov 외의 권고³에 따라 지속적으로 진화할 것으로 기대된다.
현재 중점적으로 진행 중인 활동들은 표 3(Table 3)에 요약되어 있으며, 특히 PRISM의 일부로서 맥락(context)에 대한 심층적 평가가 포함되어 있다. 우리는 또한 다음과 같은 분야에 대해 개발 및 검증을 진행 중이다:
- RE-AIM 차원에 대한 표준화된 설문 측정 도구(standardized survey measures)
- 반복적 적용(iterative application)을 위한 가이드라인¹⁶
- 비용, 가치, 지속 가능성(cost, value, sustainability)의 상호 연관성을 해결하기 위한 확장된 RE-AIM/PRISM의 적용³⁴
- RE-AIM의 대표성 요소(representativeness)가 건강 형평성에 어떻게 기여하는지를 구체화하는 작업
또한, 참여 기반 시스템 역학 모델링(participatory systems dynamic modeling)과 기타 이해관계자 참여 방법(stakeholder engagement methods)과의 통합 가능성도 활발히 탐색 중이다.
📊 표 3. 확장된 RE-AIM/PRISM 프레임워크의 현재 방향과 개발 중인 자원
(Table 3. Current directions and resources under development for the expanded RE-AIM/PRISM framework)
약어 정리
- PRISM: Pragmatic Robust Implementation and Sustainability Model (실용적이고 견고한 이행 및 지속 가능성 모델)
- RE-AIM: Reach (도달률), Effectiveness (효과성), Adoption (채택률), Implementation (이행도), Maintenance (지속성)
결론 (Conclusions)
이론, 모형, 프레임워크(TMFs: Theories, Models, and Frameworks)는 이행 과학(implementation science)의 발전에 큰 기여를 해왔다¹,². TMF들은 시간이 흐르며 새로운 맥락에 적용되고 기존 한계를 해결하기 위해 진화하며, 그 유용성도 향상되어 왔다³. 그러나 이러한 진화는 때때로 TMF의 올바른 적용 방식과 가능성에 대한 혼란을 불러일으킬 수 있다. 이러한 문제점을 고려하여, 우리는 TMF에 대한 오해와 혼란을 줄이기 위한 다음과 같은 권고 사항을 제시한다. 단, 이 권고들이 모든 상황에서 항상 실행 가능하지는 않을 수 있음을 함께 인정한다.
✅ 1. TMF의 주요 수정이나 업데이트가 있을 경우
개발자는 해당 변경 사항이 반영된 학술 논문(scholarly publication)과 기록 보관용 웹세미나(archived webinar)를 제공할 수 있어야 한다. 여기에는 다음 내용을 명확히 포함하는 것이 좋다:
- 어떤 변경이 있었는가
- 어떤 문제를 해결하고자 하는가
- 현재 권장되는 사용법은 무엇인가
특히 "TMF XX의 적응(adaptation)"과 같은 명시적 언어를 사용하여, 이것이 TMF의 수정 혹은 확장 버전임을 독자에게 분명히 해야 한다. 만약 원 개발자가 아닌 제3자가 수정한 경우, 원 개발자와 사전에 논의하고, 그 변경 사항에 대한 동의 여부를 명시하는 것이 바람직하다.
✅ 2. TMF를 요약하거나 분류하는 리뷰어의 경우
비록 어려운 작업이 될 수 있지만, TMF의 최근 문헌과 주요 사용자들의 설명을 확인하여, 해당 TMF에 대한 기술(description)이 정확한지를 반드시 검토해야 한다.
✅ 3. TMF 사용을 고려하는 연구자나 실무자
사용자는 해당 TMF에 대해 최근의 업데이트 여부를 확인하고, 적응 사례(adaptations)가 있는지 명시적으로 탐색해야 한다. 특히 TMF 관련 공식 웹사이트가 있다면 반드시 확인해야 한다. 또한, 최초 논문이나 오래된 리뷰 논문에만 의존하지 말고, 최근 사용 사례들을 인용(cite)해야 한다. 무엇보다도, 자신이 해당 TMF를 사용하는 이유와 방법을 명확히 서술함으로써, 오용(mischaracterization)의 위험을 줄일 수 있다.
✅ 4. TMF 웹사이트 운영자
웹사이트의 눈에 잘 띄는 위치에 개선 사항 또는 개정 내용을 요약해두고, 흔한 오해(misconceptions)와 그에 대한 대처 방법을 명시하는 것이 필요하다.
Kislov 외³가 강조했듯이, TMF는 시간이 지나며 변화하고 적응할 수 있어야 하며, 고착화(ossification)되어서는 안 된다. 표 3은 현재 RE-AIM이 진화하고 있는 방식과 개발 중인 자원(resource development)을 정리한 것이다. TMF가 변화하고 적응할 때, 연구자와 사용자들이 이러한 변화에 발맞추어 나가는 것이 매우 중요하다. 물론 이러한 오해와 혼란을 완전히 방지하는 것은 불가능할 수 있지만, 본 논문에서 제시한 논의와 권고 사항들이 TMF의 잘못된 적용(misapplication)을 최소화하는 데 기여하기를 기대한다. 우리는 TMF의 개발자, 리뷰어, 사용자들이 함께 논의하고 협력하여 어떤 행동을 취할 수 있을지에 대한 지속적인 대화를 환영한다.
1. Reach (도달률)
정의
- 개인 수준(Individual level)에서, 주어진 프로그램·개입에 참여 의사가 있는 대상자 중 실제로 참여한 사람의 절대수, 비율, 그리고 이 참여자가 얼마나 대표성을 띠는지(인구통계학적 특성 등).
- 또한, 참여 또는 비참여 이유(why or why not)도 포함.
보고 시 유의사항
- 유효한 분모(denominator)를 기준으로 참여자 비율(%)을 보고하고,
- 참여자와 비참여자 간 특성(demographics 등)을 비교해야 한다.
- 제외 기준(exclusion criteria)과 함께, 질적 방법을 이용해 도달 과정(reach) 및 모집 과정(recruitment)에 대한 심층 이해를 권장.
사례 프로젝트
- DeMarchis et al.는 소아 클리닉에서 환자와 부모를 대상으로 사회적 위험 요인(social risk)을 선별(screening)했다.
- 참여 완료율(completed screening)을 사이트별·대상별로 비교하고, 참여자와 비참여자의 배경 특성을 분석했다.
- 질적 인터뷰를 통해 참여·비참여 동기를 추가로 탐색했다.
2. Effectiveness (효과성)
정의
- 개인 수준(Individual level)에서의 개입 효과(impact),
- 부작용(potential negative effects) 포함,
- 삶의 질(quality of life)·경제적 결과(economic outcomes) 등 광의의 성과,
- 하위집단별 효과 차이(heterogeneity of effects).
보고 시 유의사항
- 주요 결과(primary outcome)와 더 넓은 성과 지표(quality of life 등),
- 단기·장기 이탈률(attrition) 및 환자 특성별 차이를 보고.
- 가능하면, 하위집단별 강건성(robustness) 지표와 질적 방법을 통해 결과를 함께 설명.
사례 프로젝트
- Jauregui et al.는 멕시코의 신체활동(public health) 프로그램을 평가했다.
- 체중, BMI, 허리둘레, 신체활동 참여율 등의 효과성 지표를 측정했으며,
- 12개 프로그램 중 3개에서 질적 평가를 수행해 효과를 설명했다.
3. Adoption (채택률)
정의
- 조직 및 직원 수준(multiple setting and staff levels)에서, 프로그램을 운영할 기관(조직)·전달자(people who deliver the program)가 얼마나 대표성을 띠며, 몇 %가 도입 의사를 표명했는지.
- 예: 진료소(clinic)나 학교(school) 소속 직원(staff)이 프로그램을 시작하기로 결정한 비율 등.
- 많은 중첩 수준(nested levels)(예: 시스템→병원→부서→직원)에서 적용 가능.
보고 시 유의사항
- 조직 수준(setting level)에서,
- 접근받은 조직 중 몇 %가 참여했는지,
- 참여 조직과 비참여 조직 간 특성 비교.
- 직원 수준(staff level)에서,
- 직원 중 몇 %가 초대되어 참여했는지,
- 제외된 비율과 참여·비참여 직원 특성 비교.
사례 프로젝트
- Kwan et al.는 1차 진료(primary care) 환경에서 협력 진료(collaborative care) 도입을 분석했다.
- 설정(의료 기관)별 채택 결정 및 실제 채택한 실무자(Clinicians and staff) 수·비율·유형을 측정했고,
- 질적 인터뷰를 통해 채택·비채택 이유를 심층 조사했다.
4. Implementation (이행도)
정의
- 다중 설정 및 특히 전달자 수준에서, 개입 핵심 기능(key functions) 또는 구성요소(components)가 계획대로 제공(fidelity)되는 정도,
- 일관성(consistency), 시간·비용(cost),
- 개입·이행 전략의 적응(adaptations) 및 그 이유.
보고 시 유의사항
- 충실도(fidelity)뿐 아니라,
- 일관성(adherence and consistency),
- 개입·전략 적응 내역(adaptations),
- 비용(cost: 시간, 예산) 등을 모두 보고.
- 특히 어떤 적응이 언제, 왜, 어떻게 이루어졌는지 구체적으로 기술.
사례 프로젝트
- Holtrop et al.는 1차 진료 매니저(care managers) 이행을 평가했다.
- 다회기 세션, 동기면담(motivational interviewing) 등 핵심 요소에 대한 충실도를 측정했고,
- 교육·유지 전략(training, tickler system), 전자건강기록 개선 등 개입 적응 사례를 모두 보고했다.
5. Maintenance (지속성)
정의
- 조직 수준(setting level)에서, 연구 종료 후에도 프로그램·정책이 제도화(institutionalization)되어 일상 업무에 남아있는 정도.
- 개인 수준(individual level)에서, 개입 종료 후 장기적 효과(long-term effects).
보고 시 유의사항
- 조직 수준:
- 연구 종료 후 일정 시점에 프로그램이 계속 운영되는지,
- 조직 목표와의 정렬(alignment),
- 연구 이후 추가된 적응(adaptations).
- 개인 수준:
- 최종 개입 시점 이후 주요 결과(primary outcome)를 여러 시점(예: 6개월, 2년)에 걸쳐 보고,
- 장기 이탈률(attrition) 및 치료 효과 이질성(heterogeneity) 등.
사례 프로젝트
- Toobert et al.는 노인 당뇨병 예방 프로그램의 지속성을 평가했다.
- 조직 수준에서는 추가 자원·리더십 없이도 프로그램이 유지되는지 확인했고,
- 개인 수준에서는 6~12개월, 24개월 시점별 행동 변화 유지력을 측정했다.
✅ RE-AIM에 대한 대표적인 오해와 정정
❌ 오해 1: RE-AIM은 평가(evaluation)에만 쓰이는 프레임워크이다
➡ 사실은 RE-AIM은 평가뿐 아니라 기획, 실행 전략 설계(adaptation planning), PRISM을 통한 결정요인 분석(determinants analysis) 등에도 폭넓게 사용된다.
🌀 왜 오해했을까? 초기 논문이 평가 측면을 강조했기 때문이며, 이후 PRISM으로 확장된 점을 잘 모르는 경우가 많다.
❌ 오해 2: RE-AIM은 개인(individual)과 조직(organization) 수준에만 적용할 수 있다
➡ 사실은 RE-AIM은 다수의 사회생태학적 수준(multilevel)에 적용 가능하며, 대부분의 프로젝트에서는 개인, 전달자, 조직 수준을 함께 고려한다.
🌀 왜 오해했을까? 초기 논문에서 예시가 부족했지만, 제한한다는 의미는 아니었다.
❌ 오해 3: RE-AIM 또는 PRISM은 맥락(context)이나 결과 향상 전략을 포함하지 않는다
➡ 사실은 확장된 RE-AIM/PRISM 모델은 맥락 요인(contextual factors)을 포함하고, 효과를 높이기 위한 전략도 고려한다.
🌀 왜 오해했을까? PRISM이라는 진화 형태를 잘 모르는 경우에서 비롯된 오해.
❌ 오해 4: RE-AIM은 장기적 지속성(sustainment)을 정의하거나 구분하지 않으며, 평가도 6개월만 한다
➡ 사실은 RE-AIM은 단기와 장기 유지 모두를 고려하며, 개입 유형에 맞는 지속성 기간 설정을 권장한다.
🌀 왜 오해했을까? 초기 모델에서 "6개월 이후 평가"라는 문구가 오해를 불러일으켰다.
❌ 오해 5: RE-AIM은 비용(costs)을 포함하지 않는다
➡ 사실은 RE-AIM에서는 Implementation 차원 아래에 비용을 명시적인 핵심 요소로 포함하고 있다.
🌀 왜 오해했을까? 비용이 대부분 Implementation 영역에서만 보고되어 전체 차원과 연관된 비용은 간과되었기 때문.
❌ 오해 6: 이행(implementation)은 충실도(fidelity)만 보면 된다
➡ 사실은 요즘 RE-AIM은 충실도(fidelity) 뿐 아니라 적응(adaptation)도 함께 강조한다.
🌀 왜 오해했을까? 초기 모델이 충실도 중심이었고, 이후 적응의 중요성이 커졌지만 반영되지 않았던 경우가 많음.
❌ 오해 7: RE-AIM은 이행의 시간적 단계(phases)를 고려하지 않는다
➡ 사실은 RE-AIM은 계획, 실행, 유지 각 단계에서 적용 가능하며, PRISM이나 CFIR과 결합해 시간적 맥락도 잘 반영할 수 있다.
🌀 왜 오해했을까? 초창기 모델은 암묵적으로 시간 순서를 포함했지만 명시적으로 언급되지 않았음.
⚙ 방법론 관련 오해 (RE-AIM 차원의 적용 방식)
❌ 오해 8: RE-AIM은 정량적 데이터(quantitative data)만 사용한다
➡ 사실은 RE-AIM은 정량 및 질적 데이터 모두를 사용하도록 구성되어 있다.
🌀 왜 오해했을까? 정량 데이터를 중심으로 활용하는 경우가 많았고, 질적 접근에 대한 최신 지침이 널리 알려지지 않음.
❌ 오해 9: RE-AIM은 고정적(static)이어서 반복적으로(iteratively) 적용되지 않는다
➡ 사실은 RE-AIM은 반복적으로 적용(iterative use)하며, 프로그램 수정이나 개선의 기준으로도 사용 가능하다.
🌀 왜 오해했을까? 과거에는 비공식적으로 반복 적용되었고, 최근에야 체계적 가이드가 나왔기 때문.
❌ 오해 10: RE-AIM은 다섯 가지 차원을 모두 항상 동일하게 중요하게 적용해야 한다
➡ 사실은 우선순위 기반의 실용적 사용(pragmatic tailoring)이 가능하며, 프로젝트별로 어떤 차원을 강조할지는 조정할 수 있다.
🌀 왜 오해했을까? 원 논문에서 다섯 차원의 곱(product)을 강조한 부분이 오해를 낳았음.
📘 적용 명확성에 대한 오해 (RE-AIM을 어떻게 써야 하는가에 대한 혼란)
❌ 오해 11: RE-AIM 구성 요소는 서로 구분이 어렵다
➡ 사실은 각 구성 요소마다 명확한 정의, 구분, 실제 적용 예시가 있으며 구체적 설명도 존재한다.
🌀 왜 오해했을까? 개념이 중첩된 듯 보일 수 있고, 구체적 설명 자료를 접하지 못한 경우가 많음.
❌ 오해 12: RE-AIM은 대규모 연구나 잘 자금이 지원된 프로젝트에서만 쓸 수 있다
➡ 사실은 어떤 유형의 프로젝트에도 적용 가능하며, 최근에는 다양한 사례가 더 많아지고 있다.
🌀 왜 오해했을까? 초기에는 대형 연구 사례 중심으로 소개되었던 영향.
❌ 오해 13: RE-AIM을 쓰면 다른 프레임워크는 같이 쓰지 못한다
➡ 사실은 RE-AIM은 다른 TMF들과 통합 적용 가능하며, 그 예시와 지침도 풍부하게 제공되고 있다.
🌀 왜 오해했을까? 예전에는 단일 프레임워크 중심 사고가 많았지만, 최근에는 혼합적 접근이 더 권장됨.
🧠 중심 구조: RE-AIM 핵심 차원과 개입 전략
가장 중심에 있는 원은 두 부분으로 나뉘어 있습니다:
1. Evidence-Based Intervention (Components)
- 근거 기반의 개입 요소들을 의미합니다. 예: 특정 건강 프로그램의 핵심 구성, 치료 방식 등
2. Implementation Strategies
- 그 개입을 어떻게 실행할 것인지에 대한 전략들입니다. 예: 교육, 피드백, 리마인더 시스템 등
이 두 개념이 함께 작동하며, 그 주위를 감싸고 있는 것이 바로 RE-AIM의 다섯 가지 차원입니다:
- Reach (도달률)
- Effectiveness (효과성)
- Adoption (채택률)
- Implementation (이행도)
- Maintenance (지속성)
이 다섯 가지는 개입의 전반적인 성과를 다층적 수준(multi-level)에서 평가하는 지표입니다.
🔄 양옆과 하단: 맥락(Context)과 상호작용
왼쪽 – 개입의 설계·실행과 맥락 간의 정합성(Fit and Interactions)
왼쪽 박스는 다음 네 가지 요소가 어떻게 맞물려 돌아가는지를 보여줍니다:
- Intervention Components: 개입의 구성요소
- Implementation Strategies: 실행 전략
- Inner & Outer Context: 내부(조직, 현장 문화 등) 및 외부(법, 제도 등) 맥락
- RE-AIM Dimensions: 위에서 언급한 다섯 가지 차원
이 네 가지는 서로 영향을 주고받으며 작동합니다. 즉, 맥락에 따라 전략을 조정하거나, 전략에 따라 개입이 달라질 수 있음을 시사합니다.
오른쪽 – 전반적 고려 요소(Overarching Issues)
다음은 RE-AIM/PRISM이 단순한 도구 그 이상이 되게 하는 핵심 고려사항입니다:
- Proportion / Penetration: 개입이 대상자 중 얼마나 퍼졌는가
- Representativeness: 참여자 및 설정의 대표성은 어떤가
- Reasons – How & Why: 참여/비참여 이유는 무엇이며, 어떻게 전달되었는가
- Costs: 비용은 어느 수준에서 어떻게 발생하는가
- Adaptations / Translations: 개입은 어떤 방식으로 조정되었으며, 번안은 있었는가
이 요소들은 각 RE-AIM 차원 전반에 걸쳐 영향을 미치는 상위 개념들입니다.
상단 – Changing External Context (외부 맥락의 변화)
- PRISM은 개입이 이루어지는 외부 환경(External Environment)의 영향을 강조합니다.
- 예: 정책 변화, 보상 체계, 가이드라인, 인센티브 구조 등은 개입과 실행 전략에 큰 영향을 줍니다.
하단 – Changing Internal Context (내부 맥락의 변화)
- 조직 내부나 대상자의 변화도 중요합니다.
- PRISM Factors로 다음 세 가지를 들고 있어요:
- Organizational & Patient Characteristics (특성)
- Organizational & Patient Perspectives (가치, 인식, 수용성)
- Implementation & Sustainability Infrastructure (이행 및 지속 가능성 기반)
이 요소들은 실제로 개입이 성공적으로 자리잡고 지속되도록 하는 내부 기반입니다.
🔁 전체 구조의 의미
이 도식은 단순한 RE-AIM의 평가 틀을 넘어, 실행과 지속의 실제적인 복잡성을 보여줍니다.
즉, 성공적인 개입은:
- 개입 자체뿐 아니라,
- 그것이 누구에게 도달하고, 어떤 맥락에서 작동하며,
- 어떻게 채택되고, 어떤 전략으로 실행되며,
- 얼마나 유지되며, 어떤 비용과 적응이 필요한지까지 고려해야 한다는 것입니다.
필요하시면 이 구조를 바탕으로 블로그용 요약 이미지나 슬라이드 구성도 도와드릴 수 있어요!
🔍 RE-AIM/PRISM의 현재 중점 방향 및 개발 중인 자원
1. 🧭 맥락(Context)
- PRISM의 맥락 요인(contextual factors)을 더 세밀하게 정의하고, 강화하고, 명확히 보고하는 것이 중점입니다.
- 이를 위해 웹사이트에 새로운 섹션과 인터랙티브 가이드 도구가 개발되고 있습니다.
👉 실제 적용 환경에 대한 이해를 깊이 있게 반영하려는 노력입니다.
2. 📊 측정 지표와 표준화(Measures and norms)
- RE-AIM의 각 차원(Reach, Effectiveness 등)을 정량적으로 측정하기 위한 표준 설문 문항을 개발하고 검증 중입니다.
👉 RE-AIM의 적용을 보다 일관되고 신뢰도 있게 만들기 위한 기반 작업입니다.
3. 🔁 빠르고 반복적인 사용(Rapid and iterative use)
- RE-AIM을 반복적으로 사용하면서 개입 중간에 평가하고, 개선을 유도하는 방법을 연구 중입니다.
- 기존 적용 사례를 복제하거나 확장하고, 이를 통해 반복 적용 시 최적화 전략을 찾아내고자 합니다.
👉 정적(static) 프레임워크가 아닌, 실시간 대응 가능한 동적 툴로 발전하는 방향입니다.
4. 💰 비용, 가치, 지속 가능성(Cost, value, and sustainability)
- 단순한 시간·금전적 비용뿐 아니라,
- 이해관계자의 부담 인식, 개입의 가치 평가, 지속성과의 관계까지 포함해 RE-AIM의 비용 개념을 확장하고 있습니다.
👉 보다 현실적인 ‘실행 가능성’ 평가가 가능해집니다.
5. ⚖️ 건강 형평성(Health equity)
- 맥락(context)과 대표성(representativeness)과 관련된 RE-AIM 차원을 중심으로,
- 건강 형평성 문제에 어떻게 기여할 수 있을지를 구체적으로 정의하고 있습니다.
👉 RE-AIM을 건강 불평등 해소의 관점에서도 활용할 수 있게 됩니다.
6. 🔄 모델링 및 이해관계자 참여(Stakeholder engagement)
- RE-AIM을 시스템 역학 기반 모델링(participatory systems dynamic modeling) 및
- 이해관계자 참여법(engagement methods)과 통합하려는 노력이 진행 중입니다.
👉 공동 설계(co-design)와 시스템적 사고(system thinking)를 결합하는 방향입니다.
7. 🧑🏫 지침과 교육(Guidance and training)
- RE-AIM 적용과 관련된 훈련(training), 도구(tool), 가이드(guides), 예시(examples)를
- 웹사이트를 통해 제공하고 있습니다.
👉 초보 사용자부터 고급 연구자까지 누구나 참고할 수 있도록 지원 확대 중입니다.
8. 📢 소통 활동(Communication activities)
- RE-AIM 웹사이트를 업데이트하고,
- 다양한 커뮤니케이션 채널(예: @reaim 트위터, 리스트 서브 등)을 통해
- (a) 사용자 유형별,
- (b) 연구 단계별
자원을 효과적으로 제공하고 있습니다.
👉 사용자 맞춤형 정보 접근성이 높아지고 있습니다.
🔚 요약하면?
이 표는 RE-AIM/PRISM이 더 실용적이고, 더 반복 가능하며, 더 형평성 있고, 더 체계적으로 사용될 수 있도록 다양한 측면에서 발전하고 있다는 걸 보여줍니다. 연구자와 실무자 모두를 위한 ‘살아있는 프레임워크’로 진화 중이라고 볼 수 있죠.