Conceptualizing outcomes for use with the Consolidated Framework for Implementation Research (CFIR): the CFIR Outcomes Addendum
🔍 CFIR을 넘어서: 실행과 혁신의 결과를 구분하는 새로운 제안
– CFIR Outcomes Addendum의 개념과 의의
📌 이 글은 CFIR(Consolidated Framework for Implementation Research)의 핵심 프레임워크를 확장하려는 새로운 제안을 다룬 논문을 바탕으로, 실행과 혁신 결과의 개념을 명확히 하고자 정리한 내용입니다.
📁 왜 실행과 혁신 결과를 구분해야 할까?
의료나 교육처럼 복잡한 시스템에서 근거 기반 혁신(Evidence-Based Innovation, EBI)을 실행하는 일은 말처럼 쉽지 않습니다. 혁신을 잘 설계하는 것도 중요하지만, 그 혁신이 실제로 ‘제대로 실행’되어야 의미 있는 결과가 나옵니다.
“An effective innovation will fail to produce expected outcomes if it is poorly implemented.”
효과적인 혁신이라도 실행이 부실하면 기대한 결과를 낼 수 없다.
그래서 CFIR 사용자는 다음 두 가지 질문을 구분해서 생각할 필요가 있어요:
- 이 혁신이 실행은 잘 되고 있는가? → 실행 결과(Implementation Outcomes)
- 이 혁신이 수혜자에게 좋은 영향을 주었는가? → 혁신 결과(Innovation Outcomes)
🔧 CFIR Outcomes Addendum이란?
이번 논문에서 제안한 CFIR Outcomes Addendum은 기존 CFIR 프레임워크에 ‘결과(Outcomes)’ 개념을 보완한 부록 개념이에요.
“Our goal is not to develop a new framework, but rather to clarify relationships between determinants and outcomes and to provide broad definitions that users can apply while using other frameworks.”
우리의 목표는 새로운 프레임워크를 만드는 것이 아니라, 결정 요인과 결과 사이의 관계를 명확히 하고 다양한 프레임워크에서 활용할 수 있는 폭넓은 정의를 제공하는 것이다.
✅ 실행 결과는 어떤 것들이 있을까?
실행 결과는 크게 두 가지로 나뉘어요:
- 예상 결과(Anticipated Outcomes): 앞으로 잘 실행될 것 같은지에 대한 인식
- 실제 결과(Actual Outcomes): 실제로 실행이 잘 되었는지에 대한 평가
이 결과는 다시 아래 3가지로 세분화돼요:
| 구분 | 예상 결과 | 실제 결과 |
| 혁신을 도입할 수 있을까? | 채택 가능성 (Adoptability) | 채택 (Adoption) |
| 실제 실행이 가능할까? | 실행 가능성 (Implementability) | 실행 (Implementation) |
| 오래 유지될 수 있을까? | 지속 가능성 (Sustainability) | 유지 (Sustainment) |
🧠 수혜자에게 중요한 건 ‘혁신 결과’
혁신이란 단어, 너무 거창하게 들리나요? 하지만 이 논문에서는 이렇게 말해요:
“If an idea seems new within a setting or for an individual, it is an innovation.”
어떤 아이디어가 그 맥락이나 개인에게 새롭게 느껴진다면, 그것이 바로 혁신이다.
즉, 작은 변화라도 새로운 시도면 모두 혁신이에요! 예를 들어, 병원에서 새로운 문진지를 도입하는 것, 학교에서 참여형 수업을 도입하는 것도 해당되죠. 이때 중요한 건,
- 수혜자(Recipients): 예를 들어 환자나 학생이
- 전달자(Deliverers): 예를 들어 간호사나 교사도
- 결정권자(Decision-Makers): 예를 들어 병원장, 교장 선생님도
각기 다른 관점에서 결과를 경험한다는 점이에요.
그래서 혁신 결과도 다음을 고려해야 해요:
- 환자에게 좋은 변화가 있었는지?
- 의료진은 소진 없이 일할 수 있었는지?
- 병원은 비용 대비 효과를 얻었는지?
“Sustainment of outcomes may be strengthened when goals are aligned between these three key constituencies.”
이 세 이해관계자의 목표가 일치할 때, 결과의 유지 가능성은 높아진다.
🧭 실행 결정 요인 vs. 혁신 결정 요인
실행 결과를 예측하려면, 조직이나 담당자의 생각과 준비 상태를 봐야 하고,
혁신 결과를 예측하려면, 수혜자 개인의 특성이나 경험을 봐야 해요.
“Researchers must be clear about the goal of data collection: (1) to predict and/or explain implementation outcomes based on implementation determinants [...] or (2) to predict and/or explain innovation outcomes based on innovation determinants.”
연구자는 자료를 수집할 때, 실행 결과를 설명하고자 하는 것인지, 혁신 결과를 설명하고자 하는 것인지 명확히 해야 한다.
이런 구분이 안 되면, 혁신이 효과가 없다고 판단하는 ‘Type III 오류’를 범할 수 있어요. (혁신이 나쁜 게 아니라, 실행이 잘못된 것일 수도 있다는 의미!)
🌱 앞으로의 방향
이 논문은 결과 중심 실행연구를 위한 구조화된 틀을 제공해줘요. 특히
- 사람 중심(humanism)
- 형평성(equity)
을 중시하는 실행과학자들에게 큰 울림을 줍니다.
“We believe that by highlighting the human-beings impacted by Innovation Outcomes, the CFIR Outcomes Addendum will help researchers and organizations orient to values of humanism and equity.”
우리는 혁신 결과에 영향을 받는 ‘사람’에 주목함으로써, 이 부록이 인간 중심성과 형평성의 가치를 실현하는 데 기여할 것이라 믿는다.
✍️ 마무리하며
이 Addendum은 단순히 ‘새로운 이론’을 제안하는 것이 아니라,
실제 연구자가 실행 연구를 설계하고 해석하는 데 필요한 지침과 철학을 제공합니다.
CFIR을 활용하고 있다면, 이제 결과에 대해서도 “누구에게, 어떤 결과를 중시할 것인가?”를 묻는 단계로 나아가보면 어떨까요?
배경(Background)
근거 기반 혁신(Evidence-Based Innovations, EBIs)을 실제 현장에 적용(implementation)하는 데에는 수많은 도전 과제가 따르며, 이는 실무자와 연구자 모두가 인식하고 있는 사실이다. 컨텍스트(context)―즉, EBI 외부에 존재하는 모든 것[1]―는 실행 노력을 돕거나 방해하는 역동적이고 다면적인 요인들의 집합을 뜻한다[2]. 따라서 실행과학(implementation science) 연구자들은 컨텍스트의 다양한 측면을 이해하고 측정하는 방법을 개발하는 데 우선순위를 두고 있으며, 이는 실행을 기획·수행·평가하는 모든 프로젝트에서 필수적이다[3].
컨텍스트를 개념화할 때 참고할 수 있는 이론들은 매우 다양하며, 대개 결정 요인 프레임워크(determinant frameworks)에 담겨 있다[4, 5]. 이러한 프레임워크는 실행 결과에 영향을 미치는 장애물 또는 촉진 요인(결정 요인)을 구체적으로 제시한다. 연구자들은 컨텍스트상의장애물과 촉진 요인에 대한 지식을 활용해 EBI를 수정하거나(적용화)[6], 실행 전략을 선택·맞춤하며[3, 7], 실행 결과를 예측·설명한다[8, 9]. 궁극적으로 이러한 노력은 ‘무엇이, 어디에서, 왜 잘 작동하는가’에 대한 지식을 축적하여 EBIs를 일상 진료에 지속적으로 통합하는 속도를 높이는 데 목적이 있다.
Consolidated Framework for Implementation Research(CFIR)는 실행과학 안팎에서 가장 널리 사용되는 프레임워크 중 하나이다[8, 10]. 2009년 원 논문에서는 프레임워크의 지속적 발전 필요성을 인정하며 비판과 수정을 환영한 바 있다[2]. 실행과학이 성숙하면서 CFIR의 공백이 드러났고, 업데이트가 요구되고 있다. 이에 우리 연구팀은 문헌 고찰과 해당 저자 대상 설문 조사를 기반으로 CFIR 2.0을 개발 중이며, 문헌과 설문 모두에서 ‘결과(outcomes)를 추가해 달라’는 권고가 다수 제기되었다.
비록 CFIR가 결정 요인 프레임워크이지만, 사용자는 결정 요인과 실행 결과를 연결하는 변화 이론(theories of change)을 개발·탐색·검증해야 한다[8]. 예를 들어, Damschroder 등은 혼합 연구 방법을 사용해 CFIR 결정 요인 7개가 실행 결과와 상관이 있음을 확인했다[9]. 이 밖에 회귀 분석이나 불 대수(Boolean) 기반 분석으로 실행 결과를 좌우하는 결정 요인 하위 집합을 찾을 수 있다[11]. 그러나 신규 사용자를 교육·자문하면서, CFIR 결정 요인이 어떤 ‘결과’를 가리키는지 그리고 코딩·분석 시 ‘결정 요인’과 ‘결과’를 어떻게 구분할지에 대한 추가적인 안내가 필요함을 확인했다. 이미 발표된 결과 프레임워크들은 적용이 복잡한 경우가 많다. 예컨대 RE-AIM 프레임워크는 Maintenance(유지) 결과를 조직 수준과 개인 수준으로 모두 정의하므로, 사용자는 두 수준을 명확히 구분해야 하며 각 수준에서 Maintenance에 영향을 주는 결정 요인이 다르다[12]. 더욱이 정의가 출처마다 일관되지 않다. 예를 들어,
- RE-AIM은 Adoption(채택)을 “프로그램을 시작하려는 기관(setting)과 시행자(agent)의 절대 수, 비율, 대표성”으로 정의하는 반면[12],
- Implementation Outcomes Framework(IOF)는 Adoption을 “혁신을 시도·사용하려는 의도·초기 결정·행동”으로 정의한다[13].
따라서 CFIR 사용자에게는 (1) 실행 결과의 유형, (2) ‘실행 결과’와 ‘혁신 결과’의 구분, (3) 각 결과에 영향을 미치는 결정 요인을 보다 명확히 제시할 필요가 있다.
우리는 이러한 문제를 해결하기 위해 CFIR Outcomes Addendum을 제안한다. 이는 새로운 프레임워크를 만들려는 것이 아니라, 연구자들이 자신의 연구가 다루려는 결과를 명확히 규정하고, 해당 결과에 영향을 미칠 결정 요인을 면밀히 검토하며, 결과와 결정 요인 모두를 최적으로 측정할 수 있는 연구 설계를 고안하도록 돕기 위한 것이다. 본 ‘debate’ 논문의 목적은 CFIR Outcomes Addendum의 근거와 개념을 설명하는 데 있으며, 이는 CFIR 2.0 개발 과정에서 수행한 문헌 고찰·설문조사 결과와 RE-AIM 및 IOF의 통찰을 바탕으로 한다[12, 13].
방법(Methods)
우리는 먼저 문헌 고찰(literature review)을 수행하여 기존에 발표된 문헌에서 CFIR에 '결과(outcomes)'를 추가하라는 제언이 있었는지 확인하였다. 보다 자세한 내용은 향후 출간될 CFIR 2.0 관련 본논문에서 다룰 예정이다. 간단히 말하면, 우리는 SCOPUS와 Web of Science 데이터베이스를 통해 2009년(원래 CFIR가 발표된 해)부터 2020년 7월 6일까지 검색을 수행했으며, 제목(title) 또는 초록(abstract)에 CFIR이 언급된 모든 논문을 포함하였다. 그 결과, 총 376편의 논문이 확인되었으며, 이 중 16편에서 ‘결과’를 추가하라는 제안이 명시되어 있었다.
문헌 고찰 외에도, 우리는 포함된 논문의 교신저자(corresponding authors)를 대상으로 설문조사(survey)를 시행하였다. 총 337명의 고유 교신저자 중에서 334명의 연락처를 확보할 수 있었고, 이 중 157명(47%)이 설문에 응답하였다. 설문 문항은 CFIR의 개선방안을 묻는 것으로, 구체적으로 구성요소(constructs) 또는 영역(domains)의 추가·삭제·수정 여부에 대한 제안을 요청하였다. 그 결과, 13명의 응답자가 ‘결과’를 프레임워크에 추가할 것을 명확히 제안했으며, 이 외에도 3건의 응답은 비록 ‘결과’라는 표현을 직접 사용하지는 않았지만, 결과에 해당하는 개념과 관련된 제안을 포함하고 있었다.
이 연구는 VA Ann Arbor Healthcare System의 IRB(Institutional Review Board)로부터 연방규정 38 CFR 16의 Category 2에 따라 IRB 심의 면제(exempt) 판정을 받았다.
제안된 CFIR 결과 부록 (CFIR Outcomes Addendum)
개요(Overview)
문헌 고찰과 설문조사 결과 모두에서 CFIR에 실행 결과(implementation outcomes)와 혁신 결과(innovation outcomes)를 모두 추가할 것을 제안하는 의견이 다수 확인되었다. Hung 등은 이 두 가지 결과 유형을 포함시키는 것이 중요하다고 보았으며, 이는 연구자의 주의를 컨텍스트가 사용자 수용(user acceptance)과 같은 중간 결과 및 조건에 어떻게 영향을 미치는지에 집중하게 하고, 결국 이는 중재(intervention)의 궁극적 목표나 결과에 영향을 주는 방식을 설명할 수 있게 한다고 강조하였다[14].
일부 연구자들은 이러한 공백을 다른 프레임워크와 CFIR을 연계하여 해결하고자 하였다. 예를 들어, 19개 연구는 RE-AIM 프레임워크를, 8개 연구는 Implementation Outcomes Framework (IOF)를 활용하였다[12, 13]. 또 다른 연구자들은 CFIR 자체를 변형하여 RE-AIM과 IOF에서 제시하는 결과 항목을 포함시키기도 하였으며, 이에 해당하는 예로는 CFIR-Process Redesign[14, 15]와 Care Transitions Framework[16]가 있다.
우리는 이번 CFIR Outcomes Addendum에서 RE-AIM 프레임워크와 IOF를 참조하여,
- 실행 결과와 혁신 결과를 큰 범주로 나누어 제시하였다. 더불어,
- 실행 결과 안에서도 예상되는(anticipated) 실행 결과와 실제(actual) 실행 결과를 구분하였다.
- 마지막으로, 우리는
- 컨텍스트 요인(contextual determinants)—즉, CFIR에서 제시하는 구성요소들—을 실행 결과에 영향을 주는 조절변수(moderators)로 간주하고, 이에 반해
- 혁신 결정 요인(innovation determinants)—CFIR의 범위를 넘어선 것들—은 혁신 결과에 영향을 미치는 조절변수로 간주한다.
우리의 목표는 새로운 프레임워크를 만드는 것이 아니라, 결정 요인과 결과 간의 관계를 명확히 하고, 사용자가 다른 프레임워크를 사용할 때도 적용할 수 있는 포괄적 정의를 제공하는 데 있다.
실행 결과 (Implementation Outcomes)
CFIR Outcomes Addendum에서는 실행 결과(implementation outcomes)를 실행의 성공 또는 실패로 넓게 개념화한다. 이때 예상되는 실행 결과(anticipated implementation outcomes)는 향후 실행이 성공할 가능성 또는 실패할 가능성에 대한 인식이나 측정값에 기반한다. 즉, 아직 발생하지 않은 실행 결과를 의미한다. 이러한 결과는 미래지향적이며, 여러 CFIR 도메인에 걸친 결정 요인들의 조합(constellations)이 이 결과를 예측(predict)하게 된다. 예상 결과(anticipated outcomes)라는 개념은 과학기술사회학(Sociology of Science and Technology) 분야에서 이미 잘 확립된 이론이다. 예컨대, Borup 등은 다음과 같이 주장한다:
“기대(expectations)는 근본적으로 ‘생성적(generative)’이다. 기대는 활동을 인도하고, 구조와 정당성을 부여하며, 관심을 끌고 투자를 유도한다. 기대는 역할을 정의하고, 의무를 명확히 하며, 무엇을 예상하고 어떻게 기회와 위험에 대비할지를 규정해 준다.” [17]
“[…] expectations can be seen to be fundamentally ‘generative,’ they guide activities, provide structure and legitimation, attract interest and foster investment. They give definition to role, clarify duties, offer some shape of what to expect and how to prepare for opportunities and risks.”
여기서 anticipated와 expected는 혼용되며, 본 Addendum에서는 anticipated라는 용어를 채택하였다.
반면, 실제 실행 결과(actual implementation outcomes)는 이미 발생한 실행의 성공 또는 실패에 대한 인식이나 측정값에 기반한다. 즉, 과거 또는 현재의 실행 결과를 의미하며, 이는 과거지향적이며, 여러 CFIR 도메인의 결정 요인 조합이 이 결과를 설명(explain)하게 된다. 예상 결과와 실제 결과는 모두 정량적(quantitative) 또는 정성적(qualitative) 방식으로 평가할 수 있다.
예상 결과(anticipated outcomes)와 실제 결과(actual outcomes) 모두는 본 연구팀의 작업과 RE-AIM 프레임워크에 기반하여 세 가지 광범위한 결과 범주로 개념화된다. 실행 연구는 일반적으로 초기 실행의 성공(initial implementation success)에 초점을 맞춰왔으나, 단기적 실행 목표에서 장기적 유지(sustainment)로의 전환 필요성이 점점 더 강조되고 있다. 실제로, 문헌 고찰과 설문 응답 모두에서 ‘이행 가능성(implementability)’과 ‘실행 실행성(implementation)’을 포착하는 개념의 중요성을 지적했으며, 그보다 더 많은 응답은 지속 가능성(Sustainability) 및 유지(Sustainment)의 평가 필요성을 강조했다[14, 15, 18–26].
한 설문 응답자는 다음과 같이 설명했다:
“우리는 연구에서 프레임워크에 지속 가능성(sustainability 또는 sustainment)을 추가했다. 실행 과정을 설계할 때, 지속 가능성을 염두에 둔 계획은 초기에 시작되어야 한다.”
“We added sustainability [sustainment] to the framework in our study. Planning for sustainability [sustainment] should begin at the earliest stages of the implementation process.”
또한 Ilot 등은 비판적 논평에서 다음과 같이 지적했다:
“EBI가 유지되지 않을 경우, 이는 경제적 긴축 상황에서 시간, 재정, 리더십 역량의 낭비를 초래한다.”
“[...] when EBIs are not sustained, the result is a ‘waste of time, financial resources and leadership effort at a time of economic austerity’” [18].
이에 따라,
- 예상되는 결과(anticipated outcomes)에는
- 채택 가능성(adoptability), 실행 가능성(implementability), 지속 가능성(sustainability)이 포함되고,
- 실제 결과(actual outcomes)에는
- 채택(adoption), 실행(implementation), 유지(sustainment)가 포함된다.
이러한 주요 실행 결과 범주는 실행 노력의 궁극적인 목표에 초점을 둔다:
- 혁신을 수행하기로 결정하는가?(채택)
- 실제로 혁신이 전달되는가?(실행)
- 혁신이 장기적으로 계속 전달되는가?(유지)
각 실행 결과에 대한 정의는 표 1(Table 1)에 정리되어 있다.
결과적으로, Implementation Outcomes Framework(IOF)에서는 수용 가능성(acceptability), 적절성(appropriateness), *실현 가능성(feasibility)*을 실행 결과(implementation outcomes)로 분류하고 있지만, CFIR Outcomes Addendum에서는 이들을 실행 결과로 포함하지 않았다.
이러한 지표들은 예상(anticipated) 또는 실제(actual) 실행 결과를 예측하는 데 사용될 수 있기 때문이다. 예를 들어, Weiner 등은 수용 가능성, 적절성, 실현 가능성에 대한 측정 도구를 개발했으며, 이들이 채택(adoption)이나 실행(implementation)의 예측 요인(predictors)으로 작용할 수 있음을 강조하였다[27]. 따라서, Reilly 등의 입장을 따라, 우리는 이와 같은 지표들을 “선행 평가(Antecedent Assessments)”로 분류한다[28].
또한 CFIR 내에서는 ‘실행 분위기(implementation climate)’와 ‘실행 준비도(implementation readiness)’를 상위 개념(higher-order constructs)으로 정의하고 있으며, 이들은 여러 결정 요인(determinants)으로 구성된다. CFIR가 발표된 이후, 이 두 개념은 실행 결과의 잠재적인 예측 변수로서 개념적·측정적 발전이 지속되어 왔지만, 실행 이론 내에서의 역할에 대해서는 명확한 합의(consensus)가 부족한 실정이다[29, 30, 31]. 따라서 우리는 이 ‘실행 준비도’와 ‘실행 분위기’ 역시 선행 평가(antecedent assessments) 범주에 포함시킨다. 이들은 CFIR의 결정 요인과 실행 결과 사이에 위치하며, 도식 Fig. 1에서 그 구조를 시각화하고 있다.
📊 표 2(Table 2)에서는 RE-AIM Framework와 IOF의 결과 항목을 CFIR Outcomes Addendum의 구조에 어떻게 연결(mapping)시켰는지를 정리하였다.
우리는 결과를 넓은 수준에서 개념화하는 것을 목표로 하므로, 기존 프레임워크의 구체적인 결과 항목들은 CFIR Outcomes Addendum의 더 포괄적인 개념으로 대응(mapping)되었다.
🔤 용어 관련 참고 사항:
Sustainability와 Sustainment는 일상적으로 혼용되는 용어이며, 이와 관련한 ‘지속 가능성 과학(science of sustainability)’은 ‘실행 과학(science of implementation)’ 분야에 매우 유용한 시사점을 제공한다[17]. 따라서 우리는 RE-AIM Framework에서 사용된 Maintenance라는 용어 대신, Sustainability와 Sustainment라는 용어를 CFIR Outcomes Addendum의 공식 용어로 채택하였다.
혁신 결과 (Innovation Outcomes)
CFIR Outcomes Addendum에서는 혁신의 성공 또는 실패를, 혁신이 세 가지 주요 집단(중요한 이해관계자)에 미치는 영향에 따라 넓은 개념으로 정의한다. 이 세 집단은 다음과 같다:
- 혁신 수혜자(innovation recipients)
- 혁신 전달자(innovation deliverers)
- 핵심 결정권자(key decision-makers)
- 혁신 수혜자(recipients)는 해당 혁신이 직접적인 혜택을 주기 위해 설계된 사람들이다. 예를 들어, 치료를 받는 환자, 학습 활동을 받는 학생, 도시 서비스를 제공받는 시민 등이 이에 해당한다.
- 혁신 전달자(deliverers)는 혁신을 수혜자에게 직접 또는 간접적으로 전달하는 사람들이다. 예를 들어, 환자에게 치료를 제공하는 임상의, 학생에게 학습 활동을 제공하는 교사, 시민에게 도시 서비스를 제공하는 공무원 등이 여기에 포함된다.
- 핵심 결정권자(key decision-makers)는 혁신이 실행되는 조직이나 지역 사회 내에서 권한을 가진 사람들이다. 예를 들어, 치료 방침을 결정하는 병원장, 교육 프로그램을 결정하는 교육청 감독관, 도시 서비스를 결정하는 시장 등이 이에 해당한다.
⚠️ 여기서 중요한 점은, 수혜자와 전달자의 역할이 겹치는 경우도 있다는 것이다. 예를 들어, 병원 직원을 대상으로 한 예방접종 프로그램에서는 모든 직원이 잠재적 수혜자가 될 수 있고, 이 중 직원 건강부(Employee Health)의 간호사들처럼 백신을 실제로 투여하는 직원은 전달자가 될 수 있다. 이러한 세 가지 주요 집단에 대한 구분은 의료 분야 안팎의 다양한 혁신을 계획하고 평가할 때 CFIR을 사용하는 연구자들의 피드백을 반영한 것이다.
기존의 여러 프레임워크(예: IOF의 Client and Service Outcomes 목록 등)는 보통
- 환자와 같은 수혜자(innovation recipients)
- 병원장과 같은 결정권자(key decision-makers)
가 중요하게 여기는 결과에 우선순위(priority)를 둔다. 반면, - 의사나 교사처럼 혁신을 실제로 수행하는 전달자(innovation deliverers)가 중요하게 여기는 결과는 간과되는 경우가 많았다.
이러한 맥락에서, 직원들의 업무 환경과 웰빙에 주목하게 된 것이
- ‘트리플 에임(Triple Aim)’—환자 경험 향상, 건강 수준 개선, 비용 절감—에서
- ‘쿼드러플 에임(Quadruple Aim)’으로의 진화였다. 쿼드러플 에임은 기존 세 가지 목표에 “의료진과 직원의 삶의 질과 행복 개선”이라는 목표를 추가하였다[35, 36].
즉, 이상적인 혁신 실행은 다음 세 가지 집단 모두에 긍정적인 결과를 가져와야 한다:
- 수혜자(예: 환자에게 더 나은 치료)
- 전달자(예: 임상의의 소진 감소, 근무 경험 개선)
- 결정권자(예: 시스템 운영 효율화)
📌 실행 결과가 지속적으로 유지(sustainment)되기 위해서는, 이 세 집단 간의 목표가 정렬(alignment)될 필요가 있다. 세 집단은 각기 다른 우선순위와 관심사를 가지고 있기 때문이다[37–40]. 예를 들어, 환자의 기능 향상이라는 결과는 환자에게는 매우 중요하지만, 그 혁신이 의료진의 번아웃을 증가시키거나, 시스템 비용을 증가시킨다면 해당 혁신은 지속되기 어렵다. CFIR 사용자들은 실행의 지속 가능성 확보에 초점을 두고 있기 때문에, 어떤 결과가 어떤 집단에게 가장 중요한지 고려하는 것이 매우 중요하다.
우리는 CFIR Outcomes Addendum이 혁신 결과에 영향을 받는 ‘사람들(human-beings)’을 강조함으로써, 연구자들과 조직이 인간 중심주의(humanism)와 형평성(equity)의 가치를 인식하고 이를 중심으로 혁신을 실행할 수 있도록 도와줄 것이라 믿는다.
📊 Figure 1은 CFIR Outcomes Addendum의 구성 요소들을 시각적으로 보여준다.
도식 Fig. 1에 대한 설명: 도식 상단의 오른쪽 화살표(right-facing arrows)는 다음 두 가지 관계의 시간적 순차성(temporal nature)을 나타낸다:
- 예상 결과(anticipated implementation outcomes) → 실제 결과(actual implementation outcomes)
- 실행 결과(implementation outcomes) → 혁신 결과(innovation outcomes)
- 먼저, 예상 결과와 실제 결과 사이의 화살표는 앞서 설명한 대로 예상 결과의 생성적 성격(generative nature)을 시각화한 것이다(위 “Implementation outcomes” 섹션 참고).
- 또한, 실행 결과와 혁신 결과 사이의 화살표는 실행과학(implementation science) 분야의 핵심 전제를 반영한다. 즉, 성공적인 실행은 혁신의 최대 효과를 달성하기 위한 필수 전제 조건이다 [41].
예를 들어, 아무리 효과적인 혁신이라 하더라도 실행이 부실하게 이뤄질 경우, 예상된 결과를 만들어내지 못하게 된다. 이러한 상황은 “유형 III 오류(Type III error)”로 간주된다. 이는 실제로는 효과적인 혁신을, 실행 실패로 인해 비효과적인 것으로 잘못 결론짓는 오류를 말한다[42].
한편, 도식 하단의 왼쪽 화살표(left-facing arrows)는 긍정적 혁신 결과가 실행 및 유지에 대한 지속적 의지를 촉진하는 ‘강화 루프(reinforcing loop)’를 형성할 수 있음을 시각화한 것이다[43].
📌 용어 관련 주석 (A note on terminology)
우리는 ‘혁신(innovation)’이라는 용어를 선택하여 보다 포괄적 개념을 담고자 하였다. Rogers의 고전적 확산 이론(Diffusion of Innovation Theory)에 따르면,
“혁신이란 개인이나 집단이 새롭게 인식하는 아이디어, 실천, 또는 사물이다.”
즉, 해당 맥락이나 사람에게 ‘새롭다고 여겨지는 것’이라면 그것은 혁신이다[44].
이 정의는 매우 포괄적이며, 어떤 ‘무엇(thing)’이든 실행 대상이 될 수 있다는 의미이다[45]. 예를 들어,
- 의약품(medications)
- 의료기기(medical devices)
- 행동 변화 중재(behavior change interventions)
- 기술(technology)
- 또는 이들의 결합 형태까지도 혁신(innovation)의 범주에 포함된다.
이상적으로는, 혁신은 실행 이전에 ‘강력한 근거(strong evidence-base)’에 의해 뒷받침되어야 한다. 그러나 실제로는
- 어떤 유형의 근거가 실행에 충분한가에 대한 합의가 부족하며[46–48],
- 지식 생산의 분절화(knowledge-building silos), 예를 들어 임상시험 연구자(clinical trialists)와 실행과학자(implementation scientists) 사이의 협력 부족이 존재한다.
이로 인해 혁신을 실천으로 빠르게 전환하기 위한 구조적 개선이 필요하다[49]. 따라서 우리는 ‘innovation’이라는 용어를 채택하여, 다양한 출처와 유형의 근거로 뒷받침되는 모든 실행 대상을 포괄하고자 하였다. 이는 실행과학이 다루는 혁신의 다양성과 현실적 복잡성을 반영한 선택이다.
CFIR의 실행 결정 요인(implementation determinants)과 혁신 결정 요인(innovation determinants)
연구자가 데이터를 수집할 때, 반드시 수집 목적을 명확히 해야 한다:
- CFIR의 범위 내에서, 실행 결정 요인에 기반해 실행 결과(implementation outcomes)를 예측 또는 설명하려는 것인지,
- CFIR의 범위를 넘어, 혁신 결정 요인에 기반해 혁신 결과(innovation outcomes)를 예측 또는 설명하려는 것인지.
다음 섹션에서는 ‘실행 결정 요인’과 ‘혁신 결정 요인’의 역할 차이를 탐구한다.
✅ 실행 결정 요인 (Implementation determinants)
CFIR의 실행 결정 요인은 설정(setting) 수준의 장애물과 촉진 요인을 포착하며, 이들은 다음을 예측 또는 설명한다:
- 선행 평가(antecedent assessments)
- 예상 실행 결과(anticipated implementation outcomes)
- 실제 실행 결과(actual implementation outcomes)
이러한 결정 요인들은 도식 Fig. 1에서 ‘CFIR implementation determinants’로 표기된 회색 화살표로 나타난다. 해당 요인에 대한 데이터(정성적 및/또는 정량적)는 실행과 관련된 영향력이나 권한을 가진 사람들, 즉 보통 핵심 결정자(key decision-makers)나 혁신 실행자 및 전달자들로부터 수집하는 것이 적절하다.
CFIR 사용자 20명 이상이 ‘수혜자(recipient)’로부터 직접 데이터를 수집하기 위한 도메인이나 구성요소를 추가하자고 제안했으나, 수혜자가 실제로 실행 또는 전달에 관여하지 않는 한, CFIR은 수혜자 데이터 수집에 적합한 프레임워크가 아니다.
Orlando 등은 다음과 같이 지적한다:
“…환자는 건강관리 조직의 일부이며, 중재(=혁신)의 효과를 평가하는 데 본질적인 존재임에도 불구하고, 실행 성공에 있어 관리자나 의사에 비해 영향력이 떨어진다.” [50]
물론 최근에는
- 환자 중심 치료(patient-centered care)의 우선순위 상승,
- 환자 자문위원회(patient advisory boards)의 조직,
- 환자 참여 기반 공동 설계(co-design) 등 다양한 노력이 시도되고 있다[51, 52].
그러나 여전히 환자와 결정권자 간에 실질적인 권력 공유(power-sharing)는 이루어지지 않고 있다[53].
그 결과, 수혜자로부터의 직접적인 데이터 수집은 실행 결과에 유용한 정보를 제공하지 못하는 경우가 많다. 대신, 핵심 결정자나 혁신 전달자로부터 ‘수혜자에 대한 인식(perceptions of recipients)’—예: 수혜자의 특성이나 요구—에 대한 데이터를 수집하는 것이 실행 결과에 대한 더 많은 정보를 제공한다. 현재로서는 수혜자는 대부분 실행자나 결정권자가 아니기 때문에 CFIR의 적용 대상이 되지 않지만, 우리는 이 구조가 변해야 한다고 믿는다. 수혜자도 의료 시스템에서 더 많은 영향력과 권한을 가져야 하며, CFIR 2.0에서는 수혜자와 혁신 전달자가 실행 팀의 일원으로 포함되어야 함을 강조할 것이다. 이러한 역할을 맡는 수혜자로부터는, 당연히 CFIR을 사용하여 실행 결정 요인에 대한 데이터 수집이 가능하다.
📌 궁극적으로는, 진정한 형평성 있는 인구 수준의 효과는 수혜자가 실행에 적극적으로 참여하고, 모든 핵심 이해집단이 권력을 공유하며 함께 결정할 때에만 실현 가능하다.
✅ 혁신 결정 요인 (Innovation determinants)
혁신 결정 요인은 수혜자 수준에서의 특성이나 혁신 경험을 포착하며, 혁신 결과(innovation outcomes)를 예측 또는 설명한다.
이 요인들은 Fig. 1에서 ‘Innovation determinants’로 표기된 회색 화살표로 나타난다. 해당 요인에 대한 데이터(정성/정량)는 수혜자(recipient)로부터 수집하는 것이 가장 적절하다. 이러한 결정 요인은 대개 혁신을 설계할 때 사용된 이론적 프레임워크에 기반한 구성요소 또는 측정 지표이다. 예를 들어, 환자를 대상으로 한 “소규모 변화(small change)” 체중감량 중재의 경우, 다음과 같은 환자 수준 요인이 혁신 결정 요인으로 간주되었다[54]:
- 인구통계적 특성
- 동기와 의도
- 자기 효능감(self-efficacy)
이 혁신은 무작위 임상시험(RCT) 내에서 검증되었고[55], 환자 특성의 일부는 2차 분석(secondary analysis)을 통해 혁신 결과를 설명하기 위한 요인으로 활용되었다[56–59].
📌 중요: CFIR은 이러한 ‘이론 기반 혁신 결정 요인’을 수집하기 위해 설계된 프레임워크는 아니다.
✅ 결론 (Conclusion)
실행과학이 하나의 학문 분야로 성숙해감에 따라, 이 분야에서 사용하는 프레임워크도 함께 성숙해야 한다 [60, 61].
본 논문은 CFIR에 ‘Outcomes Addendum’을 포함시킬 것을 제안하며, 그 목적은 다음과 같다:
- CFIR (및 유사한 결정 요인 프레임워크)과 함께 사용할 수 있도록, 결과의 유형을 명확히 개념적으로 구분하는 것
- 연구자가 어떤 결과를 평가할 것인가를 결정할 때 명확한 기준을 제공하는 것
- 지속 가능한 결과(sustained outcomes)를 달성하기 위해, 다양한 핵심 집단(key constituencies)에 중점을 두는 결과 중심 접근을 장려하는 것
우리는 이 제안을 통해 피드백과 논의가 활발히 이뤄지기를 기대하며, CFIR Outcomes Addendum의 가치와 타당성에 대한 건설적 논쟁이 촉진되기를 바란다.
✅ 실행 결과(Implementation Outcomes)의 정의
🔹 1. Adoptability (채택 가능성)
예상 결과 → 핵심 결정권자(key decision-makers)가 해당 혁신을 도입하거나, 혁신 전달자(innovation deliverers)가 이를 전달하기로 결정할 가능성을 의미합니다.
“The likelihood key decision-makers will decide to put the innovation in place/innovation deliverers will decide to deliver the innovation.”
🔹 2. Adoption (채택)
실제 결과 → 핵심 결정권자가 혁신을 도입하기로 실제로 결정한 정도, 또는 혁신 전달자가 이를 실제로 전달하기로 결정한 정도를 의미합니다.
“The extent key decision-makers decide to put the innovation in place/innovation deliverers decide to deliver the innovation.”
🔹 3. Implementability (실행 가능성)
예상 결과 → 해당 혁신이 실제로 도입되거나 전달될 가능성을 의미합니다.
“The likelihood the innovation will be put in place or delivered.”
🔹 4. Implementation (실행)
실제 결과 → 해당 혁신이 도입되었거나 현재 전달되고 있는 정도를 의미합니다.
“The extent the innovation is in place or being delivered.”
🔹 5. Sustainability (지속 가능성)
예상 결과 → 해당 혁신이 장기적으로 도입되거나 전달될 가능성을 의미합니다.
“The likelihood the innovation will be put in place or delivered over the long-term.”
🔹 6. Sustainment (지속)
실제 결과 → 해당 혁신이 장기적으로 도입되었거나 전달되고 있는 정도를 의미합니다.
“The extent the innovation is in place or being delivered over the long-term.”
🔹 1. CFIR Implementation Determinants (왼쪽 회색 화살표)
- 이는 기존 CFIR 프레임워크의 결정 요인(determinants)을 나타냅니다.
- 이 결정 요인은 조직 수준에서의 장애물 또는 촉진 요인을 말하며, 실행 성과에 영향을 줍니다.
🔹 2. Antecedent Assessments (선행 평가)
- CFIR 실행 결정 요인과 실행 결과 사이에는 ‘선행 평가(Antecedent Assessments)’가 존재합니다.
- 여기에는 다음과 같은 항목들이 포함됩니다:
- Acceptability (수용 가능성)
- Appropriateness (적절성)
- Feasibility (실현 가능성)
- Implementation Climate (실행 분위기)
- Implementation Readiness (실행 준비도)
✅ 이들은 예상 또는 실제 실행 결과에 영향을 미치는 초기 평가 변수들입니다.
🔹 3. Implementation Outcomes (실행 결과)
실행 결과는 두 범주로 나뉩니다:
📘 Anticipated Implementation Outcomes (예상 실행 결과)
- 실행의 성공/실패 가능성에 대한 지표들입니다.
- 세 가지 구성 요소:
- Adoptability (채택 가능성)
- Implementability (실행 가능성)
- Sustainability (지속 가능성)
→ 이들은 미래를 예측하는 변수이며, 실행이 성공할 가능성을 보여줍니다.
➡️ 오른쪽 화살표는 예상 결과 → 실제 결과로 이어지는 시간적 흐름을 나타냅니다.
📘 Actual Implementation Outcomes (실제 실행 결과)
- 실제로 실행이 성공했는지 실패했는지에 대한 지표들입니다.
- 세 가지 구성 요소:
- Adoption (채택)
- Implementation (실행)
- Sustainment (지속)
→ 이들은 과거 또는 현재 시점에서 실행이 얼마나 잘 되었는지를 평가합니다.
↩️ 아래쪽의 왼쪽 화살표는 혁신 결과의 긍정적인 영향이 다시 실행 지속성을 강화하는 피드백 루프(reinforcing loop)를 의미합니다.
🔹 4. Innovation Outcomes (혁신 결과)
- 이는 혁신이 주요 이해관계자에게 어떤 영향을 주었는지를 평가합니다.
- 하단 원형 다이어그램은 세 주요 집단을 보여줍니다:
- Innovation Deliverers (전달자)
- Key Decision-Makers (핵심 결정자)
- Innovation Recipients (수혜자)
💡 가운데의 Equitable Population Impact (형평성 있는 인구 수준 영향)은 이 세 집단 모두에게 긍정적인 결과가 돌아갈 때 실현됩니다.
↔️ 세 집단 사이의 화살표는 상호작용과 영향력의 흐름, 그리고 그들이 함께 목표를 공유해야 한다는 메시지를 담고 있습니다.
🔹 5. Innovation Determinants (오른쪽 회색 화살표)
- 이는 혁신 결과에 영향을 미치는 수혜자(recipient) 수준의 요인들을 뜻합니다.
- 예: 개인의 동기, 자가 효능감, 혁신에 대한 경험 등
📌 이는 CFIR 프레임워크의 범위를 넘어서는 부분이며, 별도의 이론 기반에서 수집되어야 할 결정 요인입니다.
✨ 정리하면:
이 그림은 다음을 구조적으로 보여줍니다.
- 실행 결정 요인은 →
- 선행 평가와 실행 결과(예상/실제)에 영향을 주고 →
- 실행 성공은 혁신 결과로 이어지며,
- 혁신 결과가 긍정적일 경우, 실행의 지속성과 강화로 되돌아오는 선순환이 발생함을 나타냅니다.
이러한 구조는 실행과학의 핵심 목표인
“무엇이, 어디서, 왜 작동하는가?”
에 대해 보다 체계적이고 공평하게 접근할 수 있도록 도와줍니다.
좋습니다! 아래는 사용자가 제공한 Table 2: RE-AIM Framework and IOF outcomes mapped to the CFIR Outcomes Addendum의 전반부에 대한 자세한 설명입니다. 이 표는 세 가지 축—① RE-AIM 프레임워크, ② Implementation Outcomes Framework (IOF), ③ CFIR Outcomes Addendum—을 서로 어떻게 매핑할 수 있는지를 보여주는 표입니다.
🧩 Table 2 해설 (1/2): 세 가지 프레임워크 간 매핑 구조
📌 1. Acceptability (수용 가능성)
- IOF 정의:
“혁신이 ‘동의할 만하고, 받아들일 만하고, 만족스러운(agreeable, palatable, satisfactory)’ 것으로 인식되는 정도.” - CFIR Addendum 분류:
👉 Antecedent assessments
→ 실행 결과에 직접 포함되지는 않지만, 사전 평가 변수로 사용됨.
📌 2. Appropriateness (적절성)
- IOF 정의:
“해당 혁신이 특정 환경(예: 진료 환경, 제공자, 소비자 등)이나 문제 상황에 적합하다고 인식되는 정도.” - CFIR Addendum 분류:
👉 Antecedent assessments
📌 3. Feasibility (실현 가능성)
- IOF 정의:
“해당 혁신이 특정 기관이나 환경 내에서 성공적으로 실행될 수 있는 가능성.” - CFIR Addendum 분류:
👉 Antecedent assessments
📌 4. Adoption (채택)
- RE-AIM 정의:
“프로그램을 시작하려는 환경(setting)과 개입 전달자(agent)의 수, 비율, 대표성.” - IOF 정의:
“혁신을 시도하거나 사용하는 의도, 초기 결정 또는 행동.” - CFIR Addendum 분류:
👉 Actual Implementation Outcomes: Adoption
📌 5. Implementation (실행, setting-level)
- RE-AIM 정의:
“개입 제공자가 중재 프로토콜의 여러 요소들을 얼마나 충실히(fidelity) 이행했는가. 또한 수정 사항 및 비용 포함.” - IOF 정의:
“개입이 원래 프로토콜 혹은 설계자의 의도대로 정확히 이행되었는지에 대한 정도.” - CFIR Addendum 분류:
👉 Actual Implementation Outcomes: Implementation
📌 6. Penetration (침투도, setting-level)
- IOF 정의:
“서비스 제공 시스템 내에서 개입이 얼마나 통합되었는지를 나타냄. 예: 치료 제공자 중 훈련받은 인원의 비율 등.”
📍 CFIR Addendum에서는 명시적으로 다루고 있지는 않음 (N/A로 표시됨).
📌 7. Fidelity (충실도)
- RE-AIM 정의:
“다양한 환경, 인력, 환자 간의 일관성 있는 실행 정도.” - IOF 정의:
“중재가 원래대로 실행되었는지에 대한 정확성 정도.” - CFIR Addendum:
👉 명시적 매핑 없음 (N/A) – 간접적으로 Implementation에 반영될 수 있음.
📌 8. Cost (비용)
- RE-AIM 정의:
“환자, 조직, 제공자 수준 등에서 프로그램이나 정책을 재현하는 데 드는 비용.” - IOF 정의:
“실행 전략, 개입, 서비스 장소 등에 따른 비용 영향.” - CFIR Addendum 분류:
👉 N/A: 정의 방식에 따라 실행 또는 혁신 결정 요인 혹은 결과일 수 있음.
📌 9. Adaptation (적응)
- RE-AIM 정의:
“실행 전, 중, 후에 이루어진 조정이나 수정.” - CFIR Addendum 분류:
👉 *결정 요인(determinant)*으로 간주되며, CFIR의 Process Domain에 속함.
📌 10. Maintenance / Sustainability (지속성, setting-level)
- RE-AIM 정의:
“중재가 조직의 정책이나 일상 운영에 얼마나 정착되었는지.” - IOF 정의:
“새롭게 실행된 중재가 안정적인 서비스 운영으로 유지 또는 제도화되는 정도.” - CFIR Addendum 분류:
👉 Actual Implementation Outcomes: Sustainment
📌 *“Setting Impact (Adoption × Implementation)”*은 일부 문헌에서 언급되었지만, CFIR Addendum에는 명시적으로 포함되지 않았습니다.
🧩 Table 2 (후반부) 설명: 수혜자(recipient)-중심 결과의 매핑
📌 1. Reach (수혜자 수준)
- RE-AIM 정의:
“어떤 프로그램이나 개입에 참여하려는 개인들의 절대 수, 비율, 대표성.” - IOF 정의:
Penetration (recipient-level) – “서비스를 사용하는 자격이 있는 사람 중 실제로 서비스를 이용한 사람의 비율.” - CFIR Addendum 매핑:
👉 Innovation Outcomes
→ 수혜자, 전달자, 결정권자에게 미치는 혁신의 영향을 포괄함.
📌 2. Implementation (수혜자 수준)
- RE-AIM 정의:
“클라이언트(수혜자)의 중재 및 실행 전략 사용 정도.” - CFIR Addendum 매핑:
👉 Innovation Outcomes
📌 3. Effectiveness (효과성)
- RE-AIM 정의:
“중재가 삶의 질, 부작용, 경제적 결과 등에 미친 영향.” - IOF 정의:
Client Outcomes – “만족도, 기능, 증상 등.” - CFIR Addendum 매핑:
👉 Innovation Outcomes
📌 4. Maintenance (수혜자 수준)
- RE-AIM 정의:
“치료나 개입 이후 6개월 이상 행동이 유지되는 정도.” - CFIR Addendum 매핑:
👉 Innovation Outcomes
📌 5. Recipient Impact
- RE-AIM 정의:
“Reach × Effectiveness”로 정의됨. 수혜자의 도달과 효과성을 곱한 지표. - CFIR Addendum 매핑:
👉 명시적으로 포함되진 않지만, Sustainment 개념과 개념적으로 연계됨.
(“The CFIR Outcomes Addendum conceptualizes Recipient Impact as Sustainment”)
📌 6. Service Outcomes (서비스 결과)
- IOF 정의:
“서비스가 안전성, 효과성, 환자 중심성, 시의성, 효율성, 형평성을 얼마나 갖추고 있는지.” - CFIR Addendum 매핑:
👉 Innovation Outcomes
→ 특히 전달자와 수혜자 모두에게 중요한 가치 기준으로 작용할 수 있음.
🧾 하단 주석 요약
- a. Implementation과 Maintenance는 setting-level과 recipient-level 두 가지로 정의됨.
각각은 Implementation Outcomes와 Innovation Outcomes으로 매핑됨. - b. Penetration은 setting-level에서는 Implementation Outcomes, recipient-level에서는 Innovation Outcomes에 매핑됨.
- c. Sustainability라는 용어는 IOF에서 사용되지만, CFIR Addendum에서는 Sustainment로 개념화됨.
- d. Recipient Impact는 Reach × Effectiveness 개념으로 정의되며, CFIR Addendum에서는 Sustainment로 해석됨.
- e. Client Outcomes와 Service Outcomes는 수혜자와 전달자 모두에게 중요한 결과로, 혁신 결과(innovation outcomes)의 일부로 간주됨.
✅ 요약
Table 2 전체는 기존의 RE-AIM 및 IOF 결과 지표들이 CFIR Outcomes Addendum에서 어떻게 해석되고 위치 지어지는지를 보여줍니다.
- 조직의 준비도, 수용성 등은 선행 평가(antecedent assessments)
- 채택, 실행, 지속성은 실행 결과(implementation outcomes)
- 수혜자, 전달자, 결정권자에게 미치는 영향은 혁신 결과(innovation outcomes)로 정리됩니다.
이 표는 다양한 프레임워크 간의 호환성, 연계성, 용어 정합성을 이해하는 데 매우 유용한 구조적 맵이라 할 수 있습니다.
'논문 읽기 (with AI)' 카테고리의 다른 글
| 복잡한 개입의 과정 평가: 의료 연구 위원회 지침 (BMJ. 2015) (0) | 2025.06.18 |
|---|---|
| 실행 연구: 무엇이며 어떻게 수행하는가 (BMJ. 2013) (1) | 2025.06.18 |
| 행동 변화의 이론적 영역 프레임워크(TDF)를 활용한 구현 문제 조사 가이드 (Implement Sci. 2017 ) (2) | 2025.06.15 |
| 사용자 피드백을 반영한 업데이트된 통합 실행 연구 프레임워크 (CFIR) (Implement Sci. 2022) (1) | 2025.06.15 |
| 학습 건강 시스템(HLS)의 다단계 분석(MLA): 조직 연구와 실행 연구의 기여를 통합한 접근법(Learn Health Syst. 2020) (0) | 2025.06.15 |