원칙 중심 평가: 지속적인 전문성 개발 평가의 유망한 사례 (J Contin Educ Health Prof. 2023)
Principles-Focused Evaluation: A Promising Practice in the Evaluation of Continuing Professional Development
🎯 원칙 중심 평가(Principles-Focused Evaluation): 결과만 보지 말고, 가치를 보라!
요즘 의학교육 프로그램을 평가할 때, ‘이 프로그램이 효과가 있었냐’는 질문만으로는 부족하다는 얘기, 들어보셨나요? 특히 복잡한 보건의료 시스템에서 운영되는 Continuing Professional Development (CPD) 프로그램처럼, 단순한 ‘성과(outcome)’만 가지고는 진짜 의미를 파악하기 어려운 경우가 많습니다.
오늘 소개할 논문은 바로 이 지점에서 Principles-Focused Evaluation (PFE, 원칙 중심 평가)라는 새로운 평가 프레임워크를 제시합니다. 👀
🧭 “원칙”에 주목한 평가
PFE는 기존처럼 "이 프로그램이 효과가 있었는가?"를 묻는 데 그치지 않고, "이 프로그램이 우리가 중요하게 여기는 가치와 원칙에 따라 운영되고 있는가?"라는 질문을 던집니다.
“Principles, as ‘actionable and actioned values,’ become the focus of the evaluation.”
“원칙은 ‘실천 가능한, 그리고 실제로 실천되는 가치’로서 평가의 중심이 된다.”
이 말은, 프로그램이 운영되는 맥락(context)이나, 구성원들의 경험과 가치(lived experiences and values) 같은 요소들도 함께 고려해야 진짜 의미 있는 평가가 된다는 뜻입니다.
💡 이 논문, 뭐가 새롭냐고요?
이 논문은 Safer Opioid Prescribing / Effective Prescribing of Opioids for Chronic Pain (SOP/EPOCH)이라는 CPD 프로그램을 대상으로 Principles-Focused Evaluation을 실제로 적용한 사례를 소개하고 있습니다.
연구진은 먼저 핵심 팀원들과 함께 다음과 같은 질문으로 출발했어요:
“지금으로부터 3~5년 후, 이 프로그램이 엄청난 성공을 거두었다고 상상해보세요. 어떤 모습인가요? 그 프로그램은 어디에서 작동하고 있고, 어떤 점이 자랑스러우며, 어떤 가치를 실현했을까요?”
이런 질문들을 바탕으로, 팀원들이 중요하게 여기는 핵심 가치와 원칙들을 도출했습니다. 그리고 이 원칙들이 실제로 프로그램에 어떻게 반영되고 있는지를 지속적으로 평가한 거죠.
“Principles should provide guidance and be useful to program decision-makers, and they should be inspirational, developmental, and evaluable.”
“원칙은 프로그램 의사결정자에게 지침이 되어야 하며, 영감을 주고, 발전을 이끌며, 평가 가능해야 한다.”
📐 평가 지표는 ‘원칙의 실천 여부’
기존의 평가 방식은 대개 학습자 만족도, 지식 습득, 행동 변화 같은 결과 중심(outcome-based)의 지표를 사용하죠. 하지만 연구진은 이렇게 말합니다:
“Programs are derived, implemented, and iterated in ever-changing contexts… making evaluation of outcomes a constantly moving target.”
“프로그램은 끊임없이 변화하는 맥락에서 생성되고, 실행되며, 반복되기 때문에 결과 중심 평가는 끊임없이 움직이는 과녁과 같다.”
그래서 연구진은 각 원칙에 대해 아래 세 가지를 중심으로 평가 지표를 만들었습니다:
- 이 원칙은 명확하고 실천 가능한가?
- 실제로 지켜지고 있는가?
- 지켜졌을 때 혹은 지켜지지 않았을 때 무슨 차이가 있었는가?
이를 위해 ‘Minimum Specification Checklist’를 만들어서, 각 운영 사이트에서 꼭 지켜야 할 최소 기준을 마련했습니다. 참여자들에게도 설문조사를 진행하여, 이 원칙들이 얼마나 잘 실현되고 있다고 느끼는지를 물어봤어요.
🚀 PFE가 가진 힘은?
이 논문이 특히 강조하는 건, 원칙은 프로그램의 ‘핵심 가이드’가 된다는 점이에요.
“Articulation and examination of principles by program developers can provide direction and guidance when complex decisions need to be made.”
“프로그램 개발자가 원칙을 명확히 정의하고 탐색하는 행위는 복잡한 의사결정이 필요한 순간에 방향성과 지침을 제공할 수 있다.”
즉, 단지 "좋은 프로그램"이 아니라, "가치를 일관되게 지켜내는 프로그램"이 되게 해주는 나침반 역할을 한다는 거죠. 🔍
🤔 PFE가 적합하지 않은 경우도 있어요!
물론 모든 상황에서 PFE가 이상적인 건 아닙니다. 만약 프로그램이 표준화나 일관성을 엄격히 요구하는 환경에 있다면, 또는 사전에 정해진 결과에 대한 책임(accountability)이 주요 평가 목적이라면, 전통적인 성과 기반 평가가 더 적절할 수 있습니다.
✨ 마무리하며
이 논문이 말하고자 하는 핵심은 명확합니다.
“The true value of PFE… lies in the growing acceptance that program decisions, and thus impacts, are informed by dynamic context and the complexity of human behavior.”
“PFE의 진정한 가치는, 프로그램의 결정과 그 영향이 역동적인 맥락과 인간 행동의 복잡성에 의해 형성된다는 점을 점점 더 많은 사람들이 받아들이고 있다는 사실에 있다.”
결과만을 보는 평가에서 벗어나, 프로그램이 어떤 원칙을 중심에 두고 운영되고 있는지, 그리고 그 원칙이 실제로 지켜지고 있는지를 묻는 것. 그것이 바로 PFE의 핵심입니다.
1954년 Donald Kirkpatrick이 프로그램 평가 프레임워크를 발표한 이래로¹, 성과 기반(outcome-based) 모델은 평생전문직교육(Continuing Professional Development, CPD)과 전반적인 보건의료 교육 분야에서 지배적인 평가 방식으로 자리잡아 왔습니다²⁻³. 그러나 지난 수십 년 동안, 성과 기반 모델이 CPD가 존재하는 시스템의 복잡성을 충분히 반영하거나 통합하지 못한다는 인식이 점점 확산되고 있습니다⁴⁻⁶. 이러한 한계는 수집된 평가 정보의 실용성을 제약합니다. CPD 프로그램, 보건의료 시스템, 그리고 보건의료 시스템 내 의사결정의 복잡성이 증가함에 따라, 우리는 다음과 같은 특징을 지닌 보완적 프로그램 평가 모델을 전면에 내세울 필요가 있습니다.
- 프로그램 과정(program process)을 포함한 주요 의사결정을 지원할 수 있도록 의미 있고 관련성 높은 정보를 수집하는 것의 중요성을 강조하는 모델⁷
- 우리 프로그램이 놓여 있는 복잡한 환경과 고유한 맥락을 인정하는 모델⁸
이러한 모델은 다양한 관점을 수용하고, 실시간(real-time) 의사결정을 지원하며, 프로그램의 지속적인 반복과 개선(iteration)을 위한 공간을 창출합니다. 본 논문에서는 한 CPD 프로그램이 복잡한 의사결정(complex decision-making)을 지원하기 위해 새로운 평가 접근 방식인 ‘원칙 중심 평가(principles-focused evaluation)’를 어떻게 활용하였는지를 구체적으로 설명합니다.
방법(Method)
Safer Opioid Prescribing / Effective Prescribing of Opioids for Chronic Pain
‘Safer Opioid Prescribing / Effective Prescribing of Opioids for Chronic Pain (SOP/EPOCH)’ 프로그램은 온타리오주 의사 및 외과의사 협회(College of Physicians and Surgeons of Ontario)의 재교육(remediation) 프로그램에서 발전된 것으로, 2012년부터 현업의 보건의료 전문가들을 대상으로 인증된 CPD 프로그램으로 운영되어 왔습니다. 이 프로그램의 목표는 만성 통증 치료 및 오피오이드(opioid) 처방에 관한 보건의료 전문가의 지식과 기술을 향상시키는 것입니다.
프로그램은 세 차례의 실시간 웨비나(synchronous webinars)와 하루 동안 진행되는 워크숍(워크숍 전후의 사전·사후 학습 포함)으로 구성되며, 지금까지 Moore의 성과 프레임워크(Moore’s outcome framework)⁹를 중심으로 종합적인 평가가 이루어져 왔습니다. 평가 질문은 다음과 같은 내용을 포함했습니다:
- 프로그램의 실행 과정(implementation)
- 참여자의 경험, 학습, 수행 성과(performance outcomes)
- 팬데믹 기간 중 온라인 전달 방식에 대한 고려사항¹⁰
캐나다 오피오이드 위기(Canadian opioid crisis)라는 끊임없이 변화하는 맥락 속에서 프로그램 개발과 초기 평가 노력을 지원하기 위해 논리 모형(logic model)이 개발되었습니다. 2021년, 프로그램은 다음과 같은 발전 단계에 도달하였습니다:
- 지리적 범위 확대
- 전략적 파트너십 구축
- 참여자들의 처방 행태(prescribing patterns)에 더 깊은 영향을 미칠 수 있는 가능성 탐색
이러한 변화의 일환으로, 프로그램 명칭도 EPOCH으로 변경되었습니다. 프로그램의 다음 단계 발전을 위한 전략적 의사결정을 지원하기 위해, 기존의 성과 중심 평가를 대체하지 않으면서도 그와 병행하여 신뢰할 수 있고 관련성 있는 정보를 제공하는 보완적 평가 접근법이 유용하게 작용했습니다. 이 접근은, 프로그램과 그 맥락의 복잡성과 성숙도를 고려하면서도, 프로그램이 지닌 가장 높은 가능성을 실현하도록 돕는 평가 전략으로 기능했습니다.
Principles-Focused Evaluation (PFE, 원칙 중심 평가)
원칙 중심 평가(PFE, Principles-Focused Evaluation)는 활용 중심 평가(utilization-focused evaluation)의 확장 개념으로, 의사결정을 위한 유용하고 관련성 있는 정보를 생성하는 것을 핵심 원칙으로 합니다¹¹. 이 접근법은 프로그램의 책임(accountability)을 묻기보다는, 프로그램 자체에 대한 학습을 중심에 둡니다.
PFE는 교육 프로그램이 사람에 의해 운영되며, 이들의 행위(계획, 개발, 실행)는 각자의 경험, 전문성, 가치, 학문적 배경에 기초한다는 전제 위에 세워져 있습니다. 여기서 “원칙(principles)”이란 Patton의 정의에 따르면, 프로그램의 의사결정을 이끄는 ‘실천 가능한 가치(actionable values)’를 의미합니다. PFE는 프로그램이 이 원칙들과 얼마나 잘 정렬되고, 충실히 따르고 있는지를 살펴보는 데 중점을 둡니다.
PFE에서는 프로그램 자체가 아니라 ‘프로그램의 원칙’이 평가의 중심이 됩니다. 따라서 평가에서 다루는 주요 질문은 다음과 같습니다:
- 이 원칙들이 명확하고, 의미 있으며, 실천 가능한가?
- 그렇다면, 이 원칙들이 실제로 따르고 있는가?
- 그리고, 이 원칙들이 기대하는 결과로 이어지고 있는가?
원칙은 프로그램 의사결정자에게 지침이 되어야 하며, 동시에 영감을 주고, 성장을 촉진하며, 평가 가능(evaluable)해야 합니다¹¹.
PFE는 협업적이고 참여적인 접근을 통해 프로그램 이해관계자들과 함께 원칙을 공동 제작(co-create)합니다. 이러한 원칙은 다음의 세 가지 주요 요소로 구성됩니다:
- 포괄적 정의(Overarching Definition): 다양하고 복잡한 상황에서 선택과 결정을 내리는 데 있어 방향을 제공하는 문장
- 운영화 문장(Operationalizing Statements): 해당 원칙을 실제로 어떻게 적용할지를 안내하는 문장
- 최소 사양(Minimum Specifications): 원하는 결과를 이끌어낼 수 있으리라 기대할 수 있는 규칙이나 조건
PFE는 아직 보건의료 전문가 교육(health professions education)에서 비교적 새로운 평가 접근법이지만, 최근에는 의학교육 프로그램 개발¹²과 지역사회 기반 사회 혁신 프로그램¹³에 활용된 사례가 등장하고 있습니다. SOP/EPOCH 프로그램의 운영진과의 초기 논의 과정에서, 명확히 문서화되지는 않았지만 핵심 가치들이 프로그램 운영의 본질적인 동력이 되고 있음이 확인되었고, 이에 따라 PFE 접근을 적용하게 되었습니다.
PFE는 Moore의 성과 중심 프레임워크와 같은 전통적인 결과 중심 평가와는 명확히 구분되는 보완적 접근법입니다. 그 이유는, PFE는 프로그램 자체가 아닌, 그 프로그램을 이끄는 ‘원칙’에 평가의 초점을 맞추며, 이러한 원칙이 프로그램을 개발하고 실행하는 사람들에게 가장 중요한 가치를 반영한 의사결정의 방향성을 제공하기를 기대하기 때문입니다.
SOP/EPOCH 프로그램이 충분히 성숙한 단계에 도달한 상황에서, 이 프로그램이 다른 맥락으로 이전되거나 적응(adaptation)되는 과정에서도 원칙이 의사결정의 중심에 유지되도록 돕는 데 PFE는 특히 유용한 접근이었습니다.
SOP/EPOCH 프로그램 원칙의 도출
SOP/EPOCH의 리더들과 교수진으로 구성된 핵심 팀(core team)이 구성되었고, 원칙 중심 평가(PFE) 접근법에 대한 개요가 공유되었습니다. 프로그램에 대한 공통된 비전을 바탕으로, 핵심 팀은 함께 원칙을 공동 생성(co-create)하였습니다.
각 팀원은 다음과 같은 가상의 미래 상황을 바탕으로 개인적으로 성찰(reflect)하는 시간을 가졌습니다:
"지금으로부터 3~5년 후, SOP 프로그램은 여러분의 기대를 훨씬 뛰어넘는 성공을 거두었습니다. 이 프로그램은 시스템 속에서 살아 숨 쉬며, 그 잠재력을 최대한 실현하고 있습니다. 여러분은 이 일의 일원이 된 것이 매우 자랑스럽고 보람을 느낍니다."
그리고 다음의 질문에 답하도록 요청받았습니다:
- 그 프로그램은 어디에서 존재하고 있나요?
- 왜 자랑스러운가요? 당신은 이 프로그램에 대해 뭐라고 말하고 있나요? 다른 사람들은 뭐라고 하나요?
- 당신이 이 프로그램에서 가장 가치 있게 여기는 것은 무엇인가요?
- 이 프로그램이 어떤 변화를 만들어내고 있나요? 어떤 영향력을 가지고 있나요?
각자의 답변은 그룹 내에서 공유되었으며, 그 대화는 녹음 및 전사(transcription)되었습니다. 평가 담당자 K. Parker는 이후 전사된 내용을 검토하면서, 질문 3번(미래 상태에서 이 프로그램의 어떤 점을 가장 가치 있다고 보는가?)에 대한 응답을 중심으로 분석하였습니다. PFE 프레임워크에서 ‘원칙’은 실천 가능한 가치(actionable values)로 정의되므로, 전사 내용과 기존의 프로그램 문서를 토대로 초안 원칙과 그 정의가 도출되었고, 핵심 팀과의 논의를 거쳐 여러 차례 반복 수정(iteration)이 이루어졌습니다.
프로그램 이식 가능성(transportability)을 위한 최소 사양(Minimum Specifications) 정의
이 프로그램이 온타리오 외 지역의 다양한 공동체로 더 널리 확산되기를 바라는 마음에서, 핵심 팀은 다음과 같은 질문에 대해 논의하였습니다:
“후보 제공 기관(candidate delivery sites)이 반드시 준수해야 할 각 원칙의 최소 사양은 무엇인가요?”
이 질문에 답하기 위해, 핵심 팀이 합의한 원칙을 바탕으로, 각 원칙에 대한 운영화 문장(operationalizing statements)과 최소 사양(minimum specifications)이 구성되었습니다. K. Parker는 기존 프로그램 문서, 회의록, 전사 자료를 바탕으로 각 원칙에 대한 초기 정의 초안을 작성하였고, 이후 K. Parker와 A. Sud가 이 초안을 검토하여 핵심 팀과 논의할 준비를 마쳤습니다.
핵심 팀은 회의를 통해 각 원칙에 대한 파일럿 정의(pilot version of the operational definition)에 합의하였으며, 이후 K. Parker는 기존 문서와 회의록, 전사 자료를 활용해 각 원칙에 대한 운영화 문장을 도출하였습니다. 초안은 핵심 팀에 공유되어 피드백을 반영한 최종 문서로 완성되었습니다.
마지막으로, 핵심 팀은 각 원칙의 최소 사양(minimum specifications)에 대한 파일럿 버전에도 합의하였고, 초안은 최종 검토를 위한 논의와 성찰을 위해 다시 공유되었습니다. 이 과정에서 도출된 최종 원칙 문서는 운영 정의(operational definition), 운영화 문장(operationalizing statements), 최소 사양(minimum specifications)을 모두 포함하고 있으며, 아래에 상세히 기술되어 있습니다.
결과 (Results)
SOP/EPOCH 프로그램을 위한 6개의 고유한 원칙(principles)과 이에 대한 운영화 문장 및 최소 사양이 도출되었으며, 이는 아래 Table 1에 요약되어 있습니다.
프로그램 이해관계자들은 이러한 원칙을 향후 프로그램 설계 및 운영에 통합하기 위한 여러 프로세스와 실행방안을 함께 개발하였습니다. 구체적으로는 다음과 같은 실천이 이루어졌습니다:
- 최소 사양 체크리스트(minimum specification checklist)를 개발하여 프로그램 기획 과정에서 이를 적극 활용하고 있음
- 프로그램 참여자를 대상으로 설문조사를 실시하여, 참여자들이 프로그램이 제시된 원칙을 얼마나 잘 따르고 있다고 느끼는지를 측정
논의 (DISCUSSION)
사실(Facts)에서, 사실과 가치(Facts and Values)로
전통적인 성과 기반 평가(outcomes-based evaluation)는 주로 “프로그램이 의도한 대로 작동했는가?”라는 질문에 집중합니다. 이러한 접근은 프로그램 이해관계자(stakeholders)나 참여자의 의도나 행동과는 관계없이 '객관적 사실(bare facts)'에만 초점을 맞춘 평가로 이해될 수 있습니다.
이에 반해, 원칙 중심 평가(PFE)는 이해관계자들을 지식의 보유자이자 행위 주체(actors)로 참여시킵니다. 이들은 자신의 가치관(values), 삶의 경험(lived experiences), 관점(perspectives)을 평가 과정에 반영할 수 있도록 초대받으며, 이는 실제로 프로그램의 의사결정과 운영 방식, 그리고 그 결과(outcomes)에 영향을 미치기 때문입니다.
이는 특히 CPD 프로그램을 통해 오피오이드 위기에 대응하는 것과 같은 역동적이고 복잡한 상황에서 더욱 중요합니다. 이처럼 사실만으로는 의사결정을 내리기 어려운 경우에, “실천 가능한 가치이자 실제로 실천된 가치(actionable and actioned values)”로서의 원칙이 평가의 중심이 됩니다.
평가 질문은 다음과 같이 바뀝니다:
- 이 원칙들은 명확하고 실천 가능한가?
- 실제로 이 원칙들이 지켜지고 있는가? 지켜지지 않는다면 그 이유는 무엇인가?
- 이 원칙의 준수 또는 미준수가 프로그램의 과정이나 결과에 어떤 영향을 미쳤는가?
PFE는 이러한 질문을 판단(judgement)의 시각이 아니라, 학습(learning)의 시각에서 던지며, CPD 프로그램의 모든 측면에서 원칙과 가치가 미치는 영향을 인정하려는 시도입니다. 이때 가치는 좋고 나쁜 것으로 평가되거나, 편향의 원천으로 간주되지 않습니다.
PFE의 강점
프로그램의 가치와 영향을 측정하는 ‘원칙’
성과 기반 평가 접근은 교육 활동에 대해 학습자가 얼마나 참여했는지, 만족했는지, 그리고 지식, 기술, 태도가 어떻게 변화했는지를 이해하는 데 중요한 역할을 합니다. 그러나 실제로는 환자 및 인구 건강에 대한 높은 수준의 영향을 입증하는 데 어려움을 겪습니다. 또한 이러한 접근은 프로그램이 실제로 어떻게 작동하는지, 그리고 주어진 맥락 내에서 어떤 영향을 미치는지를 온전히 이해하는 데 한계가 있습니다⁸.
프로그램은 지속적으로 변화하는 맥락 속에서 개발되고, 실행되며, 반복적으로 수정되는 과정을 겪습니다. 이 맥락은 아이디어, 가치, 자원, 경험, 연구 등 다양한 복잡성으로 구성됩니다. 결과적으로 결과 중심 평가의 목표는 계속 움직이는 표적(moving target)이 될 수밖에 없습니다.
원칙과 가치는 프로그램의 중요한 추진력이지만, 프로그램과 맥락의 복잡한 그물망으로부터 한 단계 떨어져 있습니다. 따라서 언제, 어디서 프로그램이 시행되든 일관되게 적용 가능한 평가 초점으로 기능할 수 있습니다.
우리는 이제 계획된 성과에 대한 평가뿐 아니라, 원칙을 포함하는 새로운 평가 방식과 사고방식을 요구받고 있습니다.
전통적으로는 프로그램의 영향력을 키우는 방법으로 프로그램의 범위를 확장하는(scale-up) 방식이 선호되었습니다. 그러나 CPD 프로그램은 맥락 간 확장이 매우 어렵습니다. 이와 달리, 개별 프로그램 구성요소보다 ‘원칙’은 경계를 넘어 보다 쉽게 전이될 수 있어, 프로그램의 맥락 간 이식 가능성을 높이고, 다른 프로그램이나 시스템 내 다른 부분에서도 활용될 수 있는 수단(vehicle)이 됩니다. 즉, 원칙과 그 준수 여부, 영향력 자체가 CPD의 새로운 평가 대상(evaluand)이 될 수 있습니다.
“복잡한 시스템을 항해하기 위한 키(rudder)”
Patton의 설명에 따르면, 프로그램 개발자가 원칙을 명확히 정의하고 탐색하는 행위 자체가 복잡한 상황에서 방향성과 지침을 제공할 수 있습니다. 원칙의 해석과 실행은 구체적인 상황과 맥락에 의해 영향을 받으며, 이러한 특성은 프로그램이 이후 반복될 때마다 각기 다른 맥락 속에서 ‘최선(best)’의 모습을 구현할 수 있도록 해줍니다.
PFE의 한계
그러나, 다양한 맥락에서의 프로그램 개발 및 실행에 있어 표준화와 일관성(consistency)이 요구되는 경우, PFE는 적합하지 않을 수 있습니다. 또한, 평가의 목적이 사전에 설정된 절차나 성과에 대한 책무성(accountability) 확보라면, 전통적인 평가 접근 방식이 더 효과적일 수 있습니다.
결론 (CONCLUSION)
원칙 중심 평가는 프로그램의 가치를 판단하는 유일한 기준이 결과(outcomes)라는 기존의 관점을 과감히 내려놓게 해줍니다. 우리가 던져야 할 중요한 질문은 단지 “이 프로그램이 우리가 기대하는 것을 달성했는가?”가 아니라, “서로 다른 지역, 보건 시스템, 시간적 맥락에서도 프로그램의 진정한 정체성과 실용성을 어떻게 유지할 수 있을까?”입니다.
또한, 학습 중심 평가 프레임워크를 활용함으로써, 우리는 프로그램이 개인, 팀, 시스템 수준에서 의도된 결과뿐 아니라 예기치 않은 결과(emergent outcomes)까지 포함한 실제 영향을 더 깊이 이해할 수 있게 됩니다.
마지막으로, PFE와 같은 활용 중심 평가(utilization-focused evaluation)의 진정한 가치는, 프로그램 의사결정과 그 결과가 ‘역동적인 맥락’과 ‘인간 행동의 복잡성’에 의해 형성된다는 점을 점점 더 많은 사람들이 수용하고 있다는 사실에 있습니다.
원칙 중심 평가는 이러한 현실을 인정하고, 우리의 평가 도구 상자(toolbox)를 확장할 수 있는 하나의 방법을 제시합니다.
SOP/EPOCH 프로그램의 6가지 핵심 원칙 및 실행 기준
🏅 1. 탁월성에 대한 헌신 (Commitment to excellence in)
- 정의
만성 통증 관리, SOP 및 CPD에 대한 다양한 지식과 모범 사례들을 모아, 우리가 수행하는 개발, 전달, 평가 전반에 대한 전문성을 높인다. - 선택 실행 문장 (Select Operationalizing Statements)
- 프로그램 책임자, 대표 기획 위원, 개발자, 교수, 진행자, 사회자, 관리자들이 (신규, 기존, 퇴사 예정 포함) 교육을 받는다.
- 각 프로그램은 임상적 전문성과 교육 경험을 갖춘 전문가의 지식(근거 기반 콘텐츠 포함)을 바탕으로 설계되어야 한다.
- 선택 최소 사양 (Select Minimum Specifications)
- 프로그램은 오피오이드 처방에 대한 모범 사례 및 근거 기반 지침을 반영해야 한다.
- 프로그램은 해당 대상자 집단을 대표할 수 있는 전문가에 의해 제공되어야 한다.
🧭 2. 진실성 (Integrity)
- 정의
우리가 믿는 바와 행하는 바가 일치하도록 하며, 만성 통증과 SOP의 환자 중심적 관리를 적절한 대상자(다학제 전문가 포함)에게, 적절한 이유로 전달하는 프로그램을 설계한다. - 선택 실행 문장
- 산업 자금 및 이해충돌이 없어야 한다.
- 학습자/고객의 요구를 명확히 정의해야 한다.
- 선택 최소 사양
- 산업체 콘텐츠나 자금은 허용되지 않으며, 개발·전달에 관여한 사람들과 이해충돌이 있는 산업체와도 연계되어서는 안 된다.
- 프로그램에는 인구 건강 데이터, 역학 경향, 임상 지침 등 관련 데이터를 반드시 포함해야 한다.
🌐 3. 접근 가능성 (Accessible: 지리적, 문화적, 재정적)
- 정의
누구도 소외되지 않아야 한다. 이 프로그램의 혜택을 받을 수 있는 모든 사람이 접근할 수 있어야 한다. - 선택 실행 문장
- 가장 많은 도움이 필요한 개인 또는 그룹을 식별한다.
- 다양한 타겟 청중의 특수한 요구를 식별한다.
- 선택 최소 사양
- 프로그램은 명확한 타겟 집단을 식별해야 한다.
- 학습자의 구체적인 필요를 식별하고 그에 맞춘 콘텐츠를 구성해야 한다.
🔄 4. 유연성과 적응성 (Adaptable/Flexible)
- 정의
모든 직원은 각 환자/학습자가 고유하다는 것을 알고 있으며, 프로그램은 이 지식을 바탕으로 설계 및 전달된다. - 선택 실행 문장
- 실습 전 회고 과제를 수행하여 참여자의 임상 반영을 부분적으로 사전 평가한다.
- 개별 참여자의 요구를 프로그램 설계 및 모듈 전반에 반영한다.
- 개별 참여자의 요구를 프로그램 기획 시 선제적으로 반영한다.
- 선택 최소 사양
- 조정이 필요한 프로그램 일부는 리더들과 협의하여 조정 가능해야 한다.
- 교수자는 참여자의 요구에 따라 교육 콘텐츠를 맞춤형으로 제공할 수 있어야 한다.
- 교수자는 참여자의 필요에 따라 교육 콘텐츠를 조정할 수 있어야 한다.
🔁 5. 변화 유도 (Influencing Change)
- 정의
이 프로그램이 오피오이드의 안전한 처방에 필수적인 역량을 중심으로 설계되었으며, 오피오이드를 사용하는 사람과 만성 통증 환자의 삶에 변화를 줄 수 있는 프로그램임을 보여준다. - 선택 실행 문장
- 안전한 오피오이드 처방에 필수적인 역량과 기술을 명확히 기술한다.
- 실질적 영향을 평가할 수 있는 신뢰 가능한 데이터 수집 체계를 구축한다.
- 선택 최소 사양
- 평가 전략에는 변화의 테스트와 설명이 반드시 포함되어야 한다.
- 정보 수집 전략에는 프로그램 인증이나 집단 성과 평가에 필요한 데이터 수집이 포함되어야 한다.
🧩 6. 유용성과 관련성 (Useful and Relevant)
- 정의
이 프로그램은 더 큰 시스템(보건당국, 교육기관 등)의 일부로 존재하며, 다양한 문제 해결에 유용할 수 있음을 인식한다. - 선택 실행 문장
- 공중보건, 교육 등 프로그램이 해결할 수 있는 현재 혹은 미래의 과제를 식별한다.
- 해당 문제 해결에 영감을 받은 핵심 인물 또는 그룹과 협력한다.
- 선택 최소 사양
- 프로그램이 속해 있는 시스템 내 파트너를 식별해야 한다.
- 지역 리더는 이 프로그램이 어떻게 작동하며, 그 이유를 시스템 파트너에게 명확히 설명할 수 있어야 한다.