Perspect Med Educ. 2024 Feb 6;13(1):85-94. doi: 10.5334/pme.960. eCollection 2024.
Strategies to Enable Transformation in Medical Education: Faculty and Trainee Development in Competence By Design
오늘은 캐나다 왕립내과외과대학(Royal College)이 주도한 역량바탕 의학교육(CBME) 프로젝트인 'Competence By Design (CBD)'의 이행 전략을 다룬 흥미로운 논문을 소개해 드리려 합니다.
의학교육 커리큘럼을 바꾸는 건 단순히 시간표를 짜는 게 아니라, 거대한 조직 문화를 바꾸는 일이죠. 이 논문은 그 거대한 변화 속에서 교수개발(Faculty Development)과 수련생 개발(Trainee Development)이 어떤 전략적 역할을 했는지 아주 상세히 보여줍니다. 🇨🇦
캐나다의 경험이 우리에게 어떤 통찰을 주는지 핵심 내용을 콕콕 짚어볼까요? 🧐
1. 교수개발, 단순한 교육이 아닌 '변화의 도구' 🛠️
이 논문의 저자들은 교수개발을 단순히 교수님들에게 교수법을 가르치는 워크숍 정도로 보지 않았습니다. 그들은 이것을 시스템을 바꾸는 강력한 무기로 정의했죠.
"교수개발은 교수학습을 개선하는 데 기여하고 혁신과 조직 변화를 촉진할 수 있는 강력한 도구이며, 특히 역량바탕교육에 있어 더욱 그러합니다." "Faculty development is a powerful tool that contributes to improved teaching and learning and can promote innovation and organizational change, especially for competency-based education."
그래서 그들은 논리 모형(Logic Model)을 세우고, 공식적인 워크숍뿐만 아니라 비공식적이고, 개인적이며, 그룹 단위의 다양한 활동을 Steinert의 4분면 모형에 맞춰 촘촘하게 설계했습니다.
2. '적시(Just-in-Time)' 학습과 맞춤형 자원 ⏰
교수님들도 전공의들도 정말 바쁘잖아요. "나중에 필요할 테니 미리 배워두세요"라는 방식은 잘 통하지 않습니다. 저자들은 사용자가 필요할 때 즉시 꺼내 쓸 수 있는 '즉시 사용 가능한 자원(Off-the-shelf resources)'의 중요성을 강조합니다.
"교수개발 구성 요소 일부에 대한 ‘적시(Just-in-Time)’ 접근법은 핵심이었습니다... (중략) 사람들이 쉽게 접근하고, 사용하며, 조정할 수 있는 자원들을 강조했습니다." "A ‘just-in-time’ approach to some of the faculty development components was key... emphasized activities and resources that people could easily access, use, and adapt."
예를 들어, 역량 위원회(Competence Committee)가 열리기 직전에 위원장에게 관련 가이드를 '푸시(Push)'해주는 식이죠. 💡
3. 수련생도 '변화의 주체'입니다! 🧑⚕️👩⚕️
이 논문에서 가장 인상 깊었던 점은 바로 수련생(Trainee)을 변화 관리의 핵심 파트너로 보았다는 점입니다. 보통 교수개발만 신경 쓰기 쉬운데, 새로운 시스템에서 가장 혼란스러울 전공의들을 미리 준비시키는 것이 성공의 열쇠라고 말합니다.
"학습자를 위해 변화 관리(Change management)에 대한 기술을 구축하는 것이 결정적이며, 이는 전체적인 접근 방식에 내재되어야 함이 분명합니다." "It is clear that building skills around change management for learners... is critical and should be built into the overall approach."
전공의들이 '성장 마인드셋(Growth Mindset)'을 장착하고 시스템을 이해하면, 오히려 교수님들을 돕는 챔피언이 될 수 있다는 것이죠. 👍
4. 끊임없는 피드백과 인내심 🔄
물론 모든 것이 순조로웠던 건 아닙니다. 이해 부족, 시간 부족, 프로그램 간의 이질성(Heterogeneity) 등 수많은 장벽이 있었죠. 연구진은 지속적인 질 개선(CQI) 사이클을 돌리며 계속 전략을 수정했습니다. 그리고 무엇보다 '문화 변화(Culture Change)'에는 시간이 필요하다는 점을 인정해야 한다고 조언합니다.
"의미 있는 문화 변화는 시간과 노력이 필요하며 서로 다른 맥락에서 다양한 속도로 일어납니다." "Meaningful culture change takes time and effort and occurs at varying paces in different contexts."
📝 요약하며
결국 성공적인 의학교육 혁신을 위해서는 정교하게 설계된 논리 모형(Logic Model), 사용자 맞춤형의 적시(Just-in-time) 자원, 그리고 수련생을 파트너로 인정하는 태도가 필수적이라는 것을 알 수 있었습니다.
서론 (Introduction)
교수개발(Faculty development)은 교수학습(teaching and learning)을 개선하는 데 기여하고 혁신(innovation)과 조직 변화(organizational change)를 촉진할 수 있는 강력한 도구이며[1], 특히 역량바탕교육(competency-based education)에 있어 더욱 그러하다[2]. 따라서 교수개발은 국가적인 교육과정 재설계(national curricular redesign)를 촉진하고 국가 차원의 모든 전문 분야에 걸쳐 졸업 후 전공의 수련(postgraduate specialty training)의 시스템 변화(systems changes)를 달성하는 것을 목표로 하는, 캐나다 왕립내과외과대학(Royal College of Physicians and Surgeons of Canada, 이하 Royal College)의 Competence By Design (CBD) 국가 이행 전략의 주요 초점(major focus)이었다.
Competence by Design (CBD)은 역량바탕 접근법(competency-based approach)을 사용하여 캐나다의 전공의 수련을 재정의(redefining)하는 것을 목표로 하는 Royal College의 변혁적 변화 프로젝트(transformative change project)이다. CBD 이행(implementation) 초기부터, 그 성공은 새로운 교육과정 패러다임(curricular paradigm)과 관련된 변화를 만들 수 있도록 널리 분포된 수많은 이해관계 집단(invested groups)을 지원하는 데 부분적으로 달려 있었다[3]. 특히, Royal College는 의과대학들과 협력(partnering)하여 다양한 파트너 그룹 및 조직 전반에 걸쳐 역량(capacity)을 강화함으로써 광범위한 국가 및 지역적 변화를 지원할 수 있음을 인식했다. 따라서 환경 스캔(environmental scan) 및 기타 요구 사정(needs assessments, 투입)을 통합한 논리 모형(logic model: 목적, 투입, 활동, 산출, 성과)(그림 1)을 사용하여, 상호 연관된 다수의 교수개발 이니셔티브(faculty development initiatives, 활동)가 개발되고 시행되었다[4].
그림 1 Competence By Design (CBD) 이행에 사용된 논리 모형(Logic Model) [4].
그림 1 Competence By Design (CBD) 이행에 사용된 논리 모형(Logic Model) [4].
(1) 목적 (Purpose)
- Competence By Design을 설계(designing), 계획(planning), 이행(implementing)하는 사람들을 위해 국가 차원에서 시스템 전반의 변화(system-wide changes)를 지원함
- Competence By Design을 가르치고(teaching), 평가하고(assessing), 활용(utilizing)하는 사람들을 위해 국가 차원에서 시스템 전반의 변화를 지원함 – 교수진(faculty)과 학습자(learners) 모두 포함
(2) 투입 (Inputs)
- 환경 스캔 (Environmental scan)
- 요구 사정 (Needs assessments)
- Royal College 자원 (Royal College resources)
- 임상 교육가 전문성 (Clinician Educator expertise)
(3) 활동 (Activities)
- 발표(Presentations), 워크숍(workshops), 현장 방문(site visits), 서밋(summits), 웨비나(webinars), 소셜 미디어(Slack), 비디오, 학술대회 제공 프로그램(conference offerings), 기술 가이드(technical guides), 즉시 사용 가능한 자원(off-the-shelf resources), 역량바탕 의학교육 리더 프로그램(Competency Based Medical Education Lead Program) 신설
- 공식적(formal), 비공식적(informal), 개인(individual) 및 그룹(group) 학습의 혼합
(4) 산출 (Outputs)
- 성공적인 이행(Successful implementation) – 지역적(locally) 및 국가적(nationally)으로
- 프로그램 검토(인증 표준), 설문조사, 인터뷰, 직접적인 피드백, 서밋을 통해 측정됨
(5) 성과 (Outcomes)
- 유능한 의사(competent physicians) 배출
- 자신의 일을 즐기는 의사 배출
- 환자 진료/성과 향상(Improved patient care/outcomes) (참고: 이는 추후 확인되어야 할 장기적인 성과임)
CBD와 관련하여 저자들은 교수개발을 "역량바탕 전공의 수련 시스템(competency-based residency system)에서 대상 집단(target audiences)이 자신의 다각적인 역할(multiple roles)을 효과적으로 수행하도록 돕기 위해 고안된 역량 강화 이니셔티브(capacity building initiatives)"로 정의한다. CBD 프로젝트의 대상 집단과 파트너에는 (각 분야의 국가 수준 표준 설정(standard setting) 및 평가(assessment)를 담당하는) 국가 전문분야 위원회(national specialty committees), 각 의과대학의 졸업 후 의학교육(PGME) 부서, 전공의 수련 프로그램 책임자(program directors, PDs), 일선 교수자(front-line faculty teachers), 그리고 수련생(trainees)이 포함되었다. Royal College는 변화를 이행하고 유지(sustaining)하는 데 있어 각 개인의 역할을 개발하도록 돕는 역량 강화 이니셔티브의 필요성을 인식했다. 이러한 도전과제는 전국적으로 전공의 수련을 제공하는 의과대학 및 프로그램 간, 그리고 그 내부의 맥락의 다양성(diversity of contexts)으로 인해 더욱 복잡해졌다(confounded).
제공된 활동 묶음(bundle of activities)은 Steinert의 4분면 모형(quadrant model)[1]에 근거(informed by)하였으며,
- 발표(동기 및 비동기), 워크숍, 현장 방문(site visits), 서밋(summits), 웨비나, Slack과 같은 소셜 미디어 활용, 비디오, 학술대회 제공 프로그램, 기술 가이드, 즉시 사용 가능한 자원(off-the-shelf resources), 그리고 각 의과대학 내 CBME 리더(CBME Lead) 프로그램의 신설 등이 포함되었다.
전통적으로 수련생(trainees)은 교수개발의 대상 집단이 아니었으나, 역량을 강화해야 할 필수적인 그룹(essential group)이라는 점이 조기에 인식되었다는 점을 강조해야 한다. 이에 따라 Royal College는 수련생을 포함시키기 위해 논리 모형의 투입(inputs)과 그에 따른 활동(resultant activities)을 반복적으로 조정(iteratively adapted)했다. 이 논문은 성공적인 CBD 이행을 달성하기 위해 교수 및 수련생 개발(faculty and trainee development)에 대한 국가적 접근법(national approach)을 채택하면서 사용된 논리 모형의 전략, 그리고 직면했던 장벽(barriers)과 촉진 요인(enablers)을 검토한다.
Competence by Design 이행을 위한 교수개발 계획 수립: 목표, 원칙 및 근거 (Designing a faculty development plan for implementation of Competence by Design: goals, principles, and rationale)
CBD는 다년 간의 다자간 파트너(multi-year, multi-partner)가 참여하는 교육과정 설계 및 시스템 변화(systems change) 프로젝트로, 2017년에 첫 번째 프로그램 코호트(cohorts)가 이행을 시작했다. 이 국가 수준 PGME 이니셔티브의 광범위한 범위(broad scope)는 파트너들의 자원과 요구의 이질성(heterogeneity)을 해결하기 위해 광범위한 전략을 활용(leveraged)하는 개입(interventions)을 필요로 했다. 전반적으로, 다음과 같은 원칙들이 CBD 이니셔티브를 위한 교수개발 전략을 뒷받침(underpinned)했다.
전반적인 목적 명확화 (Clarify the overall purpose)
국가 교수개발 전략의 목표는 캐나다의 졸업 후 수련 프로그램들이 역량바탕 교육과정(competency-based curriculum)으로 전환(transitioned)함에 따라 국가 차원에서 시스템 전반의 변화(system-wide changes)를 지원하는 것이었다. 일련의 교수개발 이니셔티브를 통해, Royal College와 의과대학들은 공동 책임(shared responsibility) 모델을 통해 다음을 수행하고자 착수했다(set out to).
- 모든 의과대학에서 CBD를 설계, 계획 및 이행하는 책임이 있는 사람들, 특히 PD들과 CBME 리더들의 지식을 향상하고 기술을 구축(build the skills)한다.
- 임상 교수자(clinical teachers)와 수련생(trainees)을 포함하여, CBD 시스템 내에서 가르치고, 배우고, 평가하게 될 사람들의 지식을 향상하고 기술을 구축한다.
서로 다른 요구, 맥락 및 선호도를 고려하여 다양한 학습 활동 제공 (Provide a variety of learning activities to account for different needs, contexts, and preferences)
캐나다 전역의 의과대학 수(n=17), 전문 분야 수(n=67), 그리고 1000개에 육박하는 개별 프로그램을 고려할 때(Given), CBD를 지원하기 위해 가용한 요구(needs), 자원(resources), 역량(capacity)은 매우 상이(vastly different)했다. 지역 문화(local culture), 프로그램의 규모, 그리고 지역의 전문성(expertise)과 자원에 대한 접근 수준은 프로그램의 CBD 이행 접근 방식 및 성공과 관련된 결정적으로 중요한 요소(critically important factors)였다. 환경 스캔과 여러 차례의 요구 사정을 통해, 이러한 이질성(heterogeneity)에 접근하기 위해서는 다양한 학습 옵션(variety of learning options)이 필요하다는 점이 분명해졌다.
Royal College는 CBD 이행이 이미 극도로 바쁜 교수진(faculty members), 프로그램 행정가(program administrators), 그리고 수련생들의 업무량(workload)을 가중시킬 것임을 인정했다(acknowledged). 이에 따라 CBD 교수개발 전략은 사람들이 쉽게 접근(access)하고, 사용(use)하며, 조정(adapt)할 수 있는 활동과 자원을 강조했다. 이러한 즉시 사용할 수 있는(ready-to-use) 교수개발 자원은 Royal College의 전략과 캐나다 내 많은 의과대학에서 개발된 전략의 핵심(key)이었다.
Steinert의 4분면(Steinert’s four quadrants)[1]에 따라, 공식적(formal), 비공식적(informal), 개인(individual) 및 그룹(group) 학습 활동이 혼합되었다. 역량 강화 노력에는 전통적으로 공식적인 그룹 및 개인 학습과 관련된 다양한 지원(예: 워크숍 및 코스, 출판된 문헌, 매뉴얼)이 포함되었다. 이것들도 꽤 유용했지만, CBD를 위한 교수개발은 비공식적, 일터 기반(work-based), 마이크로(micro), 그리고 적시(just-in-time) 교수개발과 같은 다른 역량 강화 방법들도 강조했다. 이행 업무의 각기 다른 부분에 대한 교수개발 양식(modalities)의 선택은 다양한 세션(sessions) 제공 후의 피드백에 의해 정보를 얻었으며(informed by), 시간이 지남에 따라 상당히 진화했다. 예를 들어, 웨비나(webinars)는 파트너들이 Royal College 교육가들 및 전국의 동료들과 대화에 참여(engage in a dialogue)하고, 자원과 그 사용법을 이해하며, 실용적인 팁과 요령(practical tips and tricks)을 공유할 수 있게 해주기 때문에 높게 평가된다는 점이 분명해졌다. 이는 커뮤니티 참여(community engagement)와 동력(momentum)을 구축하는 데 도움이 되었다.
프로그램 수준의 리더들이 변화를 맥락화하고 유지하도록 지원 (Support program level leaders to contextualize and sustain the change)
캐나다에서 PD는 특정 의과대학의 해당 전문분야 또는 세부전공에 대한 졸업 후 수련 프로그램의 전체 계획 및 이행을 총괄(oversee)하며, 여기에는 선발(recruitment), 교육과정 개발, 평가 전략 개발, 수련생 지원 제공 및 교수개발이 포함된다.
- 그들은 프로그램 내에서 신뢰받는 협력자(trusted collaborators)이자 조언자이다.
- PD는 동료들을 참여시키고 학습, 교육 및 평가의 포괄적인 철학(overarching philosophy)에 대한 변화를 포함하여 프로그램 내에서 의미 있는 변화를 이끌기에 적합한 위치(well positioned)에 있다.
- 이러한 이유로 PD를 지원하는 것은 CBD의 성공적인 이행에 결정적(critical)인 것으로 간주되었다.
- 다행히 Royal College는 기존의 Royal College 전문분야 위원회(specialty committees)를 통해 PD들과 직접적이고 확고한 연결 고리(well-established connections)를 맺고 있다.
해당 전문분야의 모든 PD가 포함된 각 전문분야별 위원회는 독특하게 설계된(uniquely designed) CBD 교수개발 이니셔티브에 참여했다. 여기에는 약 1.5~2년에 걸쳐 개최된 세 차례의 수일간 진행되는(multi-day) CBD 설계 워크숍이 포함되었다. 이 워크숍들은 해당 전문분야의 수련생들이 공식적으로 CBD 수련을 시작하기 약 24개월 전에 처음 시작되었다. 워크숍은 새로운 CBD 표준을 설계하고, PD들이 임상 동료, 수련생, 프로그램 행정가들을 참여시켜 프로그램 내 변화를 촉진(facilitate change)할 수 있도록 준비시키는 주요 장(primary forum)이었다[5].
워크숍에 참여한 처음 몇몇 전문분야 코호트(cohorts)의 경우, 교수개발자들은 2년이라는 기간(window) 내에 CBD로의 원활한 전환(smooth transition)에 필요한 모든 것을 다루는 데 어려움을 겪었다. 이는 배정된 임상 교육가(clinician educator), Pulse Check 설문조사, 전문분야 위원회 위원장, 그리고 각 기관의 국가 CBME 리더들과의 논의를 통해 해당 전문분야로부터 구한 반복적인 피드백(iterative feedback)을 통해 분명해졌다. 또한 필수 벤치마크(benchmarks) 달성 능력에 관한 전문분야 이행 상황의 지속적인 모니터링 데이터에서도 명백히 드러났다. 많은 PD들이 CBD의 근거(rationale)에 대한 확실한 이해를 가지고 CBD 설계 워크숍을 떠났지만, CBD의 "방법(how)"과 소속 프로그램(home programs)에서의 효과적인 설계 적용에 대한 지식과 전문성(expertise)을 구축하기 위해서는 워크숍 밖에서의 추가적인 지원이 필요했다. 이러한 이유로 2019-2020년에 Royal College는 지원 기간을 24개월에서 거의 48개월로 연장(extending)하는 데 집중했으며, 여기에는 각 전문분야의 CBD 출범(launch) 이후까지 지원을 확장하는 것이 포함되었다. 이는 성공을 지원 및 보장하고, 과정의 초기 단계에 있는 다른 프로그램들을 도울 수 있는 이행 경험(implementation experience)에 대한 정보를 반복적으로 수집하기 위함이었다. 이 확장된 지원 모델(extended support model)에는 CBD 설계 워크숍 사이, 워크숍 이후, 그리고 CBD 출범 이후에 프로그램들을 지원하기 위해 고안된 새로운 CBD 부스터 세션(CBD booster sessions)을 통해 PD들의 지속적인 개발을 강화하고 장려(reinforce and encourage)할 기회가 포함되었다. 이 실용적인 세션들은 이행(implementation)에 초점을 맞추어, PD들이 이행 계획을 구상(map out)하도록 돕고 교수개발 지도의 각 섹션에 대한 구체적인 자원을 제공했다. 중요하게도, 참가자들은 무엇이 효과적이었고 무엇이 그렇지 않았는지에 대한 자원과 경험을 동료들과 공유했다. 또한 부스터 세션에서는 비동기 온라인 학습 모듈, 새로운 교육 도구, 동기식 가상 학습 이벤트도 소개되었다. 이 저장소(repository)의 예로는 역량 위원회(Competence Committee) 운영에 관한 슬라이드 자료, 장기간에 걸친 코칭(coaching over time)의 기초 학습 모듈, CBD 교육과정 매핑을 위한 10단계에 관한 2페이지 분량의 인포그래픽(infographic) 등이 있다. 중요하게도, 이 확장된 지원 모델을 통해 Royal College는 무엇이 효과가 있고 없는지를 파악하고 추가적인 교수개발 도구를 반복적으로 설계(iteratively design)할 수 있었다. 이 정보는 프로그램 평가(Program Evaluation) 전략에도 통합되었다[6].
의미 있고 지속 가능한 변화를 장려하기 위해 타인과 협력하라 (Partner with others to encourage meaningful and sustainable change)
PD들(Program Directors)이 CBD 이행(implementation)에 있어 필수적인(vital) 존재로 확인되었지만, 지역 프로그램의 변화가 단 한 명의 개인의 책임일 수는 없다는 점이 분명했다. 2016년에 캐나다의 각 의과대학은 자신의 지역 프로그램을 지원하고 대학 수준(University level)에서 CBD 이행 과정을 안내(guide)할 CBME 리더(CBME Lead)를 지정했다. 이들은 지역의 요구(local needs)와 장벽(barriers)에 대한 고유한 지식을 사용하여 그들의 맥락에 맞게(specific to their context) 활동했다. Royal College는 지역적 이행 노력(local implementation efforts)을 확장하는 데 도움을 주기 위해 CBME 리더들에게 의존하고, 협력(collaborated with)하며, 지원을 제공했다. 공식적인 협력 이니셔티브(formal collaborative initiative)와 공식 및 비공식 피드백을 통해, 리더들은 Royal College의 교수개발자(faculty developers)들의 작업에 정보를 제공(inform)하는 데 도움을 주었으며, 이를 통해 Royal College가 가장 크고 일반적인 도전과제(challenges)에 집중할 수 있도록 했다. 정기 회의에는 도전과제와 격차(gaps)를 해결하고, 개선 기회를 논의하며, 적절한 경우 해결책을 공동 창작(co-create)하기 위한 시의적절하고 솔직한 대화(timely and frank conversations)가 포함되었다.
Royal College와 전국의 의과대학들은 함께 모든 집단의 학습 및 개발 요구(learning and development needs)가 이해되고 지원받을 수 있도록 착수했다(set out to). 교수개발은 Royal College(국가 수준)와 각 의과대학(지역 수준) 간의 공동 책임(shared responsibility)으로 다루어졌으며, Royal College로부터 두 수준의 교육 활동 모두에 대한 광범위한 지원이 있었다. PD들과 CBME 리더들을 포함한 프로그램 챔피언(program champions)들은 CBD로의 전환(transition) 기간 동안 임상 교수자, 수련생(trainees), 그리고 프로그램 행정가들을 지원했다. Royal College는 신뢰와 지원을 구축하고(build trust and support) 접근법과 자원의 공동 창작(co-creation)을 통해 지역적 노력을 확장하기 위해 그 교육가들과 파트너십을 맺었다.
피드백 요청: 요구를 파악하고 대응하라 (Ask for feedback: identify and respond to needs)
수년에 걸쳐 코호트 방식(cohorted fashion)으로 CBD를 전개(roll out)하기로 한 결정[3, 5]은 부분적으로 초기 코호트의 요구와 경험이 나중 코호트에게 제공될 지원 및 자원의 설계를 반복적으로 알릴 수 있다(iteratively inform)는 이해에서 비롯되었다(motivated by). CBD의 초기 몇 년 동안 주요 그룹의 요구를 파악하는 것은 복잡했는데, 이는 교육가들이 경험을 통해 학습함에 따라 많은 CBD 개념이 새롭고 계속해서 진화했기 때문이었다. 프로젝트의 가장 초기 단계에서, Royal College는 그들의 떠오르는 요구(emerging needs)를 이해하고 해결하기 위해 첫 두 전문 분야인 종양내과(Medical Oncology) 및 마취통증의학과(Anesthesiology)와 협력했다. 이들 전문 분야는 지원이 필요한 영역을 강조하는 데 결정적인 역할(critical role)을 했으며, 뒤따르는 전문 분야들을 지원하기 위해 콘텐츠가 생성될 때 그 초안을 작성하고 다듬는(drafting and refining) 데 도움을 주었다. 이러한 지속적 질 개선(CQI) 접근법은 시간이 지남에 따라 직접적인 자원(directed resources)과 지원의 수를 크게 증가시키는 결과를 낳았다. 다행히도, PD들은 학습자와 교수자들의 요구를 예리하게 인식하고(keenly aware) 있었으며, 이는 그들이 지원상의 지역적 요구와 격차를 파악하는 데 결정적인 역할을 할 수 있게 해주었다. Royal College와 CBME 리더들은 이러한 데이터를 사용하여 격차를 해결했는데, 종종 공동 창작뿐만 아니라 새로운 도구와 자원의 공유를 통해 이루어졌다. 초기 수용자(early adopters)들은 또한 학습 요구와 맥락의 이질성(heterogeneity)을 보여주는 데 핵심적이었으며, 이는 궁극적으로 나중 코호트들을 위해 사용된 교수개발 콘텐츠와 전략에 정보를 제공했다.
더 많은 전문 분야가 CBD로 전환함에 따라, Royal College는 진화하는 요구(evolving needs)를 이해하는 데 도움을 얻고자 공식 설문조사와 인터뷰를 시행했다. 또한 Royal College는 이해관계 집단(invested groups)으로부터 공식 및 비공식 보고서를 받았으며, 이는 반복적인 변화(iterative change)를 통해 접근법을 검증(validate)하거나 다듬는 데 도움이 되었다.
맞춤형 적시 학습 및 교육 생산 (Produce customizable just-in-time learning and teaching)
교수개발 구성 요소 일부에 대한 ‘적시(just-in-time)’ 접근법은 Royal College의 교수개발 전략과 캐나다 각 의과대학에서 지역적으로 개발된 많은 전략의 핵심이었다. 초기에, Royal College의 자원 전달 구조는 최종 사용자(end user)에게 필요한 콘텐츠를 찾아야 하는 책임(onus)을 지우게 했다. 이 전달 모델(delivery model)은 사용자들이 콘텐츠를 검색하려는 동기가 매우 높으며, 그들이 세 가지 핵심 사항, 즉 무엇이 필요한지, 언제 필요한지, 어디서 얻을 수 있는지를 알고 있다고 가정했다.
Royal College가 주도한 CBD 이행 설문조사와 기타 직접적인 피드백은 전달 모델과 이해관계 집단의 지식에 대한 이러한 가정이 보편적으로 정확하지 않음(not universally accurate)을 보여주었고, Royal College가 제공하는 자원 및 지원과 교수진이 필요로 하고 쉽게 찾을 수 있는 것 사이에 지식의 격차(gap in knowledge)가 있음을 입증했다. 이를 해결하기 위해 2020년에 대상 집단은 CBD 이행의 "단계(stage)"에 따라 계층화(stratified)되었고, 그리하여 관련 콘텐츠가 그들이 필요로 할 때 그들에게 푸시(pushed)될 수 있도록 했다. 예를 들어, 동기식 가상 이행 부스터 세션(synchronous virtual implementation booster sessions) 이후, 역량 위원회(competence committees), 수련생 오리엔테이션, 성장 마인드셋(growth mindset), 교육과정 매핑(curriculum mapping)에 관한 자원을 포함하여, 참가자들의 현재 요구를 해결하기 위해 논의되었던 상위 10개 자원 목록이 그들에게 발송되었다. 또한, 특정 자원들은 각 전문분야의 PD들이 CBD 출범(launch)을 향한 여정에서 특정 이정표(milestones)를 충족할 때 그들에게 푸시될 수 있도록 준비되어 큐레이팅(curated)되었다.
CBD 교수개발을 위한 우선순위 대상 식별 (Identify priority targets for CBD faculty development)
CBD와 관련된 변화의 범위(scope of change)를 고려할 때, 주요 그룹들이 서로 다른 요구와 우려를 가지고 있다는 것은 놀라운 일이 아니었다. 국가 전문분야 위원회(PD 포함), CBME 리더, PGME 학장들은 일반적으로 Royal College로부터 직접적인 지원을 받았지만, 다른 대학 교수진(임상 교수자, 프로그램 행정가, 학장, 주임교수, 분과장 등)과 수련생들은 종종 지역 지원 팀과 직접 협력했다. 어떤 도전과제들은 기관 특이적(institution-specific)이었고 다른 것들은 전국적으로 더 공통적이었다. 주요 그룹의 요구와 의미 있는 접촉(meaningful contact)의 기회에 따라, 이는 Royal College에 의해 제공되는 일부 표적화된(targeted) CBD 교수개발로 이어졌다(그림 2).
그림 2 Competence by Design 이행에 있어 Royal College 교수개발을 위한 우선순위 대상(Priority targets).
다른 경우에는 지원이 의과대학에 의해 지역적으로 전달되었으며, 템플릿 및 도구를 포함한 다양한 Royal College 자원에 의해 지역적 노력이 강화(enhanced)되었다(표 1).
표 1 Competence by Design (CBD) 이행 시 교수개발을 위해 생성된 자원의 예시 (Examples of resources created for faculty development in the implementation of Competence by Design (CBD).)
| CBD 콘텐츠를 위한 자원 (학습용) | CBD 교수개발을 위한 자원 (교육용) |
| 웨비나 (Webinars) 예: CBD 101 |
웨비나 (Webinars) 예: 역량 위원회 운영 방법 (How to run your competence committee) |
| 이행 자료 (Implementation materials) 예: CBD 이행 플래너 (CBD Implementation Planner) |
워크숍과 연계된 부스터 세션 (Booster sessions aligned with workshops) 예: CBD 이행 – 당신은 어디쯤 와 있는가? (Implementation of CBD – where should you be?) |
| 슬라이드 자료 (Slide decks) 예: 당신의 교육과정에 EPA 매핑하기 (Mapping the EPAs to your curriculum) |
역량 위원회 모듈 (Competence Committee modules) 예: 역량 위원회 구성 방법 (How to set up a competence committee) |
| 기술 가이드 및 정책 (Technical guides and policies) 예: EPA 관찰 서식 (EPA Observation Forms) |
코칭 모듈 (Coaching modules) 예: WBA 및 코칭에 교수진 참여시키기 (Engage your faculty in WBA and coaching) |
| 팁 시트 (Tip sheets) 예: CBD 전공의: 당신이 알아야 할 핵심 사항 (CBD Residents: Key things you need to know) |
슬라이드 자료 (CBD 이행을 담당하는 PD들이 사용할 수 있도록 수정 가능 – “즉시 사용 가능한(off the shelf)”) 예: 교수진을 위한 CBD 소개 (Introduction to CBD for faculty) |
| 임시 가이드 (The Meantime Guide) – 프로그램들이 CBD 설계를 시작하기를 기다리는 동안 참여할 수 있는 기회에 대한 가이드 예: 코칭 역할을 맡을 교수진 준비시키기 (Preparing faculty to take on the role of coaching) |
이러한 확립된 연결 고리(established connections)를 활용하여 변화를 전략적으로 지원하는 것이 효율적이고 효과적인 교수개발의 핵심 중 하나임이 초기에 분명해졌다.
종단적 교수개발을 위한 CQI 주기 (CQI Cycles for Longitudinal Faculty Development)
CBD 교수개발 논리 모형의 사용은 Royal College가 교수개발 이니셔티브들이 그 목표를 달성하고 있는지를 평가할 수 있게 해주었다. 또한, CBD 내 교수 및 수련생 개발에 대해 지속적 질 개선(continuous quality improvement) 접근법이 사용되었다. 많은 활동과 자원에 대한 다중 소스(활동 후 평가 피드백, 공식 설문조사, 서밋, 인터뷰 등)로부터의 투입(Input)은 자원과 활동의 반복적 개발(iterative development)을 가능하게 하는 데이터를 제공했다. 견고한(robust) 프로그램 평가 데이터를 얻는 데 오랜 지연(long delay)이 있고 주요 지표에 대한 교란 요인(confounders)이 있어, 데이터 정보에 입각한 접근(data-informed approaches)을 취하는 데는 여전히 도전과제가 있다.
시간이 지남에 따라, Royal College는 CBD 지원 요청의 초점이
- ‘CBME의 기초’에서
- ‘양질의 이행을 보장하는 방법(how to ensure quality implementation)’으로, 그리고
- CBD 설계가 학습자, 프로그램, 그리고 가장 중요하게는 환자에게 어떻게 혜택을 줄 것인지에 대한 정보에 대한 열망으로 이동(shift)하기 시작했음을 관찰하고 추적했다.
수련생은 어떠한가? 교수진을 넘어선 변화 관리 (What about the trainees? Change management beyond faculty)
수련생은 분명히 PGME 시스템의 필수적인 부분(integral part)이지만, 전통적인 교수개발 활동은 드물게 학습자를 대상으로 한다. 사실, 과정 초기에 얻은 가장 중요한 교훈 중 하나는 CBD에 수반되는 변화에 대해 수련생을 준비시키는 것의 중요성이었다. 이것은 설계상의 명백한 격차(clear gap)이자 성공을 위한 열쇠로 인식되었다. 학습자를 위해 이 경우 CBD 이행과 관련된 변화 관리(change management)에 대한 기술을 구축하는 것이 결정적(critical)이며, 이는 전체적인 접근 방식(overall approach)에 내재되어야 함이 분명하다[7]. 수련생을 "소비자(consumer)"로 참여시키고 그들과 파트너십을 맺는 것은 그들이 과정에 기여할 수 있게 해주었다. 이것은 수련생 또는 수련생 조직과 직접적으로, 혹은 PD와 CBME 리더를 통해 간접적으로 수행되었다.
새롭게 출범한 CBD 프로그램들로부터의 초기 피드백은 이 수정된 과정에 대한 방향을 제시했다. 초기 코호트의 수련생들은 이 변화에 대해 준비가 부족하다고 느꼈으며(felt underprepared), 만약 그들이 CBD의 목표, 설계, 과정 및 그 안에서의 자신의 역할에 대한 정보로 무장되어 있었다면(armed with information), 이행 과정을 진전시키는 데 도움을 줄 수 있었을 것이라고 생각했다. 어떤 면에서 수련생들은 특히 출범 초기 시절에 이 변화를 통해 프로그램의 교수진을 옹호하고(champion) 지원하기에 적합한 위치(well positioned)에 있었다.
이러한 초기 피드백은 Royal College 이행 팀들로 하여금 PD들이 수련생들을 CBD에 오리엔테이션하기 위해 "즉시 사용할 수 있는(off the shelf)" 자원을 개발하게 이끌었다. 목표는 이 자원들을 PD들이 사용하기에 접근 가능하고, 실용적이며, 효율적이고, 쉽게 만드는 것이었다. 표 2는 수련생 개발 및 지원을 위한 자원의 예시를 제공한다.
표 2 Competence by Design (CBD) 이행 시 수련생 개발을 위해 생성된 자원의 예시 (Examples of resources created for trainee development in the implementation of Competence by Design (CBD).)
| 수련생 개발 자원 (TRAINEE DEVELOPMENT RESOURCES) |
| - CBD에 대한 전공의 오리엔테이션 (A Resident’s Orientation to CBD) |
| - 전공의 가이드: 당신이 알아야 할 것 (Resident Guide: What you need to know) |
| - 전공의를 위한 CBD: 당신이 알아야 할 핵심 사항 (CBD for Residents: Key things you need to know) |
| - 전공의: 역량 위원회 (Residents: Competence Committees) |
| - 장기간에 걸친 코칭의 기초 학습 (Learning the Basics of Coaching over Time) |
| - 성장 마인드셋 개발 (Growth Mindset Development) |
수련생들이 변화에 대한 목표와 근거(즉, 졸업하는 학습자의 역량을 보장함으로써 환자 진료 개선)와 자신의 프로그램을 위한 CBD 설계를 이해하는 것이 무엇보다 중요했다(paramount). 이 정보로 무장되었을 때, 그들은 지역 교육과정에 더 쉽게 참여(engage)할 수 있었고 자신의 책임(예: 정기적인 간격으로 일터 기반 평가(work-based assessments) 획득하기, 지도전문의와의 코칭 대화 시작하기(initiating coaching conversations), 성장 마인드셋(growth mindset) 활용하기, 역량 위원회의 역할 이해하기)을 인지할 수 있었다. 지속적인 수련생 설문조사와 PD 및 CBD에 관여된 다른 교수진으로부터의 피드백을 통해, 도구들은 반복적으로 진화(evolved iteratively)했다.
모든 자원은 CBD 웹사이트(https://www.royalcollege.ca/ca/en/cbd/cbd-tools-resources.html)의의) 단일 소스를 통해 이용 가능하게 되었으며, 이행의 적절한 시점에 PD들에게 직접 푸시(pushed)되었다. PD들과 다른 교수진이 각 도구를 소개받고 사용법을 배우기 위해 웨비나에 참석할 수 있는 다양한 기회(multiple opportunities)가 있었다.
도전과제, 촉진 요인, 그리고 얻은 교훈 (Challenges, enablers, and lessons learned)
CBD와 관련된 변화의 범위와 규모(scope and scale)를 고려할 때, 접근법이 시작된 이래 수많은 교수개발 도전과제(challenges)가 있었던 것은 놀라운 일이 아니다. 이러한 각 도전과제는 논리 모형의 투입 단계(input phase)에 반복적으로 정보(iteratively informed)를 제공하여, 원하는 산출(output)과 성과(outcomes)를 달성하기 위해 활동(activities)을 수정할 수 있도록 했다.
도전과제들은 논리 모형의 투입 단계에 따라 환경 스캔(environmental scan) 및 요구 사정(needs assessments)을 포함한 다양한 소스를 통해 구체적으로 식별되었다. 여기에는 CBD 리더들의 Royal College와의 정기적인 상호작용, 정기적인 PD 타운홀 미팅(townhalls), 전공의 서밋(summits), 웨비나, 기성 파트너 그룹과의 회의, Royal College 터치 포인트(Touch Points) 및 펄스 체크(Pulse Checks), CBD 워크숍의 피드백, 그리고 국가 단체로부터의 공식 전공의 보고서 등이 포함되었다[4]. 특히 전공의 그룹은 그들의 렌즈를 통해 본 CBD 이행의 도전과제에 대해 매우 명확한 피드백을 제공했다[8, 9, 10]. 이러한 피드백에 대한 성찰(Reflections)은 프로젝트의 이후 단계에 정보를 제공(informed)했으며, 이 지속적 질 개선(CQI) 접근법을 사용하여 앞으로의 우려 사항을 해결하기 위한 활동의 변화를 이끌어냈다.
상위 5가지 도전과제는 표 3에 나열되어 있다. 여기에는
- 교수진, 수련생 및 기타 파트너들의 이해와 참여(engagement)의 격차(gaps);
- 프로그램 리더들이 CBD를 이행하기 위한 시간과 자원의 부족;
- 요구의 이질성(heterogeneity);
- 적절한 사람들에게 적절한 지원을 제공하는 것의 어려움; 그리고
- 성장 마인드셋(growth mindset)으로의 문화 변화 등이 포함된다.
우리가 기술한 처음 두 가지 도전과제는 사용자 그룹의 이해도 및 시간/자원 문제와 관련이 있으며, 이 두 가지 모두 문헌에 기술된 바 있다[11, 12]. 우리가 직면한 다른 도전과제들은 대규모의 개념적 및 교육과정 변화 이니셔티브와 관련된 과정 및 시스템 문제(process and system issues)를 더 많이 반영한다[13, 14]. 더 나아가, 표 3은 Royal College 교육가들이 이러한 도전과제를 해결하는 데 성공적이라고 판단한 전략들과 얻은 교훈(lessons learned)을 포함하고 있다.
표 3 대규모 Competence By Design (CBD) 교수개발 이니셔티브에서 흔히 직면하는 도전과제, 전략, 그리고 얻은 교훈 (Commonly encountered challenges, strategies, and lessons learned in large-scale faculty development initiatives in Competence By Design (CBD).)
| 도전과제 (CHALLENGE) | 대응 (RESPONSE) | 얻은 교훈 및 지속적인 고충 (LESSONS LEARNED AND ONGOING STRUGGLES) |
| 1. 교수진, 수련생 및 기타 파트너들의 CBD에 대한 참여 및 이해의 격차 | * 일관되고(consistent) 포괄적인(comprehensive) 자원과 지침 제공 * CBD 정보를 지속적이고, 반복적이며, 정기적으로, 소량씩 소비(bite-sized consumption)하도록 장려 정기 회의 및 교육 시간에 CBD 부스터(boosters) 통합 특정 전문분야, 프로그램 및 관련 임상 워크플로(clinical workflow)*에 맞게 접근법을 조정(Tailor) 전개(rollout)를 지원할 신뢰할 수 있는 챔피언(champions) 식별 |
* CBD 오리엔테이션은 일회성 이벤트가 아니라 지속적인 과정(continuous process)임 * 짧은 리더십 주기(short leadership cycles)(예: PD 임기)가 있을 수 있는 곳에서는 반복(repetition) 대 새로운 온보딩(onboarding) 대 심화 콘텐츠(advanced content) 간의 균형을 유지해야 함 * 그룹들이 처음에는 무엇이 필요한지 모를 수 있음을 예상해야 함; 경험이 쌓이면 교수개발자들이 요구를 더 잘 예상(anticipate)할 수 있게 됨 |
| 2. 프로그램 리더들이 CBD를 이행하기 위한 시간 및 자원 부족 | * 지역 챔피언(local champions)*을 만들기 위해 학교들과 파트너십 체결 주요 프로그램 리더들의 시간을 확보(free up time)하기 위해 역량을 구축하고 과업을 공유할 수 있도록 지역 자원을 학교를 대신하여 옹호(Advocate)*함 (예: 단일 학교 내 여러 프로그램 그룹이 역량 위원회 설계에 대해 함께 배우도록 주선) 구체적인 주요 요구(예: 역량 위원회, EPA 관찰, 코칭)를 해결하기 위해 포괄적인 콘텐츠와 소량의 콘텐츠 옵션을 모두 생성하거나 큐레이팅(curate)함 접근하기 쉽고, 공유 가능하며, 사용하는 데 노력이 거의 들지 않고, 지역적으로 조정(adapted locally) 가능한 콘텐츠와 자원 생성 주요 CBD 개념을 소개하고 강화(reinforce)하기 위해 기존 교육 이벤트를 활용(Leverage) |
* 변화 피로(change fatigue)와 역량의 변동(variations)*에 유의해야 함. 특히 경쟁적인 주요 변화들(팬데믹, 인증 방문, 전자의무기록 도입 등)이 발생할 때 더욱 그러함 * 시간 문제는 정기적인 주의(regular attention)가 필요함; 목표는 CBD 프로세스가 개발 및 정교화되고 문화 변화가 진전됨에 따라 이러한 도전과제들이 덜 두드러지게(less prominent) 되는 것임 |
| 3. 프로그램, 전문분야 및 학교 간 요구의 이질성 (Heterogeneity of needs) | * 국가 및 지역 수준의 교수개발 이니셔티브를 조정(coordinate)하기 위해서는 이질성에 대한 명확한 의사소통, 신뢰, 협상, 그리고 유연성(flexibility)*이 필요함 파트너의 요구를 경청하고 그들의 고유한 요구와 기대에 기초하여 접근법을 조정 변화하고 다양한 요구에 민첩하고 반응적(agile and responsive)일 수 있도록 자원 역량 유지 |
* CBD 설계를 채택하는 역량이 매우 다양하며 각 프로그램마다 시작점(starting point)이 다를 수 있음을 인식 * 모든 파트너가 당신의 지원을 필요로 하거나 원하는 것은 아니라는 점을 수용(Accept) * 이것은 초기에 상당한 시간과 노력이 들었지만, 유연하게 대처하고 이질성에 적응하는 능력은 결국 시스템의 강점(strength)이 되었음 |
| 4. 적절한 지원과 자원을 적절한 시기에 적절한 사람들에게 제공하는 것의 어려움 | * 그룹별로 지원과 자원을 계층화(Stratify) (예: 전환 단계 또는 역할에 따라) * 예상되는 필요 시점에 표적 그룹에게 콘텐츠를 큐레이팅하여 푸시(push) * 새로운 구성원을 환영하고 온보딩하는 네트워크(networks) 구축 * 빠른 승리(quick wins)와 챔피언을 축하 |
* 자원을 만들 때, 잠시 멈추어(pause) 그것이 적절하고, 접근 가능하며, 사용자가 찾고 이용할 수 있는 방식으로 정리되어 있는지 확인하는 시간을 계획 * 리더십 역할(PD, CBME 리더 등)의 이직(turnover)*을 예상 * 직접적으로 관련 없는 자원으로 사용자를 압도(overwhelming)하는 것을 유의해야 함 |
| 5. 교육 및 평가 문화를 성장 마인드셋(growth mindset)으로 변화시키기 | * 평가에서의 역할뿐만 아니라, 수련생을 위한 EPA와 CBME의 교육 및 피드백 혜택을 강조 * 변화를 축소하라(Shrink the change): 무엇이 변하고 무엇이 그대로 유지되는지에 대한 명확한 방향 제시 * 성공을 입증하기 위해 모범 사례(best practices) 공유 |
* 성장 마인드셋 원칙을 저해(undermine)할 수 있는 행동과 관행을 인지 (예: 수련생들이 자신이 "위임(entrusted)" 받을 것이라고 느낄 때만 WBA를 요청하는 경우, 이는 저부담(low-stakes) 평가를 고부담(high-stakes) 평가로 바꾸고 수련생들이 역량 달성을 위한 지속적인 코칭의 혜택을 받지 못하는 문화를 조장함) * 다른 요인들이 이 문화 변화를 어떻게 형성하고 있는지 신중하게 고려 (포트폴리오의 데이터 제시 방식, 역량 위원회 활동을 둘러싼 잠재적 교육과정(hidden curriculum) 등) * 인내심을 가져라(Be patient): 의미 있는 문화 변화는 시간과 노력이 필요하며 서로 다른 맥락에서 다양한 속도(varying paces)로 일어남 |
고찰 (Discussion)
CBD는 캐나다 의학교육의 복잡한 생태계(ecosystem) 내에서의 시스템적 변화(systemic change)이다. 이 논문에서 우리는 Steinert의 교수개발 모형을 설계 틀(design framework)로, 논리 모형을 평가 틀(evaluation framework)로 사용하여 어떻게 국가 교수개발 전략의 이행을 반복적으로 안내(iteratively guided)했는지 기술하였다. 이 전략은 복잡하고 전국적인 의학교육 시스템을 아우르며(encompassed), 파트너십, 공동 창작(co-creation), 그리고 폐루프형 CQI 접근법(closed-loop CQI approach) 내 피드백의 통합을 활용(leveraged)했다.
이 모형은 개인과 그룹 모두를 위한 공식 및 비공식 이니셔티브를 포함하는 교수개발 접근법에 대한 최근의 관점을 반영한다[1]. Royal College의 교수개발 이니셔티브는 Steinert의 4분면(Steinert’s quadrants)을 반영한다. 예를 들어, 부스터 세션, CBD 워크숍, 웨비나, 그리고 국제 전공의 교육 학술대회(International Conference on Residency Education)의 세션들은 Steinert의 공식적 그룹 접근법(formal group approaches) 분면과 일치하는 반면, 코칭 및 역량 위원회 사례에 대한 온라인 모듈은 개인을 대상으로 하는 공식적 학습(formal learning) 분면에 적합하다. CBD로 일찍 전환한 코호트의 동료 PD로부터 받는 동료 코칭(Peer coaching) 또한 개인적 접근법과 일치하며, 이는 공식적이거나 비공식적일 수 있다. 실천 공동체(Communities of practice)(그룹/비공식 분면)는 예를 들어 역량 위원회 위원장(역량 위원회 위원장 포럼)이나 프로그램 행정가(프로그램 행정가 컨퍼런스)를 위해 명시적으로 활성화(explicitly enabled)되었다. 멘토링(Mentoring)은 CBME 리더들에 의해 수행되었다. 비록 PD들은 "그들의 책임의 본질(by the nature of their responsibilities)"에 의해 학습하지만(개인/비공식 분면), 이러한 학습은 기술 가이드나 팁 시트와 같은 자원에 의해 촉진되었다. 소셜 미디어의 사용은 Steinert[3]에 의해 언급되지는 않았지만, 주요 자원에 대한 인식을 구축하고 동참(buy-in)을 촉진하기 위한 Royal College 교수개발 전략의 중요한 부분이었다.
성공적인 CBD 이행에 기여하는 데 있어 수련생 개발(trainee development)의 중요성은 과소평가(underestimated) 되어서는 안 된다. 이는 수련생들에게 가치가 부가된 경험(value-added experience)으로 이어졌다. 전공의들이 변화의 주체(agents), 심지어 챔피언이 될 수 있도록 권한을 부여(Empowering)한 것은 과정에 대한 그들 자신의 참여를 향상시켰을 뿐만 아니라 다른 사람들을 위한 교수개발의 질도 향상시켰다[15].
이 논문에 기술된 성과(outcomes)는 의도적인 틀(deliberate framework)과 설계, 그리고 지속적인 참여를 위한 사회적 및 의사소통 요소(social and communication elements)를 육성(nurturing)하겠다는 헌신을 필요로 했다. 주요 파트너들이 다양한 의사소통 채널(PD 수준에서부터 PGME 부서 수준까지)을 사용하여 그들에게 필요한 것과 효과가 있는 것 또는 없는 것에 대한 의견(input)을 제공하도록 장려했다. 논리 모형을 사용하여 방향을 전환(pivot)하고, 조정(adjust)하며, 격차를 메우기 위해 초기 결과에 지속적인 주의를 기울인 것이 성공에 결정적(crucial)이었다. 기관에서부터 개인에 이르기까지 모든 수준에서 성장 마인드셋을 장려한 것은 모두가 변화에 대해 배우고 성과에 기여할 수 있게 했다.
이 국가 교수개발 이니셔티브의 성과는 부분적으로 Kotter의 변화 주도 8단계(Kotter’s eight steps for leading change)[16]를 반영할 수 있다. 교수개발 제공의 시급성(urgency)은 급진적으로 새로운 교육과정 모델인 CBD의 이행으로부터 발생했다. 파트너들과 협력하고, 목표와 방향에 합의하며, 이를 소통하는 것은 필수적인 요소였다. 장애물을 제거하는 것은 도전적이었으며, 이 정도 규모(magnitude)의 여느 변화와 마찬가지로 도전과제들에 직면했다. 여기에는 새로운 교육 모델에 대한 저항(resistance)과 동참 부족(lack of buy-in), 이행을 위한 자원 부족, 그리고 참여의 격차 등이 포함되었다. 우리는 이러한 도전과제를 해결하기 위해 사용된 몇 가지 전략을 개괄했다. 논리 모형은 교수개발 이니셔티브가 반복적으로 수정될 수 있도록 단기 성과(short-term outcomes)를 제공했다. 현재의 교수개발 프로그램은 동력을 유지(maintain momentum)하고 변화를 정착(anchor)시키도록 설계되어 있지만, CBD 이행은 여전히 진행 중인 작업(work in progress)이며, 교수개발은 그 목표를 달성하는 데 있어 계속해서 중요한 단계가 될 것이다.
