[프로그램 평가] 윌슨 센터 펠로우십 프로그램 평가에서 창의성의 교차점

출처: Parker, K., Shaver, J., & Hodges, B. (2010). Intersections of creativity in the evaluation of the Wilson Centre Fellowship Programme. Medical education, 44(11), 1095-1104.

https://asmepublications.onlinelibrary.wiley.com/doi/full/10.1111/j.1365-2923.2010.03745.x

도입

의학교육 프로그램의 효과를 평가하는 것은 이러한 프로그램의 개선, 성장 및 확장을 알리는 데 매우 중요합니다. 효과적인 평가는 프로그램의 강점과 약점을 식별하고 향후 반복을 위해 프로그램을 개선할 수 있게 합니다. 그러나 실망스럽게도, 전통적인 결과 중심의 평가 모델은 기존 의학교육 프로그램의 개발을 돕는 데 적합하지 않을 때가 있습니다. 이는 명시적인 프로그램 구조와 결과에 우선 순위를 부여하는 모델(예: Kirkpatrick의 결과 모델1)에 의존할 때, 평가가 비전통적이거나 혁신적이거나 '포스트모던' 교육 프로그램의 과정과 영향을 설명하지 못하게 될 수 있기 때문입니다. 전통적인 모델은 유용성이 풍부하고 적용하기 쉽지만, 낮은 상관관계2, 인과 관계3 및 더 높지만 더 먼 결과에 가장 큰 가치를 부여하는 경향과 같은 단점이 있습니다.4

 

우리는 Kirkpatrick 모델의 한계를 구체적으로 언급하지만, 전통적인 결과 기반 평가 프레임워크를 사용하는 데는 일반적으로 많은 도전 과제가 있습니다. 이러한 프레임워크는 의도치 않은 결과와 발생하는 결과를 식별하는 것을 거의 허용하지 않으며, 프로그램이 이러한 결과를 가져오는 방법에 대해 거의 밝히지 않습니다.5 Hafferty가 의료 교육자들에게 '숨겨진 커리큘럼'의 힘을 소개했듯이,6 우리는 전통적인 평가 프레임워크가 프로그램의 암묵적 또는 숨겨진 측면과 결과에 대한 영향을 공식적으로 조사하여 향상될 수 있다고 생각합니다. 우리는 전통적인 결과 기반 평가 모델만을 사용하는 것이 의료 교육 프로그램이 학습자 행동의 변화를 초래하지 않는다는 결론을 자주 내리는 것이 놀랍지 않다는 것을 깨달았습니다.7 의학교육 프로그램 평가의 진화에 기여하려면, 조직 개발, 비즈니스 및 산업, 인지 심리학 등 여러 분야에서 배운 교훈을 포함하여 우리의 관점을 넓히는 것이 도움이 될 것입니다. 다음 세대의 프로그램 평가 모델 및 접근 방식은 새로운 프로그램 평가 모델을 만들기 위해 교차하는 다양한 아이디어, 개념 및 문화에 의해 정보가 제공될 것입니다.8

 

특히 평가가 필요한 영역은 건강 직업 교육 연구자의 훈련입니다. 수년 동안 의학교육 저널 편집자들은 연구 분야의 낮은 품질을 지적하며 연구 방법 및 이론에 대한 더 많은 훈련을 요구해왔습니다. 그러나 건강 전문가들이 교육 연구에 대해 더 많이 배울 수 있는 기회와 프로그램은 다양합니다, 특히 다양한 석사 학위를 통해. 최근 연구는 단순히 교육 석사 학위를 취득하는 것이 학문적 작업을 수행하는 데 필요한 기술과 자원을 개인에게 제공하지 못할 수 있다는 우려스러운 증거를 제공했습니다.9 이는 건강 직업 교육에서 고급 훈련의 효과와 연구와의 관계를 구체적으로 조사한 매우 적은 연구 중 하나입니다. 전통적인 결과 평가 모델을 사용하는 데 따르는 어려움과 차세대 건강 직업 교육 연구자를 훈련하는 프로그램을 평가할 필요성을 감안할 때, 많은 의학교육 연구 프로그램, 학위 및 펠로우십의 리더들은 어떻게 효과적인 프로그램 평가를 수행해야 할까요?

 

이상적인 기회는 토론토 Wilson Centre for Research in Education의 펠로우십을 평가할 요청이 있었을 때 주어졌습니다. 아래에서 더 자세히 설명된 이 펠로우십 프로그램은 처음에는 전통적인 프로그램 평가 모델10이 주장하는 것처럼 프로그램 구성 요소를 순차적이고 선형적으로 조직하고 연결해야 원하는 결과를 가져올 수 있다는 고전적인 프로그램 평가 모델에 도전하는 것처럼 보였습니다. 이 가정의 문제점은 전통적인 프로그램 구성 요소를 식별하기 어려웠고 의도된 결과와 의도되지 않은 결과가 모두 나타나는 펠로우십 프로그램의 독특함에 있었습니다. 따라서 전통적인 결과 지향 평가 대신, 프로그램 이론의 원칙과 조직 개발 분야의 모델을 포함하는 반복적이고 동적인 프로그램 평가 프로세스iterative, dynamic programme evaluation process that incorporated the principles of programme theory and a model from the field of organisational development를 사용하여 펠로우십 프로그램의 개선 및 성장을 알리도록 했습니다. 우리의 경험이 두 그룹에 유용하기를 바랍니다: 혁신적인 프로그램 평가 접근 방식을 사용하고자 하는 사람들과 의학교육 연구 훈련 프로그램을 이끄는 사람들.

방법

Wilson Centre for Research in Education의 펠로우십 프로그램

 

Donald R Wilson Centre for Research in Education, 이하 Wilson Centre는 건강 직업 교육의 이해와 실천을 발전시키기 위해 이론적 및 응용 연구에 종사하는 협력 학문 단위입니다.11 토론토 대학교의 의과 대학과 University Health Network 및 대토론토 지역의 다른 여러 전문 프로그램 및 단위가 후원하는 Wilson Centre는 지난 12년 동안 건강 전문가 교육에서 새로운 지식의 생성과 놀라운 성장을 이루었습니다. 센터의 주요 신조 중 하나는 건강 직업 교육 분야에서 새로운 연구자를 개발하는 것입니다.

 

Wilson Centre Fellowship Programme은 이러한 목적으로 개발되었습니다. 이 프로그램의 명시된 목표는 연구자들이 '고품질의 연구 프로그램에 참여하고 다양한 연구 동료와 협력하며 이 분야의 차세대 연구자를 양성하는 것engaged in the
theoretical and applied research dedicated to advancing the understanding and practice of education in the health professions’.'입니다. 1997년에 외과 교육 펠로우십으로 공식적으로 시작된 이 프로그램은 발전해왔으며, 2009년 6월 현재 다양한 임상 및 학문 분야를 대표하는 64명의 펠로우를 지도해왔습니다. 펠로우들은 일반적으로 다양한 건강 직업의 임상의뿐만 아니라 임상 외 분야의 대학원생들을 포함하며, 이들은 건강 직업 교육 연구를 수행하는 능력을 개발하기 위해 임상 업무 외에 2-5년을 할애합니다. Wilson Centre 펠로우십은 학위 수여 학문 프로그램이 아니기 때문에, 펠로우들은 주로 토론토 대학교에서 석사 및 박사 프로그램에 등록되어 있습니다. 펠로우십 프로그램의 방향 및 관리를 알리기 위해 펠로우십 위원회가 존재합니다. Wilson Centre Fellowship Programme의 졸업생들은 캐나다 및 국제적으로 의학교육에서 리더십 위치를 차지하고 있습니다.

 

이 프로젝트에 대한 윤리 승인은 토론토 대학교 연구 윤리 사무소에서 요청되었습니다. 윤리 검토 위원회는 이 프로젝트가 연구가 아닌 프로그램 평가라는 결정을 내리고 전체 검토 요구 사항을 면제했습니다. 펠로우십 위원회의 구성원들과 프로그램 및 그 기본 메커니즘에 대한 이해를 명확히 하기 위해 여덟 차례의 한 시간짜리 인터뷰가 진행되었습니다. 프로그램 평가의 맥락에서, 프로그램의 '이론'은 '바람직한 목표를 달성하기 위해 해야 할 일, 예측할 수 있는 다른 중요한 영향 및 이러한 목표와 영향이 생성되는 방법‘a specification of what must be done to achieve desirable goals, what other important impacts may also be anticipated, and how these goals and impacts would be generated’.'으로 설명됩니다.12 프로그램 이론을 명확히 하는 것은 프로그램 이해관계자와 협력하여 여러 출처로부터 정보를 수집하여 프로그램이 관심 문제를 해결하는 방법에 대한 공통된 이해를 개발하는 것을 포함합니다.12 세 번의 인터뷰는 교수진과 진행되었고 다섯 번의 인터뷰는 현재 및 이전 펠로우와 진행되었습니다. 인터뷰된 펠로우는 임상 및 비임상 배경과 다양한 대학원 프로그램(석사 및 박사)을 대표했습니다. 여섯 번의 인터뷰는 대면으로, 두 번의 인터뷰는 전화로 진행되었습니다. 모든 인터뷰는 오디오 녹음되었으며 각 녹음은 필사되었습니다. 두 번의 전화 인터뷰에 대해서는 메모가 작성되었습니다. 프로그램 이론은 필사본의 주제 분석, 관련 문서 검토 및 Wilson Centre의 Director와 Associate Director 및 펠로우십 프로그램의 Director와의 회의를 통해 구성되었습니다. 이 이론은 검토 및 논의를 위한 초기 검증 연습의 일환으로 인터뷰 대상자에게 제시되었습니다.

1단계: 결과

펠로우십 프로그램 이론의 시각적 표현은 그림 1에 제공됩니다. 프로그램 이론의 도식은 세 가지 뚜렷한 구성 요소로 설명됩니다: 프로그램 자체와 전달 메커니즘(그림 1의 왼쪽 첫 번째 상자); 프로그램의 단기(근접) 및 장기(원거리) 결과(오른쪽의 두 상자) 그리고 프로그램이 이러한 결과에 도달하는 과정(도표 중앙의 ‘결정 요인’ 상자).

그림 1

Wilson Centre 펠로우십 프로그램의 이론.

• 관계 계층 내외에서의 문화화 메커니즘

 

이론의 여러 구성 요소는 인터뷰에서 식별된 주요 주제를 반영합니다. 그러나 Wilson Centre 프로그램 이론을 명확히 하는 동안 식별된 두 가지 주제가 특히 중요하게 부각되었습니다. 이들은 아래에서 논의됩니다.

관계
Relationships

이 프로그램이 전달된 메커니즘은 핵심, 보조 및 3차core, secondary and tertiary의 세 가지 중요한 관계 유형으로 나타났습니다. 각각은 아래에 설명되어 있습니다.

 

교수진과 펠로우 모두에 따르면, 펠로우와 그의 또는 그녀의 교수 감독자 사이의 관계의 질이 펠로우십의 가장 중요한 성공 요인이었습니다. 이 이론 지도에서 '핵심' 관계로 표시된 이 관계는 펠로우가 프로그램에 진입하는 방식으로 간주되었으며 펠로우가 프로그램을 떠난 후에도 오랫동안 지속되었습니다. 이러한 관계는 종종 프로그램 자체를 초월했습니다(‘나는 내 펠로우들과의 관계를 이야기할 수 있지만 프로그램에 대해서는 이야기하지 않습니다’). 관계는 종종 공통된 연구 관심사나 패러다임에 의해 추진되었기 때문에 교수 감독자의 위치에 있는 개인은 펠로우의 연구 프로그램 방향에 따라 변경될 수 있었습니다. 성공적인 관계의 필수 품질을 설명해 달라는 요청을 받았을 때, 감독자와 펠로우 모두는 전문성 개발에 대한 헌신, 상호 신뢰와 존중, 동기가 중요하다고 언급했습니다. 상호 존중과 성숙함의 부족은 최적의 펠로우십 경험을 저해하는 특성이었습니다. 펠로우들은 종종 자신의 연구 정체성을 확립하는 데 있어 감독자와의 관계를 매우 중요하게 묘사했습니다(‘그는 내가 어떤 유형의 연구자가 되고 싶은지 발견하도록 도왔습니다’).

 

펠로우들은 종종 핵심 관계를 통해 다른 관계가 형성되고 연구자 네트워크에 접근할 수 있다고 보고했습니다. 이러한 유형의 관계는 ‘보조’ 및 ‘3차’로 묘사되었습니다.

• 보조 관계는 성공적인 펠로우십에 필수적이며 종종 연구 주제나 질문에 의해 결정되었습니다. 주로 핵심 관계를 통해 중재된 이러한 관계는 이 펠로우십에 고유한 연구 관점과 기술의 ‘광범위한 풍경’을 제공했습니다.
• 3차 관계는 가치 있지만 성공적인 펠로우십 경험에 필수적이지는 않은 것으로 간주되었습니다. 주로 핵심 및 보조 관계를 통해 중재된 이러한 관계는 펠로우가 프로그램 후에 들어가게 될 문화에 대한 감각을 제공했습니다. 개인의 모교 대학원 부서와 펠로우십 프로그램 간의 3차 관계에 대한 태도는 다양했습니다. 일부 펠로우는 펠로우십과 대학원 프로그램이 더 일치해야 한다고 생각했습니다. 다른 사람들은 독립성을 유지할 수 있으며 이러한 독립성이 펠로우십 경험을 약화시키지 않을 것이라고 생각했습니다.

프로그램 구성 요소: 건강한 긴장
Programme components: a healthy tension

종합적인 개념적 프로그램 이론 프레임워크A comprehensive conceptual framework of programme theory14를 사용하여 펠로우십 프로그램 이론의 초안을 작성했습니다. Chen의 개념적 프레임워크를 Wilson Centre 펠로우십에 적용하는 것은 쉬운 일이 아니었습니다. 일반적으로 Chen의 프레임워크 구성 요소는 전통적이거나 ‘현대적’ 프로그램에서 쉽게 식별할 수 있습니다. 이들은 표준 프로세스 및 절차, 명확한 입학 및 졸업 기준, 표방된 커리큘럼, 기간, 대상 인구 및 측정 가능한 결과로 구성됩니다. 그러나 우리는 Wilson Centre 펠로우십에서 이러한 구성 요소를 쉽게 식별할 수 없다는 것을 발견했으며 이는 상반된 의견과 긴장의 원인이 되었습니다. 예를 들어, 일부 개인은 명확한 목표와 목적, 합리적으로 구조화되고 사전에 결정된 프로그램 역할(이른바 ‘현대적’ 프로그램 요소)을 선호한다고 표현했지만, 다른 개인은 네트워킹, 관계, 커뮤니티 및 문화와 같은 비공식적이고 비구조화된 개념(이른바 ‘포스트모던’ 프로그램 요소)을 선호한다고 표현했습니다. 그러나 이른바 현대적(구조화된)과 포스트모던(비구조화된) 구성 요소 사이에는 흥미로운 긴장이 있었습니다. 예를 들어,

• 덜 구조화된 구성 요소는 펠로우들이 프로그램에 신청하는 방법과 펠로우십 중에 성공적인 펠로우십의 기준을 둘러싼 혼란을 초래했습니다. 일부 펠로우는 자신에게 기대되는 출력물이 무엇인지에 대해 불확실했으며, 교육 연구자로서의 정체성을 확립하는 데 명확한 기대와 잘 정의된 역할이 필요하다고 표현했습니다.
• 반대로, 표준화된 프로세스와 절차는 일부 펠로우에게 제약으로 여겨졌습니다.

우리는 포스트모던(비구조화된) 프로그램 구성 요소와 현대적(구조화된) 프로그램 구성 요소 간의 긴장을 더욱 조사하는 것이 성공적인 프로그램 성장을 알리는 데 중요하다는 것을 깨달았습니다. 전통적인 프로그램 평가 모델, 예를 들어 Chen의 모델14은 Wilson Centre 프로그램을 이해하고 평가하는 데 충분하지 않을 것이라는 것이 분명했습니다. 특히, 펠로우십 프로그램의 가장 중요한 정의적 특징은 공식 커리큘럼이나 공식 프로그램 구조에서 찾을 수 있는 특성이 아니었습니다. 오히려 프로그램의 가장 중요한 특징은 조직의 유동성, 생산적인 저항 및 생산성, 교육 및 감독의 의미에 대한 특정 긴장감에서 발생한 것처럼 보였습니다.

2단계: 목표

2단계의 목적은 1단계에서 식별된 긴장의 의미를 더 깊이 조사하고, 평가를 진행하고 펠로우십 프로그램의 현대적(구조화된) 및 포스트모던(비구조화된) 구성 요소를 효과적으로 관리할 수 있는 모델을 찾는 것이었습니다.

평가 질문
Evaluation questions

2단계 평가를 위한 질문은 다음과 같습니다.

1. 펠로우십 프로그램의 구조화된 및 비구조화된 구성 요소 간의 긴장의 의미는 무엇입니까?
2. 프로그램의 문화를 보존하기 위해 현대적(구조화된) 및 포스트모던(비구조화된) 구성 요소를 어떻게 가장 잘 관리할 수 있습니까?
3. 이러한 문제를 해결하기 위해 어떤 모델을 사용할 수 있습니까?

질문 1: 방법
Question 1: Methods

Johnson이 개발한 ‘Polarity Management®’ 모델을 2단계 평가에 사용했습니다.15 양극성은 지속적이고 만성적인 딜레마로, 피할 수 없고 해결할 수 없습니다. Wilson Centre Fellowship Programme의 현대적(구조화된) 및 포스트모던(비구조화된) 구성 요소 간의 자연스러운 긴장이 있는 곳에서, 모델은 그러한 긴장이 파괴적이고 약화될 수 있으며, 또는 창의적 시너지로 관리되고 채널화되어 우수한 결과를 초래할 수 있다는 아이디어를 강조합니다. Johnson에 따르면, 양극성을 효과적으로 관리하는 것은 ‘이것 또는 저것’이 아닌 ‘둘 다’ 접근 방식을 통해 달성됩니다.15 따라서 펠로우십 프로그램의 현대적(구조화된) 및 포스트모던(비구조화된) 구성 요소를 모두 통합하는 것(둘 다)보다는 한쪽 구성 요소만 포함하는 것(이것 또는 저것)이 프로그램의 효과에 영향을 미칠 것입니다.

 

Polarity Management 접근 방식은 ‘더 큰 목적 진술’로 언급되는 목적 진술의 명확화와 양극성이 효과적으로 관리되지 않았을 때 발생할 수 있는 결과의 설명을 요구합니다. 이는 ‘더 깊은 두려움’으로 언급됩니다. 다음으로, 각 극에 집중했을 때 발생할 수 있는 긍정적인 결과와 한 극에 과도하게 집중하여 다른 극을 소홀히 했을 때 발생할 수 있는 부정적인 결과를 명확히 합니다. 마지막으로, 각 극에 집중하여 긍정적인 결과를 얻거나 유지하는 데 도움이 될 수 있는 행동 단계와 한 극에 과도하게 집중하여 다른 극을 소홀히 했을 때 발생할 수 있는 부정적인 결과의 조기 경고 지표를 식별합니다.

이 모델에서는 두 극 간의 내재된 긴장이 최대화되고 양극성의 긍정적 측면이 최대화되며 부정적 측면이 최소화될 때 양극성이 잘 관리됩니다. 기본 개념은 두 극 간의 시너지와 긍정적인 측면의 이점이 조직, 부서 또는 프로그램의 더 높은 목적을 달성하고 유지하는 데 도움이 된다는 것입니다. 양극성을 관리하는 과정에는 그림 2에 표시된 ‘Polarity Map™’의 개발이 포함됩니다.

그림 2
Phase 2: Results

Polarity Management® 맵. 사용 권한이 부여됨: Johnson B (1996) Polarity Management™: Identifying and Managing Unsolvable Problems.15 (http://www.polaritymanagement.com)

 

 

전통적이고 선형적인 프로그램 평가 모델이 Wilson Centre Fellowship Programme의 성격과 잘 맞지 않는다는 것을 인식한 후, 우리는 프로그램에 대한 데이터 수집을 추가로 구조화하기 위해 Polarity Management 모델을 사용했습니다. 이 과정은 펠로우십 프로그램의 현대적(구조화된) 및 포스트모던(비구조화된) 구성 요소 간의 긴장의 의미에 특히 중점을 두었으며 두 단계로 구성되었습니다. 첫 번째 단계에서는 Wilson Centre의 디렉터, 펠로우 및 과학자를 포함한 12명의 참가자가 더 큰 목적 진술(Greater Purpose Statement)과 더 깊은 두려움 진술(Deeper Fear)을 개발했습니다. 이 그룹은 프로그램의 ‘현대적’ 및 ‘포스트모던’ 구성 요소가 무엇을 의미하는지에 대한 간단한 토론을 가졌습니다. 이 토론 중에 '현대적' 및 '포스트모던'이라는 용어는 그들의 인식론에 대한 혼란으로 인해 폐기되었고, 평가의 나머지 부분에서는 '구조화된' 및 '비구조화된'이라는 용어가 사용되었습니다.

 

2단계의 두 번째 단계에서는, 펠로우 두 그룹과 교수진 한 그룹의 세 가지 동질적 포커스 그룹이 펠로우십 프로그램의 Polarity Map®을 개발하기 위한 정보를 수집하기 위해 사용되었습니다. 초점 그룹은 펠로우십 프로그램의 비구조화된 구성 요소에 중점을 둔 긍정적 및 부정적 결과의 우선순위를 결정하고, 프로그램의 구조화된 구성 요소에 중점을 둔 긍정적 및 부정적 결과의 우선순위를 결정하기 위해 질문을 받았습니다(부록 1). 각 초점 그룹의 우선순위 아이디어는 초점 그룹의 Polarity Map으로 통합되었고, 세 개의 polarity maps는 통합되었으며, 초점 그룹의 촉진자와 1단계 평가자는 통합된 Polarity Map을 독립적으로 분석하여 각 사분면의 주제를 결정하고 펠로우십 프로그램에 대한 Polarity Map에 대한 합의를 도출했습니다(부록 2).16

2단계: 결과

펠로우십 프로그램에 대한 Polarity Map은 데이터에서 나타난 우선 결과 주제를 포함합니다(그림 3).

그림 3

펠로우십 프로그램에 대한 부분 Polarity Management® Map. 사용 허가를 받아 수정됨.

 

 

펠로우십 프로그램의 비구조화된 및 구조화된 구성 요소의 양극성을 효과적으로 관리하기 위해 식별된 포괄적인 목적은 ‘건강 전문 장학(연구, 교육 및 관리)에서 미래의 지도자 양성’이었습니다. 2단계에서 나타난 우선 주제 목록에는 유연성, 외부 인정, 공동체 의식 및 기술 개발이 포함되었습니다. 이는 오직 펠로우만이 식별한 우선적인 의미를 반영하는 주제였습니다. 각 개인의 고유한 리더십 잠재력 달성, 프로그램의 혁신성 인정 및 재미는 교수진만이 식별한 우선적인 의미를 반영하는 주제였습니다. 나머지 모든 주제는 펠로우와 교수진 모두의 우선순위를 반영했습니다.

 

구조화된 및 비구조화된 프로그램 구성 요소 간의 균형이 부족할 경우 발생할 수 있는 최악의 시나리오로 식별된 것은 ‘펠로우십 프로그램의 붕괴’였습니다. 초점 상실과 유연성 상실이 가장 중요한 부정적 결과로, 펠로우와 과학자 모두가 식별했습니다. 두 그룹 모두 개별 및 프로그램 정체성의 부족을 식별했습니다. 계층적이고 경쟁적인 공식 관계와 덜 다양성 있는 환경은 오직 펠로우만이 식별한 우선적인 의미였습니다.

 

프로그램 이론이 명확히 되었고, 고유한 양극성이 식별되었으며, 효과적이고 비효과적인 프로그램 관리 요소가 밝혀졌을 때, 평가 단계가 완료되었습니다. 다음 단계는 평가에서 실행 계획으로 전환하는 것이었습니다.

3단계: 실행 및 성과

18명의 Wilson Centre 과학자, 임상 교육 연구자, 펠로우 및 관리자가 참여한 하루 종일 리트릿을 통해 다음을 결정했습니다:

1. 펠로우십 프로그램의 구조화된 및 비구조화된 구성 요소의 양극성을 효과적으로 관리하기 위한 우선순위를 결정합니다.
2. 식별된 우선순위를 위한 실행 계획을 수립합니다.
3. 양극성 관리를 어떻게 모니터링할지 결정합니다.

토론 중에 펠로우십 프로그램 내에 존재하는 구성 요소가 식별되었습니다(표 1).

표 1. 펠로우십 프로그램의 구조화된, 비구조화된 및 통합된 구성 요소

 

그룹은 또한 양극성을 효과적으로 관리하기 위한 우선순위를 식별했으며, 여기에는 펠로우 세미나 재구조화, 기존 라운드의 우선순위 지정, 다양한 부서 및 대학원 프로그램의 홍보, 개별 협상된 동료 운영 진행 세션의 성공 기준 도입 및 비구조화된 공간을 허용하는 구조 유지 등이 포함되었습니다. 참가자들은 효과적인 양극성 관리를 위해 기여할 수 있는 우선순위 아이디어에 대한 실행 계획을 초안했습니다.

 

참가자들은 또한 양극성의 효과적인 관리(긍정적 결과)와 비효과적인 관리 및 펠로우십 프로그램의 구조화된 또는 비구조화된 구성 요소에 대한 과도한 강조를 나타내는 의도하지 않은 결과(‘적기’ 지표)를 나타내는 결과를 초안했습니다(표 2).

표 2. 펠로우십 프로그램의 양극성 관리의 효과적 및 비효과적 관리 결과

효과적인 관리 결과	비효과적인 관리 결과 또는 적기 지표
펠로우가 프로그램을 완료함	감독자 불만
직업을 얻음	참여하지 않음
보호된 시간	창의적이고 신속하게 대응할 수 없음
감독자나 다른 사람에 대한 접근	경직성
성공한 것으로 보임	매년 신청하는 펠로우 수 감소
펠로우가 가치 있게 느껴짐 / 기여 느낌	서로에 대한 책임감 부족 (Wilson Centre 내외)
참석(라운드)	도움을 거부함
무엇이든 말할 수 있다고 느낌 – 의사소통	과도한 처방적 (구조화된 구성 요소의 과도한 강조)
프로그램 간 의미 있는 지적 교류	동일한 ‘유형’의 펠로우 (구조화된 구성 요소의 과도한 강조)
과학자나 다른 펠로우와의 협력 수	공유할 수 없어 느낌 (구조화된 구성 요소의 과도한 강조)
이름과 관심사에 대한 지식	비밀스러움/경쟁적 – 보조금 책 (구조화된 구성 요소의 과도한 강조)
정보 공유	공동체 상실 (비구조화된 구성 요소의 과도한 강조)
공통 기반이 없음 (비구조화된 구성 요소의 과도한 강조)

 

계획은 Wilson Centre 고위 관리 위원회에 의해 최종적으로 채택되었고, 펠로우십 위원회는 많은 권장 사항을 구현하고 모니터링하기 시작했습니다. 오늘날, 긍정적 및 부정적 결과와 양극성의 내재된 긴장은 밀접하게 모니터링됩니다. 이는 프로그램의 숨겨진 차원을 나타내는 것이 아니라, 모든 사람에게 명확하게 드러나며 빈번한 논의의 대상입니다.

논의

프로그램 성장과 확장을 알리기 위해, 이 평가는 Chen의 프로그램 이론 모델을 사용하여 Wilson Centre Fellowship Programme의 이론적 기초를 조사했습니다. 과정 중에 우리는 구조화된 프로그램 구성 요소와 비구조화된 프로그램 구성 요소 모두에 대한 건강하지만 숨겨진 긴장이 존재함을 발견했으며, 이는 고전적인 결과 평가를 넘어서야 하는 부차적인 과정을 필요로 했습니다. 이는 조직 개발 분야의 Polarity Management 모델의 적용을 촉진시켰습니다. 이 모델의 적용 결과, 펠로우십의 일반적인 목적과 펠로우십에 대한 가장 깊은 두려움이 명확히 표현되었으며, 구조화된 및 비구조화된 프로그램 구성 요소의 양극성을 상세히 설명했습니다. 마지막으로, 이러한 양극성을 효과적으로 관리하거나 잘못 관리했을 때 프로그램에 미치는 긍정적 및 부정적 결과가 명확해졌습니다.

 

Polarity Management를 사용하여 팀은 구조화된 및 비구조화된 프로그램 구성 요소의 균형을 맞추기 위한 구체적인 우선 행동을 식별할 수 있었으며, 이를 통해 양극성을 효과적으로 관리할 수 있었습니다. 또한, 구조화된 또는 비구조화된 구성 요소에 대한 과도한 집중이나 두 구성 요소 간의 불균형을 조기에 경고하는 측정 가능한 결과가 식별되었습니다. 이 프레임워크는 예를 들어 펠로우십 프로그램이 규모를 확장하기로 결정할 때 두 극의 균형을 고려할 수 있는 시점에서 유용할 것입니다.

 

이 프로젝트 평가에 사용된 과정은 현재 의학교육 문헌에 설명되지 않은 프로그램 평가 접근 방식입니다. 프로그램이 어떻게 작동하는지 더 잘 이해하고, 발생하는 프로그램의 필요를 충족시키기 위해 서로 다른 패러다임적 관행을 결합하는 것은 전통적인 건강 과학 프로그램 평가에서는 흔치 않습니다. Johansson8이 ‘창의성의 교차점’이라고 부르는 것을 창출하여, 서로 다른 전문 지식 영역 간의 협력 기회를 제공하면 프로그램이 어떻게 작동하고 의도된, 의도되지 않은 및 발생하는 결과가 어떻게 달성되는지를 더 잘 이해할 수 있습니다. 이 사례 연구는 프로그램 이론 기반 평가의 관행과 원칙이 조직 개발 분야의 전문 지식 및 모델과 창의적으로 결합될 수 있음을 보여줍니다. 이 경우, 이 과정은 평가의 폭과 깊이를 확장시켰으며, 펠로우십 프로그램의 다음 진화를 위한 권장 사항과 행동을 도출했습니다. 또한, Polarity Management의 적용은 프로그램의 긍정적인 핵심 강점을 깊이 이해하게 하여 프로그램의 성장과 확장을 알리게 될 것입니다. Polarity Map을 개발하고 양극성을 관리하기 위한 행동을 식별하는 과정은 계획의 성공적인 실행을 위한 조직적 역량과 전문 지식을 요구합니다. 이 펠로우십 프로그램은 이미 구조화된 및 비구조화된 프로그램 구성 요소의 개념을 독창적이고 창의적으로 통합하거나 혼합하여 양극성을 효과적으로 관리할 수 있는 역량을 가지고 있었지만, 그 근본적인 긴장이 숨겨진 상태에서는 최적화될 수 없었습니다.

 

여기서 사용된 접근 방식은 프로그램 목표를 기반으로 한 선형적인 결과 측정에 익숙한 전통적인 프로그램 평가에 익숙한 사람들에게는 낯설게 보일 수 있습니다. 이 평가 과정은 펠로우십 프로그램과 참가자를 구동하는 근본 이론의 더 깊은 수준을 명확히 하고, 이를 사용하여 이 핵심 목표에 대한 지속적인 도전을 식별하는 데 사용되었습니다. 양극성을 발견함으로써 두 가지 서로 다른 극을 균형 있게 통합해야 할 필요성을 강조했으며, 하나는 매우 구조화된 전통적 프로그램 요소로 특징지어졌고, 다른 하나는 더 유동적이고 비구조화된 포스트모던 구성 요소로 특징지어졌습니다. 도전 과제는 두 극을 모두 식별하고 평가하는 동시에 이를 더 통합하고 그 효과와 불가피한 긴장을 모니터링하는 방법을 찾는 데 있었습니다.

 

의학교육 연구가 하나의 분야로 발전함에 따라, 프로그램이 목표와 가정을 명확히 하고, 성공을 포착하는 수단을 반영하며, 평가 데이터를 프로그램 계획에 효과적으로 피드백하는 방법을 식별하는 것이 도움이 됩니다. 이 연구는 차세대 건강 직업 교육 연구자를 훈련하는 세계 최대 프로그램 중 하나에서 이를 시도한 첫 번째 연구입니다. 이 프로그램에 대한 추가 연구뿐만 아니라 이 모델을 캐나다 및 국제적으로 다른 프로그램에 적용하는 것이 다음 단계입니다.