[인증] 의과대학의 질적 향상: 비전과 문화의 만남

출처: Blouin, D. (2019). Quality improvement in medical schools: vision meets culture. Medical education, 53(11), 1100-1110.
https://asmepublications.onlinelibrary.wiley.com/doi/10.1111/medu.13926

소개

의과대학이 제공하는 교육의 지속적인 품질을 보장하기 위해 질 향상(QI) 전략을 개발해야 한다는 외부의 압력이 커지고 있습니다.1-4

 

QI의 필수적인 특징은 잘 문서화되어 있습니다. 여기에는 다음 등이 포함됩니다.5-9

• 지원적이고 적절한 자원을 갖춘 조직 구조,
• 반복적인 모니터링-분석 주기를 통한 데이터 기반 활동,
• 경쟁적 벤치마킹,
• 팀 역량 강화 및
• 광범위한 이해관계자 참여

조직의 QI 노력이 성공을 거두기 위해서는 품질을 지향하는 강력한 문화가 뒷받침되어야 합니다.4 이 두 가지 요소인 프로세스와 문화가 조직의 기능을 개선하기 위해 조율될 때 '품질 문화'가 형성됩니다.10

 

학부 의학교육(UME) 프로그램의 인증은 의과대학에서 시행하는 교육 과정에 상당한 영향을 미칩니다.11 미국과 캐나다 의과대학의 인증 기준은 모범 교육 사례와 QI의 모범 사례를 반영하도록 되어 있습니다.12 13 예를 들어, 캐나다 의과대학 인증위원회(CACMS)와 의학교육 연락위원회(LCME)의 인증 기준은 의과대학이 프로그램의 성과 데이터를 반복적으로 수집 및 분석하고 이에 따라 프로그램 활동을 조정하도록 요구합니다.12, 13 따라서 인증은 의과대학의 QI 활동의 중요한 외부 동인으로 작용합니다.14-17 인증의 영향을 나타내는 지표로서 QI 이행 정도가 제안되었습니다.11, 17

 

그러나 대부분의 의과대학에서 지배적인 조직 문화는 지속적인 QI 이니셔티브를 최적으로 지원하지 않을 수 있습니다.18 조직 문화는 조직의 분위기, 리더십 스타일, 보상 시스템 및 전략적 강조점에 따라 문화를 네 가지 유형으로 분류하는 경쟁 가치 설문지로 평가할 수 있습니다.19, 20 일반적으로 두 가지 문화 유형(클랜 및 개방)이 QI와 긍정적인 관련이 있습니다.6, 21-24 캐나다에서는 11개 의과대학 중 단 두 곳에서만 지배적인 클랜 또는 개방 문화 유형이 나타났습니다.18

 

일반적으로 문화적으로 QI 지향적이지 않은 조직에서 기존 QI 프로세스가 QI 관행으로 인식되고 있습니까? QI 프로세스가 인정받지 못하면 QI 참여 및 발전 전략이 성공하기 어렵기 때문에 이는 학교가 알아야 할 중요한 사항입니다.

 

조직 내에서 인지된 QI 실행 정도는 말콤 발드리지 국가 품질상(MBNQA) 프레임워크와 관련된 '우리는 진전을 이루고 있는가?" 자가 평가 설문지를 사용하여 평가할 수 있습니다.25 이 프레임워크는 QI의 필수적인 특징을 적절히 포착하는 것으로 밝혀진 7가지 차원을 성과 우수성에 중요한 것으로 식별합니다.9, 26 이 연구에서 발드리지 QI 프레임워크가 선정된 이유는 QI 실행과 문화 유형 간의 관계를 조사하는 데 유용한 정량적 측정을 제공하는 '우리는 진전을 이루고 있는가?" 설문지를 제시하고 있기 때문입니다. 이 설문 결과는 비즈니스, 교육, 의료 분야에서 널리 검증되었지만 의학교육 맥락에서는 검증되지 않았습니다.6, 9, 22, 23, 27-32

 

QI 실행 정도에 대한 교수진의 인식을 이해하면 의과대학 리더십에게 해당 맥락에서 QI를 대표하는 것으로 덜 인식되는 특정 QI 영역과 자원을 집중해야 할 영역에 대한 정보를 제공할 수 있습니다.

 

본 연구에서는 '우리는 진전을 이루고 있는가?"라는 자가 평가 설문지를 통해 캐나다 UME 프로그램에서 인지된 QI 구현 수준을 평가하고, 이전에 확인된 학교의 문화 유형과 QI 구현 정도 간의 관계를 탐구합니다.

연구 방법

이 연구는 대규모 프로젝트의 일환으로 2015년 3월부터 2016년 3월까지 12개월에 걸쳐 진행되었습니다. 캐나다에는 17개의 의과대학이 있으며, 모두 대학에 소속된 공립 의과대학이고 3개 학교는 프랑스어권 의과대학입니다. 17개 학교 중 16개 학교가 연구에 참여하도록 초대받았으며, 한 학교는 이 연구가 계획된 인증 활동에 상당한 지장을 줄 수 있다는 이유로 제외되었습니다.

참여자

캐나다 UME 프로그램의 리더(코스, 단계 또는 단위 책임자, 학생 업무 책임자, 진로 상담 책임자 또는 이와 유사한 리더십 역할을 수행하는 교직원으로 정의)와 임상 교사 및 공식 교사(예: 담임 교사, 소그룹 진행자 등)로 구성된 교수진은 MBNQA 프레임워크의 '우리는 진전을 이루고 있는가?" 자가 평가 질문지를 작성하도록 초대받았습니다.26

 

참가자 모집은 앞서 자세히 설명했습니다.11, 18 요약하면, 각 의과대학의 학장은 해당 학교의 연구 참여를 승인해야 했습니다. 설문지 링크가 포함된 전자 초대장은 수신자와 응답자의 익명성을 보호하기 위해 각 학교에서 중앙에서 배포되었습니다. 학교마다 다른 설문지 링크를 사용했지만, 같은 학교의 참가자들은 같은 링크를 사용했습니다. 1주일 간격으로 두 번의 리마인더가 전송되었습니다.

도구

'우리는 진전을 이루고 있는가?" 설문지(부록 1)는 QI 모범 사례와 관련된 MBNQA 프레임워크의 7가지 차원에 따라 그룹화된 40개의 문항으로 구성되어 있습니다: 리더십, 전략, 고객, 측정/분석/지식 관리, 인력, 운영 및 결과. 응답자는 '매우 동의하지 않음', '미정', '매우 동의함'으로 고정된 5점 리커트형 척도로 각 문항에 대해 평가합니다.) 결과는 일반적으로 각 차원에 대한 평균과 표준편차(SD)로, 그리고 전체 설문지에 대한 평균과 표준편차로 보고됩니다. 다양한 차원에 대한 내부 일관성은 0.73에서 0.93까지 다양했으며 차원 간 상관관계는 0.76.22, 23, 27, 32였습니다. 설문지는 UME 프로그램이 관심 있는 조직임을 명확히 하기 위해 맞춤 제작되었으며 프랑스어권 참가자들이 사용할 수 있도록 프랑스어로 번역되었습니다. 프랑스어와 영어를 이중 언어로 구사하는 연구 책임자가 번역본을 검증하여 질문의 정확한 해석을 반영했는지 확인했습니다.

medu13926-sup-0001-appendixs1.docx

0.11MB

윤리

각 참여 기관의 연구윤리위원회로부터 윤리 승인을 받았습니다.

 

데이터 분석

인지된 QI 구현 정도 결정

설문지는 모수 통계 분석에 적합하지 않을 수 있는 리커트형 척도를 사용하므로, 측정 특성은 ConQuest Rasch 보정 프로그램을 사용하여 Rasch 등급 척도 모델링으로 평가했습니다.33-35 간단히 말해, Rasch 측정은 서수 관측치를 선형 측정치로 변환한 다음 데이터가 모델에 맞는 경우 모수 통계 분석에 사용할 수 있습니다.36 전체 모델링은 다른 곳에 자세히 설명되어 있습니다.37 라쉬 모델링을 통해 데이터가 모델에 적합하다고 판단되면,37 라쉬 개인 측정값(즉, 변환된 측정값)을 모수 통계 분석(평균 및 SD)에 사용했습니다. 두 항목(34번과 39번 문항)은 부적합도가 높아서 추가 분석에서 제외되었습니다.37 이전 연구에 따르면 리커트형 척도의 중간 응답 범주는 의도한 대로 기능하는 경우가 드물다고 합니다.38, 39 '우리는 진전을 이루고 있는가' 설문지의 응답 척도는 5점으로 구성되어 있으므로 5점 척도가 4점 척도보다 더 잘 작동하는지 확인하기 위해 모델 비교를 수행했습니다('미정' 응답 제거).37 모델링 결과 4점 응답 척도가 원래 5점 응답 척도보다 잘 작동하여 중립 응답은 모두 분석에서 제거되었습니다.37 이는 전체 응답의 23%를 차지했습니다.

 

각 범주(리더, 임상 교사, 정규 교사)별 응답자 수에 따라 평균에 가중치를 부여했는데, 이는 프로그램마다 그 비율이 다르기 때문입니다.

 

UME 프로그램에서 응답자의 역할과 참여 정도에 따라 응답자 범주 간에 QI 실행에 대한 인식이 다를 수 있으므로 응답자 범주와 각 차원의 평균 간의 관계를 평가하기 위해 일원 분산 분석(공변량 분석)을 실시했습니다. 표본의 크기가 서로 다르기 때문에 분산 분석을 실행하기 위해 Browne-Forsythe 옵션이 선택되었습니다. 평균 간의 쌍별 차이를 평가하기 위한 사후 분석은 세 그룹 간의 분산이 동일하다고 가정하지 않기 때문에 Dunnett의 C 절차를 사용하여 수행했습니다.

 

프로그램은 중앙값 테스트를 사용하여 비교했습니다. 프랑스어와 영어를 사용하는 프로그램 간의 사후 비교는 크로스탭 절차를 사용하여 수행했습니다.

문화 유형과 인지된 QI 구현 간의 상관관계

본 연구의 데이터가 이전 문헌 연구 결과를 뒷받침하는지 확인하기 위해 피어슨 상관계수를 사용하여 문화 유형과 QI 실행 정도 간의 상관관계를 테스트하여 유의성을 확인했습니다. 상관관계 분석은 IBM spss Statistics for Mac 버전 23.0(IBM Corp., Armonk, NY, USA)을 사용하여 수행되었습니다.

결과

연구에 초대된 16개 UME 프로그램 중 11개(69%) 프로그램이 교수진에게 설문지를 전자적으로 배포하는 데 동의했으며, 11개 프로그램 중 2개 프로그램은 프랑스어권 프로그램이었습니다. 전체적으로 설문지는 1287회 액세스되었으며, 프로그램당 57~256회 범위였습니다. 응답자가 UME 프로그램의 교육 또는 리더십에 관여하지 않았거나(n = 177), 응답을 제공하지 않았거나(n = 120), 불완전한 응답을 제공한 경우(n = 499) 설문지 방문 횟수는 제외되었으며, 후자 그룹은 첫 번째 질문에만 답변한 응답자(즉, 자신의 응답자 범주만 확인한 경우)로 구성되었습니다. 불완전하지만 사용 가능한 응답은 분석에 포함되었습니다.

 

분석에 사용된 응답 수는 각 UME 프로그램마다 달랐습니다(표 1). 응답자 491명 중 173명(35%)은 주로 임상 교사, 150명(31%)은 정식 교사, 168명(34%)은 리더로 분류되었습니다.

 

표 1. 의학교육 프로그램별 응답자 수

 

 

캐나다 의학교육 프로그램에서 인식하는 QI 실행 정도

전체 설문지와 각 응답자 범주(임상 교사, 정식 교사, 리더)에 대한 라쉬 개인 측정법의 평균은 모든 프로그램에서 0.70에서 1.90까지 다양했습니다(표 2).

 

표 2. 전체 및 응답자 범주별 평균 및 표준 오차(SE) 점수, 프로그램 전반

 

표 3은 모든 프로그램에서 응답자 범주(임상 교사, 정식 교사, 리더)에 따라 가중치를 부여한 각 차원에 대한 Rasch 개인 측정값의 평균을 제시합니다. QI 실행에 대한 인식의 차이는 차원마다 다양했으며 대부분의 차원에서 응답자 범주에 따라 통계적으로 차이가 있었습니다(표 3 및 4). 쌍으로 비교한 결과, 인지된 QI 실행 정도는 정식 교사보다 리더가, 임상 교사보다 정식 교사가 더 높은 경향이 있는 것으로 나타났습니다.

 

표 3. 프로그램 전반의 각 차원에 대한 평균과 응답자 범주 간 평균의 쌍별 비교

 

표 4. 응답자 범주 간 전체 평균 및 각 차원별 평균 비교

개별 의학교육 프로그램에서 인지된 QI 실행 정도

응답자 범주별로 가중치를 부여한 라쉬 개인 측정치에서 개별 프로그램에 대한 전체 평균은 0.20~2.32였습니다(표 5).

 

표 5. 개별 의학교육 프로그램의 전체 평균 및 표준오차(SE)

 

전체 설문지의 평균을 중앙값으로 이분화하여 QI 구현 정도와 관련하여 프로그램 간에 유의미한 차이가 존재하는지 평가하기 위해 이원 우발성 테이블 분석을 실시했습니다. 중앙값 이하의 모든 프로그램은 QI 이행 수준이 낮은 것으로 분류되었고, 중앙값 이상의 모든 프로그램은 더 잘 이행하는 것으로 분류되었습니다. 양방향 우연성 테이블 분석은 유의미했습니다(χ2 [10, n = 439] = 41.98; p <0.01). 각 프로그램 내에서 각 카테고리의 응답자 수가 너무 적어 차원 수준에서 의미 있는 평균 비교를 뒷받침할 수 없었습니다.

 

프로그램 문화와 인지된 QI 구현 간의 상관관계

Blouin 등의 이전 연구18의 데이터와 각 프로그램에 대한 설문지의 전체 평균을 사용하여 문화 유형과 인지된 QI 구현 정도 간의 상관관계를 계산했습니다(표 6 및 그림 1-4).

 

표 6. 조직 문화와 의료 질 향상 실행 간의 상관관계

 

 

토론

이 연구에서는 '우리는 진전을 이루고 있는가?"라는 자가 평가 설문지를 통해 캐나다 UME 프로그램에서 인지된 QI 실행 수준을 평가하고, 이전에 파악한 학교의 문화 유형과 QI 실행 정도 간의 관계를 탐색했습니다.

 

그 결과, 여러 프로그램에 걸쳐 의과대학에서 이미 시행 중인 QI 관행이 캐나다 UME에 참여한 의과대학 리더와 교사들에게 제대로 인식되지 못하고 있는 것으로 나타났습니다. 이전에 발표된 다른 분야의 연구 결과와 비교하는 것은 어렵습니다. 다른 분야의 연구는 결과를 단일 집계된 평균, 일부 선택된 영역의 평균 또는 MBNQA 프레임워크의 7개 영역별 평균으로 보고합니다. 이전 연구에서는 원시 측정값(라쉬 인 측정값으로 변환된 측정값이 아닌)을 사용하여 평균을 계산했습니다. 또한 이러한 연구에서는 중간 응답 범주를 유지했으며 이 범주의 사용 빈도에 대한 정보를 제공하지 않았습니다. 그럼에도 불구하고 병원 관리자, 직원 및 직원을 대상으로 한 연구에서는 3.3(SD 0.15)22 및 3.3(3.0-3.48)6의 종합 평균과 3.2-3.7(2개 영역 이상)6 2.94-3.77(7개 영역 이상)31 및 3.21-4.40(7개 영역 이상) 범위의 단일 도메인 측정값이 발견되었습니다. 32 정부 기관을 대상으로 한 연구에서 7개 영역 이상 평균은 4.36~4.90점이었습니다.28 마지막으로 병원 기반 간호사를 대상으로 한 연구에서 7개 영역 이상 평균은 3.2~4.0점이었습니다.23 이러한 연구에서 대부분의 평균이 3점보다 높다는 점을 고려하면 중간 응답 범주를 제거하면 점수가 더 높아졌을 것입니다.

 

응답자의 UME 프로그램 내 참여도가 중앙 리더십에서 멀어질수록 QI 실행 수준에 대한 인식이 낮아졌습니다. 리더들은 정식 교사보다 QI 프로세스의 존재를 더 잘 인식하고 있었으며, 이들은 임상 교사보다 QI 실행을 더 높게 평가했습니다. 임상 교사의 역할은 프로그램의 핵심 시설에서 다소 떨어진 임상 현장에서 교육을 제공하는 것이기 때문에 일반적으로 프로그램 리더십 및 인프라와의 상호작용은 제한적입니다. 원점수(라쉬 변환 점수가 아닌)를 분석한 결과, UME 프로그램 전반에서 리더의 35%가 전체 평균이 4점 이상(즉, 다양한 진술에 평균적으로 동의하거나 매우 동의함)인 반면, 임상 및 공식 교사의 14%만이 그렇게 답했습니다.

 

QI 실행에 대한 응답자들의 인식은 성과 우수성 영역에 따라 달랐습니다. 더 높은 평가를 받은 영역은 '인력', '고객', '결과' 영역이었습니다. 이러한 영역은 프로그램에서의 역할과 무관하게 응답자와 더 가까운 영역인 반면, 다른 영역('전략', '운영')은 프로그램 핵심의 책임으로 볼 수 있다는 해석이 가능합니다. 앞서 나열한 영역에 대한 리더와 임상 교사 간의 QI 인식 차이가 작다는 점은 이러한 해석을 뒷받침합니다. '미정' 응답 범주를 제거하면 평가 대상 영역에 대해 명확한 의견을 가진 교수진만 응답자로 남게 되므로 이러한 해석이 더욱 힘을 얻게 됩니다.

 

본 조사 결과는 캐나다의 모든 프로그램이 인증을 받았기 때문에 각 프로그램에서 이루어지는 인증에 의해 의무화된 과정과 같이 외부에서 의무화된 QI 활동이 보편적으로 QI 활동으로 인식되지 않는다는 것을 시사합니다. 인증 기준과 프로세스, 프로그램 내 관련 활동에 대해 더 잘 알고 있는 프로그램 리더는 인증의 QI 역할을 더 잘 인식할 수 있으며, 따라서 설문조사에서 더 높은 점수를 줄 수 있습니다. 현재의 결과는 또한 인증 외부의 내부 QI 활동이 존재하지 않거나 UME 프로그램에 익숙한 교수진이 이를 인식하지 못하고 있음을 시사합니다. 외부 및 내부의 기존 QI 이니셔티브는 잘 전파되지 않거나, 프로그램 내부에서 QI 활동으로 잘 전달되지 않거나, 프로그램 핵심 외부에서는 더더욱 브랜드화되지 않았습니다.

 

모든 프로그램의 점수는 낮았지만, 인지된 QI 실행 수준은 프로그램마다 상당한 차이가 있었습니다. 결과는 기존 문헌과 일치했습니다.6, 22, 23 QI 설문조사에서 가장 높은 점수를 받은 프로그램은 이전에 품질을 지향하는 조직 문화(이 경우 클랜 문화)를 보여주는 것으로 확인된 두 프로그램과 관련이 있었습니다.18 클랜 문화와 개방 문화는 높은 QI 실행 점수와 강력하고 긍정적인 연관성이 있었고, 경험적 문화는 인지된 QI 실행 정도와 강력하고 부정적인 연관성이 있었습니다. 이러한 결과는 대부분의 의과대학에 널리 퍼져 있는 조직 문화가 낮은 보급률, 열악한 의사소통, QI 활동의 부적절한 브랜드화 외에도 QI 활동의 실행에 대한 본질적인 저항을 야기할 수 있음을 나타냅니다.

 

Schein은 조직 문화에 대한 분석의 세 가지 수준을 설명했습니다: 인공물, 신념과 가치, 기본적인 기본 가정.40 조직의 가시적 산물인 프로세스는 조직의 문화에 대한 인공물입니다. QI 프로세스가 프로그램 리더와 교사에게 보이지 않고 학교 문화의 인공물로 인식되지 않는다는 점은 대부분의 의과대학에 만연한 문화 유형이 QI와 관련이 없다는 결론을 확증합니다.

 

고등교육 제공자로서 의학교육 프로그램은 QI 전략을 개발해야 한다는 압박에 직면해 있습니다.1-4 공인된 캐나다 UME 프로그램에는 이미 품질 개선 프로세스가 존재합니다. 내부적으로 주도하는 QI 프로세스가 마련되어 있을 수도 있습니다. QI 전략이 성공하려면 프로그램 문화가 QI를 수용해야 합니다. 질 향상은 프로그램의 기본 가정, 신념과 가치, 결과물을 통해 내면화되고 교수진에게 입증되어야 합니다.40 특히 '전략', '측정/분석/지식 관리', '운영' 영역과 관련하여 명시적으로 이루어져야 합니다. 의학교육 프로그램에 참여하는 모든 교수진에게 QI 프로세스에 대한 명확한 의사소통은 QI를 조직 문화에 성공적으로 정착시키는 데 필수적입니다.

 

리더는 기존 문화에 새로운 인공물을 도입함으로써 문화 변화의 가장 중요한 주체가 됩니다.41 리더는 그 자체가 프로그램의 인공물(즉, 문화 자료)이 되며, 프로그램에 대한 명시된 의도보다 문화에 더 큰 영향을 미칩니다.41 리더가 권력을 잡게 된 방법, 이전 경험, 리더로 임명된 선발 과정은 조직에 상징적인 의미를 지니고 있습니다.41 프로그램에 대한 명시된 의도는 조직 구성원들이 해석하고 실제 의도보다 이러한 해석이 문화에 영향을 주기 때문에 강력하지 않습니다.41

 

성공적인 문화 변화에는 외재적 및 내재적 동기 부여 요인이 모두 존재해야 하며, 대부분의 저자는 내재적 요인의 중요성을 더 강조합니다.42 외재적 요인은 원하는 행동을 유발하기 위해 마련된 모든 인센티브와 페널티로 구성됩니다.42 이러한 요소들 역시 문화의 인공물이 됩니다.42 UME 프로그램의 인증은 QI 문화 정착을 위한 외재적 동기부여 요인으로 작용해야 합니다; 본 연구에 따르면 인증 관련 활동이 이루어지고 있지만 품질 문화에 통합되지 않은 것으로 나타났습니다. 내재적 동기는 현 상태에 대한 불만족에서 비롯되며, 문화 변화의 핵심은 이러한 불만족을 배양하는 것입니다.42 품질 지향적 문화를 가진 UME 프로그램의 리더는 불만족의 표현을 더 잘 수용할 수 있으며, 그러한 리더가 있는 조직의 구성원들은 불만족스러운 점을 더 쉽게 공유하여 품질 문화를 더욱 촉진할 수 있습니다.

 

제한 사항

각 UME 프로그램의 QI 구현 정도는 교수진의 자가 평가 설문지에 대한 응답을 바탕으로 결정되었습니다. 설문지의 결과는 현재 연구 데이터의 라쉬 모델링을 통해 의학교육을 포함한 여러 맥락에서 검증되었습니다.37 각 프로그램에서 직접 관찰했다면 여러 QI 프로세스의 구현을 발견할 수 있었을 것입니다. 앞서 언급한 바와 같이, 인증 프로세스는 QI 모범 사례를 반영하며 모든 캐나다 의과대학은 완전한 인증을 받았습니다. 오히려 이러한 결과는 프로그램 리더와 교사들이 기존의 QI 프로세스를 제대로 인식하지 못하고 있으며, 이는 QI를 강화하기 위해 고안된 이니셔티브의 성공을 위태롭게 한다는 것을 보여줍니다.

 

각 UME 프로그램의 응답자 수가 적다는 점은 이 연구의 결과를 제한합니다. 그러나 각 응답자 범주의 대표성(약 33%)은 양호했습니다. 각 학교의 표본 집단에서 얻은 결과를 전체 프로그램에 일반화할 수는 없습니다.

 

비록 적은 수이지만 연구에 참여한 UME 프로그램의 수는 캐나다 프로그램의 69%를 차지합니다. 연구에 참여하지 않은 UME 프로그램은 참여 프로그램과 크게 다르지 않습니다.