[성과 평가] 의학교육에서 '결과 연구'에 대한 초점 재고하기

출처: Cook, D. A., & West, C. P. (2013). Perspective: reconsidering the focus on “outcomes research” in medical education: a cautionary note. Academic Medicine, 88(2), 162-167.

https://journals.lww.com/academicmedicine/abstract/2013/02000/perspective__reconsidering_the_focus_on__outcomes.15.aspx

 

지난 10년 동안, 의학교육 분야에서는 "결과 연구(outcomes research)"에 대한 강조가 증가하고 있습니다.1-3 결과라는 단어는 일반적으로 "결과로서 뒤따르는 어떤 것"을 의미하지만,4 의학교육에서의 결과 연구 담론에서는 이 단어가 환자에 대한 중재(intervention)의 영향, 때로는 환자 치료 중 의사의 행동에 미치는 영향을 의미합니다.2 이러한 결과에 대한 새로운 강조는 바람직한 것으로 평가받습니다. 의학교육의 궁극적인 목적은 환자의 건강을 개선하는 것이기 때문입니다. 무엇이 실제로 효과가 있는지에 집중하는 것은 사회적 우선순위에 대한 반응성을 높이고, 비효율적이거나 비효과적인 교육 관행을 강조하며, 의료 시스템에 대한 주의를 촉구하는 데 도움이 됩니다. 비록 지금까지의 의학교육 연구 중 소수만이 환자 결과에 대해 보고하고 있지만,1,5-7 최근 체계적인 검토에서 이러한 연구의 증가가 확인되었으며 그 수가 증가하는 것으로 보입니다.8-10 연구자들은 전문가 행동,11 의사 소통,12 외과 훈련,13 지속적인 의학교육14 등의 연구에서 환자 결과를 사용했습니다. 또 다른 연구들은 졸업 후 교육에서 환자 결과를 장기적으로 수집하는 시스템을 보고했습니다.15,16

 

비록 환자 결과 연구 운동이 중요하지만, 환자에 대한 영향과 의사의 행동은 가능한 결과의 일부분에 불과합니다. 50년 전, 커크패트릭(Kirkpatrick)은 교육 프로그램 결과의 네 가지 수준으로 이루어진 널리 인정받는 모델을 제안했습니다. 첫째, 반응(만족도), 그 다음으로 학습(지식, 기술, 태도), 세 번째는 실무에서의 행동, 마지막으로 결과(의학에서 환자와 같은 관심 대상에 미치는 영향)입니다.17 환자 결과는 강조할 가치가 있지만, 의학교육에서 유일한 초점이 되어서는 안 됩니다.

 

환자 결과에 대한 과도한 강조는 역설적으로 의학교육 전반의 예술과 과학을 발전시키는 데 방해가 될 수 있습니다. 이는 임상 연구 결과에서 사망률에만 집중하는 것과 유사한데, 이는

• 환자들에게 중요한 다른 결과(예: 삶의 질)를 간과하고,
• 연구 질문의 범위를 제한하며(모든 중재가 수명을 연장하기 위해 설계된 것은 아님),
• 많은 연구를 실현 불가능하게 만들 수 있습니다(예: 사망률을 결과로 하는 무작위 대조 시험은 일반적으로 장기간의 추적 관찰을 필요로 하고 비용이 많이 듭니다).

우리는 의학교육 연구에서 환자 결과를 사용하는 것에 몇 가지 단점을 인식하고 있습니다. 모든 상황에 이러한 제한이 적용되는 것은 아니며, 그 어떤 것도 극복할 수 없는 것은 아니지만, 이들 제한은 전체적으로 상당한 도전을 제기한다고 생각합니다. 이 관점의 목적은 의학교육 연구에서 환자 결과 연구의 한계를 강조하는 동시에 학습자 중심과 환자 중심의 평가 간의 적절한 균형을 촉진하는 방안을 제안하는 데 있습니다. 우리는 환자 중심의 결과를 포함한 연구를 저지하려는 것이 아니라, 교육 연구에서 환자 결과를 모든 연구의 궁극적인 목표로 삼으려는 요구를 균형 있게 조정하려는 것입니다.

 

의학교육에서 환자 결과를 사용하는 연구의 도전과 제한

Challenges and Limitations of Research Using Patient Outcomes in Medical Education

 

희석

Dilution

 

의사의 행동(커크패트릭의 행동 수준)과 환자 결과(커크패트릭의 결과 수준) 간의 연관성은 간접적입니다. 의사의 행동은 치료나 검사를 선호하는 환자의 선호도, 의사의 권고를 따르는 환자의 순응도, 그리고 질병이나 인구 통계의 개인적 차이와 얽힙니다.18 또한 대부분의 경우, 다른 요인들, 예를 들어 의료 팀의 다른 구성원(간호사, 약사, 수련생 등), 기관 정책, 보험 플랜 요구 사항 등이 영향을 미칩니다. 이러한 모든 요소는 바람직하지 않은 의사 행동을 수정하거나, 반대로 올바른 행동이 감지 가능한 변화로 나타나는 것을 효과적으로 숨길 수 있습니다. 궁극적으로 이러한 혼란 요인이나 조건은 의사의 행동을 효과적으로 희석시키고, 그에 앞서 이루어진 교육 활동의 관찰된 효과를 감소시킵니다. 의사에서 수련의(레지던트)나 의과 학생으로 대상이 전환되면 문제는 더 커집니다. 연구자들은 두 가지 선택지를 갖습니다: 초기 중재의 영향을 강화해서 희석된 후에도 강한 효과를 유지하거나, 작은(희석된) 효과라도 감지할 수 있을 만큼 충분히 큰 표본 크기를 모집하는 것입니다. 그러나 두 가지 해결책 모두 교육 연구에서는 이상적이지 않습니다.

 

매우 강력한 중재를 만드는 것은 처음에는 매력적으로 보일 수 있습니다. 하지만 우리는 강력한 중재가 거의 항상 다양한 교육 방식(예: 교과서, 비디오, 강의, 소그룹, 컴퓨터 지원 교육, 표준화된 환자, 기타 시뮬레이션, 임상 경험의 조합)을 사용하고, 교육 방법(사례 연습, 그룹 토론, 자기 평가 질문, 피드백, 숙련도 학습 등)을 다양하게 사용하는 복합적 접근을 요구한다는 것을 관찰했습니다. 우리 중 한 명과 다른 동료20는 이전에 다음과 같이 언급했습니다.

 

"복합적 중재가 상당한 이익을 보여줄 때, 이는 특정 결과(예: 지식 또는 행동)를 수정할 수 있음을 보여주지만, 이러한 변화를 일으킨 중재의 구성 요소(예: 교육 방법과 경험)에 대해 많은 것을 알려주지 않는다. 이러한 조사는 다중 요인 중재가 정확하게 재현될 수 없기 때문에 일반화 가능성이 제한적이며, 중재의 일부만을 시행하는 것이 효과적일지 여부도 확실하지 않다."

 

더 나아가, 강력한 중재는 약한 비교 중재 또는 중재가 없는 상황과 비교할 때 큰 효과를 보이는 경우가 많습니다. 연구자들이 교육의 과학을 발전시키려 할 때, 비교 효과 연구(두 개 이상의 활성 교육 중재를 나란히 비교하는 것)의 중요성이 증가할 것입니다.21 이러한 연구에서 예상되는 효과 크기는 종종 매우 작습니다.22-24

 

일부는 교육 프로그램15 또는 대규모 코호트25와 같은 집단의 데이터를 평가하는 데 주목해야 한다고 주장합니다. 집단 데이터를 프로그램 차원에서 평가하는 것은 합리적일 수 있습니다(즉, 교육과정 우선순위 및 격차를 식별하거나, 프로그램의 전반적인 효과를 입증하기 위해). 그러나 이렇게 할 경우 개별 제공자의 중요성을 최소화하게 됩니다. 많은 의료 문제는 시스템 기반 또는 시스템 수준의 해결책이 있어야 시연 가능한 지속적인 변화를 이끌 수 있지만, 의과대학을 졸업하고, 면허 및 보드 인증을 받고, 대부분의 경우 환자와 대면하는 것은 여전히 개별적인 의사입니다.

 

실현 가능성: 표본 크기
Feasibility: Sample size

 

의학교육 연구에서는 편리하게 얻을 수 있는 표본 크기(예: 교육 프로그램의 참여자 수)가 연구에 적절한 통계적 파워를 제공하기에 종종 불충분합니다. 임상 시험에서는 치료 옵션의 효과를 평가하기 위해 종종 수천 명의 환자를 모집합니다. 의사에게 심부전에서 메토프롤롤 서시네이트, 중등도 위험 환자에서 라미프릴, 또는 뇌졸중 예방에서 클로피도그렐의 이점을 교육한 후, 환자 결과를 연구하기 위해 얼마나 많은 의사(의과 학생은 말할 것도 없이)를 모집해야 할지를 생각해 보십시오.26-28 교육적 중재가 성공적일지라도 그 효과는 희석될 것이고(위에서 설명한 대로), 측정은 불완전할 것입니다. 그러므로 이러한 연구는 매우 큰 표본이나 매우 큰 영향(큰 효과 크기)을 가진 중재가 필요할 것입니다. 그렇지 않으면 통계적으로 유의미한 결과를 도출하기 어려울 것입니다. 예를 들어, 자격 시험 점수와 환자 불만 사이의 연관성을 입증하기 위해 한 연구는 4년 동안 퀘벡과 온타리오 주에서 인증받은 모든 3,424명의 의사를 모집했습니다.12 (더 작은 규모의 초기 연구에서는 934명의 의사를 대상으로 시험 점수와 검사 주문 및 처방과 같은 의사의 행동 사이의 연관성을 입증한 바 있습니다.)29

 

일부 연구자들은 학습자 표본의 부족을 극복하기 위해 더 많은 환자를 모집하려고 시도했습니다. 그러나 이 경우 데이터를 분석할 때 군집화(clustering)를 고려해야 하며, 군집화는 실제 표본 크기를 감소시킵니다.30 불행히도 연구자들은 종종 군집화를 조정하지 않으며(임상 연구에서 문서화된 것처럼),31 이는 분석 오류와 해석의 문제를 야기하게 되고, 이는 최근 교육의 체계적 검토에서 지적되었습니다.8,32

 

다른 연구자들은 동일한 기관 내의 다른 교육 프로그램 또는 여러 기관의 유사한 프로그램에서 학습자를 모집하여 표본 크기를 늘리려고 시도했습니다. 이러한 시도는 종종 성공을 거두지만, 많은 중요한 연구 질문은 다중 프로그램 연구에 적합하지 않습니다. 특히, 중재 및 결과 측정이 모든 프로그램에서 동일하게 구현되어야 하는 질문들에 해당합니다.33

 

인과적 연관성 확립 실패

Failure to establish a causal link

 

교육자들은 환자 결과에 초점을 맞추는 것이 연구의 엄밀성을 향상시킬 것이라고 기대할 수 있습니다. 그러나 안타깝게도, 환자 결과를 사용하는 연구는 종종 내부 타당성(연구 결과의 편향이 없는지)과 외부 타당성(결과가 다른 사람들에게 의미가 있는지)에 대한 위협을 겪습니다. 이러한 타당성 위협은 연구자와 독자가 내리는 추론과 결론을 약화시킵니다. 환자 결과를 사용하는 많은 의학교육 연구는 무작위화되지 않은 연구 설계를 사용합니다. 여기에는 동시 코호트 설계, 역사적 대조군을 이용한 후향적 설계, 단일 그룹 단면 설계 등이 포함됩니다. 이러한 설계는 무작위 연구에 비해 인과 해석의 강도가 약합니다.34

 

인과적 추론을 약화시키는 또 다른 요인은 혼란변수입니다. 혼란변수는 관찰된 효과가 연구 대상이 아닌 다른 알려지거나 의심되는 요인에 기인할 가능성이 있을 때 발생합니다. 위에서 설명한 복합적 중재와 같이 다중 교육 특성이 동시에 변동하는 비교는 교육 연구에서 흔한 혼란 요인의 두 가지 원천입니다.35 세 번째 혼란 요인은 특히 환자 결과 연구에서 문제가 되는데, 이는 의사마다 환자 집단이 체계적으로 다르기 때문입니다(예: 일부 의사는 다른 의사들보다 고위험 환자를 더 많이 돌봄).18 무작위화로도 혼란된 설계를 보완할 수 없습니다.20

 

결과와 연구 설계의 다른 측면 간의 긴장은 다음과 같은 질문을 제기합니다: 강한 인과적 해석을 허용하는 연구(예: 강한 설계와 제한된 혼란변수)와 약한 결과를 가진 연구, 또는 강한 결과를 가지지만 약하고 혼란된 해석만 허용하는 연구 중 어느 것이 더 나은가? 답은 상황에 따라 다르지만, 많은 경우 강력한 인과 설계가 더 선호될 수 있습니다. 결과가 개선되었다고 말할 수 있지만, 그 개선을 실제로 무엇이 일으켰는지 명확한 연관성을 확립하지 못한다면, 미래의 임상 또는 교육 실습을 개선하는 데 큰 도움이 되지 않습니다.35

 

편향된 결과 선택 가능성

Potentially biased outcome selection

 

다음의 일화는 의학교육에서 환자 결과 연구의 네 번째 제한점을 잘 보여줍니다:

한 여자가 어느 밤 길을 걷다가 가로등 아래서 무릎을 꿇고 있는 남자를 보았습니다. 그녀가 무엇을 하고 있는지 물었을 때, 남자는 열쇠를 찾고 있다고 대답했습니다. 그녀도 함께 열쇠를 찾기 시작했지만, 몇 분 후 "정말 여기서 열쇠를 잃어버린 게 맞아요?"라고 물었습니다. 남자는 "아니요, 열쇠는 길 건너편에서 떨어뜨렸어요. 하지만 저기는 너무 어두워서, 여기서 찾는 게 더 나아요."라고 답했습니다.

 

연구자들이 환자 수준의 결과를 평가할 때, 그들은 이상적으로 가장 중요한 결과를 평가해야 합니다. 그러나 실제로는 종종 열쇠를 잃어버린 곳보다는 빛이 더 밝은 곳에서 찾는 것처럼 보입니다. 예를 들어, 최근의 시뮬레이션 기반 교육에 대한 체계적인 검토를 수행한 연구자들은, 환자 결과를 보고한 모든 연구가 시술 과업(예: 내시경 검사와 기관 삽관)에 집중했음을 발견했으며,32 중요한 비절차적 과업(예: 신체 검사 또는 위기 자원 관리)에 대한 시뮬레이션 기반 교육 활동을 평가하는 데 환자 결과를 사용한 연구는 없었습니다.8

 

연구자들은 관심 있는 모든 영역을 반영하지 못하는 결과를 선택할 때 편향의 위험에 직면하게 됩니다. 안타깝게도, 교육 연구의 많은 관련 결과들은 쉽게 측정되지 않으며,18 연구자들은 광범위한 교육과정 목표를 가장 잘 반영하는 대신 측정이 용이한 것들을 선택하게 됩니다. 많은 중요한 임상 활동에는 승인된 기준이 없으며,18 이로 인해 해당 임상 지표를 연구 결과로 사용하는 것이 불가능해집니다. 예를 들어, 골밀도 검사의 최적 빈도는 명확하지 않기 때문에 골감소증 주제에서 교육과정의 영향을 측정하기 위한 적절한 지표로 사용할 수 없습니다. 일부 상태(즉, 주제)는 다른 상태보다 환자 결과 평가에 더 적합합니다. 실험실 검사 결과(예: 헤모글로빈 A1c)를 확인하는 것은 흡연 중단 비율을 신뢰할 수 있게 측정하는 것보다 쉽습니다. 더 나아가, 특정 상태에서도 일부 측정치(예: 헤모글로빈 A1c)는 다른 측정치(예: 당뇨병성 말초 신경병증의 발병)보다 정량화하기 쉽습니다. 의학교육 연구자들은 종종 환자 결과를 선별적으로 모니터링할 자금이 부족하여, 의료 기록에서 얻을 수 있는 측정을 선택합니다. 이러한 데이터는 수집이 용이하지만, 실제 성과를 나타내는 좋은 지표가 아닐 수 있습니다.18 결과의 가용성이나 실현 가능성 때문에 특정 결과를 선택하는 것은 임상 주제나 측정 방식에서 편향을 초래할 수 있습니다.

 

가로등 아래에서 찾는 것이 항상 문제는 아닙니다. 개념 증명을 입증하려는 연구자들은 환자 결과를 의도적으로 쉽게 측정할 수 있는 테스트 사례 임상 주제를 합리적으로 선택할 수 있습니다. 그러나 임상 결과18와 평가36에서 저자들이 언급했듯이, 한 영역에서의 성과가 다른 영역과 종종 상관관계가 거의 없을 수 있습니다. 예를 들어, 당뇨병 혈당 관리에서 우수한 성과가 대장암 검진에서의 성과를 예측하지는 않습니다. 분야가 개념 증명을 넘어 발전할 때, 측정하기 쉬운 결과(주제)를 계속 선택하면서 더 어렵지만 동등하게 중요한 결과(주제)를 배제하는 것은 부당한 편향의 위험이 있습니다. 환자 결과 연구에 참여하는 사람들은 연구 주제의 표본이 전체 교육과정을 적절히 반영하는지 확인해야 합니다.

 

시험에 맞춘 교육
Teaching to the test

 

일반적인 통념에 따르면 평가가 학습을 주도하며, 대부분의 교육자들(우리 자신을 포함하여)은 이것이 대개 긍정적인 것이라고 동의할 것입니다. 평가가 학습자와 교사 모두에게 학습의 격차를 해결하도록 동기 부여하고 초점을 맞출 수 있기 때문입니다. 그러나 환자 중심의 결과에 지나치게 집중하면 교육자들이 "시험에 맞춘 교육"을 하게 만들어 교육에 부정적인 영향을 미칠 수 있습니다.

 

환자 결과에 지나치게 집중하면 교육과정 설계자들이 환자 치료를 명확하게 향상시키는 과정만을 가르치는 데 치중할 수 있습니다. 이는 겉보기에는 합리적일 수 있지만, 이 접근 방식에는 두 가지 단점이 있습니다.

• 첫째, 연구자들의 많은 노력에도 불구하고, 여전히 임상의들의 진단 및 치료 결정의 일부분만이 명확한 증거에 의해 뒷받침되고 있습니다.37 명확한 기준이 있는 실습에만 집중하는 것은 필연적으로 다른 주제에 대한 교육을 약화시킵니다.
• 둘째, 증거 기반의 알고리즘적 접근에 지나치게 집중할 경우, 학습자들이 그러한 행동의 근본 원칙을 배우지 못할 위험이 있습니다. 비록 시스템 변화가 교육보다 환자 결과에 더 강한 영향을 미치는 경우가 많지만,38 병리생리학 및 기타 기초 원칙을 학습하는 것은 기억 유지와 전이에 명확한 이점을 제공하며,39 새로운 치료법을 이해하거나 새로운 연구 결과를 해석하거나 나중에 연구를 수행할 때 이러한 지식은 장기적인 이익을 가져다줍니다.40

우리는 오해를 피하고자 합니다. 분명히 교육자들은 환자에게 이익을 주는 임상 행동을 가르치고 강화해야 합니다. 그러나 많은 중요한 활동들은 환자에게 즉각적이고 눈에 띄는 영향을 미치지 않을 수 있습니다. 측정 가능한 환자 결과를 개선하는 데 지나치게 집중하면 단기적인 이득을 얻을 수 있지만, 장기적으로는 손해를 볼 수 있습니다.

 

환자 결과: 항상 더 나은 것은 아니다
Patient Outcomes: Not Always Better

 

환자 결과가 다른 결과보다 우월하다는 주장은 궁극적으로 가치 판단입니다. Shea는 "의학교육의 주요 고객은 명백히 학습자이지 환자가 아니다"라고 지적했습니다.19 물론, 신중한 의사 훈련생들은 가장 효과적인 환자 치료를 제공할 수 있는 최고의 교육을 원할 것입니다. 그러나 지식, 기술, 태도, 시간, 심지어 만족도와 같은 측정 기준을 "과정 측정"이라는 이유만으로 자동적으로 2차적 지위로 격하해서는 안 됩니다.2 모든 조건이 동일하다면, 높은 학습자 만족도는 나쁜 목표가 아닙니다! 또한, Yardley와 Dornan이 지적했듯이, 커뮤니티는 Kirkpatrick의 모델에서 하위 수준의 결과나 비결과적 증거(예: 과정 평가 및 질적 데이터)로부터 많은 것을 배울 수 있습니다.9 더 나아가, 환자 결과에 지나치게 집중하면 학습자를 그 자체로 가치 있는 존재가 아니라 단지 목적을 위한 수단으로만 보는 경향이 생겨, 교육 과정이 비인간화될 위험이 있습니다.

 

비환자 결과(지식과 기술)는 이론 구축 연구에서 특히 중요할 수 있습니다. 이 유형의 연구는 환자와의 접촉이 제한된 환경에서 자주 이루어지기 때문입니다. 의학교육 연구자들은 이 분야에서 이론의 부재를 자주 한탄해왔으며,41,42 일부는 이론 구축 연구가 학습 활동을 개선하는 방법에 대한 커뮤니티의 이해를 발전시키는 데 핵심이라고 제안했습니다.43 환자 결과 연구는 의학교육 커뮤니티에 어떤 것이 효과가 있었는지 여부를 말해줄 수 있지만, 종종 다음 교육과정을 어떻게 개선할지 또는 새로운 교육과정을 어떻게 효과적으로 설계할지를 명확히 하지는 못합니다. 이러한 발전을 이루려면 견고한 이론과 개념적 틀이 필요합니다.

 

추천 사항
Recommendations

 

환자 중심의 결과에 지나치게 집중하면 교육 커뮤니티가 다른 결과를 사용하는 중요한 연구에서 벗어날 수 있으며, 최악의 경우 건강 전문직 교육의 일부 측면에 부정적인 영향을 미칠 수 있습니다. 환자 수준의 결과에 초점을 맞춘 연구는 의학교육 활동을 평가하는 데 필수적이며 앞으로도 그럴 것입니다. 그러나 다른 결과를 사용하는 연구를 희생하면서까지 이를 추구해서는 안 됩니다. 따라서 우리는 의학교육 연구에서 결과와 도구를 선택하고 분석하는 데 도움이 되는 여섯 가지 제안을 제시합니다.

 

첫째, 연구자들은 연구 프로젝트를 시작할 때 측정 지표나 도구(예: "헤모글로빈 A1c" 또는 "환자 기록")를 먼저 식별하고 그것에 맞춰 연구를 설계하는 대신, 먼저 연구 목표와 개념적 틀을 명확히 한 후, 가장 관련성 있는 결과를 선택하고, 그다음으로 측정 방법을 선택하며, 마지막으로 도구를 선택해야 합니다.44 질문을 먼저 선택하면 가장 중요한 문제에 집중할 수 있을 뿐 아니라 의미 있는 데이터를 제공하지 못할 결과나 도구를 성급하게 선택하는 것을 피할 수 있습니다. 연구자들은 또한 연구 결과가 교육 목표와 일치하는지 확인해야 합니다. 절대적인 의미에서 "가장 중요한" 결과는 존재하지 않으며, 특정 맥락과 목적에 맞는 더 나은 결과만 있을 뿐입니다. 최적의 결과는 두 가지, 때로는 상충하는 요구사항 사이에서 균형을 맞추어야 합니다: 대상 청중에게 의미 있는 결론을 제공해야 하며, 동시에 실행 가능성의 제약을 고려해야 합니다.

 

둘째, 건강 전문직 교육에서 환자 관련 결과를 논의할 때, 교육자들은 기술(인공 시험 환경에서 제공자가 수행하는 행동), 행동(실제 환자와 함께하는 행동, 예: 검사 주문, 처방, 절차 시간, 절차 기술), 및 환자 효과(커크패트릭의 4단계 "결과": 환자에게 미치는 실제 영향, 예: 환자 만족도, 환자 순응도, 증상 조절, 합병증, 검사 결과) 사이의 차이를 명확히 기억해야 합니다.8,32 주목할 점은, 임상 연구에서는 태도로 간주될 수 있는 환자의 특성(예: 변화를 위한 동기)이 건강 전문직 교육 연구에서는 진정한 환자 효과로 간주될 수 있다는 점입니다.

 

셋째, 연구자들은 환자 결과와 더 쉽게 접근할 수 있는 다른 결과들 간의 연관성을 확립하는 데 중점을 두어야 합니다. 교육적으로 관련이 있는 활동이나 개인 특성과 환자 결과를 인과적으로 연결하는 것은 도전적일 수 있습니다. 활동과 결과 간의 개념적 관계가 잘 정의되지 않으면, 연구자들은 단일 연결고리로 간격을 좁힐 수 없습니다. 이러한 경우, 두 개 이상의 연결고리를 사용하면 인과성을 더 쉽게 확보할 수 있습니다. 예를 들어, 연구자들이 특정 기술이나 행동과 특정 환자 결과 사이의 연관성을 입증한다면, 이후 연구에서 이러한 기술이나 행동을 대체 결과로 사용할 수 있습니다(그림 1 참조). 예를 들어, 혈관 수술에 관한 시뮬레이션 기반 코스에서 연구자들은 시뮬레이터에서 측정한 시간과 누출 정도(기술)가 실제 환자의 수술 시간 및 누출 정도와 연관이 있음을 발견했습니다.45 또 다른 연구에서는 실제 환자와의 상담의 질(행동)과 환자의 변화 동기(환자 효과) 간의 연관성을 발견했습니다.46 물론, 대체 결과는 임상 연구에서 잘 이해되는 것처럼 오해를 불러일으킬 수 있습니다.47 임상 연구에서 대체 종말점 사용에 대한 기존 지침을 의학교육 연구에 적용하는 것이 신중해 보입니다.49 대체 결과는 환자 결과와 상관관계를 가져야 할 뿐만 아니라, 대체 결과의 개선이 환자 결과의 개선과도 연관이 있어야 합니다.

 

 

 

넷째, 연구자들은 교육적 중재를 평가할 때 의도적으로 단계별로 진행하는 것을 고려해야 합니다: 먼저 지식과 기술을 평가하고, 그다음으로 행동을 평가하고, 마지막으로 환자 결과를 평가해야 합니다. Shea는 "우리가 초점을 바꾸기 전에, 그리고 동시에 리뷰어와 편집자의 기대를 바꾸기 전에, 우리는 학생들의 행동에 영향을 미칠 수 있는 방법을 알아내야 한다"고 말했습니다.19 일단 그 방법을 알게 되면, 우리는 그다음 단계에 주의를 기울일 수 있습니다. 연구자들은 또한 학습자의 훈련 수준을 고려해야 합니다. 행동과 환자 결과 간의 연관성은 의사에게 훨씬 더 직접적이며(덜 희석됨), 수련생에게는 약간 덜 직접적이고, 의과 학생에게는 더 적게 나타납니다. 내과 레지던트를 위한 심장소생술 훈련에 관한 한 연구는 결과의 단계별 진행을 보여줍니다: 먼저 연구자들은 시뮬레이션 환경에서 소생술 기술이 향상되었음을 입증했고,50 이후 실제 소생술 중 체크리스트 점수(행동)와 퇴원 시 생존율(환자 결과)을 평가했습니다.51 또 다른 연구 프로그램은 비만 상담 훈련의 필요성을 평가하는 것으로 시작하여,52 상담 활동(행동)에 대한 훈련의 영향을 평가한 후,53 체중 변화에 미치는 영향을 평가했습니다.54

 

다섯째, 연구자들은 환자와 의료팀 전체의 참여로부터 발생하는 환자 결과를 선택하는 것을 고려할 수 있습니다. Kalet과 동료들은 개인 제공자가 환자 자신이 치료에 능동적으로 참여하게 하고, 의료팀과 가용 시스템을 효과적으로 활용함으로써 환자 치료에 영향을 미치는 능력에 초점을 맞춘 "교육적으로 민감한 환자 결과"에 대한 개념적 틀을 제시했습니다.16 이러한 결과(예: 환자의 변화 동기 또는 팀 기능)는 행동과 환자 결과 사이의 접점에 위치하며, 교육 프로그램에 대한 연구에서 적절한 측정 도구를 개발하고 구현할 수 있다면, 환자 치료 효과에 대한 통찰을 제공하는 실행 가능한 접근 방식을 제공할 수 있습니다. 앞서 언급한 의사 상담과 환자의 변화 동기 간의 연관성을 보여준 연구는 교육적으로 민감한 환자 결과의 한 가지 응용 사례를 보여줍니다.46

 

마지막으로, 연구자들에게 환자당 여러 환자 결과가 있을 때(즉, 환자의 군집화) 고급 통계 기법이 필요하다는 점을 상기시킵니다.30,32 필요한 경우 군집화를 조정하지 않으면 분석 단위 오류가 발생하여 연구의 통계적 파워가 인위적으로 증가하고 잘못된 결론에 도달할 수 있습니다.

 

요약

In Sum

 

의학교육 연구에서 환자 결과는 많은 이점을 제공하지만, 동시에 몇 가지 위험을 수반합니다. 희석, 실행 가능성, 인과적 연관성 실패, 편향된 결과 선택, 시험에 맞춘 교육과 같은 문제는 환자 결과의 일상적 사용을 어렵게 합니다. 더욱이, 환자 결과는 의학교육에서 유일하게 중요한 결과가 아닙니다. 가능한 옵션을 신중하게 고려함으로써 연구 설계에서 정보에 입각한 결정을 내리고, 이를 통해 의학교육의 예술과 과학에 대한 통찰을 제공할 수 있습니다.