REACT: 임상추론 신속 평가 도구 (J Gen Intern Med. 2022)

J Gen Intern Med. 2022 Jul;37(9):2224-2229. doi: 10.1007/s11606-022-07513-5. Epub 2022 Jun 16.

REACT: Rapid Evaluation Assessment of Clinical Reasoning Tool 

Brian D Peterson 1, Charles D Magee 2, James R Martindale 2, Jessica J Dreicer 2, M Kathryn Mutter 2, Gregory Young 2, Melissa Jerdonek Sacco 2, Laura C Parsons 2, Stephen R Collins 2, Karen M Warburton 2, Andrew S Parsons 3

 

 

🚨 응급 상황에서 임상추론을 어떻게 평가할까? — REACT 도구 이야기

오늘은 좀 색다른 임상추론(clinical reasoning) 평가 도구 하나를 소개해볼까 합니다. 버지니아 대학교(UVA) 연구진이 만든 REACT(Rapid Evaluation Assessment of Clinical Reasoning Tool)라는 건데요, 이름에서 짐작하셨겠지만 '응급 상황(urgent clinical situations)'에 특화된 평가 도구입니다.

🤔 왜 하필 '응급 상황'일까?

임상추론이라고 하면 보통 '감별진단을 어떻게 좁혀가느냐' 하는 진단추론(diagnostic reasoning) 이야기를 많이 하죠. 그런데 연구진은 여기에 한 가지를 더 얹습니다. 바로 관리추론(management reasoning)이에요. 환자의 선호도, 사회적 가치, 가용 자원 같은 것들을 고려해서 검사와 치료를 결정하는 과정 말이죠.

문제는 환자가 급격히 나빠지는 응급 상황에서는 이 두 가지를 동시에, 그것도 아주 빠르게 해내야 한다는 겁니다. 시간 압박 속에서 결정을 내려야 하니까요.

이게 왜 중요하냐면, 임상추론 결함이 의외로 흔하기 때문입니다. 연구진은 콜로라도 대학교 사례를 인용하는데요 — 6년간 리메디에이션(remediation) 프로그램에 의뢰된 학습자 중 임상추론이 주된 결함이었던 비율이 레지던트의 25~30%, 의대생의 40~45%에 달했다고 합니다. UVA에서도 4년간 GME 리메디에이션 의뢰자의 34%가 임상추론에 어려움을 겪었고요. 생각보다 큰 숫자죠.

그런데 정작 응급 상황에서의 임상추론을 제대로 평가할 도구는 마땅치 않았다는 게 이 연구의 출발점입니다.

🧠 어떤 이론에 기대고 있나?

REACT는 두 가지 이론적 배경 위에 서 있습니다.

 

• 첫째는 상황인지이론(Situated Cognition Theory, SCT)입니다. 지식이 맥락적 요인(contextual factors)에 따라 상대적으로 작동한다는 관점이죠. 응급 상황의 임상추론은 '시간에 쫓기는 결과 중대한 의사결정'이라는 압박 속에서 만들어진다는 점을 강조합니다. Rencic 등이 제안한 틀에 따르면, 임상추론 수행 평가에는 여섯 가지 요소 — 평가받는 임상의(assessee), 환자(patient), 평가자(rater), 평가 방법(assessment method), 과업(task), 환경(environment) — 가 얽혀 있다고 봅니다.
• 둘째는 이중처리이론(dual-process theory)이에요. 우리가 익히 아는 그것, 시스템 1(휴리스틱)과 시스템 2(분석적 사고)의 조합으로 의사결정이 이루어진다는 모델입니다. 응급 상황은 빠른 휴리스틱과 효율적인 분석적 추론을 둘 다 요구하니 이 이론과 궁합이 잘 맞죠.

 

🛠️ REACT는 어떻게 만들어졌나?

흥미로운 건 이 도구가 '맨땅에서' 나온 게 아니라는 점입니다. 연구진은 이미 검증된 두 개의 프레임워크를 기반으로 삼았어요.

1. ART (Assessment of Reasoning Tool) — SIDM(Society to Improve Diagnosis in Medicine)이 개발·검증한 도구로, 구두 발표(oral presentation) 상황에서 자료수집·해석·종합·메타인지를 평가합니다.
2. EPA 10 — AAMC의 위탁가능 전문직무활동(Entrustable Professional Activity) 중 열 번째로, "긴급/응급 치료가 필요한 환자를 인식하고 평가·관리를 시작하는" 역량을 다룹니다.

COACH라는 UVA의 동료 지원 프로그램에서 출발한 다학제 임상교육자 그룹이 네 차례 모여 이 도구를 설계했다고 하네요.

📋 REACT의 다섯 가지 영역(domains)

REACT는 응급 환자 진료에서 핵심이 되는 다섯 가지 학습자 기능(learner functions)으로 구성됩니다. 각각 3점 척도로 평가하니까 총점은 최소 5점에서 최대 15점이 됩니다.

영역 (Function)	핵심 과업
수집하기 (Collecting)	가설 지향적으로 병력·진찰 자료 수집, 악화 징후 인식, 임상 문제의 중증도 파악
해석하기 (Interpreting)	진단추론 — 가능성 높은 진단과 "놓치면 안 되는(can't miss)" 진단을 포함한 감별진단 생성
관리하기 (Managing)	관리추론 — 초기 관리 옵션 선택, 동적 정보에 대한 대응, 환자 이송(escalation) 필요성 인식
소통하기 (Communicating)	환자 중심 진료 — 의료팀과의 협업, 환자·대리인과의 공유된 정신모형(shared mental model) 형성
성찰하기 (Reflecting)	메타인지(metacognition) — 자신의 사고에 대한 성찰, 의사결정에 영향을 준 인지적·정서적 요인 완화

다섯 번째 '성찰하기'가 따로 강조되는 게 인상적인데요, 효과적인 임상추론에서 메타인지가 차지하는 중심성을 부각하려는 의도라고 합니다.

📊 그래서, 실제로 잘 작동했나?

UVA의 2021년 인턴 준비 과정(Intern Readiness Course)에서 4학년 의대생들을 대상으로 파일럿 연구를 진행했습니다. 마네킹을 활용한 시뮬레이션 시나리오(천식 악화, 패혈성 쇼크, 심근경색, 아나필락시스 등 총 12가지 케이스)를 녹화한 뒤, 추가 훈련을 받지 않은 7명의 다학제 임상의가 41개 케이스를 채점했어요.

결과는 이렇습니다 👇

• 내적 일관성(internal consistency): Cronbach's alpha = 0.86 → 고부담(high-stakes) 평가에도 충분한 수준
• 평가자 간 신뢰도(inter-rater reliability): 가중 카파(weighted kappa) = 0.56 → '중간 정도(moderate)'의 일치도

여기서 주목할 점! 평가자들이 별도의 평가자 훈련이나 기준 설정(standard setting) 없이 이 정도 신뢰도를 냈다는 겁니다. 직접관찰(direct observation) 평가에서는 보통 평가자 훈련과 준거 틀 훈련을 권고하는데, 그게 없었는데도 괜찮은 결과가 나왔다는 거죠. 연구진도 이 부분을 "흥미로운 관찰"이라고 표현합니다.

💬 연구진의 핵심 메시지

이 도구의 의의에 대해 연구진은 이렇게 말합니다.

"저희가 아는 한, REACT는 시뮬레이션 응급 임상 상황에서 학습자의 임상추론 수행을 형성평가하기 위해 특별히 설계된 최초의 도구입니다."

"To our knowledge, REACT is the first tool specifically designed for formative assessment of a learner's clinical reasoning performance during simulated urgent clinical situations."

 

다만 연구진은 한계도 솔직하게 인정합니다. 특히 '시뮬레이션'과 '실제 현장'의 차이에 대해서요.

"따라서 빠른 상호작용이 때때로 교육적 목표와 경쟁하게 되어 교육 목표 달성을 위협하는, 진짜 실제 응급 임상 상황에서는 REACT가 그만큼 잘 작동하지 않을 수 있다는 것이 저희의 가설입니다."

"It is therefore our hypothesis that REACT may not perform as well in authentic, real-life urgent clinical situations where the rapid interactions may at times compete with the educational goals, threatening the ability to achieve educational goals and objectives."

 

그리고 이 도구의 궁극적인 지향점은 이렇습니다.

"고위험 응급 임상 시나리오에서 학습자에게 피드백을 안내함으로써, 진단 및 관리 오류를 줄여 환자 피해를 제한하는 것을 목표로 합니다."

"...this tool guides feedback to learners during high-risk urgent clinical scenarios, with the goal of reducing diagnostic and management errors to limit patient harm."

🔭 앞으로의 방향

연구진이 제시하는 후속 연구 방향도 곱씹어볼 만합니다.

• 리메디에이션 예측 도구로서의 가능성 — 다양한 수준의 학습자에게서 리메디에이션이 필요한 사람을 미리 가려낼 수 있을까?
• 총괄평가(summative assessment) 도구로의 확장 — 임상추론 코칭 전후를 비교하는 용도로
• 정량적 점수 체계와 수행 기준선(performance thresholds) 마련

특히 Friedman 등의 연구를 인용하며, 레지던트는 과신(over-confidence) 경향이, 의대생은 진단 오류는 많지만 자신감은 가장 낮은 경향이 있다고 짚는데요 — 결국 임상추론 향상의 기회는 UME에서 GME, 그 너머까지 연속선 전체에 걸쳐 존재한다는 메시지로 읽힙니다.

✍️ 마무리하며

개인적으로 이 논문에서 가장 인상 깊었던 건 두 가지입니다.

 

• 하나는 진단추론과 관리추론을 한 도구 안에 통합하려는 시도예요. 보통 진단에만 무게가 실리는데, 응급 상황이라는 맥락이 자연스럽게 관리추론까지 끌어들이도록 만든 설계가 영리합니다.
• 다른 하나는 연구진 스스로가 시뮬레이션의 한계를 가설로 명시했다는 점입니다. "통제 가능한 환경에서 만든 도구가 통제 불가능한 실제 현장에서도 통할까?"라는 질문을 정면으로 던지는 정직함이 좋네요. 사실 이건 우리 교육자들이 만드는 거의 모든 평가 도구가 안고 있는 본질적 긴장이기도 하니까요.

 

응급 상황 시뮬레이션 교육을 운영하시거나, 임상추론 리메디에이션에 관심 있으신 분들이라면 한 번쯤 원문을 직접 보시길 권합니다. 도구(Figure 1)의 행동 기준점(behavioral anchors)이 꽤 구체적이라 그대로 가져다 쓰기에도 좋아 보입니다. 😊

---

※ 이 글은 위 논문의 핵심 내용을 정리·요약한 것이며, 자세한 내용과 전체 평가 도구는 원문을 참고하시기 바랍니다.

---

서론 

임상추론(clinical reasoning)은 실행 가능한 진단(working diagnosis)을 생성하고, 이를 통해 관리 의사결정(management decisions)을 가능하게 하기 위해 자료 수집(data collection), 종합(synthesis), 해석(interpretation)을 수행하는 과정을 포괄한다. 교수(teaching)와 평가(assessment)에 관한 연구의 대부분은 진단(diagnosis), 즉 자료 수집(data gathering)을 통해 감별진단(differential diagnosis)을 생성하고 좁혀 나가는 과정에 초점을 두고 있다.1–5 최근 Cook 등6은 환자를 위한 검사와 치료 의사결정을 내릴 때 환자 선호(patient preferences), 사회적 가치(societal values), 물류적 제약(logistical constraints), 자원 가용성(resource availability)을 고려하는 관리추론(management reasoning)을 진단추론(diagnostic reasoning)의 필수적 동반 요소로 설명하였다.

 

환자의 임상 상태가 빠르게 악화되는 상황인 긴급 임상상황(urgent clinical situations)은 진단과 관리 모두에 대해 가속화된 의사결정(accelerated decision-making)을 요구한다.7,8 실제 임상의(practicing clinicians) 사이에서 임상추론 오류(errors in clinical reasoning)는 흔하며, 입원 환자 진료(hospitalized patient encounters)의 최대 10–15%에서 발생하는 것으로 추정된다.9 긴급 임상상황에서 어려움을 겪는 학습자들은 “아픈 환자와 그렇지 않은 환자(sick vs not sick)”를 인식하지 못한다거나, 의사소통 기술(communication skills) 또는 임상 지식(clinical knowledge)이 부족하다는 식으로 분류될 수 있다.

 

임상추론 결함(clinical reasoning deficits)은 단일 기관 교정 프로그램(single-center remediation programs)에서 어려움을 겪는 의학 수련생(medical trainees)에게 흔히 확인되어 왔다.10,11

• University of Colorado는 6년 동안 교정 프로그램(remediation program)에 의뢰된 전공의(residents)의 25–30%, 의과대학생(medical students)의 40–45%에서 임상추론이 주된 결함(primary deficit)이었다고 보고하였다.12
• 4년 동안 University of Virginia는 졸업후의학교육(Graduate Medical Education, GME) 교정 프로그램에 의뢰된 학습자의 34%가 임상추론에서 어려움을 겪었다고 확인하였다.13
• 검증된 임상추론 평가도구(validated clinical reasoning assessment tools)에는 한계가 있기 때문에, 실제 유병률(prevalence data)을 정확히 추정하기는 어렵다.14

이중과정이론(dual-process theory)은 임상추론에 대해 널리 이해되고 있는 인지모형(cognitive model)으로, 의사결정이 시스템 1(system 1, 휴리스틱 과정[heuristic processes])과 시스템 2(system 2, 분석적 과정[analytical processes])의 조합을 통해 일어난다고 본다.15 긴급 임상상황은 이중과정이론과 잘 부합한다. 이러한 상황에서는 시간 민감적 진단(time-sensitive diagnosis)을 위한 휴리스틱과 효율적인 분석적 추론(efficient analytic reasoning)이 필요할 뿐 아니라, 진단이 확정되기 전에 빠른 평가(rapid assessment), 안정화(stabilization), 관리(management)가 요구된다.

 

긴급 상황에서 임상추론을 향상시키기 위해, 특정 임상 시나리오에 대한 알고리즘들이 개발되어 관리추론을 촉진하고 환자 결과(patient outcomes)를 향상시키고자 하였다. 예를 들어, 전문 심혈관소생술(Advanced Cardiovascular Life Support, ACLS) 알고리즘은 “코드(code)” 상황에서 관리를 안내하고, 환자를 소생(resuscitation)시키는 동안 분석적 진단을 수행할 수 있는 방법을 제공한다. 예컨대 H’s and T’s가 이에 해당한다.16 그러나 대부분의 긴급 임상상황은 이러한 최종 공통 경로(final common pathway)에 도달하지 않으며, 따라서 관리와 진단을 위한 확립된 알고리즘의 도움 없이 섬세한 임상추론(nuanced clinical reasoning)을 요구한다.

 

상황인지이론(situated cognition theory, SCT)은 긴급 임상상황에서 형성평가(formative evaluation)에 영향을 미치는 수많은 상호작용 요인들과 관련하여 임상추론 수행(clinical reasoning performance)을 평가하는 데 매력적인 관점을 제공한다. Rencic 등17은 여섯 가지 임상추론 수행 평가 요소를 고려하는 개념적 프레임워크(conceptual framework)를 제안하였다. 이 요소들은 임상의 또는 피평가자(clinician or assessee), 환자(patient), 평가자(rater), 평가 방법(assessment method), 과제(task), 환경(environment)이다.

 

이러한 개념적 렌즈(conceptual lens)를 통해 볼 때, 임상추론 수행에 대한 직접관찰(direct observation)은 가장 실제적인 평가(authentic assessment)를 제공한다. 그러나 임상추론 수행에 영향을 미치는 수많은 상호작용 요인을 확인하고 관리하기 위해서는 엄밀성(rigor)이 필요하다. 높은 중증도(high acuity)나 환자 임상 상태의 악화(decompensation)로 특징지어지는 긴급 임상상황에서 임상추론을 평가하는 것은 특히 어렵다. 그 이유는 이러한 상황이 계획되지 않은 특성을 가지며, 교육적 목표가 긴급 진료 제공을 위해 종속되는 경우를 포함하여, 주의를 분산시키거나 해로운 영향을 줄 수 있는 통제 불가능한 요인들이 많기 때문이다.

 

따라서 고충실도 시뮬레이션 환경(high-fidelity simulation environment)에서 긴급 환자진료 상황을 제공하는 모의 환자 진료(simulated patient encounter)는 이상적인 대체 모델(surrogate model)을 제공한다. 이는 여섯 가지 평가 요소 각각에 걸친 많은 요인들을 통제할 수 있게 해준다.

 

본 논문에서 우리는 빠르고 시간 민감적인 진단추론(diagnostic reasoning)과 관리추론(management reasoning)을 요구하는 긴급 임상상황에서 학습자 수행을 형성적으로 평가하고 피드백하기 위한 새로운 도구를 설명한다. REACT(Rapid Evaluation Assessment of Clinical Reasoning Tool)로 알려진 이 행동기준 도구(behaviorally anchored tool)는 고위험 긴급 임상 시나리오에서 학습자에게 피드백을 제공하도록 안내하기 위해, 영역 특이적 프레임워크(domain-specific frameworks)를 바탕으로 내용 전문가(content experts)에 의해 설계되었으며, 진단 오류와 관리 오류를 줄이는 것을 목표로 한다.

---

방법

2016년에 도움 요청을 통한 역량 추구 위원회(Committee on Seeking Competence through Help, COACH)가 구성되었다. COACH는 University of Virginia(UVA)의 독특한 동료 지원 프로그램(peer support program)으로, 임상 수행(clinical performance)에 대한 도움을 의뢰받거나 스스로 요청한 의학 학습자(medical learners)를 돕는 것을 목표로 한다. COACH는 창설 이후 14개 부서(departments)의 100명 이상의 수련생과 함께 일해 왔으며, 전반적으로 긍정적인 결과를 보였다.

 

이후 UVA School of Medicine은 동일한 프레임워크와 상당 부분 동일한 인력을 활용하여 임상 교정 프로그램(clinical remediation program)을 시행하였다. 2018년에는 임상추론에 어려움을 겪는 학습자를 식별하고 코칭하기 위한 전략에 초점을 맞추는 소위원회(subcommittee)가 구성되었다. 이 그룹은 내과 및 병원내과(internal and hospital medicine), 응급의학(emergency medicine), 소아과(pediatrics), 마취과(anesthesiology), 가정의학(family medicine), 중환자의학(critical care), 산부인과(obstetrics and gynecology)의 일차진료 및 전문 임상교육자(primary care and specialist clinician educators)로 구성되었으며, 매월 회의를 열어 어려움을 겪는 학습자를 검토하고, 임상추론 평가와 교정의 모범 사례(best practices)를 논의하며, 임상추론 문헌을 검토하였다.18,19

 

이 소위원회는 필요할 때 어려움을 겪는 수련생과 학생에게 일대일 코칭(one-on-one coaching)을 제공할 수 있는 임상추론 코치(clinical reasoning coaches) 풀(pool)로 기능한다. 확인된 요구를 해결하기 위해, 이 그룹은 2020년 말 긴급 환자진료 상황에서 학습자를 평가하고 형성적 피드백을 제공하기 위한 근거 기반 도구(evidence-based tool)를 설계하는 공동 작업을 시작하였다.

 

REACT 도구(Fig. 1)는 COACH 소위원회 소속의 다학제 임상교육자 그룹에 의해 설계되었다. 이들은 학부의학교육(undergraduate medical education, UME)과 졸업후의학교육(GME) 전반에서 임상추론을 가르치고 평가하는 전문성을 가지고 있었다. REACT라는 명칭은 긴급 임상 시나리오에서 요구되는 신속한 환자 평가(rapid patient evaluation)를 나타내기 위해 붙여졌다. 이 그룹은 도구를 설계하기 위해 네 차례 회의를 열었으며, 먼저 긴급 환자진료 상황에 특이적인 진단추론(diagnosis reasoning)과 관리추론(management reasoning)의 근거 기반 영역(evidence-based domains)을 확인한 후, 각 영역에 다양한 행동기준(behavioral anchors)을 연결하였다. 이 그룹의 우선순위는 여러 전문과(multiple specialties)가 제공하는 환자진료와 일관되게, 다양한 임상 환경(clinical settings)의 학습자에게 적용 가능한 도구를 설계하는 것이었다.

 

이 그룹은 두 개의 검증된 프레임워크(validated frameworks)에서 출발하였다.

• 첫째는 구두 발표(oral presentations) 중 임상추론을 평가하기 위한 Society to Improve Diagnosis in Medicine(SIDM)의 추론 평가 도구(Assessment of Reasoning Tool, ART)였고,
• 둘째는 긴급 진료가 필요한 환자에 대한 학습자의 인식을 형성적으로 평가하기 위해 설계된 Association of American Medical Colleges(AAMC)의 위임가능 전문직무 10(Entrustable Professional Activity 10, EPA 10)이었다.

Thammasitboon 등20과 SIDM은 구두 발표와 임상추론에 대한 임상교육(clinical teaching)을 촉진하기 위해 ART를 개발하고 검증하였다. 이 도구는 특히 학습자의 자료 수집(data gathering), 해석(interpretation), 종합(synthesis), 메타인지(metacognition) 영역의 숙련도(proficiency)를 평가한다. 이 행동기준 도구는 임상추론 오류를 평가하고 교정하기 위한 일반적 프레임워크를 제공한다. 임상 시나리오의 맥락에서 학습자를 관찰하면, 상황적 스트레스 요인(situational stressors)에 따라 달라지는 비언어적 단서(nonverbal cues)와 음성적 단서(tonal cues)를 평가할 수 있다.21

 

반면, AAMC는 실제 환경(real-world settings)에서 학습자의 다양한 임상 역량(clinical competencies)을 평가하기 위한 툴킷(toolkit)을 설계하였다. EPA라고 불리는 이러한 핵심 역량(core competencies)은 의과대학생이 전공의 수련(residency)을 시작하기 전에 갖추어야 할 것으로 기대되는 검증된 숙련도(validated proficiencies)를 포함한다.22 EPA 10은 “긴급 또는 응급 진료가 필요한 환자를 인식하고 평가와 관리를 시작하는 것(recognizing a patient requiring urgent or emergent care and initiating evaluation and management)”에 초점을 둔다. 이 툴킷은 긴급 임상 시나리오 관리에서 기대되는 표준 행동 세트(standard set of behaviors)를 제시한다.

 

파일럿 연구는 UVA에서 2021년 인턴 준비 과정(Intern Readiness Course, IRC)에 참여한 의과대학 4학년 학생 87명을 대상으로 수행되었다. 이 학생들은 내과(internal medicine), 정신건강의학과(psychiatry), 가정의학(family medicine), 응급의학(emergency medicine), 마취과(anesthesia) 전공의 과정으로 전환할 준비를 하고 있었다. IRC의 핵심 목표는 의과대학 4학년 학생들에게 저혈압(hypotension), 흉통(chest pain), 저산소혈증(hypoxemia), 의식변화(altered mental status)와 같은 흔한 긴급 임상상황에 적절하게 대응하고 관리하는 기술을 제공하는 것이다.

 

이 교육의 상당 부분은 마네킹(manikins)을 활용한 모의 시나리오(simulated scenarios)를 통해 이루어진다. 각 학생은 최소 두 개의 고유한 사례 시나리오에서 인턴(intern)의 역할을 수행하며, 해당 시나리오는 관련 임상 경험을 가진 간호사에 의해 구성된다. 시뮬레이션 종료 후, 학생들은 시뮬레이션을 직접 관찰한 임상의와 함께 즉각적인 디브리핑(debriefing) 활동을 수행한다. 2021년 IRC의 시뮬레이션은 녹화되었다. Table 1은 각 사례에 대한 설명을 제공한다.

 

임상추론 과정에 대한 추가 훈련을 받지 않은 독립적인 다학제 임상의 그룹이 이 녹화물을 관찰하고, REACT를 사용하여 각 의과대학생의 수행을 채점하였다. 평가자와 관찰 전반에서 도구의 내적 일관성을 분석하기 위해 행동기준에 점수 체계(scoring system)가 추가되었다. REACT 점수는 각 행동 영역(behavioral domain)에 대해 3점 척도(3-point scale)를 사용하여 산출되었으며, 총점의 최대값은 15점, 최소값은 5점이었다.

 

연구의 최적 표본 크기(optimal sample size) 결정은 관찰 수(number of observations)와 평가자 수(number of raters) 모두에서 측정오차(measurement error)를 최소화하는 것을 바탕으로 한 추정치를 사용하였다.23 Cronbach’s alpha를 사용하여 평가자 그룹 전반의 내적 일관성(internal consistency)을 평가하였다. 평가자 그룹 전체의 종합 평정 점수(overall rating score)에 대한 평가자 간 신뢰도(inter-rater reliability)는 가중 카파 통계량(weighted kappa statistic)을 사용하여 평가하였다. 모든 분석은 SPSS v28을 사용하여 수행하였다.24

 

UVA Institutional Review Board는 이 프로젝트를 검토하였고, 면제 심의(exempt review) 기준을 충족한다고 판단하였다(ref # 4234).

---

결과 

REACT는 긴급 환자진료 중 임상추론 과정에 필수적인 네 가지 학습자 기능(learner functions)으로 구성된다. 이는 자료 수집(collecting), 해석(interpreting), 관리(managing), 의사소통(communicating)이다. 다섯 번째 학습자 기능인 성찰(reflecting)은 효과적인 임상추론에서 메타인지(metacognition)의 중심성을 강조한다.25 각 기능에 대해 구체적 과제(specified tasks)가 설명된다. 형성적 피드백을 가능하게 하기 위해 각 기능마다 예시 행동기준(exemplar behavioral anchors)의 범위가 제시된다.

 

내과 및 병원내과, 산부인과, 소아중환자의학(pediatric critical care), 응급의학, 마취과 출신 임상의로 구성된 7명의 평가자가 41명의 개별 학생을 대표하는 41개의 녹화 사례 시나리오를 채점하였다. 각 평가자는 동일한 41개 사례 시나리오 전체를 채점하였다. Cronbach’s alpha로 평가한 내적 일관성은 41개 비디오 클립에 대한 합산 종합 평정 점수(summed overall rating score)에서 .86으로 측정되었으며, 이는 고부담 평가(high-stakes assessment)에 충분한 값으로 간주된다.26

 

평정이 서열적 특성(ordinal nature)을 가지기 때문에, 평가자 간 신뢰도(inter-rater reliability)를 측정하기 위해 가중 카파 통계량(weighted kappa statistic)을 사용하였다. 종합 평정의 가중 카파 값은 .56이었으며, 이는 일반적으로 중등도의 일치도(moderate degree of agreement)로 해석된다.27 Supplementary Table 1은 영역별 가중 카파 자료(domain-specific weighted kappa data)를 제공하며, Supplementary Table 2는 개별 평가자의 영역별 점수에 대한 기술통계(descriptive statistics)를 제공한다.

---

Figure 1. 임상추론 신속 평가 도구(REACT) (Rapid Evaluation Assessment of Clinical Reasoning Tool) 

지시문(Instructions): 학습자에게 관찰된 행동에 해당하는 상자에 동그라미 표시하시오.

필수 과제(Essential Tasks)		행동 평가(Assessment of Behaviors)
학습자 기능(Learner Function)	구체적 과제(Specified Task)	행동기준 1	행동기준 2	행동기준 3
수집(Collecting) 자료 수집(data gathering) 긴급 또는 응급 임상 시나리오의 인식(recognition of urgent or emergent clinical scenario)	• 가설 지향적 방식(hypothesis-directed manner)으로 병력(history)과 신체진찰(exam) 자료를 수집/보고한다. • 환자 및 질환 특이적 요인(patient and disease specific factors)을 악화(decompensation)의 잠재적 원인(potential etiologies)으로 인식한다. • 임상 문제의 중증도(severity)와 긴급성 또는 응급성을 나타내는 맥락적 징후(contextual signs)를 인식한다.	• 초점이 없는 병력청취와 신체진찰(non-focused history and exam) • 불필요한 정보(extraneous information)를 포함함 • 핵심 소견(key findings)을 놓침 • 긴급성의 맥락적 단서(contextual clues of urgency)를 인식하지 못함	• 병력과 신체진찰이 잠재적 진단(potential diagnoses)을 반영함 • 긴급성의 맥락적 단서를 제한적으로 인식함 • 관련 양성 및 음성 소견(pertinent positive and negative findings)을 제한적으로 포함함	• 잠재적 진단에 대해 논리적인 병력청취와 신체진찰(logical history and exam)을 수행함 • 질문을 통해 특정 진단의 가능성(likelihood)을 평가함 • 긴급성의 맥락적 단서를 충분히 인식함 • 관련 양성 및 음성 소견을 우선순위화함
해석(Interpreting) 진단추론(diagnostic reasoning) 감별진단(differential diagnosis)	• 긴급 임상상황에서 가장 가능성 높은 진단(most likely), 가능성이 낮은 진단(less likely), 가능성이 희박한 진단(unlikely)으로 우선순위화된 감별진단을 생성한다.	• 긴급 상황에서 가능성 높은 진단 또는 반드시 놓치면 안 되는 진단(“can’t miss” diagnoses)이 감별진단에서 누락됨 • 부적절한 진단(inappropriate diagnoses)을 포함함	• 긴급 상황에서 가능성 높은 진단과 “놓치면 안 되는” 진단을 포함하였으나 핵심 진단(key diagnoses)을 놓침 • 진단의 순위화(rank-order)가 부적절함	• 긴급 상황에서 핵심 진단, 가능성 높은 진단, “놓치면 안 되는” 진단을 포함하여 감별진단을 정확하게 순위화함 • 긴급 진단(urgent diagnoses)을 적절하게 우선순위화함
관리(Managing) 관리추론(management reasoning) 초기 관리 선택(initial management option selection) 역동적 정보에 대한 반응(response to dynamic information)	• 평가와 치료를 높은 우선순위의 진단(high priority diagnoses)에 맞춘다. • 악화 중인 환자(patient with decompensation)에 대한 관리를 시작한다. • 환자 진료 수준을 상향 조정할 필요성(need to escalate patient care)을 인식한다.	• 평가와 치료를 가능성이 낮거나 중요하지 않은 진단(unlikely/unimportant diagnoses)에 맞춤 • 가장 가능성 높은 긴급 진단(most likely urgent diagnoses)에 대해 평가하거나 치료하지 않음 • 초기 관리 계획(initial management plan)에 대한 반응을 평가하지 않음	• 가능성 높고 긴급한 진단(likely and urgent diagnoses)에 대해 평가와 치료의 주요 초점을 둠 • 필수적이지 않은 검사(non-essential testing)를 포함함 • 초기 관리 계획에 대한 반응을 평가함	• 가장 가능성 높고 긴급한 진단을 향해 효율적으로 관리(efficiently directed management)를 수행함 • 가능성이 낮거나 덜 중요한 진단에 대한 검사는 연기함(deferred tests) • 초기 중재(initial interventions)에 대한 반응을 평가함
의사소통(Communicating) 환자중심진료(patient-centered care) 진료 계획과 치료 목표의 의사소통(communicate care plan and goals of care) 공유된 정신모형(shared mental model)의 달성	• 업무 효율성(task efficiency)을 향상시키기 위해 역할과 책임(role and responsibility)에 따라 보건의료팀 구성원(health care team members)과 의사소통한다. • 긴급 임상상황에서 환자 또는 대리 의사결정자(surrogate decision-maker)와 초점을 유지하고 양방향 의사소통(two-way communication)을 한다.	• 보건의료팀 구성원과 관여하지 않음 • 환자/가족(patient/family)과 진료 계획(care plan)을 의사소통하지 않음 • 환자의 치료 목표(goals of care)를 명확히 하지 않음	• 업무 효율성을 향상시키기 위해 보건의료팀 구성원과 제한적으로 관여함 • 환자/가족과 의사소통하려는 노력이 제한적이며, 의학 전문용어(medical jargon)를 사용하거나 이해를 확인하지 못함 • 환자의 치료 목표를 제한적으로 명확히 함	• 긴급 상황에서 업무 효율성을 향상시키기 위해 역할과 책임에 따라 보건의료팀 구성원을 충분히 참여시킴 • 환자/가족과 진료 계획을 효과적으로 의사소통하고 이해를 확인함 • 환자의 치료 목표를 효과적으로 명확히 함
성찰(Reflecting) 메타인지(metacognition) 긴급 또는 응급 임상 시나리오에 대한 성찰(reflection)	• 긴급 임상상황에서 자신의 사고에 대해 생각하는 능력, 즉 메타인지(metacognition)를 보여준다. • 임상 의사결정에 영향을 미치는 인지적 경향(cognitive tendencies) 또는 정서적/상황적 요인(emotional/situational factors)을 완화한다.	• 의사결정에 영향을 미쳤을 수 있는 인지적 경향 또는 정서적/상황적 요인을 인식하지 못함 • 인지적 경향 또는 정서적/상황적 요인을 완화하지 못함	• 의사결정에 영향을 미쳤을 수 있는 인지적 경향 또는 정서적/상황적 요인에 대한 인식이 제한적임 • 인지적 경향 또는 정서적/상황적 요인의 완화가 제한적임	• 의사결정에 영향을 미칠 수 있는 인지적 경향 또는 정서적/상황적 요인을 충분히 인식함 • 긴급 임상상황에 대한 반응을 효과적으로 완화함

---

논의 

저자들이 아는 한, REACT는 모의 긴급 임상상황에서 학습자의 임상추론 수행을 형성적으로 평가하기 위해 특별히 설계된 최초의 도구이다. REACT는 임상추론과 임상적 긴급성(clinical urgency)에 특이적인 검증된 도구(validated instruments)의 강점을 바탕으로 구축되었으며, UME와 GME 교육 전반에서 임상추론을 가르치고 평가하는 전문성을 가진 다학제 임상교육자 그룹에 의해 신중하게 설계되었다.

 

이러한 접근은 내용타당도(content validity)의 근거를 제공하며, 본 분석은 모의 긴급 임상상황에서 임상추론 수행을 평가하기 위한 REACT가 중등도의 평가자 간 신뢰도(moderate inter-rater reliability)와 높은 수준의 내적 일관성(high degree of internal consistency)을 보인다는 점을 입증한다. 특히 주목할 점은 추가적인 평가자 훈련(rater training)이나 기준 설정(standard setting) 없이, 여러 의학 전문과 출신의 임상교육자 집단에서 이러한 결과가 달성되었다는 것이다. 이 발견은 의학교육에서 임상술기(clinical skills)의 직접관찰(direct observation)에 대한 모범 실천 지침(best practice guidelines)이 평가자 훈련(rater training)과 참조틀 훈련(frame of reference training) 모두를 권고한다는 점과 대비되어 특히 흥미로운 관찰이다.28

 

SCT는 긴급 임상상황에서 임상추론 수행에 영향을 미칠 수 있는 수많은 잠재 변수(variables)가 있음을 나타낸다. 이러한 변수에는 임상의에게 내재된 요인, 예컨대 경험 연수(years of experience)나 훈련 수준(training), 그리고 환자, 평가자, 임상추론 과제, 환경에 내재된 변수들이 포함된다.17 예를 들어, 긴급 임상진료(urgent clinical encounters)는 부분적으로 조기 관리(early management)의 필요성과 역동적 정보(dynamic information)에 대한 가속화된 반응(accelerated response)으로 정의될 수 있다.

 

이러한 변수들은 실제 긴급 임상상황(authentic urgent clinical situations)에서는 통제되지 않은 상태로 존재하지만, 모의 긴급 임상상황에서 REACT를 시행하면 이들 변수 중 많은 것을 통제할 수 있는 환경이 제공되며, 관심 있는 변수를 분리하고 측정할 수 있는 기회가 생긴다.

 

사실 REACT는 긴급 임상 시나리오에서 임상추론 수행에 영향을 미칠 수 있는 수많은 변수 간 관계와 상호작용(myriad relationships and interactions)을 직접 평가하도록 설계된 것은 아니다. 오히려 REACT는 긴급 임상상황에서 임상추론 수행을 형성적으로 평가하는 데 필수적인 경험적 과제(empiric tasks)에 초점을 둔다. 따라서 저자들은 REACT가 실제 삶의 긴급 임상상황(authentic, real-life urgent clinical situations)에서는 그만큼 잘 작동하지 않을 수 있다고 가정한다. 실제 상황에서는 빠른 상호작용이 때때로 교육적 목표(educational goals)와 경쟁하며, 교육적 목표와 목적(educational goals and objectives)을 달성하는 능력을 위협할 수 있기 때문이다.

 

반면, 교육적 목표가 우선성을 유지하는 모의 긴급 임상상황에서는 임상의, 환자, 평가자, 평가 방법, 과제, 환경을 둘러싼 수많은 요인이 모두 통제 가능하고 수정 가능하다. 제한적인 방식이지만, REACT는 개별 요인에 기인하는 변량(variance attributable to individual factors)을 분리하고 연구할 수 있는 도구를 제공하며, 각 요인이 임상추론 수행과 어떻게 관련되는지에 대한 이해를 형성한다. 이러한 분석은 비긴급 임상환경(non-urgent clinical environments)에서의 다른 잠재적 관계와 상호작용을 이해하는 데 도움을 줄 수 있다.

 

향후 연구 방향(future directions)에는 다양한 학습자 수준(different levels of learners)에서 교정(remediation)의 필요성을 예측하는 도구로서 REACT를 연구하는 것, 그리고 임상추론 코칭(clinical reasoning coaching) 전후의 총괄평가 도구(summative assessment tool)로서 연구하는 것이 포함된다. 여기에는 현재의 행동기준(behavioral anchors)에 더해 점수를 위한 수행 기준(performance thresholds)을 가진 정량적 시스템(quantitative system)을 만드는 작업이 포함된다.

 

Friedman 등29은 전공의(residents)가 자신의 진단에 대해 더 자주 과잉확신(over-confident)을 보이며, 진단추론 오류(errors in diagnostic reasoning)에 더 취약하다는 사실을 발견하였다. 반대로 의과대학생(medical students)은 진단 오류를 더 많이 범했지만 확신도(confidence)는 가장 낮았다. 전문의(attending physicians)도 오류를 범했지만, 가장 높은 확신도와 정확도(accuracy)를 보였다. 이러한 발견은 UME와 GME 연속선(continuum) 전반, 그리고 그 이후에도 임상추론 개선의 기회가 존재한다는 점을 시사한다. 향후 연구에서는 평가자를 대상으로 진단추론과 관리추론의 기본에 관한 교수개발(faculty development)을 시행할 수도 있다.

---

Table 1. 신속 평가가 필요한 임상 사례 설명(Description of Clinical Cases Requiring Rapid Evaluation) 

사례(Case)	환자 설명(Patient description)	목표(Objectives)
천식 악화(Asthma exacerbation)	갑작스러운 호흡곤란(sudden onset shortness of breath)이 발생한 67세 여성	• 빈맥(tachycardia), 빈호흡(tachypnea), 저산소증(hypoxia)을 인식한다. • 천식 악화(asthma exacerbation)를 가장 가능성 높은 진단(most likely diagnosis)으로 확인한다. • 천식 악화에 대한 관리를 시작한다.
파열성 자궁외임신(Ruptured ectopic pregnancy)	오심(nausea), 구토(vomiting), 하복부 통증(lower abdominal pain)이 있는 28세 여성	• 저혈압 환자(patient with hypotension)에 대해 조직화된 접근(organized approach)을 보인다. • 자궁외임신(ectopic pregnancy)을 복통과 저혈압의 가능한 원인(possible cause)으로 인식한다. • 산과 협진(obstetric consultation)을 요청하고 저혈량성 쇼크(hypovolemic shock) 관리를 시작한다.
심근경색(Myocardial infarction)	명치 부위(epigastrium)에 약간의 압박감(slight pressure)이 있는 72세 여성	• 여성 환자에서 급성관상동맥증후군(acute coronary syndrome)이 비전형적으로(atypically) 나타날 수 있음을 인식한다. • 심전도(EKG)를 시행하고 “STEMI” 알림(alert)을 호출한다. • 급성관상동맥증후군 관리를 시작한다.
수혈 반응(Transfusion reaction)	어지럼(dizziness), 오심, 복통(abdominal pain), 호흡곤란이 있는 45세 남성	• 저산소증, 저혈압, 빈맥, 발열(fever)을 수혈에 대한 가능한 반응(possible reactions to transfusion)으로 인식한다. • 혈액 수혈(blood transfusion)을 중단하고 가능한 수혈 반응에 대한 관리를 시작한다.
아나필락시스(Anaphylaxis)	어지럼, 호흡곤란, 가려움(pruritis)이 있는 70세 여성	• 저혈압과 빈맥을 인식한다. • 최근 항생제 투여(recent antibiotic administration)와 관련하여 아나필락시스를 잠재적 원인(potential etiology)으로 확인한다. • 악화 중인 환자(decompensating patient)를 위한 진료 계획(care plan)을 시작한다.
패혈성 쇼크(Septic shock)	의식변화(altered mental status)가 있는 76세 남성	• 발열, 저혈압, 빈맥, 의식변화를 인식한다. • 패혈성 쇼크를 가장 가능성 높은 진단으로 우선순위화한다. • 패혈성 쇼크에 대한 안정화 관리(stabilization management)를 시작한다.
심정지(Cardiac arrest)	호흡곤란과 흉통이 있는 57세 남성	• 급성 흉통과 호흡곤란에 대한 감별진단을 만든다. • 무맥성 전기활동(pulseless electrical activity, PEA) 심정지를 인식하고 원인에 대한 감별진단을 만든다. • 심정지 관리를 시작한다.
COVID-19 폐렴(COVID-19 pneumonia)	기침(cough)과 발열이 있는 65세 여성	• 저산소증과 발열 증상을 잠재적 바이러스성 폐렴(potential viral pneumonia)으로 인식한다. • 악화되는 저산소증(worsening hypoxia)에 대한 관리를 시작한다.
심부전 악화(Heart failure exacerbation)	저혈압과 흉통이 있는 58세 남성	• 저혈압 환자에 대해 조직화된 접근을 보인다. • 잠재적 원인을 판단하기 위해 조직화된 병력청취(organized history)를 수행한다. • 저혈압에 대한 적절한 관리를 시작한다.
고혈압 응급(Hypertensive emergency)	혼돈(confusion)이 있는 52세 남성	• 의식변화 환자에 대해 조직화된 접근을 보인다. • 고혈압 응급(hypertensive emergency)과 고혈압성 뇌병증(hypertensive encephalopathy)을 인식한다. • 고혈압 관리를 시작하고 빠른 혈압 감소(rapid blood pressure reduction)의 위험을 인식한다.
급성 알코올 금단 증후군(Acute alcohol withdrawal syndrome)	초조(agitation)가 있는 52세 남성	• 알코올 금단 증후군(alcohol withdrawal syndrome)을 인식하고 환자와 직원의 안전(patient and staff safety)을 보장한다. • 행동응급 약물(behavioral emergency medications)에 대한 이해를 보인다. • 알코올 금단 증후군 관리를 시작한다.
저혈당성 발작(Hypoglycemic seizure)	의식변화가 있는 46세 여성	• 의식변화 환자에 대해 조직화된 접근을 보인다. • 감별진단에 저혈당(hypoglycemia)을 고려한다. • 포도당 보충 치료(glucose replacement therapy)를 시작한다.

EKG: electrocardiogram, 심전도
STEMI: ST elevation myocardial infarction, ST분절 상승 심근경색
PEA: pulseless electrical activity, 무맥성 전기활동

---

결론

REACT는 긴급 임상상황에서 학습자의 임상추론 수행을 형성적으로 평가하고 피드백하기 위해 설계된 새로운 도구이다. 이 도구는 임상교육자(clinician educators)가 학습자를 평가할 때 신뢰롭게 안내 도구로 기능할 수 있으며, 고위험 긴급 임상 시나리오에서 임상추론 기술(clinical reasoning skills)에 어려움을 겪는 학습자를 식별하는 데 도움을 줄 수 있다. 그 목표는 진단 오류(diagnostic errors)와 관리 오류(management errors)를 줄이는 것이다. 이 형성평가 도구(formative assessment instrument)의 가장 넓은 적용 가능성(broadest application)을 판단하기 위해서는 다른 학습자 집단(other learner populations)에서의 타당도 연구(study of validity)가 필요하다.