임상실습 진입을 위한 위임가능 전문직무 개발 (Acad Med, 2016)

Acad Med. 2016 Feb;91(2):247-55. doi: 10.1097/ACM.0000000000000988.

Developing Entrustable Professional Activities for Entry Into Clerkship 

H Carrie Chen 1, Margaret McNamara, Arianne Teherani, Olle Ten Cate, Patricia O'Sullivan

 

 

임상실습 진입 단계에도 EPA가 필요할까? 🩺

— UCSF·Utrecht 연구진이 만든 'Entry into Clerkship' EPA 5개 이야기

Chen HC, McNamara M, Teherani A, ten Cate O, O'Sullivan P. Developing Entrustable Professional Activities for Entry Into Clerkship. Academic Medicine. 2016;91(2):247–255.

---

🤔 들어가며 — "참관(shadowing)만 하다 끝나는" 임상 경험

의대 교육개혁 이야기를 할 때 빠지지 않는 단골 주제가 있죠. 바로 조기 임상 경험(early clinical experience) 입니다. 본과 임상실습(clerkship)에 들어가기 전부터 학생들을 병원이나 외래에 보내서, 환자와 직접 부딪히며 임상·추론 능력을 길러주자는 거예요.

 

그런데 현장에서는 생각만큼 잘 안 됩니다. 가르치는 임상 지도의(preceptor) 들은 대개 자원봉사 성격의 외래 교수님들이라, "이 학생한테 도대체 뭘 시켜야 하지?"를 잘 모르고요. 학생들도 자기가 진료실에서 무슨 역할을 해야 하는지 헷갈려 합니다. 그 결과가 바로 우리에게 익숙한 풍경, 그냥 어깨너머로 구경만 하다(shadowing) 끝나는 임상 경험이죠. 😅

 

연구진은 여기서 출발합니다. "그럼 본과 진입 전 학생(preclerkship student)이 실제로 할 수 있고, 시켜도 되는 일이 뭔지를 명확히 정의해 주면 되지 않을까?" 그 도구로 꺼내든 게 바로 EPA(Entrustable Professional Activity, 위임 가능한 전문 활동) 입니다.

---

💡 핵심 발상: clerkship 진입도 하나의 '전환점'이다 

EPA는 원래 전공의 수련 같은 졸업후 의학교육(GME, Graduate Medical Education) 에서 주로 쓰여 왔어요. 보통 레지던시 진입, 펠로우십 진입, 독립 진료 시작처럼 수련의 전환점(transition point) 에서 "이제 이 정도는 믿고 맡겨도 된다"를 정의하는 데 쓰이죠.

 

연구진의 논리는 단순하고도 깔끔합니다. "임상실습 진입(entry into clerkship)도 그냥 더 이른 시점의 전환점일 뿐이다(Entry into clerkship is just an earlier transition point)." 그러니 EPA를 본과 진입 단계에도 못 쓸 이유가 없다는 거예요.

 

여기서 중요한 설계 결정이 하나 등장합니다. 바로 위임 수준(entrustment/supervision level) 을 어디에 둘 것인가입니다. EPA의 위임 척도는 보통 5단계인데, 독립 진료(레지던시 졸업) 수준은 보통 Level 4(감독 없이 수행) 로 잡아요. 하지만 본과 진입 전 학생에게 그건 무리겠죠. 그래서 연구진은 모든 EPA를 Level 3(반응적 감독 하의 수행, practice under reactive supervision) 에 맞췄습니다. 쉽게 말하면 이런 그림이에요. 👇

학생이 진료실 안에서 환자와 혼자 일을 진행하되, 지도의는 바로 옆방에서 즉시 호출 가능한 상태로 대기하다가 나중에 결과를 다시 확인해 주는 수준.

---

⭐ 이 논문의 진짜 기여 — "제목 리스트"가 아니라 "완전한 기술서"

사실 EPA를 만드는 연구는 이미 많았습니다. 대부분 델파이(Delphi) 나 명목집단법(nominal group technique) 으로 전문가들을 모아 "EPA 제목 목록"을 뽑아냈죠. 그런데 연구진은 여기에 일침을 놓습니다.

💬 "EPA의 진짜 본질은 충분히 상세하게 기술된 설명에 있다."
"the real essence of an EPA is in its fully elaborated description"

 

제목만 봐서는, 이미 독립 진료로 넘어가는 숙련된 학습자에게는 자명해 보일 수 있어요. 하지만 임상 현장이 처음인 초심자(novice)와 그들을 지도하는 사람에게는, 그 활동의 구체적인 범위와 한계(specifications and limitations) 가 명시되지 않으면 무용지물입니다. 그래서 이 논문은 ten Cate의 가이드라인을 따라 7개 구성요소(seven-part description) 로 된 완전한 EPA 기술서를 만드는 방법을 보여줍니다.

 

📋 EPA 7-part 기술서 구성

1. EPA 제목 (title)
2. 세부 규정과 한계 (specifications and limitations)
3. 필요한 지식·기술·태도 (required knowledge, skills, and attitudes)
4. 기존 역량 체계와의 연결 (link to a competency framework)
5. 진척도 평가를 위한 정보원 (information sources to assess progress)
6. 위임 결정에 이르는 방법 (methods to arrive at the entrustment decision)
7. 위임의 조건과 함의 (conditions and implications for entrustment)

---

🔧 어떻게 만들었나 — 약 2년간의 5단계 여정

이 논문의 백미는 방법론입니다. 무려 약 2년에 걸친 5단계 개발 과정을 투명하게 보여주거든요.

 

• Phase I. 내용 영역(content domain) 도출 🔍 "전문가가 책상에서 정한 것"이 아니라, 학생이 실제로 할 수 있다고 입증된 것에서 출발한 게 핵심입니다. UCSF의 학생 주도 클리닉(SRC, student-run clinic) 연구 데이터 + 지도의 인터뷰(19명) + 학생 포커스 그룹을 삼각검증(triangulation)해서 초기 5개 영역을 뽑았어요.
• Phase II. 매핑(mapping) & 확인 🗺️ 도출한 영역을 교내 실습 목표, 졸업 역량, 그리고 의학·소아과 GME EPA, AAMC의 CEPAER(전공의 진입 핵심 EPA) 에 연결했습니다. 학생 수준의 EPA가 더 작은 단위라, 상위 GME EPA 여러 개에 걸쳐 매핑되더라는 점이 흥미롭습니다.
• Phase III. 상세 기술 & 전문가 자문 ✍️ EPA 전문가(ten Cate 본인)의 반복 피드백을 받으며 7-part 기술서를 완성. 이 과정에서 "감별진단·계획 세우기"를 정보 공유에서 분리해 별도 EPA로 만드는 등 영역이 재편됩니다.
• Phase IV. 내용 타당도 확보 — 워크숍 🌍 여기가 이 연구의 독창적인 부분이에요. 델파이 대신 워크숍 토론을 택했습니다. 교내(2회) → 미국 전국 학회 → 국제 학회(Ottawa Conference) 순으로 4번. 7개국 의학교육자들이 소그룹으로 나눠 각 EPA의 제목과 한계를 다듬었죠. 참가자들은 누락된 EPA가 없다는 데 합의했고, "Level 3가 적절하다"는 데도 동의했습니다.
• Phase V. 최종 검토 ✅ 전문가와 교내 이해관계자의 최종 검토. 이때 재미있는 지적이 나옵니다. EPA가 "학습자가 무엇을 할 것인가"라는 역량 언어(competency language) 처럼 쓰여 있다는 거예요. 그래서 "특정 맥락 속의 활동/업무 단위(activity/unit of work)" 중심으로 다시 틀을 잡았습니다.

---

🎯 결과: 임상실습 진입 EPA 5가지

최종적으로 다듬어진 5개 핵심 EPA는 다음과 같습니다.

1. 정보 수집 — 흔한 주증상을 가진 의학적으로 안정된 환자에게서 정보 수집하기 (Gather information from a medically stable patient with a common chief complaint)
2. 정보 통합 — 수집한 정보를 통합해 근거 있고 우선순위화된 감별진단과 예비 계획 세우기 (Integrate information gathered about a patient to construct a reasoned and prioritized differential diagnosis as well as a preliminary plan for common chief complaints)
3. 팀 내 소통 — 의료팀 구성원에게 환자 진료 관련 정보 전달하기 (Communicate information relevant to a patient's care with other members of the health care team)
4. 환자와의 정보 공유 — 큰 신체적·정서적 고통이 없는 환자에게 진단·관리 계획 등 진료 정보 공유하기 (Share information about the patient's care, including diagnosis and management plan, with a patient in no significant physical or emotional distress)
5. 자원 제공 — 개별 또는 전체 환자 진료 향상을 위해 의료팀에 자원 제공하기 (Provide the health care team with resources to improve an individual patient's care or collective patient care)

제목이 좀 길죠? 연구진도 이 점을 알고 있었습니다. EPA 제목은 짧게 쓰라는 게 정설인데도, 일부러 한계 조건을 제목에 넣었어요. "본과 진입 전 학생에게 적절한 활동임"을 분명히 드러내서, 교수·학생이 처음 이 EPA를 접할 때 생길 오해를 막기 위해서였다고 합니다.

---

🗣️ 토론에서 가장 인상 깊었던 지점들

① 학생을 '부담'이 아니라 '기여자'로

개인적으로 이 논문에서 가장 울림이 컸던 문장입니다. EPA를 함께 논의하는 과정 자체가 교수들의 인식을 바꿔놓았다는 거예요.

💬 "이런 논의는 교수들의 기대를 바꾸고, 본과 진입 전 학생을 잠재적 부담이 아니라 임상 현장의 기여자로 바라보도록 도울 수 있다."
"Such discussions may help alter faculty expectations and encourage them to see preclerkship students as contributors in the clinical workplace, rather than as potential burdens."

 

② CEPAER에서 '거꾸로' 내려오지 않았다

연구진은 AAMC CEPAER가 본과 진입 전 학생에게는 범위가 너무 넓다고 봤습니다. 그래서 상위 틀을 쪼개 내려오는 방식 대신, 학생이 실제로 해낸 일에서 쌓아 올리는 방식을 택했죠.

💬 "우리는 CEPAER에서 거꾸로 작업하지 않고, 본과 진입 전 학생이 입증한 역량의 근거로부터 앞으로 쌓아 올리는 방식을 택했다." "we elected not to work backward from the CEPAER but to work forward on the basis of evidence of demonstrated preclerkship student capabilities."

다만 매핑을 통해 이 EPA들을 CEPAER에 연결(nest) 할 수 있음을 보여줬다는 점에서, 두 체계를 함께 쓸 수 있게 한 영리한 설계입니다.

 

③ 한계도 솔직하게

연구진은 한계를 숨기지 않습니다. △ 2년이라는 긴 개발 기간 △ 학회 워크숍 방식이라 참여 전문가 통제가 어려웠던 점 △ 수집한 타당도가 내용 타당도(content validity) 에 한정된 점(평가 활용에 대한 타당도 근거는 후속 과제)을 분명히 밝힙니다. 동시에 "긴 시간이 들었지만, 입증된 학생 역량에 기반했기에 오히려 다양한 이해관계자의 수용을 끌어냈다"고 균형 있게 짚어요.

---

📝 마무리 — 우리 교육과정에 시사하는 것

연구진은 마지막에 이렇게 권합니다.

💬 "우리는 이 EPA들을 다른 기관에서도 사용하기를 권한다. 이 EPA가 환자 안전에 유의하면서, 본과 진입 전 학생이 임상 현장 활동에 참여하도록 명확한 지침을 제공할 수 있으리라 기대하기 때문이다."
"We endorse their use by other institutions because we anticipate that the EPAs can provide explicit guidance for the engagement of preclerkship students in clinical workplace activities with attention to patient safety."

이 논문이 주는 메시지를 정리하면 이렇습니다.

• ✅ EPA는 졸업후 교육의 전유물이 아니다. 임상실습 진입 단계에도 충분히 적용 가능하다.
• ✅ 중요한 건 멋진 제목 목록이 아니라, 범위·한계까지 명시한 완전한 기술서(fully elaborated description) 다.
• ✅ "전문가 합의"가 아니라 "학생이 실제로 할 수 있다는 증거" 에서 출발할 때 현장의 수용성이 높아진다.
• ✅ EPA를 만드는 과정 자체가, 교수들이 학생을 보는 시선을 바꾸는 교육적 대화의 장이 된다.

여섯 해 통합 교육과정 개편이나 조기 임상 노출을 고민하는 분이라면, "우리 학생들이 본과 진입 전에 무엇을, 어느 정도의 감독 하에 할 수 있는가"를 명문화하는 출발점으로 삼기에 참 좋은 모델 논문입니다. 🙂

 

---

 

의학교육 개혁(medical education reform)에 대한 요구는 강의식 지식(didactic knowledge)의 교육과 경험학습(experiential learning)을 통합하는 교육과정 설계(curricular designs)의 사용을 주장한다.1 의과대학들은 병원 또는 외래 클리닉 환경에서의 프리셉터십 배치(preceptorship placements)와 같은 다양한 초기 임상경험을 프리클럭십 교육과정에 포함함으로써 이러한 통합적 접근을 제공하고자 노력한다.2,3 이상적으로 이러한 프리셉터십은 학생들이 임상 현장(clinical workplace)에서 환자와 상호작용하면서 임상 술기(clinical skills)와 추론 술기(reasoning skills)를 학습할 수 있게 한다.4–6

 

그러나 현장학습(workplace learning)의 풍부함은 학생이 현장 활동(workplace activities)에 얼마나 참여하는가에 달려 있다.7 그럼에도 흔히 자원 교수진(volunteer faculty)인 프리셉터들은 자신의 임상진료에서 학생에게 적절한 활동을 확인하는 데 어려움을 겪는다. 마찬가지로 학생들도 현장에서 자신의 역할이 무엇인지 명확히 알지 못한다. 그 결과 프리셉터십은 원하는 직접 수행형 임상경험(hands-on clinical experiences)보다는 주로 관찰(shadowing) 경험으로 구성되는 경우가 많다.8–11

 

위임가능 전문직무(Entrustable Professional Activities, EPAs)는 프리클럭십 학생들이 수행할 것으로 기대될 수 있는 업무 활동(work activities)을 확인함으로써 이 문제에 대한 잠재적 해결책을 제공한다. EPA는 현장학습과 정렬되어 있으며, 역량을 실제 진료(practice)의 맥락 안에 위치시킨다.12 여기에서는 의사가 수행하는 특정 활동이라는 렌즈를 통해 여러 역량이 평가될 수 있다.13 초기 임상경험의 교육 목표와 세부 목표를 EPA의 언어로 정의함으로써, 우리는 학생과 프리셉터에게 학생의 역할에 관한 명시적 지침을 제공할 수 있다. 이 모델을 사용하면, 학생들이 발달 단계상 수행할 수 있을 것으로 기대되는 활동이 무엇인지, 그리고 그 활동을 프리셉터의 임상 현장에 어떻게 효과적으로 통합할 수 있는지를 명확히 할 수 있다.

 

EPA는 주로 졸업후 의학교육(graduate medical education, GME)에 적용되어 왔지만, 우리는 이전에 EPA가 학부 의학교육(undergraduate medical education, UME)에도 적용 가능하다고 주장한 바 있다.14 또한 EPA는 레지던트 과정, 펠로우십, 그리고/또는 독립 진료로의 진입과 같은 의학 훈련의 전환 시점(transition points)에서 기대 수준을 구체적으로 정의한다.13,15–19 임상실습 진입(entry into clerkship)은 그보다 이른 전환 시점일 뿐이다. 따라서 우리는 임상실습에 들어가는 학생들에게 요구되는 역량 기대 수준을 명확히 하기 위해 EPA를 개발하였다.

접근 

이 EPA를 개발하기 위해, 우리는 먼저 EPA를 고정(anchor)할 감독 또는 위임 수준(level of supervision or entrustment)을 결정하여 일관성을 확보하였다. 출판된 EPA 감독 척도(supervision scale)는 감독/위임(supervision/entrustment)의 다섯 수준을 포함한다.12

 

• 독립 진료 진입(entry into practice)을 위한 EPA는 4수준, 즉 학습자가 감독 없이 수행할 수 있는 수준으로 정의된다.
• 학생들은 감독 없이 임상 활동을 수행할 것으로 기대되지 않기 때문에, 우리는 EPA를 위임 3수준(entrustment level 3), 즉 반응적 감독하 수행(practice under reactive supervision)으로 설계하였다. 일부 활동에서 이는 학생이 환자와 함께 방 안에서 혼자 활동을 완료할 수 있고, 감독자는 방 밖에 있지만 즉시 이용 가능하다는 의미이다.

 

EPA 개발 접근법은 흔히 델파이(Delphi) 또는 명목집단기법(nominal group process)을 포함해 왔다.15,16,20–25 두 방법 모두 전문가를 활용하여 EPA가 무엇이어야 하는지를 정의하고, EPA 제목 목록을 도출한다. 그러나 EPA의 진정한 본질은 활동의 제한점(limitations), 기대되는 지식·술기·태도, 관련 역량, 평가 정보 등을 포함하는 자세한 설명으로 구성된 충분히 정교화된 기술문(fully elaborated description)에 있다.26,27 EPA 제목에 기술된 과제는 독립 진료로 전환하는 학습자에게는 자명해 보일 수 있고 별다른 설명이 필요하지 않을 수 있다. 그러나 임상 현장 초보자(novices to the workplace)와 그들과 함께 일하는 사람들은 수행을 요구받는 활동의 세부사항(specifications)과 제한점(limitations)을 이해하기 위해 명시적 세부 정보가 필요하다. 이러한 자세한 정보는 수행평가(performance assessment)를 위해 EPA를 실행하는 데 필요하다.

 

이 논문의 목적은 임상실습 진입을 위한 EPA의 충분히 정교화된 기술문을 개발하기 위해 우리가 사용한 새로운 방법론(novel methodology)을 보고하는 것이다. 이러한 기술문은 다음의 일곱 부분을 포함한다.

 

• (1) EPA 제목(EPA title),
• (2) 세부사항과 제한점(specifications and limitations),
• (3) 요구되는 지식·술기·태도(required knowledge, skills, and attitudes),
• (4) 기존 역량 프레임워크(existing competency framework)와의 연결,
• (5) 진척도 평가를 위한 정보 출처(information sources to assess progress),
• (6) 위임 결정(entrustment decision)에 도달하는 방법,
• (7) 위임의 조건과 함의(conditions and implications for entrustment)이다.26,27
• 우리는 또한 개발 과정에서 내용타당도(content validity)를 확보하기 위해 취한 단계들을 강조한다.

 

이하의 절에서는 다단계 과정의 방법과 결과를 설명하며, 각 단계의 근거(rationale), 자료 출처(data sources), 자료 분석(data analysis)을 제시한다. 전체 과정은 약 2년이 소요되었으며, 모든 단계는 캘리포니아대학교 샌프란시스코(University of California, San Francisco, UCSF) 기관생명윤리위원회(institutional review board)의 승인을 받았다.

1단계: EPA 내용 영역의 확인
Phase I: Identification of EPA Content Domains 

근거

EPA 내용 영역(content domains)의 확인은 입증된 학생 수행능력(demonstrated student capabilities)에 기반해야 한다. 따라서 프리클럭십 학생들이 어떤 전문직 활동(professional activities)을 수행할 수 있는지, 그리고 어떤 활동이 교육과정에 현실적으로 포함될 수 있는지를 결정하기 위해, 우리는 UCSF의 학생운영 클리닉(student-run clinics, SRCs)에서 프리클럭십 학생의 역할과 활동에 대한 연구에서 시작하였다. 우리는 학생들이 병력 청취(history taking), 신체진찰(physical examinations), 환자교육(patient education), 진료기록 작성(encounter documentation), 그리고 채혈(phlebotomy), 예방접종(vaccinations)과 같은 간단한 처치(minor procedures)를 포함한 직접 환자진료 활동(direct patient care activities)을 수행한다는 것을 확인하였다.28 학생들은 또한 환자가 지역 보건 프로그램(local health programs)에 접근하도록 돕고 질 향상 활동(quality improvement activities)을 수행하였다.28 우리는 프리셉터 면담과 학생 포커스 그룹을 통해 이 정보를 확인하였다.

방법

2012년 11월부터 2013년 6월까지, 우리는 UCSF 프리클럭십 임상술기 과정(preclerkship clinical skills course)의 프리셉터를 대상으로 20분에서 45분 길이의 구조화된 전화 면담(structured telephone interviews)을 실시하였다. 우리는 학생을 현장 활동에 통합하는 능력이 입증된 프리셉터를 선정하였다. 363명의 프리셉터 중 71명이 학생에게 병력 청취 및 신체진찰 기회를 제공하는 능력과 교수효과성(teaching effectiveness)에 대해 3개 학년도(2009–2012)에 걸쳐 일관되게 높은 학생 평가를 받아 이 기준을 충족하였다. 다양한 임상 현장에서 학생 활동을 포착하기 위해, 우리는 목적표집(purposive sampling)을 사용하여 이 71명 중 외래 클리닉(outpatient clinics), 응급실(emergency departments), 입원 병동(inpatient wards), 일반 또는 세부전문 진료(general or subspecialty practices)에서 근무하고 성인 또는 소아 환자를 진료하는 40명을 모집하였다. 우리는 프리셉터에게 학생들이 수행하도록 하는 환자진료 활동(patient care activities)과 학생에게 임상술기 연습 기회(clinical skills practice opportunities)를 제공할 수 있는 능력에 대해 질문하였다.

 

우리는 UCSF 2학년(MS2) 및 3학년(MS3) 학생 모두에게 포커스 그룹 참여를 요청하였고, 각 학년에서 먼저 응답한 학생들을 포함하였다. 우리는 60분짜리 포커스 그룹 2개를 진행하였다. 하나는 첫 프리클럭십 학년을 최근 마친 MS2 학생들과, 다른 하나는 현재 임상실습을 수행 중인 MS3 학생들과 진행하였다. 우리는 학생들에게 프리셉터십 경험에서 가장 가치 있었다고 생각한 것, 다양한 임상술기를 연습할 수 있었는지, 그리고 추가적인 학습 또는 환자진료 활동에 참여할 수 있었는지에 대해 성찰하도록 요청하였다.

모든 면담과 포커스 그룹은 음성녹음, 전사, 비식별화되었다. 한 저자(H.C.C.)가 전사본에서 임상 현장 활동의 유형을 분석하기 위해 개방코딩(open coding)을 활용한 지속적 비교방법(constant comparative method)을 사용하였다.29,30 두 저자(H.C.C., M.M.)는 이 활동들을 SRC 연구에서 기술된 활동들과 삼각검증(triangulated)하였다.28

결과

40명의 프리셉터 중 22명이 응답하였고, 19명이 면담에 참여하였다. MS2 포커스 그룹에는 8명의 학생이, MS3 포커스 그룹에는 3명의 학생이 참여하였다. SRC 연구, 프리셉터 면담, 학생 포커스 그룹에서 기술된 임상 현장 활동을 활용하여 우리는 다섯 가지 초기 EPA 내용 영역을 확인하였다.

 

• (A) 정보 수집(information gathering),
• (B) 의료제공자와의 정보 공유(information sharing with providers),
• (C) 환자와의 정보 공유(information sharing with patients),
• (D) 환자 옹호 및 질 향상(patient advocacy and quality improvement),
• (E) 평생학습을 위한 정보 관리(information management for lifelong learning)이다.

 

2단계: EPA 내용 영역 매핑 및 확인
Phase II: EPA Content Domain Mapping and Confirmation 

근거

각 EPA 내용 영역의 관련성(relevance)과 충분성(adequacy)을 보장하기 위해, 우리는 ten Cate와 Young31이 이해관계자와의 신뢰성(credibility)을 확립하고 관찰 및 평가의 틀(framework for observation and assessment)을 제공하기 위해 권고한 것처럼, 이를 기존 역량 프레임워크(existing competency frameworks)에 매핑하였다.

방법

우리는 2013년 5월부터 11월까지 이 매핑을 수행하였다. 먼저 EPA 내용 영역을 UCSF의 프리셉터십 목표(preceptorship objectives) 및 프리클럭십 임상술기 과정 역량(preclerkship clinical skills course competencies)에 매핑하였다. 그다음 이 영역들을 우리 기관의 졸업역량(graduation competencies) 및 마일스톤(milestones)에 매핑하였다. 마지막으로, 이 영역들을 내과18 및 소아과17의 GME EPA와, 2013년 11월 이용 가능해진 미국의과대학협회(Association of American Medical Colleges, AAMC)의 레지던트 진입을 위한 핵심 위임가능 전문직무(Core Entrustable Professional Activities for Entering Residency, CEPAER)15에 매핑하였다. 두 저자(H.C.C., M.M.)가 각각 이 매핑의 각 단계를 독립적으로 수행한 뒤, 만나서 차이를 논의하고 조정하였다.

결과

우리는 “피드백을 주고, 받고, 적용함으로써 학습을 촉진한다(facilitate learning by giving, receiving, and applying feedback)”를 제외한 모든 기존 교육과정 목표와 역량을 다섯 가지 EPA 내용 영역 각각에 연결하였다. 이 역량은 중요하지만 특정 EPA 내용 영역에 특이적이지 않았기 때문에 어떤 영역에도 연결하지 않았다. 또한 우리는 다섯 가지 EPA 내용 영역을 내과 EPA 16개 중 11개,18 소아과 초안 EPA 16개 중 8개,17 AAMC CEPAER 13개 중 10개15에 매핑할 수 있었다. 우리의 영역은 GME EPA보다 범위가 좁고, 활동의 기초적이고 더 작은 단위를 나타냈기 때문에, 일부 영역은 여러 GME EPA에 매핑되었다. 매핑 결과는 우리의 EPA 내용 영역이 프리클럭십 학생에 대한 현재 및 미래 기대와 관련성이 있음을 확인해 주었다.

3단계: EPA 내용 기술 및 전문가 자문
Phase III: EPA Content Description and Expert Consultation 

근거

실제 현장에서 사용되기 위해서는 각 EPA의 내용이 단순한 내용 영역을 넘어, 기대되는 관찰 가능한 행동(observable behaviors)과 그 행동의 맥락(context)을 자세히 구분해 포함해야 한다. 이 단계를 달성하기 위해 우리는 ten Cate가 출판한 지침27과 EPA 전문가(O.t.C.)의 도움을 활용하여 각 EPA에 대한 포괄적인 7개 구성요소 기술문(comprehensive seven-part descriptions)을 개발하였다.

방법

2013년 7월부터 12월까지, 우리는 3수준 감독(level 3 supervision), 즉 반응적 감독하 수행(practice under reactive supervision)을 지침으로 삼고, 교육과정 매핑 결과를 활용하여 각 EPA 내용 영역의 제목을 개발하고, 각 활동을 제한하는 매개변수(parameters) 또는 조건(conditions)을 명시함으로써 각 EPA의 범위를 구분하였다. 예를 들어 환자의 병력과 신체진찰로부터 정보를 수집하는 활동의 경우, 우리는 이 활동을 프리클럭십 학생에게 적절한 환자 유형, 예를 들어 의학적으로 안정적인 환자(medically stable patients)로 제한하였다. 또한 각 EPA를 성공적으로 완료하는 데 필요한 지식, 술기, 태도(knowledge, skills, and attitudes)를 확인하였다. 이후 프리클럭십 과정 목표를 활용하여, 예를 들어 이러한 임상 활동을 뒷받침하는 필수 기초의학 지식(foundational science knowledge)을 학생들이 교육과정의 어디에서 배우는지 확인하였다. 마지막으로 학생의 진척도(progress)를 결정하기 위한 정보 출처, 3수준 위임(level 3 entrustment)을 부여하기 위한 조건과 방법, 그리고 학생이 3수준 위임을 부여받은 뒤의 함의(implications)를 확인하였다.

이러한 7개 구성요소 EPA 기술문27을 개발하는 동안, 우리는 EPA 전문가(O.t.C.)로부터 기술문의 구조(structure), 명확성(clarity), 충분성(adequacy)에 대한 지침과 반복적 피드백(iterative feedback)을 받았다. 또한 University Medical Center Utrecht에서 EPA 전문가와 함께 일하는 보건전문직 교육자(health professions educators)들로부터 EPA 기술문의 명확성에 대한 피드백을 요청하고 받았다.

결과

우리는 각 EPA에 대해 충분히 정교화된 기술문을 개발하였다. 예시는 부록 1을 참조하라. 검토 후, 프리클럭십 학생에게 더 적합하도록 EPA 영역을 수정하였다. 표 1을 참조하라. 예를 들어, 우리는 감별진단과 계획을 생성하는 활동을 정보 공유와 분리하여 별도의 EPA로 만들었다. 그렇게 함으로써, 경험이 부족한 프리클럭십 학생들이 인식하지 못할 수 있는 중요한 활동을 명시하고, 그것을 더 발전된 환자진료 활동의 전제 조건이 될 수 있는 환자진료에 대한 위임가능한 기여(entrustable contribution to patient care)로 강조할 수 있었다. 또한 마지막 두 EPA, 즉 D와 E를 하나로 통합하였다. 프리클럭십 학생에게 정보관리(information management)의 실천은 환자 또는 의료팀을 위한 자원을 조사하는 데 적용될 때 가장 자주 관찰 가능하며, 이는 환자 옹호(patient advocacy) 및 질 향상(quality improvement) 행동이기도 하다.

4단계: EPA 내용의 적절성 보장
Phase IV: Assurance of Appropriate EPA Content 

근거

『교육 및 심리검사 기준(Standards for Educational and Psychological Testing)』에 제시된 내용 관련 타당도(content-related validity) 기준은 평가 내용(assessment content)을 명시하는 과정이 의도된 대상 집단(intended population)과 평가가 측정하고자 하는 구성개념(construct)에 따라 기술되고 정당화되어야 한다고 명시한다.32 각 EPA의 적절성을 보장하기 위해, 우리는 내외부 주제전문가(subject matter experts)를 참여시켜 각 활동의 세부사항/제한점이 적절한 복잡성 수준(level of complexity)을 갖추고 기대되는 학생 역량(expected student competencies)과 정렬되어 있는지 평가하도록 하였다. 우리는 의학교육의 다양한 이해관계자로부터 심층 피드백(in-depth feedback)을 얻기 위해 초점화된 워크숍 토의(focused workshop discussions)를 사용하기로 하였다. 이러한 워크숍은 EPA의 의도된 사용(intended use)과 기대되는 감독/위임 수준(expected supervision/entrustment level)을 설명하고, 관점을 탐색하며, 우려를 이해하고, 워크숍 참여자들과 협력하여 내용을 정련할 수 있게 해 주었다.

방법

2014년 1월부터 4월까지, 우리는 네 차례의 내용타당화 워크숍(content validation workshops)을 개최하였다. 두 차례는 지역 워크숍, 한 차례는 국가 워크숍, 한 차례는 국제 워크숍이었다. 첫 두 워크숍은 UCSF에서 개최되었다. 하나는 프리클럭십 임상술기 과정 책임자(preclerkship clinical skills course directors)와 함께, 다른 하나는 임상실습 교육과정 위원회(clerkship curriculum committee)와 함께 진행되었다. 세 번째 워크숍은 2014년 AAMC Western Group on Educational Affairs 연례회의에서 개최되었다. 마지막 워크숍은 평가(assessment)에 초점을 둔 격년제 국제 의학교육 학술대회인 2014년 Ottawa Conference에서 개최되었다. 워크숍 참여자, 절차, 결과에 대한 세부사항은 표 1을 참조하라.

모든 워크숍은 두 저자(H.C.C., M.M.)가 진행하였으며 같은 형식을 따랐다. 최대 두 명의 추가 저자(A.T., O.t.C., P.O.)가 소그룹 촉진자(small-group facilitators)로 참여하였다. EPA가 어떻게 개발되었는지와 기대되는 감독/위임 수준을 설명하는 간단한 소개 후, 참여자들은 각 소그룹의 다양성을 보장하기 위해 배경, 즉 임상의/비임상의(clinician/nonclinician), UME/GME, 기관(institution)에 따라 스스로 소규모 작업그룹으로 나뉘었다. 표 1을 참조하라. 각 소그룹은 특정 EPA에 초점을 맞추고, 그 제목과 세부사항/제한점을 논의하며, 서면 의견을 제공하였다. 이후 각 EPA에 대한 전체 그룹 토의가 이어졌다. 마지막으로 참여자들은 누락된 EPA가 있는지 논의하였다. 참여자와 소그룹의 기록을 수집하였다. 모든 워크숍은 음성녹음되었고, 워크숍 촉진자들은 추가 기록을 작성하였다. 두 저자(H.C.C., M.M.)가 모든 정보를 취합하고 검토하였다.

결과

지역 워크숍에서의 토의를 바탕으로, 우리는 EPA 제목과 자세한 세부사항/제한점을 정련하였고, 여기에는 EPA 5의 표현에 대한 실질적 변경(substantive change in language)이 포함되었다. 이후 각 후속 워크숍 뒤에는 더 작은 수정이 이루어졌다. 표 1은 이 정련 과정을 자세히 제시한다. 워크숍 참여자들은 공통 임상 술기(common clinical procedures)를 위한 EPA를 추가하자는 의견이 일부 있었지만, 누락된 EPA는 없다는 데 합의하였다.

5단계: 전문가 및 이해관계자 검토를 통한 EPA 내용 최종화
Phase V: Finalizing EPA Content With Expert and Stakeholder Review 

근거

우리의 EPA 기술문은 여러 차례 정련되었기 때문에, EPA 원칙(EPA principles)의 준수, EPA 내용의 적절성, 그리고 교육과정 목표와의 정렬(alignment)을 보장하기 위해 EPA 전문가 및 지역 이해관계자와 함께 최종 검토를 수행하였다.

방법

2014년 5월, EPA 전문가(O.t.C.)가 정련된 EPA 기술문의 개념화(conceptualization), 문구(wording), 의미론(semantics)을 검토하였다. 그 결과로 도출된 EPA 기술문의 최종 버전은 2014년 6월 UCSF 프리클럭십 임상술기 과정 책임자와 임상실습 교육과정 위원회에 검토 및 승인을 위해 발송되었다.

결과

EPA 전문가는 우리의 EPA가 전형적인 역량 언어(typical competency language), 즉 학습자가 무엇을 할 것인가에 초점을 둔 방식과 유사하게 학습자에게 초점을 맞추어 쓰였다는 점을 발견하였다. 그의 지침에 따라 우리는 EPA를 특정 맥락 안의 활동/업무 단위(activity/unit of work)에 초점을 맞추도록 재구성하였다. 다른 변경은 하지 않았다. 지역 이해관계자들은 2014년 가을 실행을 위해 EPA 최종본을 승인하였다. EPA의 최종 제목은 표 1을, 세부사항/제한점은 부록 1과 부록 2를 참조하라.

표 1 임상실습 진입을 위한 위임가능 전문직무(EPA)의 내용 영역/제목의 진화, 2012–2014 

초기 EPA 내용 영역	수정된 EPA 제목	최종 EPA 제목
A. 정보 수집	1. 흔한 주호소(common chief complaint)가 있고 복잡한 기저질환(complicated underlying medical problems)이 없으며, 고통이 없는 협조적인 환자(cooperative patient in no distress)로부터 정보 수집	1. 흔한 주호소가 있는 의학적으로 안정적인 환자(medically stable patient)로부터 정보를 수집한다
B. 의료제공자와의 정보 공유	2. 흔한 주호소에 대해 초기 평가(initial assessment)와 계획(plan)을 구성하기 위해 환자에 대해 수집한 정보를 통합한다	2. 흔한 주호소에 대해 근거 있는(reasoned) 우선순위화된 감별진단(prioritized differential diagnosis)과 예비 계획(preliminary plan)을 구성하기 위해 환자에 대해 수집한 정보를 통합한다
B. 의료제공자와의 정보 공유	3. 환자 진료와 관련된 정보를 의료팀의 다른 구성원과 의사소통한다	3. 환자 진료와 관련된 정보를 의료팀의 다른 구성원과 의사소통한다
C. 환자와의 정보 공유	4. 고통이 없는 환자에게 환자의 진단 및/또는 관리 계획(management plan)에 관한 정보를 공유한다	4. 중대한 신체적 또는 정서적 고통(significant physical or emotional distress)이 없는 환자에게 진단 및 관리 계획을 포함한 환자 진료 관련 정보를 공유한다
D. 환자 옹호 및 질 향상	5. 환자 진료의 질을 향상시키기 위해 관련 자원을 확인하고 공유한다	5. 개별 환자 진료 또는 집단 환자 진료(collective patient care)를 향상시키기 위해 의료팀에 자원을 제공한다
E. 평생학습을 위한 정보 관리	5. 환자 진료의 질을 향상시키기 위해 관련 자원을 확인하고 공유한다	5. 개별 환자 진료 또는 집단 환자 진료를 향상시키기 위해 의료팀에 자원을 제공한다

표 2 임상실습 진입을 위한 위임가능 전문직무(EPA)에 대한 내용타당도 근거를 제공하기 위해 개최된 네 차례 워크숍의 특성, 2014 

특성	워크숍 1: 프리클럭십 임상술기 과정 책임자	워크숍 2: 임상실습 교육과정 위원회	워크숍 3: 국가 의학교육 학술대회	워크숍 4: 국제 의학교육 학술대회a
워크숍	60분7명 참여자4개 부서	45분18명 참여자, 학생 2명 포함7개 부서	90분26명 참여자미국 12개 의과대학 및 국제 1개 의과대학	90분23명 참여자7개국의 최소 15개 의과대학: 미국, 캐나다, 영국, 독일, 스위스, 뉴질랜드, 태국
소그룹	2개 소그룹각 그룹에 임상의 최소 1명과 비임상의 최소 1명 포함그룹당 2–3개 EPA	5개 소그룹각 그룹에 임상실습 책임자 최소 1명 포함그룹당 1개 EPA	5개 소그룹각 그룹에 최소 3개 의과대학 대표 포함그룹당 1개 EPA	5개 소그룹4개 그룹에 최소 3개 의과대학 및 3개 국가 대표 포함그룹당 1개 EPA
참여자에게 제공된 EPA	수정 목록	수정 목록	정련본 1	정련본 2
일반 피드백	활동 매개변수 확대, 즉 기대 수준 증가EPA 5 명확화	통역사 사용 추가EPA 5 명확화임상추론(clinical reasoning) 및 기초과학 적용(basic science application)에 대한 강조 증가체계기반 진료(systems-based practice) 및 술기(procedures)를 위한 EPA 추가 고려	언어와 매개변수 정련민감한 신체진찰 부위, 예: 비뇨생식기 진찰(genitourinary exam) 제외체계기반 진료와 술기를 위한 EPA 추가 고려	언어와 매개변수 정련
이루어진 수정	EPA 언어 갱신, EPA 5의 주요 재작성매개변수 명확화, 많은 경우 매개변수 확대	언어 정련매개변수 조정	언어 정련매개변수 조정, 민감한 신체진찰 부위 제외	언어 정련매개변수 조정
결과 EPA	정련본 1	정련본 1	정련본 2	정련본 3

a 참여자 인구통계 정보가 담긴 한 테이블의 워크시트가 분실되어, 의과대학 및 국가 집계에는 해당 테이블의 참여자들이 포함되지 않았다.

그림 1 임상실습 진입을 위한 위임가능 전문직무(EPA)의 개발 및 내용타당도 근거 수집 단계, 2012–2014 

 

• 1단계: 학생운영 클리닉 연구, 학생 포커스 그룹, 프리셉터 면담을 통해 EPA 영역의 초기 목록을 도출하였다.
• 2단계: EPA의 교육과정 매핑(curricular mapping of EPAs)을 수행하고 전문가 자문(expert consultations)을 받았다.
• 3단계: 수정된 전체 EPA 기술문(revised list of full EPA descriptions)을 만들고, 프리클럭십 임상술기 과정 책임자와 임상실습 교육과정 위원회의 검토를 거쳐 EPA 정련 1을 수행하였다.
• 4단계: 미국 지역 의학교육자(U.S. regional medical educators)와 국제 의학교육자(international medical educators)의 검토를 통해 EPA 정련 2와 EPA 정련 3을 수행하였다.
• 5단계: 전문가 자문을 거쳐 최종 전체 EPA 기술문(final full EPA descriptions)을 완성하였다.

 

 

논의 Discussion 

이 논문에서 우리는 임상실습 진입을 위한 다섯 가지 핵심 EPA(core EPAs)를 확인하고 상세 기술문을 개발하기 위해 사용한 방법론을 설명하였다. 이 EPA들은 프리클럭십 학생들이 임상 현장 참여(clinical workplace engagement)의 일부로 수행할 수 있는 발달적으로 적절한 활동(developmentally appropriate activities)을 명확히 한다. 우리는 이 EPA들을 우리 기관의 교육과정 목표에 매핑하였고, 다른 집단들이 개발한 EPA와 정렬하였다. 또한 우리의 EPA는 내외부 주제전문가로부터 얻은 내용타당도 근거(content validity evidence)에 의해 뒷받침된다. 우리의 상세 기술문과 타당도 근거는 다른 기관들이 초기 임상경험을 개선하기 위해 이 EPA들을 실제로 운영(operationalize)하는 데 도움이 될 수 있다.

 

워크숍 참여자들은 우리가 확인한 다섯 가지 EPA의 구성개념(constructs)과 내용 영역(content domains)을 쉽게 받아들였다. 그들은 기대되는 감독 수준, 즉 반응적 감독하 수행(practice under reactive supervision)에 동의하였고, 이 감독 수준에 맞도록 EPA의 내용, 즉 상세한 세부사항과 제한점의 폭과 복잡성(breadth/complexity)을 확대하거나 제한하면서 조정하는 데 도움을 주었다. 기관마다 프리클럭십 임상 준비(preclerkship clinical preparation)에 차이가 있음에도 불구하고, 워크숍 참여자들은 프리클럭십 학생에게 기대되는 바에 대해 합의할 수 있었다.

 

일부 참여자들은 술기 중심 EPA(procedures-oriented EPA)에 대한 관심을 표명하였는데, 이는 우리의 EPA가 핵심 EPA라는 점을 강조한다. 개별 기관은 기관 고유의 목표와 학생 요구에 맞추기 위해 술기 관련 EPA와 같은 추가적이고 선택적인 EPA(elective EPAs)를 포함할 수 있다. 또한 위임 결정에 도달하는 데 사용되는 정보 출처는 지역 자원(local resources)과 상황(circumstances)에 따라 달라질 가능성이 높다. 이러한 이유로 우리는 부록 1의 전체 EPA 기술문에 UCSF에서의 실행에 특이적인 정보를 포함하지 않았다. 우리는 이 핵심 프리클럭십 EPA를 실행하고자 하는 기관들이 EPA 기술문의 3, 4a, 4b, 5, 6번 항목을 자신의 지역 교육과정에 맞게 완성하기를 권장한다. 평가를 위한 정보 출처에 대한 논의는 기존 평가(existing assessments)를 넘어, 위임 결정을 내리기 위한 평가의 타당도(validity of the assessments)를 다루어야 한다. 우리는 진척도를 판단하기 위해 여러 가지, 가능하면 서로 다른 유형의 정보 출처, 예를 들어 교수 평가(faculty evaluation), 다면 피드백(multisource feedback), 표준화 환자 시험(standardized patient exams)을 사용할 것을 권장하며, 위임 결정은 한 명 또는 한 시점 이상의 입력, 예를 들어 세 명의 교수진이 위임을 권고하는 방식에 기반해야 한다고 권장한다.

 

우리의 EPA 개발 과정에서 가치 있는 결과 중 하나는 학생의 임상술기에 대해 서로 다른 기대를 가질 수 있는 프리클럭십 교수진과 임상실습 교수진 사이의 논의를 촉진한 것이었다.33 우리 기관에서 이 논의는 임상실습에 진입하는 학생에 대한 기대 수준에 관한 교수진의 합의를 형성하였다. 이제 이러한 기대는 학생들에게 명시적이고 분명하게 제시될 수 있다. 임상 현장에서 학생의 역할과 책임을 구성하는 방식은 참여를 통한 학습(learning through participation)의 중요성과 프리클럭십 학생이 환자 진료에 기여할 수 있는 능력에 관한 가치 있는 대화도 만들어냈다. 각 EPA에 대한 감독 수준, 위임의 의미, 상세한 세부사항/제한점을 신중하게 고려함으로써, 교수진은 프리클럭십 학생들이 어떤 과제에, 어떤 상황에서 안전하게 실제 환자진료 활동(authentic patient care activities)에 참여할 수 있는지 합의할 수 있었다. 이러한 논의는 교수진의 기대를 변화시키고, 프리클럭십 학생을 임상 현장의 잠재적 부담(potential burdens)이 아니라 기여자(contributors)로 보도록 장려하는 데 도움이 될 수 있다.

 

우리는 AAMC CEPAER가 공개되기 1년 전에 이 프로젝트를 시작하였다.15 이후 우리는 CEPAER가 프리클럭십 학생의 능력에 비해 범위가 너무 넓다는 것을 발견하였다. 너무 넓은 EPA는 프리클럭십 학생들이 현장에서 정당한 참여(legitimate participation)를 위해 필요한 책임 수준(degree of responsibility)을 맡는 것을 방해할 수 있으며, 이 연구의 주된 목표는 학생 참여(student participation)를 촉진할 수 있는 EPA를 정의하는 것이었다. 또한 프리클럭십 학생들이 13개의 CEPAER 각각을 어느 정도 수행할 수 있어야 하는지, 아니면 그중 일부만 수행하고 임상실습 동안 기술을 확장할 것으로 기대해야 하는지도 명확하지 않았다. 따라서 우리는 CEPAER에서 거꾸로 역산하는 방식(work backward)을 선택하지 않고, 입증된 프리클럭십 학생 수행능력의 근거에 기반하여 앞으로 나아가는 방식(work forward)을 선택하였다. 우리의 매핑 과정에서 보인 것처럼, 프리클럭십 EPA를 CEPAER에 연결하거나 포개 넣을 수 있는 능력은 그 내용타당도를 강화하며, CEPAER와 함께 사용할 수 있게 한다.

 

우리는 EPA가 지나치게 세분화되어서는 안 된다는 점을 인정한다.34 그러나 프리클럭십 학생은 겉보기에는 작은 과제(seemingly small tasks)를 주요 책임(major responsibilities)으로 볼 수 있으며, 이러한 과제는 나중에야 더 넓은 과제의 일부가 된다. 예를 들어 EPA 2, “흔한 주호소에 대해 근거 있는 우선순위화된 감별진단과 예비 계획을 구성하기 위해 환자에 대해 수집한 정보를 통합한다”는 전공의의 더 넓은 과제인 “급성 흔한 질환을 가진 환자의 진료를 관리한다(manage care of patients with acute common diseases)”18의 일부가 된다. 우리는 EPA 2의 타당성에 대해 숙고하였다. 왜냐하면 이 활동은 감독 없이는 반드시 금지되는 활동이 아닐 수 있기 때문이다. 그러나 우리는 매우 초기 단계의 학습자에게 이 활동은 환자진료에 기여하는 책임으로 개념화되고 제시되어야 한다고 판단하여, 이를 EPA의 일부로 유지하였다. 작은 과제가 더 넓은 책임으로 발전하는 이러한 진화는 의학교육의 목표인 임상 수행(clinical performance)의 총체적 성장감(holistic sense of growth)에 기여한다.

 

우리의 EPA가 문헌의 권고에서 벗어난 부분을 주목하는 것도 중요하다. 표 1에서 분명히 보이듯, EPA 제목은 제목을 짧게 유지하라는 권고에도 불구하고34,35 개발 과정에서 길어졌다. 우리는 제한점을 정교화된 EPA 기술문에서만 언급하는 것이 아니라 제목에 추가하는 것이 프리클럭십 학생에게 적합하다는 점을 강조하고, 교수진과 학생이 이 EPA를 처음 접할 때 발생할 수 있는 오해나 우려를 예방하는 데 도움이 될 것이라고 보았다. 또한 EPA 5, “개별 환자 진료 또는 집단 환자 진료를 향상시키기 위해 의료팀에 자원을 제공한다”는 AAMC CEPAER 두 가지, 즉 “임상 질문을 형성하고 환자 진료를 향상시키기 위해 고품질 근거를 검색한다(Form clinical questions and retrieve high-quality evidence to advance patient care)”와 “시스템 실패를 확인하고 안전 및 개선 문화에 기여한다(Identify systems failures and contribute to a culture of safety and improvement)”와 유사하며 그 요소를 포함한다. ten Cate는 이 두 AAMC CEPAER가 진정한 EPA인지에 대해 의문을 제기한 바 있다.35 그러나 이 두 AAMC CEPAER와 달리, EPA 5는 두 가지 측면에서 EPA의 정의를 충족한다. (1) 지속적인 습관(ongoing habit)이 아니라 환자 진료로 다시 연결되는 구별 가능한 과제(discrete task)이며, (2) 학생들이 이 과제에서 더 높은 수준의 자율성(autonomy)으로 발전할 수 있다는 점이다.34

 

우리 방법론에는 몇 가지 제한점(limitations)이 있다.

• 첫째, 거의 2년이 걸린 긴 과정이었다. 그러나 우리의 EPA를 입증된 프리클럭십 학생 수행능력의 근거에 기반한 것은 다양한 이해관계자들의 수용을 촉진하였다. 이러한 수용은 특히 많은 이해관계자들이 프리클럭십 학생들이 환자진료 활동에 참여할 수 있는 정도를 충분히 인식하지 못하기 때문에 중요하였다.33,36
• 둘째, 지역 및 학술대회 워크숍을 사용한 것은 우리가 과정에 참여시킬 수 있는 내용 전문가(content experts)의 수를 제한하였다. 또한 국가 및 국제 수준에서 누가 참여하는지를 통제하는 능력도 제한하였다. 참여가 학술대회 참석 여부에 기반했기 때문이다. 그러나 우리는 의학교육 경험이 있는 사람들이 참석할 것으로 알고 있던 회의에서 의도적으로 워크숍을 개최하였고, 두 워크숍 모두 참여가 많았다. 또한 우리는 참여자의 교육적 역할(educational roles), 임상 배경(clinical background), 기관(institutions)을 추적하였고, 다양한 그룹에서 작업하도록 하였으며, 워크숍 피드백을 평가할 때 기관 및 지역의 폭넓은 대표성을 확인하였다. 실제로 우리는 내용타당도 근거를 수집하는 워크숍 접근이 풍부한 토의(rich discussions)를 가능하게 하고 EPA의 상세한 세부사항과 제한점을 미세 조정하는 데 매우 유리하다는 것을 발견하였다. 이는 델파이나 명목집단기법 같은 전략을 사용할 경우 더 어려웠을 것이다.
• 셋째, 우리가 수집한 타당도 근거는 전적으로 내용타당도(content validity)에 초점을 두었다. 학생 평가(student assessment)에 사용하기 위한 추가 타당도 근거가 필요하다. 이 EPA들은 현재 지역적으로 실행되고 있으며, 향후 연구는 이러한 타당도 근거를 수집하는 데 초점을 둘 것이다.

결론적으로, 우리는 EPA 개발을 위한 출판된 지침을 따르고 교육평가(educational testing)의 타당도 기준(validity standards)에 특별히 주의를 기울여, 임상실습 진입을 위한 다섯 가지 핵심 EPA의 전체 기술문을 개발하였다. 우리는 환자안전(patient safety)에 주의를 기울이면서 프리클럭십 학생들이 임상 현장 활동에 참여할 수 있도록 명시적 지침을 제공할 수 있을 것으로 예상하기 때문에, 다른 기관들이 이를 사용할 것을 지지한다.

부록 1 임상실습 진입을 위한 위임가능 전문직무(EPA)의 예: EPA 1a
Example of an Entrustable Professional Activity (EPA) for Entry Into Clerkship: EPA 1a 

 

정보 유형	세부 내용
1. EPA 제목	흔한 주호소가 있는 의학적으로 안정적인 환자로부터 정보를 수집한다
2. 세부사항과 제한점	다음 상황에서, 주호소(chief complaint)를 활용하여 합리적인 시간 안에, 즉 환경과 복잡성을 고려하여, 맥락에 적절한 병력 청취(history)와 완전 또는 초점화된 신체진찰(complete or focused physical exam)을 수행한다. • 환자는 흔한 주호소를 가지고 있다. 예: 귀 통증(earache), 두통(headache), 기침(cough), 숨참(shortness of breath), 복통(abdominal pain), 구토/설사(vomiting/diarrhea), 허리 통증(back pain), 배뇨통(dysuria), 발열(fever), 발진(rash). • 환자는 기저질환을 가지고 있을 수 있다. 예: 고혈압(hypertension), COPD/천식(COPD/asthma), 당뇨병(diabetes)과 같은 만성질환. • 신체진찰에는 비뇨생식기 진찰(genitourinary exam), 직장 진찰(rectal exam), 여성 유방 진찰(female breast exam)이 포함되지 않는다. • 감독 임상의(supervising clinician)가 판단하기에 환자는 의학적으로 안정적이고 중대한 신체적 또는 정서적 고통이 없다. • 진료 환경은 외래 클리닉, 응급실, 입원 병동일 수 있다. 단, 중환자실(intensive care units)은 제외한다. • 환자는 대체로 협조적이다. 예: 공격적이지 않음(noncombative), 성인 또는 7세 이상의 아동. 비교적 인지기능이 보존되어 있다. 예: 진정 상태가 아니며, 섬망(delirious), 치매(demented), 정신병적(psychotic) 상태가 아님. • 병력은 협조적인 가족 구성원, 예를 들어 아동의 부모로부터 얻을 수 있다. • 신체진찰은 환자가 스스로 보행/이동(ambulate/transfer)할 수 있는 경우에 시행한다. • 상호작용은 양측 모두 유창한 언어로 이루어지거나, 자격을 갖춘 통역사(qualified interpreter)를 통해 이루어진다.
3. EPA를 잘 수행하는 데 필요한 구체적 지식, 술기, 태도	지식, 술기, 태도 목록과, 학생이 지역 교육과정(local curriculum)의 어디에서 이를 배우는지에 대한 연결
4a. 프리셉터십 목표 및 임상술기 역량과의 연결	관련 지역 프리셉터십 목표(local preceptorship objectives)와 임상술기 역량(clinical skills competencies) 목록
4b. 이 EPA에 가장 적용 가능한 졸업역량 및 마일스톤과의 연결	Accreditation Council for Graduate Medical Education 역량 영역(competency domain)에 따라 정렬된 지역 졸업역량 및 마일스톤 목록
4c. 전문직 단체의 EPA와의 연결	Association of American Medical Colleges Core EPAs for Entering Residency • 병력을 청취하고 신체진찰을 수행한다 Graduate Medical Education • 여러 진료 환경에서 급성 흔한 질환을 가진 환자의 진료를 관리한다, 내과 • 외래, 응급, 또는 입원 환경에서 급성, 흔한, 단일계통 진단(single-system diagnoses)을 가진 환자를 관리한다, 소아과
5. 진척도를 판단하기 위한 정보 출처	지역 학습자 평가 출처(local learner assessment sources) 목록
6. 공식 위임 결정 방법	지역적으로 어떤 상황에서 능력이 몇 번 입증되어야 하는지에 대한 설명
7. 학생에 대한 위임의 조건과 함의	• 학생은 외래 클리닉, 응급실, 또는 입원 병동에서 일차 진료 제공자(primary care provider)로서의 역할을 지원하기 위해, 의학적으로 안정적이고 흔한 주호소를 가진 환자의 병력 및 신체진찰로부터 정보를, 방 안 감독 없이, 수집할 수 있도록 허용된다. • 감독 임상의는 학생과 함께 있지는 않지만 근처에 있고 이용 가능하며, 학생의 소견을 다시 확인한다.

a 지면 제한으로 인해 제목, 상세 세부사항과 제한점, 외부 기관의 EPA와의 정렬에 관한 정보만 제시하였다.

부록 2 임상실습 진입을 위한 위임가능 전문직무(EPA) 2–5의 제목과 세부사항/제한점 Titles and Specifications/Limitations of Entrustable Professional Activities (EPAs) for Entry Into Clerkship: EPAs 2–5 

EPA 2

정보 유형	세부 내용
제목	흔한 주호소에 대해 근거 있는 우선순위화된 감별진단(reasoned and prioritized differential diagnosis)과 예비 계획(preliminary plan)을 구성하기 위해 환자에 대해 수집한 정보를 통합한다
세부사항과 제한점	다음 상황과 특성을 갖춘 경우, 병력과 신체진찰에서 얻은 정보를 통합한다. • 환자는 흔한 주호소를 가지고 있다. 예: 귀 통증, 두통, 기침, 숨참, 복통, 구토/설사, 허리 통증, 배뇨통, 발열, 발진. • 환자는 조절되는 고혈압(controlled hypertension), 천식(asthma), 당뇨병(diabetes)과 같은 안정적인 중요한 의학적 문제(significant, stable medical problems)를 최대 세 가지까지 가지고 있다. • 감별진단과 계획은 다음을 충족한다. • 환자의 현병력(history of present illness)에 기반한다. • 환자의 과거력(past medical history), 사회력(social history), 가족력(family history), 의무기록(medical record)의 요소를 통합한다. 예: 발열 감별진단에서 환자의 여행력을 고려한다. • 기초과학 지식(foundational science knowledge)을 통합한다. 예: 질병의 병태생리(pathophysiology) 또는 분자기전(molecular mechanisms). • 감별진단은 하나 이상의 가능한 진단을 포함하고, 임상추론(clinical reasoning)에 의해 우선순위화되고 지지된다. • 계획은 적절한 다음 단계에 대한 제안을 포함한다. 예: 흔히 의뢰되는 진단검사/영상검사(diagnostic tests/imaging), 초기 치료(initial treatment), 약물(medications), 또는 중재(interventions).

EPA 3

정보 유형	세부 내용
제목	환자 진료와 관련된 정보를 의료팀의 다른 구성원과 의사소통한다
세부사항과 제한점	다음 조건과 제한점이 적용된다. • 환자 만남(patient encounter) 이후의 소견, 예를 들어 환자 면담, 신체진찰, 차트 검토(chart review), 검사 결과(test results)를 조직화하고 우선순위화한 후 다음을 통해 의사소통한다. • 수용된 표준 형식(accepted standard format)을 사용한 구두 증례 발표(oral case presentation). • 수용된 표준 형식, 예를 들어 전자의무기록(electronic health record) 또는 기타 형식을 사용한 서면 기록(written documentation). • 진료 환경은 외래 클리닉, 응급실, 또는 입원 병동일 수 있다. 단, 중환자실은 제외한다. • 만남은 임상 환경 밖의 상호작용도 포함할 수 있다. 예: 가정 방문(home visit), 전화 통화(telephone call), 이메일 연락(e-mail correspondence). • 소견은 의료팀의 다른 구성원, 예: 간호 인력(nursing staff), 자문 진료과(consulting service)와 공유하기 전에 감독 임상의와 먼저 제시하고 논의한다.

EPA 4

정보 유형	세부 내용
제목	중대한 신체적 또는 정서적 고통이 없는 환자에게 진단 및 관리 계획을 포함한 환자 진료 관련 정보를 공유한다
세부사항과 제한점	다음 조건과 제한점이 적용된다. • 공유할 정보는 간단명료하며(straightforward), 감독 임상의의 검토를 거쳤다(vetted by the supervising clinician). • 정보에는 진단(diagnosis), 관리 계획(management plan), 다음 단계(next steps), 환자교육(patient education), 예측적 안내(anticipatory guidance), 또는 건강 코칭(health coaching)이 포함될 수 있다. • 논의는 환자를 놀라게 하거나 과도한 불안을 유발하지 않을 것으로 예상된다. 예: 식습관, 약물, HbA1c에 관해 상담하는 것은 가능하지만, 암 진단을 전달하는 것은 제외한다. • 환자는 의학적으로 안정적이며, 즉각적으로 생명을 위협하거나(life threatening), 위중하거나(critical), 응급(emergent)이 아닌 흔한 급성 또는 만성 진단(common acute or chronic diagnosis)을 가지고 있다. • 환자는 일반적으로 협조적이다. 즉 공격적이지 않고, 나이가 많은 아동 또는 성인이다. 비교적 인지기능이 보존되어 있다. 즉 진정 상태가 아니며, 섬망, 치매, 정신병적 상태가 아니다. • 의사소통은 환자의 가족 구성원, 예를 들어 아동의 부모와 이루어질 수 있다. • 의사소통은 의료제공자와 환자 모두 유창한 언어로 이루어지거나, 자격을 갖춘 통역사를 통해 이루어진다. • 정보 공유에는 전달된 정보에 대한 환자의 이해를 확인하는 것(checking the patient’s understanding)과, 환자가 눈에 띄게 놀라거나 불안해하는 경우 감독 임상의의 도움을 구하는 것이 포함된다.

EPA 5

정보 유형	세부 내용
제목	개별 환자 진료 또는 집단 환자 진료를 향상시키기 위해 의료팀에 자원을 제공한다
세부사항과 제한점	조사되고 평가된 정보(researched and appraised information)는 감독 임상의의 허가(permission of the supervising clinician)가 있을 때에만 공유될 수 있다. 자원에는 다음이 포함된다. • 임상진료지침(practice guidelines), 임상 리뷰(clinical reviews)와 연구(studies)에서 제시된 가능한 치료 선택지(possible treatment options) 등 의학 문헌(medical literature)의 정보. 이때 근거의 질과 관련성(quality and relevance of evidence)에 따라 가중하여 판단한다. • 전자의무기록 시스템 또는 기타 검토된 근거기반 출처(vetted, evidence-based sources)에서 얻은 환자교육 자료(patient education materials). 예: UpToDate 환자용 자료(patient handouts), 클리닉 특이 정보(clinic-specific information), 약물 복용 방법에 대한 지침. • 환자 및/또는 환자 가족을 지원하기 위한 지역사회 기반 자원(local, community-based resources). 예: 비영리단체(nonprofit organizations), 지지집단(support groups), 푸드뱅크(food bank), 핫라인 번호(hotline numbers). • 환자 및/또는 환자 가족을 위한 정보, 지원, 옹호(advocacy)를 제공하는 전국 단위 조직(national organizations). 예: American Heart Association, American Cancer Society, Cystic Fibrosis Foundation. • 해당 문제와 관련하여 의료팀의 다른 구성원에게서 얻은 전문가 의견(expert opinion). 예: 의사 또는 간호 전문인력(medical or nurse specialist), 약사(pharmacist), 영양사(nutritionist), 사회복지사(social worker).