큰 힘에는 큰 책임이 따른다: 좁은 타당도 개념이 어떻게 역량을 무너뜨리는가 (Med Educ, 2026)

Med Educ. 2026 Jun 21. doi: 10.1111/medu.70252. Online ahead of print.

With great power comes great responsibility: How narrow conceptions of validity in high-stakes testing undermine competence 

Kevin W Eva 1, Beth-Ann Cummings 2

 

들어가며

Kelley가 타당도(validity)에 대해 쓴 지 100년이 됐습니다. Medical Education이 "교육적 타당도를 다시 생각하자(rethink educational validity)"는 기획을 진행하고 있는데, 그 일환으로 Kevin Eva와 Beth-Ann Cummings가 고부담 평가(high-stakes assessment)를 정면으로 다룬 State of the Science 논문을 냈습니다.

 

타이밍이 절묘합니다. 최근 몇 년 사이 미국과 캐나다는 사회적 압력에 밀려 고부담 시험을 줄였고, 영국은 반대로 국가 의사면허시험(Medical Licensing Assessment)을 새로 도입했거든요. 같은 시기에 정반대 방향으로 움직인 겁니다. 뭐가 맞는 걸까요?

 

저자들이 던지는 질문은 이겁니다. "고부담 평가는 어떤 형태여야 하는가?"가 아니라 "오늘날의 고부담 의사결정을 정당화하려면 어떤 타당도 논증(validity argument)이 필요한가?"

 

이 전환이 이 논문의 전부라고 해도 과언이 아닙니다.

논문의 핵심 주장은 초록에 압축돼 있습니다.

역량을 보증하려고 내리는 고부담 의사결정이, 역설적이지만 충분히 예측 가능한 방식으로 오히려 역량을 위협할 수 있다. "High-stakes decisions intended to assure competence can paradoxically, yet predictably, threaten competence"

---

⚖️ 먼저, 찬반 정리부터

저자들은 논쟁의 출발점을 공평하게 깔아둡니다.

• 찬성 쪽 논리는 이렇습니다. 아무리 좋은 교육 프로그램도 100% 성공률을 보장할 수 없습니다. 게다가 '낙제시키지 못하는 문제(failure to fail)'는 구조적으로 발생합니다. 교내 평가의 사각지대, 졸업률이 프로그램 성과지표가 되면서 생기는 정치적·평판 압력, 실제로 조치를 취하려 할 때 부딪히는 행정적·법적 부담 때문이죠. 그래서 훈련기관과 거리를 둔(arm's length) 외부 기관의 심리측정학적으로 엄밀한 평가가 필요하다는 겁니다. 여기에 더해 고부담 시험은 촉매(catalytic function) 역할도 합니다. 학습자와 교육과정 책임자를 유도하고, 기관이 자체 평가체계를 갖추도록 압박하는 기능이요.
• 반대 쪽 논리도 만만치 않습니다. 비용과 기회비용이 크고, 무엇보다 강력한 유도효과(steering effect)로 학습자의 관심을 장기적 숙련에서 멀어지게 만듭니다. 더 근본적인 문제는 고부담 평가가 거의 항상 '특정 시점 평가(point-in-time)'라는 점입니다. 그런데 보건의료 전문직에게 필요한 건 적응적 전문성(adaptive expertise)이고, 이건 맥락 의존적이고 계속 변하는 학습 과정이지 어느 시점에 "완료(signed off)"라고 도장 찍을 수 있는 고정된 상태가 아닙니다.

여기서 저자들이 던지는 뼈아픈 지적 하나. 규제기관들이 확인해 온 바에 따르면, 실제 진료 현장에서 문제가 드러날 때 두드러지는 건 소통 능력, 전문직업성, 협업입니다. 그런데 고부담 시험은 측정의 제약 때문에 대부분 지식(medical expert 영역)에 머물러 있죠. 수십 년간 이 '품질 보증' 체계가 문지기 역할을 해왔는데도 면허를 가진 의사에 의한 위해 보고는 계속됩니다. 저자들은 이것만으로도 전통적 고부담 시험 모델이 환자안전을 보호한다고 주장할 근거가 없다고 봅니다.

---

🔍 세 가지 신화 (three myths)

논문의 백미입니다. 저자들은 세 개의 신화를 제시하는데, 소제목을 보면 문장이 거의 똑같습니다. 한 단어씩만 바뀌어요.

• Myth 1: 평가가 총괄인지 형성인지 반드시 결정해야(must) 한다
• Myth 2: 평가가 총괄인지 형성인지 결정하는 게 맞다(should)
• Myth 3: 평가가 총괄인지 형성인지 결정할 수 있다(can)

이게 오타가 아니라 의도된 수사(rhetoric)입니다. 같은 이분법을 설계 원칙, 역할 인식, 실현 가능성이라는 세 층위에서 각각 해체하는 구조거든요.

Myth 1 — "반드시 결정해야 한다" 

• 대부분의 평가 워크숍에서 제일 먼저 가르치는 게 "설계 단계에서 총괄(summative)인지 형성(formative)인지 정하라"입니다. 총괄이면 심리측정학적 엄밀성에 집중하고 피드백은 신경 안 써도 되고, 형성이면 그 반대라는 거죠.
• 저자들은 이 이분법의 수사가 근본적으로 결함이 있다고 봅니다.
  • 형성평가를 "덜 엄밀해도 되는 것"으로 규정하면, 학습자에게 신뢰하기 어려운 정보로 학습을 이끌라는 말이 됩니다.
  • 반대로 총괄평가를 "교육은 우선순위가 아닌 것"으로 규정하면, 단기 수행을 장기 숙련보다 앞세워 결국 역량 자체를 갉아먹습니다.
• 재밌는 건 용어는 이미 바뀌었다는 점입니다. 요즘은 총괄/형성 대신 고부담/저부담(high vs low stakes), 질 보증/질 개선(quality assurance vs quality improvement)으로 말하죠. 그런데 행동은 안 바뀌었습니다. 저부담=형성, 고부담=총괄로 그대로 치환해서 쓰고 있을 뿐이거든요. 저자들이 보기에 문제는 용어가 아니라, 이 인위적 이분법이 타당도 논증의 폭 전체를 책임지지 않아도 되게끔 면죄부를 준다는 데 있습니다.

Myth 2 — "결정하는 게 맞다"

• 고부담 총괄평가에서 형성적 측면을 챙기지 않는 걸 정당화할 때 흔히 나오는 말이 "그건 우리 역할이 아니다(that is not our role)"입니다.
• 하지만 이렇게 선을 긋는 순간, 고부담 시험이 학습자의 교육 궤적(educational trajectory)에서 뚝 떨어져 나옵니다. 부담이 크면 학생들이 임상실습을 빠지고 필기시험을 준비하는 건 필연이죠. 그렇다면 시험 전 학습 노력이 진짜 진료를 지지하는 행동을 강화하도록 설계돼야 하고, 시험 후에도 피드백과 후속조치가 있어야 합니다. 아무것도 없다면, 간신히 통과한 사람이 그 경험을 다음 성장에 쓸 가능성이 얼마나 될까요?
• 저자들의 지적이 서늘합니다. 순수 문지기 기능만 하는 시험에서는 컷오프를 간신히 넘긴 사람이 수십 년의 진료 인생으로 들어갑니다. 별다른 평가도 없이요. 그리고 그 사람은, 아주 근소한 차이로 떨어져서 진료에서 배제된 사람보다 오히려 환자에게 더 큰 위험이 됩니다.

Myth 3 — "결정할 수 있다"

• 가장 근본적인 신화입니다. 저자들은 평가 도구가 자기 정체성을 스스로 정하지 못한다고 말합니다. 결정하는 건 설계자의 의도도, 도구 자체도 아니고 수험자의 해석이에요.
  • '총괄'이라고 이름 붙인 시험은 늘 형성적입니다. 무엇을 공부할지, 무엇을 기억할지, 시험 후 무엇을 더 배울지를 실제로 결정하니까요.
  • '형성'이라고 이름 붙인 평가는 늘 총괄적입니다. 피드백이 정체성을 위협하는 순간 학습자는 '판단받았다'고 느끼거든요.
• 가장 좋은 예가 역량위원회(competency committee)입니다. 형성평가라고 해놓고 그 자료를 모아서 고부담 결정에 씁니다. 진급이 걸려 있는데 전공의가 관찰받을 순간을 '체리피킹'하는 게 이상한 일인가요? 교육자가 "이건 학습을 위한 평가(assessment-for-learning)야"라고 아무리 말해도, 평소 하던 대로가 아니라 기대되는 모습을 '연기'하는 게 놀라운 일인가요?

---

💡 그래서 무엇이 문제인가

이 신화들의 진짜 해악은 역량이 무엇인지를 왜곡한다는 데 있습니다.

• 역량(competence)은 맥락 의존적 과정이지, 정적이고 보편적으로 부여할 수 있는 특질(trait)이 아닙니다. 기억은 흐려지고, 새로 배울 것은 계속 생기고, 사회적·물리적 조건이 수행을 크게 흔듭니다. 그런데 특정 시점 시험에 크게 의존하는 고부담 결정은 그 순간 '측정 가능한 것'으로 초점을 좁혀버리고, 결국 역량을 영원한 것처럼 암시함으로써 역량바탕교육의 취지 자체를 무너뜨립니다.
• 논문에서 가장 아이러니한 대목이 여기입니다. 고부담 시험 옹호론의 논리는 "역량바탕교육이 아직 성숙하지 않았으니(즉, 교육기관의 판단만으로는 못 믿으니) 외부 시험이 필요하다"는 거죠. 그런데 그 고부담 시험이 계속 특정 시점 시험에 머무는 한, 정작 역량을 만들어내는 장기적 학습 행동과 습관과 기회로부터 노력을 딴 데로 돌려버립니다. 순환이죠.

---

🛤️ 그럼 어떻게 해야 하나: 세 가지 확장

저자들은 맥락 차이 때문에 구체적 처방은 못 하겠다고 하면서, 대신 고부담 평가 권한을 가진 모든 기관에 보편적으로 해당하는 세 가지 확장을 제안합니다.

1. 초점의 확장 (broadening focus)

• 지식 기반의, 개인 단위의, 특정 시점 시험이 수행하는 문지기 기능은 현대 진료의 현실(복잡하고, 팀 기반이고, 사회적으로 배태되고, 계속 변하는)과 점점 어긋납니다. 유해사건은 주로 인계 실패, 소통 실패, 전문직업성 문제에서 비롯되는데 왜 필기 지식시험으로 고부담 결정을 내리냐는 거죠. 이건 심리측정학적 엄밀성을 부정하는 것도, 고부담 평가를 교육기관에 떠넘기자는 것도 아닙니다. 프로그램적 평가(programmatic assessment)의 다면적·다맥락적·누적적 속성을 고부담 맥락으로 번역해내자는 요구입니다.
• 저자들의 마지막 반문이 인상적입니다. 모든 보건의료 전문직에게 효과적 협업과 불확실성 속 판단을 요구한다면, 그들의 역량을 판정하는 쪽에는 왜 그보다 낮은 기준을 적용하느냐고요.

2. 시간축의 확장 (broadening timelines)

• 시험 '전'의 자료를 끌어오는 게 1번이라면, 2번은 시험 '후'를 챙기는 겁니다.
• 핵심은 고부담 평가 자료를 개별 학습계획(learning plan)에 통합해서 훈련-진료 연속체를 가로지르게 만드는 것입니다. 지금 학습계획은 필기시험, 일터기반평가(WBA), 다면평가 같은 자료를 종합하는데, 정작 고부담 시험 자료는 거의 안 들어갑니다. 자원 낭비죠.
• 그리고 이 지점이 중요합니다. 변화하는 지식과 기술, 사회적 기대 속에서 수십 년에 걸쳐 역량을 유지하는 일은 몇 년의 공식 교육으로 역량을 획득하는 일보다 훨씬 어렵습니다. 그렇다면 고부담 평가가 학습의 연속성을 얼마나 가능하게 하는지가 모든 시험 주관기관의 타당도 논증에 필수 요소가 돼야 한다는 겁니다. "그건 우리 소관 밖"이라고 넘길 일이 아니고요.

3. 방어가능성 개념의 확장 (broadening defensibility)

• 가장 실용적인 제안이라고 봅니다. 저자들은 북미 의료법 체계에서 힌트를 가져옵니다. 의료법은 의사의 판단이 항상 '정답'일 것을 요구하지 않습니다. 합리적인 의사(reasonable physician)라면 같은 행동을 했을 것인가, 즉 방어 가능한가를 물을 뿐이죠.
• 이 논리를 평가에 적용하면 질문이 바뀝니다.
  • (기존) 두 개의 증거원이 같은 답을 주는가?
  • (제안) 합리적인 판단자라면 이 증거가 개인의 역량에 관한 결론을 지지하기에 충분하다고 볼 것인가?

• 이렇게 보면 일터기반평가는 지도전문의마다 판단이 갈려도 됩니다. 신뢰할 만한 방식으로 선정된 다양한 사례, 다양한 관점, 기대되는 역량의 폭 위에 세워졌다는 걸 보일 수 있고, 결정이 옳았는지 계속 모니터링하는 노력에 연결돼 있다면 충분히 합리적 근거가 될 수 있다는 겁니다. 고부담 결정의 순간에도 판단은 절대적이거나 최종적일 필요가 없고, 그 시점에 파악된 것에 대한 조건부 표상이면 됩니다.
• 신뢰도 낮은 시험은 타당하지 않다고들 하죠. 저자들은 진정성(authenticity)을 배제한 신뢰도 역시 그에 못지않은 타당도 위협이라고 말합니다.

---

🧭 마무리하며

저자들은 이게 van der Vleuten의 효용성 모형(utility model)이 말하는 '타협'의 문제가 아니라고 선을 긋습니다. 실현가능성과 타당도가 충돌할 때 비용-편익을 따지는 건 당연하지만, 지금 걸려 있는 건 타협을 너무 쉽게 받아들이고 타당도를 너무 좁게 봄으로써 효용성의 교육적 영향(educational impact) 요소 자체를 훼손하는 일이라는 거죠.

 

그리고 McLuhan을 소환합니다. 매체가 곧 메시지라고요. 고부담 평가 프로토콜을 어떻게 설계하는지, 어떤 증거를 고부담 결정에 반영하는지가 그 자체로 "무엇이 중요하고 보건의료 제공자에게 무엇이 기대되는가"를 커리어 전체에 걸쳐 전달합니다. 그러니 평가가 질을 개선하는지 고려하지 않은 채로 질을 보증한다고 주장할 수는 없다는 결론입니다.

---

🇰🇷 한국 맥락에서 생각해 볼 지점

읽으면서 계속 겹쳐 보이는 장면들이 있었습니다.

• 의사국가시험.
  • 실기시험 도입은 초점의 확장에 해당하는 진전이었죠. 그런데 시험 후 수험자에게 어떤 정보가 어떻게 전달되고, 그게 인턴·전공의 시기 학습으로 이어지는가 하는 시간축의 확장은 거의 논의되지 않았습니다. 저자들의 기준으로 보면 여기가 타당도 논증의 빈칸입니다.
• 전공의 수련 평가.
  • WBA 서식을 만들고 보급하는 국면에서 가장 자주 받는 질문이 "이건 형성평가인가요, 총괄평가인가요"입니다. Myth 3의 답이 명쾌합니다. 그건 서식이 정하는 게 아니라 전공의가 해석하는 것이고, 진급에 반영되는 순간 형성평가로 남을 수 없습니다. 그렇다면 "형성평가니까 부담 갖지 마세요"라는 안내보다, 판단이 어떻게 누적되고 어떻게 방어 가능해지는지를 투명하게 설계하는 편이 정직합니다.
• 역량바탕 수련 전환.
  • 저자들이 제안한 방어가능성 기준은 우리에게 특히 쓸모가 있습니다. 지도전문의 간 평정 불일치를 신뢰도 문제로만 접근하면 결국 체크리스트로 회귀하게 되는데, "합리적 판단자가 보기에 충분한가"로 질문을 바꾸면 사례의 다양성, 관찰자의 다양성, 역량 영역의 포괄성이라는 다른 설계 지렛대가 열리거든요.

---

1 | 서론 (Introduction) 

보건의료전문직교육(health professions education, HPE)은 광범위한 학문 분야의 이론과 근거를 받아들이는 경향이 있으므로,1 응용 학문 분야인 우리가 평가(assessment)만큼 세상에 많은 것을 되돌려준 영역은 드물다. 주요 진전에는

• 지식 그 자체를 넘어 지식의 활용을 살펴보는 것의 가치 강조(Miller의 피라미드[Miller's pyramid]2 참조),
• 초점을 두는 역량의 확장(각자가 선호하는 역량 프레임워크[competency framework] 참조), 그리고
• 학습에 대한 평가(assessment-of-learning)와 학습을 위한 평가(assessment-for-learning)의 구분에 대한 인식이 포함된다.3

이러한 노력을 통해 보건의료전문직 학습자와 실무자의 평가에 관여하는 이들은 수많은 실제적 혁신뿐 아니라 보건의료에 관한 사고에도 기여해 왔다. 가장 최근에는 이 분야가 평가를 하나의 시스템으로 바라봄으로써 여러 교육적 난제를 극복하려는 노력에 몰두해 왔다.4 널리 알려진 프로그램형 평가(programmatic assessment) 모형에서 이러한 움직임은 주로, 고부담 의사결정이 필요하고 정당화될 때까지 기관 내부 평가(intramural assessment)에 내재한 부담(stakes)을 낮추는 방식으로 나타났다. 여기서 우리는 그 동전의 다른 면, 즉 고부담 목적을 위해 의도적으로 설계된 시험이 역량바탕교육의 더 넓은 목표와 양립할 수 있는지, 그리고 어떻게 그렇게 만들 수 있는지를 성찰한다. 우리는 ‘고부담(high-stakes)’을 실무 수행 준비도(readiness for practice) 또는 허용되는 실무 범위(permitted scope of practice)(예: 면허 또는 인증)에 관한 의사결정을 내리기 위해 평가가 시행되는 순간으로 정의한다.

 

달리 말해, 이 글은 Kelley의 이 주제에 관한 선구적 연구5 100년 후 Medical Education이 추진하는 ‘교육적 타당도의 재고(rethink educational validity)’의 일환으로, 고부담 시험을 더 넓은 교육 시스템에 최적으로 통합하기 위한 조건을 성찰하지 않은 채 고부담 시험의 타당도 논증을 제시하는 것이 충분한지, 역효과를 낳는지, 심지어 합리적인지를 근본적으로 묻는다.6 우리가 가장 중요하게 다루는 핵심 질문은 ‘고부담 평가는 어떤 형태여야 하는가?’가 아니라 ‘방어 가능한 현대의 고부담 의사결정(defensible contemporary high-stakes decisions)을 뒷받침해야 하는 타당도 논증은 무엇인가?’이다. 달리 말하면,

• 고부담 평가는 어떤 비용을 치르고 어떤 이익을 얻기 위해 시행되는가?
• 고부담 시험에 찬성하거나 반대하는 근거는 비판적 검토를 얼마나 잘 견뎌내는가?
• 그리고 훈련, 실무 및 더 넓게는 세계가 빠르게 변화하는 현대의 현실에 평가를 가장 잘 부합시키려면 무엇을 바꾸어야 하는가?

이러한 문제를 본격적으로 다루기 전에, 고부담 시험에 찬성하거나 반대할 때 흔히 제시되는 입장을 간략히 되짚어본다. 이 근거들은 고부담 시험이 ‘목적에 적합한지(fit for purpose)’, 그리고 어떻게 목적에 적합할 수 있는지에 관한 모든 논의의 토대이며, 따라서 모든 타당도 논증의 기초를 이룬다.

1.1 | 고부담 시험을 지지하는 논거 (The case for high-stakes testing) 

• HPE 프로그램은 개인과 지역사회의 요구를 충족하는 안전하고 질 높으며 근거에 기반한 보건의료를 제공할 수 있는 실무자를 육성하기 위해 존재한다. 견고한 교육 프로그램과 개별 학습자 지원을 개발하고 실행하는 데 막대한 에너지, 비용, 시간 및 인적 자원이 투입된다. 그러나 어떤 프로그램도 성공률 100%를 기대해서는 안 된다. 달리 말해, 조직의 역량과 의지만으로 모든 개인의 성공을 보장할 수는 없다. 더 나아가, 기관 내부 평가 절차의 약점이나 사각지대, 졸업률을 프로그램 성과 지표로 취급함으로써 발생하는 정치적 또는 평판상의 압력, 그리고 훈련생이 정해진 기준을 충족할 수 없음이 드러났을 때 조치를 취하는 데 따르는 행정적·법적 어려움 등 여러 이유로 ‘낙제시켜야 할 사람을 낙제시키지 못하는 현상(failure to fail)’이 생길 수 있다.7–9 이로부터 외부 기관(예: 의사회, 국가시험위원회 또는 실무 규제기관)이 시행하거나 감독하는 고부담 시험을 옹호할 때 통상적으로 사용하는 근본적 가치 명제가 도출된다. 즉, 인증을 받았는지 여부와 관계없이 질 높은 훈련 프로그램은 필요하지만 충분하지 않다. 질 높은 보건의료와 환자안전을 보장하려면 훈련 프로그램과 일정한 거리를 둔 상태에서 심리측정학적으로 엄밀한 평가(psychometrically rigorous assessment)를 실시해야 한다.10 질 보장을 위해 외부 기관이 문지기 역할(gatekeeping)을 수행하는 것의 가치는, 훈련 프로그램이 역량에 대한 우려가 남아 있는 훈련생을 졸업시켰다고 인정할 때마다 일화적으로 뒷받침되며, 고부담 평가와 임상진료의 질 지표 사이의 연관성을 보고한 다수 연구를 통해 경험적으로도 뒷받침된다.11–13
• 문지기 역할을 넘어 고부담 평가는 촉매 기능(catalytic function)을 수행한다. 즉, 훈련생과 교육과정 책임자를 이끌고 평가 혁신을 촉진하는 영향 요인(influencer)14,15이자, 훈련 프로그램이 자체 평가 실무를 실행·강화·지속하도록 지원하는 동시에 그렇게 해야 할 당위성을 만들어내는 촉진자(enabler)16로 작용한다. 다시 말해, 전문직이 주도하는 시험 전략(professionally guided testing strategies)은 보건의료전문직 규제와 인증이라는 본래 목적을 넘어 부가가치를 제공한다. 또한 개인의 학습 방향을 유도하고 프로그램 개발의 필요를 드러냄으로써 교육과 보건의료 제공의 질 향상을 촉진한다.

1.2 | 고부담 시험에 반대하는 논거 (The case against high-stakes testing) 

• 구체적인 양상은 맥락마다 다르지만, 고부담 평가는 훈련생, 훈련 프로그램 및 보건의료체계에 상당한 재정적 비용과 기회비용을 초래한다.17–19 시험 준비, 시험장 이동 및 평가 응시에 시간과 자원이 필요하다. 더욱이 강력한 유도 효과(steering effects)를 통해 임상실무에 필요한 장기적 숙달(long-term mastery)로부터 주의를 돌린다. 이러한 비용이 개인과 집단에 미치는 영향은 그 노력이 앞 절에서 제시한 가치 명제를 충족하는 범위 안에서만 정당화될 수 있다. 그러나 그곳에서 제시된 전제를 받아들인다 하더라도, 실무·훈련·평가의 진화는 기존 고부담 평가 절차의 가치를 약화시키는 문제들을 드러냈다.
• 앞 절의 논거가 요구하는 심리측정학적·물류적 조건으로 인해 고부담 평가는 거의 언제나 ‘특정 시점(point-in-time)’의 평가로 시행된다. 그러나 보건의료전문가는 적응적 전문성(adaptive expertise)20을 필요로 한다. 이는 지식의 성장과 기술 개발에 지속적으로 투자해야 하는 맥락 의존적이고 역동적인 학습 과정이며,13,21 특정 순간에 달성했다고 의미 있게 ‘승인(sign off)’할 수 있는 고정된 상태가 아니고, 하물며 영구히 달성되는 상태는 더더욱 아니다.22,23 또한 규제기관은 보건의료전문직 실무에서 문제가 확인될 때 의사소통 기술, 전문직업적 행동 및 협업의 문제가 특히 두드러진다는 점을 이해하게 되었다.24–26 그러나 서서히 변화하는 표준화 고부담 시험의 세계에서 흔히 그러하듯, 엄밀성(rigour)을 ‘객관적(objective)’이고27,28 수량화 가능하며 엄격히 통제된 것과 동의어로 취급하고 타당도에 관한 판단을 심리측정학적 속성만으로 내릴 때, 이러한 복잡한 영역의 평가는 제약을 받는다. 평가가 Bloom 분류학(Bloom's taxonomy)의 상위 수준을 목표로 하더라도, 측정의 제약 때문에 고부담 시험은 다른 핵심적인 의사 활동을 배제한 채 대체로 지식(즉, ‘의학전문가[medical expert]’ 내용)을 반영한다.29 안타깝게도 이러한 ‘질 보장(quality assurance)’ 시스템이 수십 년 동안 문지기 역할에 사용되었음에도, 정식 면허를 보유한 저성과 실무자가 유발한 피해에 관한 보고는 계속되고 있다.30,31 이 사실만으로도 전통적인 고부담 시험 개발 모형이 환자안전을 보호한다고 주장할 정당한 근거가 없음을 알 수 있다. 고부담 의사결정을 내릴 때 고부담 평가를 다른 평가 방법에 보완적으로 추가해야 한다고 말하는 것만으로는 충분하지 않다. 고부담 평가가 행사하는 힘은 필연적으로 학습자와 실무자의 우선순위를 규정하기 때문이다.

2 | 논쟁의 재구성 (Reframing the Debate) 

제1절의 논거가 얼마나 설득력 있다고 생각하는지와 관계없이, 앞서 제시한 논쟁은 고부담 시험이 타당성을 가진다고 주장하려면 어떤 기준을 충족해야 하는지를 규정하는 데 핵심적이다.32 이 논쟁은 수십 년 동안 보건의료체계 안팎에서 양극화를 일으켜 왔는데, 이는 충분히 이해할 만하다.33 그 원인 중 하나는 잘못된 질문을 던져왔다는 데 있다. 우리 분야는 고부담 평가가 가치를 더하는지, 또는 해를 끼치는지를 물어서는 안 된다. 그런 질문에 대한 답은 간단하다. ‘그렇다. 둘 다 한다.’ 그보다 우리는 고부담 평가가 더 이상 ‘국가면허시험’, ‘인증시험’ 또는 이와 유사한 특정 시점의 표준화 평가와 동의어로 (오해)되지 않도록 어떻게 재정의할 것인지를 논의해야 한다. 그 방향으로 계속 나아가기 위해, 이 절에서는 특정 실행의 타당성에 관한 논의에 의학교육이 효과적으로 참여하는 것을 방해할 수 있는, 고부담 시험에 관한 잘못되었지만 널리 퍼진 믿음인 세 가지 통념을 자세히 다룬다. 분명히 하자면, 뒤이어 제시할 통념이 보편적으로 받아들여진다고 보지는 않는다. 실제로 이 통념들은 수십 년간 논쟁의 대상이 되어 왔고,34,35 지속 불가능하다는 점도 점점 널리 인정되고 있다.36 오히려 우리는 이 통념을 통해 평가의 형성적 역할과 총괄적 역할 사이에 존재하는 핵심적인 이분법을 드러내고자 한다. 이 이분법은 여전히 실무에 영향을 미치며, 고부담 평가를 시행할 권한을 가진 이들이 자신의 도구가 지속적인 전문직 발달에 능동적으로 기여하도록 보장할 책임까지 함께 지지 않을 때 생기는 위험을 부각한다. 결국 타당도는 시험점수의 진실성(veracity)을 반영하는 것 이상이며, 결과(consequences)를 고려해야 하는 사회적 책무(social imperative)이다.37,38

2.1 | 통념 1: 평가는 총괄평가이거나 형성평가이거나 둘 중 하나로 반드시 결정해야 한다
(Myth 1: One must decide whether an assessment is either summative or formative) 

• 대부분의 평가 워크숍, 강좌 또는 훈련 프로그램에서 가장 먼저 가르치는 것은 평가 설계를 시작할 때 목적을 총괄평가(summative assessment) 또는 형성평가(formative assessment)로 규정하는 일이 매우 중요하다는 것이다.
  • 전자를 우선시할 때는 엄격한 심리측정학적 기준에 세심한 주의를 기울여야 하지만, 수행 향상을 위해 학습자에게 정보를 능동적으로 되돌려주는 일은 걱정하지 않아도 된다는 논리가 뒤따른다.
  • 후자를 우선시하면 그 반대가 성립한다. 신뢰성(credibility)은 학습자의 신뢰를 형성하는 핵심 요인이지만,39,40 시험점수 그 자체는 심리측정학적 질과 관계없이 학습을 이끌지 못하는 경향이 있다.41
• 이분법화(dichotomisation)는 복잡한 난제를 단순화할 수 있지만, 그것이 조장하는 수사는 근본적으로 잘못되었다.42
  • 형성적 목적으로 시행되는 평가를 덜 엄밀한 것으로 틀 짓는 것은 학습자와 학습이 신뢰하기 어려울 수 있는 정보의 지도를 받아야 한다는 의미가 된다.
  • 반대로 역량 보장을 위해 시행되는 평가가 교육을 우선시하지 않는 것으로 틀 짓는 것은 장기적 숙달보다 단기적 수행을 조장하여 역량을 약화시킨다.
• 이러한 이분법을 극복하려는 노력은, 이제 이 분야가 특정 평가에 수반되는 부담(높음 대 낮음)이나 그 활동이 사용되는 목적(질 보장 대 질 향상)을 더 자주 언급하는 데서 나타난다.43 안타깝게도 행동의 변화는 뒤처져서, ‘저부담(low-stakes)’과 ‘질 향상(quality improvement)’은 대체로 ‘형성적(formative)’과 동의어처럼 취급되고 ‘고부담’과 ‘질 보장’은 ‘총괄적(summative)’과 혼동되고 있다.38 따라서 근본적인 문제는 용어 자체가 아니라, 이러한 인위적 이분법화가 교육적 결과(pedagogical consequences)를 포함한 타당도 논증의 전체 범위에 주의를 기울여야 할 책임을 회피하는 일을 정당화한다는 데 있다.38,44

2.2 | 통념 2: 평가는 총괄평가이거나 형성평가이거나 둘 중 하나로 결정하는 것이 낫다
(Myth 2: One should decide whether an assessment is either summative or formative) 

• 주목할 만한 예외가 존재하지만,45 고부담 총괄시험 과정의 형성적 측면에 관심을 기울이지 않는 것은 흔히 ‘그것은 우리의 역할이 아니다’라는 취지의 주장으로 정당화된다. 역사적으로 이해할 수 있고 예측 가능한 일이지만, 이러한 경계 설정은 고부담 시험의 순간을 피평가자의 교육 궤적 연속선(continuum of assessees' educational trajectories)에서 분리함으로써 보건의료체계에서 일하는 이들의 역량을 시험이 보장할 수 있는 능력을 위협한다. 예를 들어, 부담이 크다면 학습자가 필기시험을 공부하기 위해 임상실습을 쉬는 일46은 피할 수 없지만, 그러한 행동은 실제 세계에서 학습자에게 기대되는 것과 시험이 부과하는 요구를 통합해야 할 필요를 낳는다.47,48 평가 전의 학습 노력은 진정성 있는 실무(authentic practice)를 뒷받침하는 형성적 행동을 강화해야 한다. 평가 후 아무런 피드백이나 후속 조치가 없다면, 간신히 기준을 넘었거나 자신의 잠재력보다 낮게 수행한 사람들이 그 경험을 향후 전문직 발달을 이끄는 데 활용할 가능성이 얼마나 되겠는가?39
• 단 하나의 절단점수(cut score)를 넘었는지 여부만으로 평가의 모든 결과를 결정하고 다음에 무엇을 해야 할지는 전혀 고려하지 않는, 순전히 총괄적인 접근은 목표가 지속적으로 더 나은 보건의료인이 되고 더 잘 실천하려는 장기 여정이 아니라 특정 시점의 측정임을 알리는 신호가 된다.49 따라서 고부담 시험이 총괄적인 문지기 기능만 가진 것으로 제시될 때, 간신히 합격한 사람들은 공식적 평가를 거의 또는 전혀 받지 않은 채 수십 년에 걸친 실무로 진입하며, 능력이 아주 조금 부족해 실무에서 배제된 사람들보다 오히려 환자에게 위해를 가할 위험이 더 커진다. 여러 고부담 시험 노력의 근시안성을 살펴보면, 고부담 평가의 형성적 잠재력을 활용하지 않는 것은 실무자 역량을 추구하는 과정에서 놓친 중대한 기회일 뿐 아니라 보건의료체계 전체에 해가 됨을 알 수 있다. 고부담 목적에 신뢰할 수 있는 자료를 생성하는 데 필요한 과정의 강도가 표준화된 특정 시점 측정을 요구하며 그 형성적 영향을 무시하는 일을 정당화한다는 주장은, 보건의료 실무의 질을 보장한다고 동시에 주장하는 것과 양립할 수 없다.50

2.3 | 통념 3: 평가가 총괄적인지 형성적인지 결정할 수 있다
(Myth 3: One can decide whether an assessment is either summative or formative) 

• 교육계가 개인이 의도적이든 그렇지 않든, 더 나은 방향으로든 더 나쁜 방향으로든 자신의 학습에서 수행하는 능동적 역할을 더 잘 이해하게 되면서, ‘평가 도구는 자신이 무엇이 되어야 하는지 알지 못한다(assessment tools do not know what they are supposed to be)’는 명제는 더욱 심오한 의미를 갖게 되었다. 행동과 경험을 좌우하는 것은 평가나 설계자의 의도가 아니라 피평가자가 자신에게 놓인 과제를 해석하는 방식이다.34,51,52 평가 설계자는 이러한 현실에 더 이상 순진한 태도를 취해서는 안 된다.
  • ‘총괄시험(summative testing)’이라는 이름이 붙은 것은 일상적으로 형성적이다. 평가 관행은 학습자가 무엇을 공부할지 결정하고,39 학습해야 할 자료를 기억할 가능성에 영향을 미치며,53 평가 후 어떤 추가 학습을 우선해야 하는지에 관한 의사결정에도 영향을 미치기 때문이다.54
  • ‘형성평가(formative testing)’라는 이름이 붙은 것은 일상적으로 총괄적이다. 피드백이 자신의 정체성을 위협할 때마다 학습자는 자신이 판단받는다고 느끼고, 그로부터 온갖 부정적 영향이 생길 수 있기 때문이다.43,55,56
• 예를 들어, 고부담 총괄 의사결정을 내리는 역량위원회(competency committee)의 검토를 위해 자료가 합산되는, 명목상 형성적인 평가 순간에 학습자들이 어떻게 반응하는지를 생각해 보라.57
  • 다음 훈련 단계로 진급하는 데 영향을 미칠 수 있다면, 훈련생이 관찰받을 순간을 ‘골라 택하는(cherry-pick)’ 것이 놀라운 일인가?58,59
  • 교육자가 개별 순간을 학습을 위한 평가라고 부르더라도, 훈련생이 평소처럼 행동하기보다 기대된다고 생각하는 방식으로 ‘연기(perform)’하는 것이 놀라운 일인가?60,61
• 공허한 수사적 주장으로 학습자를 잘못 이끌기보다, 고부담 평가 관행에 참여하는 전 과정에서 의미 있는 학습을 우선하도록 그들을 가장 잘 안내하는 방법에 의도적으로 더 큰 초점을 두어야 한다.

2.4 | 함의 (Implications) 

• 그 핵심에서 볼 때, 총괄평가 대 형성평가라는 신화적 구분은 역량을 갖춘다는 것이 무엇을 의미하는지 잘못 나타내며, 그 결과 학생·교육자·시험 설계자가 평가 절차의 타당도에 관한 논증을 구축하는 데 필요한 근거의 폭을 오해하게 만든다.34,38 역량(competence)은 정적이거나 보편적인 방식으로 개인에게 귀속할 수 있는 특성이 아니라, 맥락에 따라 달라지는 과정(context-dependent process), 즉 지속적인 노력과 상황에 대한 적응을 요구하는 무엇이다. 따라서 특정 시점의 시험에 크게 의존하는 모든 고부담 의사결정은 역량을 타당하게 반영하기에 불충분하며, 실제로 우리가 원하는 숙련도(proficiency), 전문성(expertise) 및 숙달(mastery)을 반영하기에는 더더욱 부족하다.62 이러한 평가는 필연적으로 특정 순간에 ‘측정 가능한 것’으로 초점을 축소한다. 그 과정에서 (a) 기억은 희미해지고, (b) 새로운 것을 학습해야 하며, (c) 크게 달라지는 사회적·물리적 어포던스(affordances)가 수행에 영향을 미치면서 역량이 끊임없이 변화한다는 사실을 무시한다. 역량을 갖춘다는 것은 교과서를 넘어, 명확한 ‘정답’이 없을 때 무엇을 해야 하는지 결정하는 능력을 요구한다.63 또한 자신의 지식과 기술 집합에 지속적이고 의도적으로 재투자할 것을 요구한다. 그러므로 고부담 의사결정을 내릴 때 특정 시점의 시험에만 의존하는 것은 역량이 영구히 지속되는 것처럼 암시함으로써 역량바탕교육을 지향하는 교육적 노력을 근본적으로 약화시킨다.
• HPE와 보건의료전문가 평가의 많은 부분이 발전해 왔지만, 특히 면허와 인증 단계에서 고부담 평가에 접근하는 방식은 변화가 더뎠다. 다시 말해 주목할 만한 예외가 나타나고 있지만, 그러한 노력조차 규제기관이 자신의 책임에 대해 상반된 관점을 유지하고 있음을 보여준다.44 너무 많은 이들이 고부담·총괄적·신뢰할 수 있는·특정 시점의 평가를 저부담·형성적·진정성 있는 학습 궤적과 대비해 왔고, 그 결과 성장하고 지속되는 역량의 촉매로서 고부담 평가가 가진 잠재력을 활용할 수 있는 우리의 능력이 훼손되었다. 여기에 제1절에서 제시한 논거의 역설이 있다. 고부담 시험 옹호자들은 진정한 역량바탕교육이 아직 성숙하지 못했기 때문에, 즉 교육 프로그램의 의사결정만으로는 신뢰할 수 없기 때문에 고부담 시험이 필요하다고 주장한다. 그러나 고부담 시험이 특정 시점의 시험에 머무는 한, 실제로 역량을 가능하게 하는 장기적 학습 행동, 습관, 실천 및 기회를 촉진하는 데서 노력을 빗나가게 하여 계속해서 역량을 저해할 것이다. 이 경우 이러한 도구는 협소하고 시간적으로 제한된 초점을 넘어 질을 보장하려는 목적에 적합할 수 없으므로, 타당도 주장은 필연적으로 공허하게 울릴 것이다.

3 | 앞으로 나아갈 길 (A Path Forward) 

역량바탕교육의 현재 모습에 호감을 갖든 혐오감을 갖든, 시간, 자기평가(self-assessment) 및 지도자의 견해가 불충분하다는 사실에 관해 너무 많은 것을 알게 되었으므로, 어떤 형태로든 더 심리측정학적으로 엄밀한 자료 수집을 포함하지 않은 채 이들만으로 역량을 보장할 수 있다고 믿을 수는 없다.64–66 그러나 심리측정학적 기준을 고부담 의사결정을 내리기에 충분한 것과 혼동하면, 역량의 타당한 평가라는 주장을 가능하게 하기보다 오히려 역량을 약화시킨다. 즉, 평가의 문지기 역할에만 배타적으로 초점을 맞춘 터널 시야는 고부담 의사결정(high-stakes decisions)을 고부담 시험(high-stakes tests)과 혼동하며, 그 결과 보건의료전문가가 경력 전체를 준비하는 데 해를 끼친다.

• 고부담시험의 타당도는 부분적으로 신뢰도(reliability)를 바탕으로 평가할 수 있지만,
• 고부담 의사결정의 타당도에는 여기에 더해 역량 추구를 맥락 의존적이고 복잡하며 변화하는 것으로 개념화하는 데까지 확장되는 합리성(reasonableness)이 필요하다.

앞으로 나아가려면 고부담 의사결정의 근거가 되는 평가를 단지 넘어야 할 장애물로 취급하게 만드는 ‘양자택일(either/or)’ 사고에서 벗어나야 한다. 그러한 평가는 불평을 유발할 수는 있지만 일단 ‘통과’하고 나면 대체로 ‘과거’의 일로 무시할 수 있다. 우리는 ‘양자병합(both/and)’의 상승효과를 활용하여 단기적으로 안전을 보장하고 장기적으로 발달을 가능하게 하는 방향으로 나아가야 한다.35

 

서두에서 언급했듯, 맥락의 가변성과 중요성 때문에 앞으로 나아갈 길을 모색하면서 무엇을 바로잡기 위해 구체적으로 어떤 조치를 해야 하는지를 주장하기는 어렵다. 대신 우리는 타당도 논의에서 보편적으로 강조해야 할 의사결정의 세 가지 측면, 즉 고부담 평가를 수행할 권한을 가진 모든 기관에 적용되는 초점의 확장(broadening focus), 시간 범위의 확장(broadening timelines), 방어 가능성 개념의 확장(broadening notions of defensibility)을 제시한다.

3.1 | 초점의 확장 (Broadening focus) 

• 모든 역량바탕교육 프레임워크는 그 핵심에서, 안전하고 효과적이며 공정한 진료를 보장하기 위해 지식이 필수적이지만 충분하지는 않다는 성찰을 담고 있다. 따라서 우리는 현대의 실무가 임상의에게 효과적인 협업, 불확실한 상황에서의 현명한 의사결정, 빠르게 변화하는 근거와 테크놀로지에 대한 적응 등을 요구하는 이유를 설명하는 데 많은 지면을 할애하지 않겠다. 다만 마지막 문제와 관련하여, 지식 기반의 고부담·개인별·특정 시점 시험이 수행하는 문지기 기능은 복잡하고 팀 기반이며 사회적으로 상황 지워져 있고(socially situated) 끊임없이 진화하는 현대 의료의 현실과 점점 더 어긋나고 있다는 점을 주목할 필요가 있다. 그러므로 제한적인 심리측정학적 기준을 충족한다는 이유로 한 개인이 아는 것 또는 적용할 수 있는 지식에 대한 시험만을 ‘반영할 가치가 있는 것(count)’으로 인정하고, 표준화 시험으로 쉽게 측정할 수 없는 모든 것을 무시하면서 고부담 의사결정에 대한 합리적 타당도 논증을 유지할 수는 없다. 부정적 사건이 주로 불량한 인계, 의사소통 실패 및 전문직업성(professionalism) 문제에서 비롯되는데,25,67 특정 시점의, 흔히 필기 형태인 지식시험을 고부담 의사결정의 근거로 삼는 것이 무슨 의미가 있는가? 더구나 전통적인 고부담 평가 모형이 이미 잘 확립된 보건의료전문직 역량의 폭조차 의미 있게 다루지 못했는데,30 인공지능의 급속한 역할 확대와 사회적 불평등처럼 새롭게 부상하는 변화는 어떻게 따라갈 수 있겠는가?
• 역량바탕교육의 시대가 점점 더 확고히 자리 잡으면서, 고부담 의사결정에 책임이 있는 이들은 핵심적인 역량 측면을 살펴보지 않은 채 남겨두어 응시자와 대중에게 그 가치를 낮추어 보이게 할 것이 아니라, 기대되는 역량의 전체 범위를 의사결정 과정에 포함하는 모형을 발전시켜야 한다. 일부 지역에서는 자격 유지(maintenance of certification) 단계에서 이러한 변화가 일어나고 있지만,44 훈련 초기 단계에서 사용하는 고부담 모형은 학습자가 지속적인 역량을 어떻게 입증해야 하는지 이해하도록 돕는 데 거의 기여하지 못한다. 오히려 북미에서는 최근 면허 부여 과정에서 수행기반 시험(performance-based examinations)이 폐지되면서 이 문제가 더 심화되었다. 현재의 시대를 타당하게 반영하고 고부담 평가 전략을 미래에도 지속 가능하게 만들려면, HPE는 진정성 있는 전문직 과업(authentic professional tasks)과 관련된 근거를 고부담 의사결정에 투입할 방법을 더욱 발전시켜야 한다. 광범위한 근거 수집으로 나아가려면 고부담 평가를 독립된 사건이 아니라 시스템의 일부로 재개념화해야 한다. 또한 점점 널리 활용되는 프로그램형 평가 모형의 다면적·다맥락적·누적적 측면을 고부담 맥락으로 전환해야 한다. 따라서 타당도 논증은 하나의 시험점수가 지닌 유용성(utility)에만 배타적으로 초점을 맞출 수 없다. 고부담 의사결정은 국가 기준에 부합하도록 수집되고 서로 통합된 여러 출처의 누적 근거에 기반할 수 있고, 또 그래야 한다.68 여러 맥락, 관점 및 시간대를 표집하는 직무현장바탕평가(workplace-based assessment), 수행 관찰 및 성찰 활동을 활용하는 것만이 실무의 신뢰할 만하고 의미 있는 모습을 구축하고,69,70 고부담 특정 시점 시험만이 주는 그릇된 안도감을 극복하는 길이다.
• 국가 기관은 특정 시점의 시험을 제공할 뿐 아니라, 실무자·규제기관·교육기관·환자 집단·평가기관 사이의 새로운 협업과 공동 책무(shared accountability) 모형에서 소집자(convener)와 기준 설정자(standard setter)로 기능함으로써, 고부담 의사결정으로 이어지는 평가 관행에 영향을 미칠 수 있는 독보적인 위치에 있다. 동시에 시험기관이 수집하는 특정 시점 자료에 실제 현장 수행(in situ performance)에 관한 보완 정보를 더하려면, 훈련 프로그램 내부의 기관 차원 참여와 유연성이 필요하다.71 예를 들어 팀워크, 전문직업성 및 자기조절학습(self-regulated learning)과 같은 역량은 고립된 수행이 아니라 일관성과 성장에 근거해서만 판단할 수 있으며, 다음 절에서 이를 자세히 설명한다. 그러한 자료에 대한 신뢰를 확보하는 방법은 방어 가능성 개념의 확장을 다루는 절에서 다시 논의할 것이다.
• 여기서는 이것이 고부담 시험에서 입증되어 온 심리측정학적 엄밀성을 거부하는 것도, 고부담 평가를 교육 프로그램에 떠넘기는 것을 정당화하는 것도 아님을 밝힌다. 오히려 이는 현대의 실무에서 역량을 갖는다는 것이 무엇인지를 더 온전히 반영하도록 평가 절차를 진화시키자는 요청이다.72 모든 보건의료전문가가 불확실한 상황에서 효과적으로 협업하고 현명한 결정을 내릴 수 있어야 한다고 기대한다면, 그들의 역량에 관한 고부담 결정을 내리는 책임을 맡은 이들에게 그보다 못한 것을 어떻게 요구할 수 있겠는가?

3.2 | 시간 범위의 확장 (Broadening timelines) 

• 앞 절에서는 고부담 의사결정에 관한 타당도 주장이 고부담 시험을 보완하고 흔히 그 시험보다 앞서 수집되는 자료 출처를 포함해야 한다고 논증했다. 이 절에서는 그러한 시험이 시험 후의 학습을 어떻게 이끄는지를 고려함으로써 장기적으로 역량을 뒷받침하는 일 역시 반드시 필요하다고 주장한다.
• 이 글 전체와 Warm et al73이 설명했듯, 특정 시점의 평가는 전문직 역량이 지닌 맥락 의존적이고 발달적인 속성을 타당하게 포착하는 능력에 본질적인 한계가 있다. 고부담 의사결정이 복잡한 전문직 수행을 고부담 시험의 합격-불합격 결과로 축소할 때, 이러한 평가는 역량에 대한 정적이고 이분법적인 개념을 암묵적으로 조장하며, 역량은 계속해서 길러야 하는 것이 아니라 한 사람이 ‘보유한’ 것이라는 문제적 관념을 강화한다.4 더 나쁜 점은 합격선 위의 모든 사람을 동일하게 취급한다는 것이다. 그 결과 경계선에 있던 사람은 매우 뛰어난 사람과 마찬가지로 자신의 결과를 후속 관리할 추가 동기40,74도, 그렇게 할 방법에 관한 안내43,75도 받지 못한다(통념 2에서 상세히 설명한 바와 같다). 고부담·고품질의 특정 시점 평가가 시험 당시 피평가자의 지식과 일부 기술의 발달 수준에 대해 제공할 수 있는 신뢰할 만한 스냅숏이 역량 보장이라는 주장에 기여하려면, 고부담 평가는 질 통제(quality control)에만 초점을 맞추는 방식에서 벗어나 생성된 자료를 질 향상(quality improvement)에 어떻게 투입할 것인지 고려하는 방향으로 전환해야 한다.
• 이를 의미 있게 수행한다는 것은 단순히 수행 보고서를 제공하고 응시자가 그것을 피드백으로 활용하기를 기대하는 일이 아니다.42 이 재개념화는 고부담 평가 자료를 훈련에서 실무로 이어지는 연속선(training-to-practice continuum) 전반에 걸친 개별화 학습계획(individualised learning plans)에 통합하는 것을 지향한다. 달리 말해, 고부담 평가를 교육적 책임의 종착점으로 취급하는 대신 지속적인 전문직 성장의 촉매로 만들어야 한다.45 학습계획은 필기시험, 직무현장 관찰, 다원적 피드백(multisource feedback), 수행기반 평가 등 다양한 평가 경험에서 얻은 정보를 종합하여 자기조절학습을 지원하는 일관된 지침으로 만든다.76,77 그러나 고부담 시험 자료는 이러한 실천에 거의 포함되지 않는다. 이는 자원을 낭비하고, 지속적인 학습에 차선의 영향을 미치며, 지속적 역량을 보장하는 데 필요한 평생학습에 피평가자가 효과적으로 참여할 역량에 관한 추가 정보를 수집할 기회를 놓치는 일이다.
• 고부담 시험 자료를 더 큰 시스템의 한 요소로 포함하면 학부교육, 졸업후훈련 및 지속전문직개발(continuing professional development)에 걸친 학습자의 궤적을 스캐폴딩(scaffolding)함으로써 역량의 타당한 평가라는 주장을 강화할 수 있다.73 대부분의 맥락에서 이 ‘연속선’은 후속 학습과 규제 감독 모두에 의미 있는 지원을 제공하지 못하는 방식으로 분절되어 있다.78 고부담 평가에서 흔히 이루어지는 엄밀한 자료 수집을 통합한 구조화된 학습자 인계(structured learner handovers)와 포트폴리오 기반 접근은, 확인된 학습 요구가 주요 전환점에서 소실되거나 무시되지 않도록 함으로써 이러한 분절을 완화할 수 있다.79 이러한 개발은 고부담 평가를 현대 보건의료 실무의 현실과 일치시키는 데 필요하다. 지식·테크놀로지·사회적 기대가 변화하고 세계가 점점 더 역동적으로 변함에 따라, 수십 년의 실무에 걸쳐 역량을 유지하는 일은 몇 년의 정규 훈련 동안 역량을 획득하는 것보다 더 큰 도전이 될 것이다.13 따라서 고부담 평가가 학습의 연속성(continuity of learning)을 얼마나 가능하게 하는지는 ‘범위 밖(out of scope)’이라고 태연하게 일축할 사항이 아니라, 모든 고부담 시험기관의 타당도 논증에서 필수적인 고려사항이 되어야 한다.
• 종단적이고 자료에 기반한 평가 인프라(longitudinal, data-informed assessment infrastructures)가 없다면, 규제기관은 선제적으로 향상을 지원하는 대신 실패가 발생한 후 대응할 수밖에 없다. 고부담 면허·인증 절차와 함께 학습계획을 교육 시스템에 내장하면, 고부담 의사결정은 순전히 후향적인 질 ‘보장’ 판단, 즉 저성과자에게만 후속 조치라는 징벌적 개입을 제공하는 방식에서 벗어나, 인력 개발을 위한 전향적 질 향상 전략의 의미 있는 일부로 전환될 수 있다. 고부담 시험에서 생성된 자료가 의사들이 경력 전반에 걸쳐 자신의 수행을 더 잘 유지하고 향상하도록 지원할 때, 고부담 의사결정은 환자 보호라는 책무를 더욱 진정성 있게 이행한다. 결국 학습계획을 개발하고 활용하는 행위 자체가 자신의 한계를 인식하고, 외부 자료를 이용해 향상을 이끌며, 시간에 따라 실무를 조정하는 능력을 반영하는 핵심 전문직 역량이다. 그러나 이러한 재개념화를 위해서는 특정 시점의 자료만이 객관적이며,80 ‘객관적’ 정보만이 방어 가능하다는 근시안적인 관념에서 벗어나야 한다.

3.3 | 방어 가능성 개념의 확장 (Broadening notions of defensibility) 

• 실제 세계에는 본질적으로 가변성이 존재하고 많은 역량을 평가하려면 판단이 필요하다.29,81 따라서 고부담 의사결정에 직무현장바탕평가 자료를 사용할 것인지에 관한 논의는 대체로 불편한 선택의 문제로 구성되어 왔다. 즉, 실무의 불충분한 범위에 관한 매우 정밀한 자료를 바탕으로 결정하거나, 중요한 것의 폭을 다루기 위해 표준화를 덜 받아들이는 것 중 하나를 선택해야 한다는 것이다.82 그러므로 고부담 의사결정의 타당도에 관해 충분한 논증을 구축할 수 있도록 고부담 시험을 시험 시점 전후의 다른 근거 출처로 보완하는 방법에 관한 모든 논의는, 엄밀성과 진정성(authenticity)을 상호 배타적인 것으로 취급하는 데서 어떻게 벗어날지를 고려하는 것에서 출발해야 한다.
• 진정성 있는 상황에 의존하여 고부담 의사결정에 정보를 제공하는 데 대한 두려움은 부분적으로 보건의료전문가의 업무가 ‘복잡하고 난삽하다(messy)’는 인식에서 비롯된다. 환자는 흔히 명확한 진단을 갖고 있지 않고, 여러 문제가 공존하며, 동반질환은 서로 영향을 미친다. 적절하게 구성한 검사 및 관리 계획은 개인의 요구, 선호 및 기대에 맞추어야 한다. 이러한 환경에 필요한 역량은 객관식 문항(multiple-choice questions, MCQs)으로 충분히 측정할 수 없다. 또한 객관식 문항은 전문성이 단지 정답을 제시하는 일이라는 신호를 줌으로써 장기적 역량을 촉진하지도 못한다. 객관구조화진료시험(objective structured clinical examinations, OSCEs)과 같은 수행기반 시험은 효과적인 실무에 필요한 과정을 평가하는 데 더 가까이 다가갈 수 있다. 그러나 실행 가능성을 위해 각 스테이션의 초점을 좁혀야 하고, 표준화를 위해 체크리스트 기반 채점 절차를 사용해야 하므로, OSCE 채점표와 실제 세계의 기대 사이에는 잘 알려진 괴리가 생겼다.54,83 다시 말하지만 우리는 이러한 평가에 반대하는 것이 아니다. 그것들을 고려하는 일은 중요하다. 다만 고부담 의사결정에서 이러한 평가에만 의존한다면, 그것이 제공하는 이익은 너무 제한적이고 전달하는 메시지는 지나치게 오도적이어서 충분히 설득력 있는 타당도 논증의 토대가 될 수 없다고 주장한다. 복잡하고 난삽한 실제 세계의 맥락에서 임상추론을 해나가는 일이야말로 임상의가 매일 수행하는 진정성 있는 업무이다. 그럼에도 시험기관의 기술 보고서를 잠시 훑어보기만 해도 그러한 맥락에서의 수행에 초점을 두지 않는다는 사실이 근본적인 신뢰성 문제를 낳음을 알 수 있다. 신뢰도가 낮은 시험은 흔히 보건의료전문직 역량의 타당한 측정이 아니라고 지적되지만, 진정성을 배제한 신뢰도 역시 타당도에 그만큼 강력한 위협이다.40
• 고부담 평가 과정에 무엇을 요구해야 하는지를 둘러싼 이러한 양극화를 넘어, 더 강력한 타당도 논증을 위해 초점과 시간 범위를 확장하려면 실제 실무에서 임상의에게 요구되는 것을 더 직접적으로 살펴보는 것이 도움이 된다. 그곳에서 이루어지는 행동과 의사결정은 특정한 임상 전략을 엄격하게 따르는 것보다 가변성으로 더 잘 특징지어진다. 임상적 불확실성이 있는 상황에서는 이질성(heterogeneity)이 일상적으로 나타난다. 불확실성이 없더라도 비용 부담 가능성, 접근성 및 환자 선호와 같은 맥락적 요인 때문에 임상의의 접근과 결과는 흔히 서로 다르다.84 때로 이러한 변이가 정당하지 않지만, 확립된 임상진료지침을 잘 알고 있는 의사조차 특정 상황에 맞추기 위해 지침에서 벗어나는 것은 흔히 상당히 합리적인 것으로 여겨진다. 실제로 전문가는 초보자보다 그렇게 할 가능성이 높다.85 여기에 개별 의사가 진료하는 환자군이 전문과 내에서조차, 하물며 전문과 사이에서는 더 크게 달라진다는 현실까지 더하면, 정해진 규칙을 항상 따르는지에 근거해 한 사람을 의미 있게 평가할 수 있다는 생각은 곧 상상하기 어려워진다. 미래를 내다보면, 어차피 알고리즘화되어야 하는 실무의 측면은 점점 더 인공지능의 영역이 될 가능성이 크다.
• 따라서 필요한 것은 가변성을 인정하고 피평가자가 인위적으로 단순한 ‘정답 = 역량 있음(correct = competent)’이라는 관념에 빠지기보다 성실성, 성찰 및 지속적 참여의 중요성을 이해하도록 이끄는 고부담 의사결정이다. 이를 잘 보여주는 예로, 북미의 의료법 체계는 의사의 결정이나 행동이 언제나 옳을 것을 요구하지 않는다. 그보다는 ‘합리적인 의사(reasonable physician)’가 같은 방식으로 행동했을 수 있는지, 즉 그 행동이 방어 가능한지를 묻는다.86 예를 들어 캐나다의료보호협회(Canadian Medical Protective Association)는 ‘모든 의료인은 자신의 과업에 합리적인 수준의 기술과 지식을 적용하고 합리적인 수준의 주의를 기울여야 한다’고 명시한다.87
• 이러한 방어 가능성 개념을 고부담 평가 관행에 적용하면, 질문은 ‘시험 내부 또는 여러 자료 수집 전략에 걸친 두 근거 출처가 같은 답을 주는가?’에서 멈추어서는 안 되고, ‘합리적인 판단자가 그 근거가 개인의 역량에 관한 결론을 뒷받침하기에 충분하다고 판단할 수 있는가?’까지 나아가야 한다. 이런 방식으로 생각하면, 예를 들어 직무현장바탕평가는 주의를 기울일 가치가 있으려면 서로 다른 지도자로부터 항상 같은 판단을 끌어내야 하는 것이 아니다. 오히려 신뢰할 수 있게 선정된 다양한 사례, 여러 관점 및 기대되는 역량의 폭을 명백히 토대로 삼고, 그 결정이 옳았는지를 지속적으로 모니터링하는 노력에 반영된다면, 의사결정을 위한 합리적 근거로 간주할 수 있다.88
• 달리 말해, 고부담 의사결정의 순간에도 판단을 절대적이거나 최종적인 것으로 해석할 필요는 없으며, 의사결정 당시 이해한 내용을 조건부로 표상한 것으로 볼 수 있다. 결국 역량이 복잡하고 내용 의존적이며 발달적이라는 속성을 인정하려면, 역량 평가 역시 복잡하고 내용 의존적이며 발달적이라는 속성을 인정해야 한다. 지속적인 수행 모니터링의 가치와 결론이 불가피하게 잠정적이라는 점을 강조하는 타당도 기준을 사용하면서 고부담 평가를 훈련과 실무의 연속선에 통합한다면, HPE는 실무자의 경력 전반에 걸쳐 겸손과 평생학습의 중요성을 전달하는 평가 관행을 개발하기 시작할 수 있다.

 

4 | 결론 (Conclusion)

원칙적으로 고부담 평가는 보건의료인이 안전한 진료를 제공할 준비와 능력을 갖추었다는 안도감을 대중에게 제공한다. 그러나 국가마다 서로 다른 방향으로 움직이고 있다는 사실은 이러한 관행이 여전히 논쟁적이고 이견이 많다는 점을 보여준다.

• 영국은 모든 의사가 안전한 실무에 필요한 핵심 지식과 기술을 입증하도록 하기 위해 최근 국가 의사면허평가(national medical licensing assessment)를 시작했다.89 이로 인해 불과 몇 년 전이라면 자유롭게 실무를 수행했을 일부 사람들이 전문직에서 배제될 가능성이 크다.
• 북미에서는 비용과 적절성에 관한 압력이 커지던 중, COVID-19 팬데믹의 현실로 인해 시험기관이 가상 환경에 쉽게 적용할 수 없는 엄밀한 대면 수행기반 시험을 유지할 수 없게 되면서 그 압력이 더욱 커졌다.90,91 그 결과 면허와 인증 수준 모두에서 고부담 의학 평가 절차가 축소되었고, 이는 불과 몇 년 전이었다면 실무 부적합 판정을 받았을 일부 사람들을 전문직에 포함하는 결과로 이어졌다.

이 분야가 새로운 ‘정상(new normal)’을 향해 나아가는 가운데, 일시적 필요 때문에 사라진 것 중 일부는 사라진 채로 두어야 한다. 그러나 HPE가 고부담 의사결정을 내리는 방식을 바꾸는 데 내재한 위험을 생각하면, 시험을 치르는 순간뿐 아니라 영속적으로 역량 있는 인력을 보장한다는 고부담 평가의 근본적 가치 명제를 재검토해야 할 중대한 시점이다.

 

Kelley의 타당도에 관한 저술 100주년5을 맞아 이러한 문제를 다시 살펴보면, 현대의 타당도 개념이 타당화(validation)를 논증(argumentation)으로 취급한다는 점에 주목할 필요가 있다. 즉, 시험점수가 관찰 결과를 의미 있게 표상하고, 시험 상황에서 개인의 수행을 반영하도록 일반화되며, 실제 세계로 외삽되고, 의사결정이나 행동에 의미 있는 정보를 제공한다는 주장을 뒷받침할 근거를 어느 정도까지 축적할 수 있는지를 의미한다.33 그러나 모든 논증에서와 마찬가지로, 더 큰 그림의 일부에만 초점을 맞추고 한 영역에서 점점 더 많은 근거를 축적하면서 문제의 폭이 충분히 다루어지지 않았다는 사실을 인식하지 못하는 환원주의(reductionism)의 함정에 빠지기 쉽다. 고부담 평가에서는 역량의 광범위하고 맥락 의존적이며 복잡하고 변화하는 속성을 인정하지 않으면서 역량을 보장한다고 주장할 때 이런 일이 발생한다. 평가 전문가는 심리측정학적 엄밀성에만 초점을 맞춘 타당도 논증을 제시함으로써, 보장하려 한다고 주장하는 장기적 역량을 오히려 훼손한다. 기껏해야 그러한 협소한 타당도 개념은 도구가 한 사람의 지식이나 능력에 관한 순간적인 스냅숏을 제공한다는 목적에 적합함을 보여주는 근거만 생성한다. 방어 가능하고 역량을 보장하려면, 타당도를 평가하기 위해 수집한 근거는 고부담 평가 절차가 특정 시점 시험 이전에 수집된 진정성 있는 실무 정보에 어느 정도 의존하는지, 그리고 시험 이후 역량을 유지하는 데 필요한 행동을 어느 정도 장려하는지도 포함해야 한다.

 

이는 van der Vleuten의 유용성 모형(utility model)이 말하는 의미에서 절충안을 찾아야 한다는 문제가 아니다.36 예를 들어 실행 가능성(feasibility)과 타당도가 서로 충돌할 수 있고, 따라서 비용-편익 분석을 수행해야 한다는 것은 분명하다. 그러나 여기서 걸려 있는 것은 절충을 너무 쉽게 받아들이고 무엇이 타당도를 구성하는지 지나치게 협소하게 봄으로써, 유용성의 교육적 영향 요소(educational impact component of utility)를 약화시킬 가능성이다. 흔히 고부담 및 저부담과 각각 혼동되는 평가의 총괄적 측면과 형성적 측면은 전통적인 조언이 믿게 하는 것만큼 분리할 수 있지 않다.44 좋든 싫든, McLuhan의 유명한 말처럼 매체가 메시지다(the medium is the message). 고부담 평가 절차가 어떻게 설계되고 고부담 의사결정에서 어떤 근거를 고려하는지는 보건의료인이 경력 전반에 걸쳐 무엇을 중요하게 여기고 무엇을 기대받는지에 관한 정보를 전달한다. 따라서 HPE는 평가 전후에 그러한 노력이 어떻게 질 향상에도 기여할 수 있는지 고려하지 않은 채 질 보장을 주장하는 것을 받아들일 수 없다.

 

보건의료전문직 실무의 수월성(excellence)을 지원하는 국가 기관은 단순히 질 높은 시험을 제공하는 데 그치지 않는다. 이들은 기준을 높이고, 의학 훈련 프로그램 사이의 협력과 상호 지원을 촉진하며, 흔히 규제기관의 지침에 따라 환자안전을 보장하기 위해 모두가 입증해야 할 역량의 표지를 설정하는 촉매로 기능한다.16 이를 성공적으로 수행하려면 훈련 프로그램, 지속전문직개발 활동 및 개인이 한 단계에서 다음 단계로 이동할 준비가 되었는지를 결정하는 평가 모형을 더욱 통합해야 한다. 또한 모든 수준의 학습자(학생부터 실무자까지)와 그들을 지원하고 평가하는 기관이 더 큰 공동 책임을 느끼게 하는 기전이 필요하다. 따라서 소수에게 필요한 문지기 역할을 수행하는 데 더해 다수에게 의미 있는 교육적 지원으로 기능하는 평가 절차라면, ‘총괄적’이든 아니든 우선시해야 한다.

 

다시 말해, 이제는 형성평가와 총괄평가의 경계를 명시적으로 흐리고, 교육과 실무의 연속선(선발에서 은퇴까지)을 매끄럽게 하며, HPE 평가 시스템이 장기적 역량을 가능하게 한다는 목적에 적합함을 대중, 훈련생 및 우리 자신에게 보장할 수 있도록 고부담 평가 절차를 현대화해야 할 때다. 이러한 주장은 국가 기관의 근본 목적이 시험을 시행하는 데 있다는 이해와 양립할 수 없다. 그보다 환자안전에 영향을 미치는 방식으로 시험을 효과적으로 시행하려면, 고부담 평가를 범위 면에서 진정성 있고, 방어 가능하며, 평생학습을 가능하게 하는 행동을 장려하는 것으로 다시 중심에 놓음으로써 그 절차가 타당한지에 관한 논증의 초점을 확장해야 한다.