14. 평가에서의 시뮬레이션 SIMULATIONS IN ASSESSMENT

Luke A. Devine, William C. McGaghie, and Barry Issenberg

INTRODUCTION (서론)

이 장에서는 보건의료 전문직 종사자들의 교육 및 실무 평가(assessment of training and practicing health professionals) 에서 시뮬레이션(simulation)이 수행하는 역할을 다룬다. 이는 제9장(Chapter 9) 에서 다룬 수행평가(performance tests) 와 제10장(Chapter 10) 의 직장 기반 평가(workplace-based assessment methods) 의 내용을 확장(amplify) 하는 것이지만, 중복(duplicate) 되는 것은 아니다. 이 장의 초점은 학습자를 평가하기 위해 시뮬레이션 기반 평가(simulation-based assessments, SBAs) 를 설계(design) 하고 구현(implement) 하는 방법에 있다.

 

많은 기관과 프로그램에서 시뮬레이션은 보건의료 전문직 교육(health professions education) 의 핵심 구성요소(essential component) 가 되었다. 시뮬레이션은 학습자들을 실제와 유사한 ‘in vivo’ 조건(real-life or in vivo conditions) 의 전문적 상황에 몰입시키면서, 평가에 맥락(context) 을 부여한다. 이 장은 특히 총괄평가(summative assessment) 에서의 시뮬레이션 활용에 초점을 맞춘다. 그러나 시뮬레이션은 동시에 형성평가(formative assessment) 에서도 자주 사용되는 강력한 교수 도구이기도 하다. 형성평가에 시뮬레이션이 사용될 때는, 피드백(feedback) 과 디브리핑(debriefing) 이 필수 요소로 포함된다 (Issenberg et al., 2005).

  • 피드백(feedback) 은 학습자에게 ‘이상적(perfect or desired) 수행과 실제 수행(observed performance)’ 간의 차이(gap) 에 대한 구체적인 정보를 제공하여, 향후 수행 향상(improving future performance) 을 목표로 하는 과정이다 (van de Ridder et al., 2015). 피드백은 시뮬레이터(simulator), 표준화 환자(standardized patient, SP), 동료(peers), 지도자(instructors) 등 다양한 출처로부터 제공될 수 있으며, 시뮬레이션 중(during) 또는 시뮬레이션 후(after) 이루어질 수 있다 (Motola et al., 2013).
  • 디브리핑(debriefing) 은 학습자가 자신의 수행을 성찰(reflection) 하여 향후 학습과 수행을 향상시키도록 돕는 상호작용적 과정(interactive process) 을 의미한다 (Cheng et al., 2014).

이 장은 총 여섯 개의 부분으로 구성된다. 첫 두 부분에서는 핵심 배경을 다룬다:

  • (1) 시뮬레이션이란 무엇이며 왜 사용하는가(what is simulation and why use it?),
  • (2) 언제 시뮬레이션을 평가에 사용하는가(when to use simulation for assessment).

다음 부분에서는

  • (3) 교육자가 평가 목표(assessment goals) 를 달성하기 위해 시뮬레이션을 어떻게 사용할 수 있는지에 대한 실질적인 조언(practical advice) 을 제시한다.

그 후에는 다음의 주제들을 다룬다:

  • (4) 시뮬레이션 기반 평가의 타당성(validity) 위협 요인(threats),
  • (5) 시뮬레이션 기반 평가를 구현하기 위한 교수 개발(faculty development),
  • (6) 시뮬레이션 기반 평가의 결과(consequences)와 교육적 영향(educational impact).

이 책의 서론부(introductory chapter) 와 타당도(validity, Chapter 2), 신뢰도(reliability, Chapter 3), 기준 설정(standard setting, Chapter 6) 에 대한 기본 개념을 이미 숙지하고 있다고 가정한다. 이러한 장들에서 논의된 평가 원리(principles of assessment) 에 익숙할수록, 교육자가 자신의 평가 계획에서 시뮬레이션을 어떻게 활용할지 결정하기가 쉬워질 것이다.

WHAT IS SIMULATION AND WHY USE IT? (시뮬레이션이란 무엇이며 왜 사용하는가?)

가장 널리 인용되는 정의 중 하나는 Gaba(2007, p.126) 가 제시한 것이다:

“Simulation is a technique—not a technology—to replace or amplify real experiences with guided experiences that evoke or replicate substantial aspects of the real world in a fully interactive manner.”
(시뮬레이션은 기술(technology)이 아니라 기법(technique)이다. 이는 실제 경험을 대체하거나 강화하기 위해, 현실 세계의 주요 측면을 상호작용적인 방식으로 유도하고 재현하는 ‘지도된 경험(guided experiences)’을 제공하는 방법이다.)

 

즉, 시뮬레이션(simulation) 은 실제 상황(real-world conditions)을 진정성 있게(authentically) 재현하는 기법(technique) 이며, 시뮬레이터(simulator) 는 이러한 시뮬레이션 과정에서 사용되는 도구(device) 임을 구분해야 한다. 이 장에서 제시되는 예시들은 주로 기술 기반 시뮬레이션(technology-based simulation modalities) — 예를 들어 부분 과제 훈련기(part-task trainers), 반응형 마네킹(responsive mannequins), 가상현실 장치(virtual reality devices) — 에 초점을 맞춘다. 그러나 시뮬레이션은 종이 기반(paper-based) 또는 컴퓨터 기반(computer-based) 환자 문제처럼 단순할 수도 있고, 표준화 환자(Standardized Patients, SPs) 를 활용하는 방식일 수도 있다. 따라서 이 장 전반에서 시뮬레이션을 포괄적인 의미로 언급할 때는, SP를 포함한 모든 형태의 시뮬레이션 원리가 적용된다는 점을 염두에 두어야 한다. SP의 세부 활용은 제9장(Chapter 9) 에서 자세히 다루어진다.

 

시뮬레이션의 활용이 폭넓게 확산된 데에는 여러 이유가 있다.

  • 시뮬레이션은 학습자가 환자에게 해를 끼칠 위험(risk of harm to patients) 없이 훈련(training), 피드백(feedback), 평가(assessment) 를 받을 수 있게 한다 (Ziv et al., 2006).
  • 또한 시뮬레이터(simulator) 는 언제든, 심지어 야간(after hours) 에도 자기주도학습(self-directed learning) 에 활용될 수 있으며 (Brydges et al., 2012), 드문(rare) 또는 생명을 위협하는(life-threatening) 임상 상황까지 재현할 수 있다. 
  • 미국 국가간호위원회(National Council of State Boards of Nursing) 의 대규모 연구에서는, 전통적인 임상 실습 시간의 최대 50%까지 시뮬레이션 기반 훈련(simulation-based training) 으로 대체할 수 있음을 입증했다 (Hayden et al., 2014).

 

또한 기술 발전으로 인해 더 많은 임상 맥락(clinical contexts)을 재현할 수 있게 되면서 시뮬레이션의 활용 범위는 더욱 확대되었다. 무엇보다도, 시뮬레이션 기반 보건의료 교육(simulation-based healthcare education, SBHE) 은 교육적 효과가 검증된(educationally effective) 강력한 도구임이 연구를 통해 입증되었다 (Cook et al., 2013; McGaghie et al., 2011).

WHEN TO USE SIMULATION IN ASSESSMENT (언제 시뮬레이션을 평가에 사용하는가)

시뮬레이션은 보건의료 전문가 평가(assessment of healthcare professionals) 에서 다양한 이점을 제공한다. 시뮬레이션 기반 평가(Simulation-Based Assessment, SBA) 는 다음과 같은 영역을 평가하는 데 매우 적합하다:

  • (a) 시술적 기술(procedural skills),
  • (b) 비판적 사고와 변화하는 상황에 대한 대응 능력(critical thinking and responses to changing circumstances),
  • (c) 스트레스 상황에서의 행동(behavior under stress),
  • (d) 의사소통 능력(communication skills),
  • (e) 팀워크(teamwork).

SBA는 Miller의 피라미드(Miller’s pyramid) 중 ‘앎(knows)’과 ‘앎의 방법(knows how)’ 수준의 평가에도 사용할 수 있으나,
가장 적합한 수준은 ‘보여줌(shows how)’ 수준이다. 표준화 환자(SP) 를 이용한 수행평가(performance assessment)와 마찬가지로, SBA는 임상 상황(clinical situations) 을 학습자에게 표준화된 방식으로 반복적(consistently and repeatedly) 으로 제시할 수 있다.

 

표준화(Standardization) 는 신뢰도(reliability) 향상을 위해 필수적이다. 이는 평가 대상자의 수행(performance) 이외의 요인(예: 환자, 시뮬레이터, 평가자)에서 비롯되는 변동(variation) 또는 오차(error) 를 최소화하기 위함이다. 시뮬레이터는 성과 데이터(performance data) 를 수집할 수 있으며, 이는 평가자(observer) 의 관찰과 단독으로 혹은 결합하여(in combination) 평가 점수를 산출하는 데 활용될 수 있다. 현재 시뮬레이션은 거의 무한한 임상 상황을 재현할 수 있게 되었으며, 이를 통해 SBA 프로그램 내에서 폭넓은 콘텐츠(content) 를 평가할 수 있다. SBA는 점점 더 많은 고위험(high-stakes) 평가, 즉 자격 인증(certification) 및 면허시험(licensing examinations) 에 포함되고 있다.
예를 들어,

  • 캐나다 내과(internal medicine in Canada) (Hatala et al., 2005),
  • 이스라엘의 마취과(anesthesiology in Israel) (Berkenstadt et al., 2006),
  • 여러 지역의 간호사 면허시험(nursing licensure in many jurisdictions) (Ziv et al., 2013) 등에 도입되었다.

또한 SBA는

  • 보건의료 교육 프로그램 입학 선발(candidate selection) (Eva et al., 2012),
  • 훈련 단계 승급(promotion to subsequent training levels) (Papadakis, 2004),
  • 자격 유지 프로그램(maintenance of certification programs) (Holmboe et al., 2011),
  • 재교육 및 교정(retraining and remediation activities) (Levine et al., 2012) 등에도 활용되고 있다.

 

평가에서 시뮬레이션을 어떻게 활용할 것인가
HOW TO USE SIMULATION IN ASSESSMENT

시뮬레이션 기반 평가(Simulation-Based Assessments, SBAs)를 개발하는 그룹은 관련된 전문성(relevant expertise) 을 반드시 갖추고, 적절하고 효과적인 평가(appropriate and effective assessments) 를 설계하기 위해 협력해야 한다. 교육학 전문가(education experts) 와 측정전문가(psychometricians) 는 내용전문가(content experts) 및 시뮬레이션 전문가(simulation experts) 와 협력하여 견고한 수행 측정(performance measures) 을 개발해야 한다. 저자들은 여러 문헌(Downing, 2006; Nehring & Lashley, 2010; Scalese & Issenberg, 2008)에 근거하여 평가 프로그램의 구조(assessment program’s architecture) 를 설계하기 위한 7단계 계획(seven-step plan) 을 제안한다. 이 7단계는 항상 순차적(sequential) 으로 진행되는 것은 아니며, 종종 반복적(iterative) 으로 수행된다. 이 계획은 교육 목표(educational goals) 와 적합한 시뮬레이션 기반 평가(SBA) 를 연결하려는 교수(faculty) 와 프로그램 책임자(program directors) 를 위한 실질적 안내서(practical guide)이다.

 

표 14.1(Table 14.1) 은 7단계 평가 계획 단계(seven assessment planning steps) 를 제시하고 있으며, 이어지는 논의에서는 각 단계를 자세히 설명한다.

 

 

표 14.1. 시뮬레이션 기반 평가(Simulation-Based Assessment, SBA) 계획을 위한 7단계 (Seven Steps for Planning a Simulation-Based Assessment)

1️⃣ 학습성과 결정하기 (Determine Learning Outcome[s])

  • 무엇을 평가할지(determine what is to be assessed) 명확히 규정한다.
  • 교육과정(curriculum) 과 일치하도록 한다.
  • 블루프린트(blueprint) 를 적절히 설계한다.

2️⃣ 평가 방법 선택하기 (Choose an Assessment Method)

  • 시뮬레이션이 특정 학습성과(given outcome) 를 평가하기에 가장 적절한 방법인지(determine if simulation is most appropriate method) 판단한다.
  • 타당도(validity), 신뢰도(reliability), 교육적 영향(educational impact), 비용(cost), 수용성(acceptability) 등을 종합적으로 고려한다 (van der Vleuten, 1996).

3️⃣ 시뮬레이션 유형 선택하기 (Choose a Simulation Modality)

  • 부분 과제 훈련기(part-task trainer) – 정상 또는 비정상 소견(normal and/or abnormal findings) 포함.
  • 반응형 마네킹(responsive mannequins).
  • 가상현실(virtual reality) 또는 증강현실(augmented reality) 장치.
  • 표준화 환자(standardized patients).
  • 다중 방식(multimodal) 접근.

4️⃣ 평가 시나리오 개발하기 (Develop Assessment Scenario)

  • 필요한 장비(equipment), 환경(environment), 시뮬레이터(simulator) 를 구체적으로 설정한다.
  • 프롬프트(prompts), 대본(scripts), 시나리오 흐름도(scenario flow diagrams) 를 작성한다.
  • 파일럿 테스트(pilot test) 를 실시한다.

5️⃣ 평가 채점하기 (Score the Assessment)

  • 시뮬레이션 활동에서 데이터를 어떻게 수집할지(how data will be obtained) 결정하고,
    데이터 수집 방법(data collection method) 을 개발한다.
  • 평가 도구는 체크리스트(checklist), 총괄평정척도(global rating data),
    자동 기록된 과정 데이터(automatically recorded process data),
    또는 활동의 산출물(product) 평가를 위한 데이터 중 하나가 될 수 있다.

6️⃣ 평가 기준 설정하기 (Set Standards for the Assessment)

  • 평가의 중요도(stakes of the assessment) 에 적합한 기준 설정 절차(standard-setting procedures) 를 적용한다 (제6장 참조).
  • 필요에 따라 응시자 기반 기준(examinee-based standards) 을 고려한다.

7️⃣ 평가 조건 표준화하기 (Standardize Test Conditions)

  • 시뮬레이션/시나리오(scenario) 와 평가자 채점(examiner rating) 의 구성 요소를 표준화한다.
  • 파일럿 테스트(pilot test) 를 통해 학습자의 예상 행동 범위를 파악하고,
    그에 맞게 시뮬레이터(simulator) 와 표준화 환자(SP) 의 반응을 계획한다.

Determine Learning Outcome(s) (학습성과 결정하기)

평가를 설계하는 가장 중요한 첫 단계는 평가할 학습성과(learning outcomes) 를 결정(determine) 하고 정의(define) 하는 것이다. 이러한 학습성과는 학습자가 교육과정(training) 의 끝이나 미리 정해진 시점(predefined point) 에 보여줄 수 있는 역량(what the successful learner can demonstrate) 을 기술하는 진술(statement)이며, 반드시 교육과정의 전반적 목표(goals) 및 세부 목표(objectives) 와 일치해야 한다 (Dent, Harden, & Hunt, 2017).

 

보건의료 교육자들은 SBA 방법을 선택하고 사용하기 전에, 하나 이상의 명확히 규정된 학습성과(clearly articulated learning outcomes) 를 가지고 있어야 한다. 이 ‘성과–방법의 일치(outcomes–methods match)’ 가 바로 이 장의 가장 핵심적인 메시지이다. 교육자는 평가의 목표(goals), 성과(outcomes), 맥락(context), 결과(consequences) 를 명확히 이해하지 못한 채 단순히 시뮬레이션 방식을 학습자 평가에 사용해서는 안 된다.

 

다른 평가와 마찬가지로, SBA의 내용(content) 은 블루프린트(blueprint) 로 가장 잘 표현될 수 있다(제2장 참조). 블루프린트는 평가에 포함될 사례(cases), 과제(tasks), 기타 콘텐츠(content) 를 식별하고(또한 포함되지 않을 내용을 암시하며),
이들이 어떻게 학습자의 반응(response) 을 유도할지 결정한다.

 

학습자의 반응은 다음과 같은 다양한 형태를 가질 수 있다:

  • 진단을 내리기 (making a diagnosis),
  • 시술을 수행하기 (performing a procedure),
  • 관리 계획을 수립하기 (formulating a management plan),
  • 또는 도움을 요청해야 할 시점을 아는 것 (knowing when to get help).

예를 들어, 3년차 내과 전공의(post-graduate year 3 internal medicine residents) 를 대상으로 한 연말 객관적 구조화 임상평가(Objective Structured Clinical Examination, OSCE) 의 시뮬레이션 기반 평가(SBA) 블루프린트 예시가 표 14.2 및 14.3(Table 14.2 and Table 14.3) 에 제시되어 있다.

 

 

여기서는 설명을 위해 4개의 스테이션(stations) 만 포함했지만, 평가의 목적(purpose) 과 중요도(stakes) 에 따라 신뢰도(reliability) 를 높이고 콘텐츠 표집(content sampling) 을 충분히 확보하기 위해서는 더 많은 스테이션과 항목이 추가되어야 한다. 표 14.2(Table 14.2) 는 CanMEDS 프레임워크(CanMEDS Framework; Frank, Snell, & Sherbino, 2015) 에 근거하여,
전공의가 갖춰야 할 핵심역량(core competencies) 과 각 스테이션에서 평가되는 세부 항목(details assessed) 을 정리하고 있다. SBA의 콘텐츠는 다음과 같은 기준을 바탕으로 블루프린트를 작성할 수도 있다:

  • 특정 과제(task) 예: 병력청취(history taking), 신체검사(physical examination), 시술 수행(performance of a procedure) 등,
  • 특정 내용 영역(content areas).

이처럼 블루프린트는 목표하는 성과(desired outcomes) 와 기존 교육과정(existing curriculum) 에 따라 달라진다. 표 14.3(Table 14.3) 은 7단계 접근법(seven-step approach) 을 사용하여 목표 성과를 평가하기 위해 설계된 SBA 스테이션들을 보여준다.

SBA는 또한 팀워크(teamwork) 기술의 훈련(training) 및 평가(assessment) 도 가능하게 한다. 이는 현대 보건의료 환경에서 필수적인 핵심 역량(key competencies in the modern healthcare setting)이다 (Capella et al., 2010). 그러나 유능한 개인들로 구성된 팀(a team composed of competent individuals) 이라고 해서 자동으로 유능한 팀(competent team) 으로 기능하는 것은 아니다 (Lingard, 2012). 따라서 리더십(leadership) 과 팀워크(teamwork) 는 명시적으로 교육되고(should be taught) 평가되어야 한다(assessed) (Salas, Rosen, & King, 2007). 시뮬레이션 기반 팀 훈련 및 평가(simulation-based team training and assessment) 는 실제 환경(real-world setting)보다 훨씬 더 통제된 상황(controlled manner) 에서 이러한 복합 기술(complex skills) 을 관찰(observe) 하고 측정(measure) 할 수 있도록 한다.

 

팀이 포함된 시나리오를 설계할 때는,

  • 1️⃣ 평가하고자 하는 성과(outcomes of interest) 를 명확히 규정하고,
  • 2️⃣ 그 성과를 이끌어낼 수 있는 행동(behavior) 을 유도하도록 시나리오를 설계해야 한다.

이때 목표는 개별적 역량(individual competencies) — 즉, 복합적 팀 상호작용 외부에서도 평가 가능한 능력들 — 을 평가하는 것이 아니다. 대신, 평가의 초점(assessment focus) 은 다음과 같은 팀워크 기술(teamwork skills) 에 맞추어야 한다:

  • 의사소통(communication)
  • 상황인식(situational awareness)
  • 리더십(leadership) 등 (Gaba, Howard, Fish, Smith, & Sowb, 2001).

만약 개인의 팀워크 능력(teamwork skills of an individual) 을 평가하려는 경우, 시뮬레이션에 참여하는 다른 팀 구성원(other team members) 은 공모자(confederates) 일 수 있다. 즉, 시뮬레이션 내에 포함된 참가자(embedded participants) 로서 평가의 결과(outcomes) 를 알고 있으며, 시나리오를 안내하거나(realistically guide the scenario) 현실감을 높이고(add realism) 평가받는 개인에게 표준화된 경험(standardized experience) 을 제공하도록 대본(scripted) 되어 있다 (Nestel et al., 2014). 또한 SBA는 전체 팀(entire teams) 을 평가하여, 팀워크의 결함(teamwork deficiencies) 을 파악하고, 팀 기능 향상(team function improvement) 을 목표로 한 훈련(training) 및 교육(education) 을 설계할 수 있도록 한다 (Box 14.1 참조).

 

 

Choose an Assessment Method (평가 방법 선택하기)

평가 방법(assessment method) 의 유용성(utility) 을 판단할 때는, 그 방법의 신뢰도(reliability), 타당도(validity), 수용성(acceptability), 교육적 영향(educational impact), 그리고 비용(cost) 을 모두 고려해야 한다 (van der Vleuten, 1996). 교육자는 시뮬레이션 기반 평가(SBA) 가 가장 효과적이고(impactful) 비용 효율적(cost-effective) 으로 사용될 수 있는 시점을 파악해야 한다. SBA는 직장 기반 평가(workplace-based assessments, WBAs) 만으로는 평가하기 어려운 상황에서 특히 적합하다.
예를 들어,

  • 드문(rare) 또는 생명을 위협하는(life-threatening) 임상 상황,
  • 복잡한 의사소통(difficult communication) 또는 팀워크 상황(teamwork situations),
  • 시술적 기술(procedural skills) 의 평가 등이다.

보건의료 교육(health professions education) 전반에서 역량 기반 의학교육(competency-based medical education, CBME) 으로의 국제적 전환이 이루어지면서, 역량 평가(competence assessment) 메커니즘에 대한 관심이 커지고 있다. CBME는 마스터리 학습(master learning) 접근법(제18장 참조)으로, 목표 성과(desired outcomes) 에 초점을 맞추고, 학습자가 이러한 성과와 역량(competence)을 달성하는 데 필요한 시간이 개인마다 다를 수 있음(time variability) 을 인정한다 (Frank et al., 2010). 빈번한 형성평가(frequent formative WBAs) 는 CBME 평가 프로그램의 핵심 요소(cornerstone) 이지만(제10장 참조), 시뮬레이션(simulation) 을 포함한 다른 평가 방법들도 여전히 보완적 정보(additional information) 를 제공하는 중요한 구성 요소이다. 특히 SBA는 마스터리 학습 모델(master learning model) 에서 실습 단계(practice phase) 의 일부로 사용하기에 이상적이다 (제18장 참조).

보건의료 교육의 규제 기관(regulatory bodies) 및 훈련 프로그램(training programs) 은 CBME를 도입하면서, 각 훈련 단계(stage of training)에서 학습자와 전문가가 갖추어야 할 역량 영역(competency domains) 과 그 안의 성과(outcomes) 를 정의하고 있다. 대표적인 프레임워크로는 다음이 있다:

  • CanMEDS framework (Frank et al., 2015),
  • ACGME milestones (Nasca et al., 2012),
  • VetPro framework (Bok, 2015).

이에 따라, 각 전문직 교육자들은 이러한 성과(outcomes) 를 평가하기에 가장 적합한 평가 방법(assessment methods) — 시뮬레이션을 포함하여 — 을 결정하기 위해 노력하고 있다.

역량 기반 교육의 성공적 도입 사례 중 하나로, 정형외과 수련(orthopedic surgery residency) 프로그램을 들 수 있다. 이 프로그램에서는 시뮬레이션을 교수 및 평가의 핵심 구성요소(key component) 로 사용하였다 (Ferguson et al., 2013). 이 프로그램에서 시뮬레이션은 부트캠프(boot camp) 형태로 활용되어, 훈련생이 다른 모듈로 넘어가기 전에 기본 기술(basic technical skills) 을 모두 시연할 수 있음을 보이도록 하였다. 이후의 모듈들에서도 시뮬레이션은 형성평가(formative) 및 총괄평가(summative assessment) 에서 특정 역량(specific competencies) 을 반복적으로 측정하는 데 사용되었다 (Nousiainen et al., 2016). 이러한 부트캠프 프로그램(boot camp) 은 학습자의 지식(knowledge) 과 기술(skills) 을 크게 향상시키며, 그 효과가 훈련 전 과정(training period) 동안 유지됨이 입증되었다 (Nousiainen et al., 2016) (Box 14.2).

 

Choose a Simulation Modality (시뮬레이션 유형 선택하기)

SBA가 특정 학습성과(learning outcome) 를 평가하는 데 가장 적합한 방법으로 결정되었다면, 교육자는 이제 사용할 시뮬레이션 유형(simulation modality) 을 선택해야 한다. 시뮬레이션 유형에는 표준화 환자(Standardized Patients, SPs), 문서 기반 사례(paper cases), 그리고 특수 기술(specialized technology) 을 사용하지 않는 다양한 형태가 포함된다.

기술 강화 시뮬레이션(technology-enhanced simulation) 의 한 분류 체계(classification scheme)는 시뮬레이션 유형을 다음 세 가지로 구분한다:

  • 1️⃣ 부분 과제 훈련기(part-task trainers)
  • 2️⃣ 반응형 마네킹(responsive mannequins)
  • 3️⃣ 가상 및 증강현실 장치(virtual and augmented reality devices)

그러나 최근에는 새로운 시뮬레이터(new simulators) 들이 여러 범주의 요소를 결합하고 있어,
이들 간의 구분이 점점 희미해지고 있다(diminishing distinction).

① 부분 과제 훈련기 (Part-task trainers)

 

이들은 해부학적 모형(anatomic models) 이거나 단일 과제(single-task) 훈련기이다. (예: 정맥 천자 팔(venipuncture arms), 삽관용 마네킹 머리(intubation mannequin heads) 등 (Figure 14.1).) 이 모델들은 보통 제한적인 수행 피드백(limited performance feedback) 만 제공한다. 예를 들어, 정맥 삽입 성공 후 혈액이 역류하는 것(return of blood) 등이 그 예이다. 전통적으로 이러한 훈련기는 기술적 구성 요소(technologic components) 를 포함하지 않지만, 최근에는 초음파 호환성(ultrasound compatibility) 이나 손동작 분석(hand motion analysis) 등 피드백 시스템이 추가되어, 연습과 평가 중의 현실감(realism) 을 높이고 있다 (Matsumoto et al., 2002; Perry et al., 2015).

 

② 반응형 마네킹 (Responsive mannequins)

 

이들은 보통 실물 크기(life-sized) 이며 프로그래밍이 가능(programmable) 하다. 이를 통해 다양한 임상 상황(clinical conditions) 을 즉시 재현하고, 학습자의 행동에 동적으로 반응(dynamically respond) 할 수 있다 — 예를 들어 제세동(defibrillation), 약물 또는 마취가스 투여(administration of medications or anesthetic gases), 산과 응급상황 관리(management of obstetrical emergencies) 등이다 (Scalese, 2018). 이러한 마네킹은 개인 및 팀의 복합 기술(complex skills) — 예: 리더십(leadership), 의사소통(communication), 비판적 사고(critical thinking) — 을 평가하는 데 강력한 도구가 된다.

 

③ 가상 및 증강현실 시뮬레이터 (Virtual and augmented reality simulators)

 

이 장치는 디지털로 생성된 화면(digitally generated displays) 을 통해 현실의 일부를 시뮬레이션하며 (Figure 14.3), 학습자는 여러 인터페이스(interfaces) — 예: 비디오 게임 컨트롤러(video game-like controllers) 또는 실제 시술용 도구(actual instruments) — 를 통해 상호작용한다. 이 시뮬레이터는 학습자의 행동에 따라 시청각 피드백(audiovisual feedback) 과 촉각 피드백(haptic feedback) (예: 촉감(touch), 진동(vibration), 압력(pressure) 등)을 제공할 수 있다.

 

의학 교육에서는 다음과 같은 다양한 예시가 있다:

  • 유방검사 수행(breast examination) 훈련 (Laufer et al., 2015),
  • 복강경 수술(laparoscopic surgery) 수행 (Grantcharov et al., 2004),
  • 신경외과 수술(neurosurgical procedures) 훈련 (Yudkowsky et al., 2013).

이러한 시뮬레이터는 의학 외에도 광범위하게 활용된다:

  • 치의학(dentistry) 에서 치주질환 치료(periodontal disease treatment) (Steinberg et al., 2007),
  • 수의학(veterinary medicine) 에서 정맥 주사(intravenous injection) (Lee et al., 2013).

이들은 종종 시술적 기술(procedural skills) 교육 및 평가에 사용되지만, 전체 가상 병동(virtual wards), 수술실(operating rooms), 응급실(emergency departments) 등에서도 팀워크(teamwork) 및 기타 역량을 평가하는 데 활용된다. 이 경우, 아바타(avatars) 는 한 명 이상의 학습자가 조종한다 (Halvorsrud et al., 2003).

시뮬레이션 유형 선택의 핵심 원칙은 단순하다.

평가할 성과(outcomes) 가 평가 유형 선택(choice of assessment modality) 을 결정한다.

 

따라서, 선택된 시뮬레이션은

  • 학습자의 수준(learner level)에 적합하고,
  • 실행 가능(feasible)하며,
  • 평가가 이루어질 맥락(context) 을 적절히 만들어야 한다.

최근에는 서로 다른 시뮬레이션 유형을 단일 시뮬레이션(single simulation) 내에서 결합(combine) 하는 사례가 늘고 있다. 이를 하이브리드(hybrid) 또는 멀티모달 시뮬레이션(multi-modal simulation) 이라 부른다 (Kneebone et al., 2005). 이 접근법은 여러 시뮬레이션의 강점을 통합(integrate strengths) 하고, 새로운 방식(novel ways) 으로 학습성과를 평가할 수 있게 한다. 예를 들어,

  • 중심정맥관 삽입(central venous catheter insertion) 을 위한 초음파 유도(part-task trainer) 시뮬레이터를 SP(Standardized Patient) 옆에 배치할 수 있다. SP는 드레이프(drape) 아래에 위치하며, Kevlar 보호장치(Kevlar guard) 로 바늘에 찔릴 위험으로부터 보호된다. 이때 전공의(resident) 는 시술 전후에 SP 및 간호사와 상호작용하면서 초음파 유도 중심정맥관 삽입술(ultrasound-guided CVC insertion) 을 수행한다 (Figure 14.4).

이처럼 멀티모달 시뮬레이션(multi-modal simulation) 은 실제성(realism)을 극대화하면서도 의사소통, 기술, 팀워크, 판단력 등을 통합적으로 평가할 수 있는 강력한 방법이다.

 

 

Develop Assessment Scenario (평가 시나리오 개발하기)

시뮬레이션 기반 평가(SBAs)를 계획하는 다음 단계는 평가 대상 행동(assessment target behavior) 을 이끌어낼 구체적 시나리오(scenario) 를 개발하는 것이다. 시나리오는 시뮬레이션이 복제(replicate) 하는 임상 활동이며, 시나리오에 포함될 장비(equipment)(시뮬레이터뿐 아니라), 인력(personnel)(예: SPs, confederates, raters), 시뮬레이션이 수행될 환경(environment), 그리고 시간이 흐르며 시뮬레이션이 전개될 예상 경과(expected unfolding) 등을 포함해 고려한다.

 

시나리오를 개발할 때에는 학습자 수준에 적합한 명확히 정의된 성과(well-defined outcomes) 로부터 출발하는 것이 필수적이다(Box 14.3 참조). 문헌에는 확립된 방법론에 기초한 다수의 시나리오 작성 템플릿이 존재한다(Benishek et al., 2015; Childs, Sepples, & Chambers, 2007). 한 가지 모범 사례(best-practice) 접근은 사건 기반 훈련 접근(Event-Based Approach to Training, EBAT) 으로, 교육자가 관찰·평가할 수 있는 행동을 촉발하기 위해 중요 사건(critical events) 을 시뮬레이션 활동에 도입하는 방법이다(Fowlkes, Dwyer, Oser, & Salas, 1998).

 

Box 14.3. 시나리오 개발 단계 (Scenario Development Steps)

  • 평가할 학습성과(learning outcomes to be assessed) 를 결정한다.
  • 시나리오의 개요(scenario overview) 를 작성한다.
  • 시나리오가 진행될 환경(environment) 과 사용할 장비(equipment) 를 선택한다.
  • 필요한 추가 인력(additional personnel), 즉 공모자(confederates) 를 결정하고 대본(scripts) 을 제공한다.
  • 학습자(피평가자)를 위한 프롬프트(prompts) 또는 지시문(instructions) 을 개발한다.
  • 시나리오의 진행 단계(progression/flow) 를 계획하고,
    사전에 설정된 사건(event), 행동(actions), 트리거(triggers) 를 식별하여
    특정 행동을 유도하고 학습자의 가능한 반응에 대한 대응을 결정한다.
  • 기술자(technician) 와 지도자/평가자(instructor/assessor) 를 위한 지침 및 참고 사항(instructions/notes) 을 작성한다.
  • 필요하다면 시뮬레이터를 프로그래밍(program simulator) 한다.
  • 해당되는 경우(if applicable), 평가 도구(assessment instruments) 와 디브리핑 질문(debriefing questions) 을 개발한다.

요약하자면, 이 박스는 시뮬레이션 시나리오를 개발할 때 따라야 할 체계적 단계를 제시한다. 각 단계는 학습성과 설정 → 환경·장비 선정 → 인력 배정 → 프롬프트 및 진행 계획 → 기술자/평가자 지침 작성 → 시뮬레이터 설정 → 평가 및 디브리핑 도구 개발의 순서로 이루어진다.

 

특정 성과를 평가하기 위해서는 시뮬레이션을 실제 임상 환경(real clinical setting) 과 가능한 한 유사한 맥락에서 사용하는 것이 바람직할 수 있다. 이는 어떤 사건이 드물게 발생하거나 환자에게 해를 끼칠 위험 때문에 WBA(workplace-based assessment) 를 수행할 수 없는 경우, 특정 목표를 평가할 사실상 유일한 실용적 방법일 수 있다. 이러한 경우, 시뮬레이션 환경을 임상 환경과 가깝게 모사(mimic) 하도록 설계할 수 있다. 또는 필요한 시뮬레이션 장치를 실제 임상 환경으로 가져와 현장 내(in situ) 에서 SBA 를 수행할 수도 있는데—예컨대, 실제 병동 병실에서 가상 심폐소생(mock resuscitation) 을 실시하는 방식이다. In situ 접근은 개인과 팀이 실제 환경(actual environments) 에서 어떻게 기능하는지를 평가하는 강력한 방법으로, 시뮬레이션 센터에서는 드러나지 않을 수 있는 강점(strengths) 이나 시스템·수행 격차(system and performance gaps) 를 발견해낼 수 있다.

 

SBA를 구현할 때에는 여러 실무적 고려사항이 있다.

  • 기술 장치는 항상 신뢰할 수 있는 것이 아니므로, 시뮬레이터에 오작동(malfunction) 이 발생할 경우를 대비해 예비 시뮬레이터(back-up simulator) 또는 다른 대안을 마련하는 것이 중요하다. 평가자(assessors) 는 모든 장비를 사전에, 그리고 평가 당일에도 점검해야 한다.
  • 또한 특정 시나리오에서 시뮬레이션 테크니션(simulation technician) 이 일부 요소를 작동해야 하는지, 아니면 이들이 자동화(automated) 되거나 평가자에 의해 제어(controlled) 될 것인지 결정해야 한다.
  • 새로운 SBA의 파일럿 테스트(pilot test) 를 실시하여, 그것이 평가할 행동을 실제로 이끌어내는지 확인하는 것 역시 매우 중요하다. 학습자가 임상 시나리오 해석에 기초해 여러 결정을 자유롭게 내릴 수 있는 시뮬레이션에서는 예상치 못한 사건(unexpected events) 이 발생할 수 있다.
  • 시나리오에 특정 사건(specific events) 을 내장(embed) 하는 EBAT 접근은, 시나리오가 의도한 성과를 평가할 수 있도록 보장하는 데 유용하다.
    • 예를 들어, SBA의 목표(objectives) 가 학습자가 아나필락시스(anaphylactic reaction) 를 인지하고 그 반응을 관리(manage) 하는 것이라면, 학습자가 스스로 이를 파악하지 못했을 때 아나필락시스의 존재를 환기(prompt) 하는 사전 계획(plan) 이 있어야 한다. 이러한 프롬프트(prompt) 가 없다면, 그 학습자의 관리 능력(ability to manage) 은 평가될 수 없다.
    • 이는 여러 방식으로 수행될 수 있는데, 예를 들어 confederate 가 두드러기(urticaria) 의 존재를 지적하고 환자가 알레르기既知(known allergy) 인 항생제(antibiotic) 를 방금 투여받았음을 상기시키는 식이다(Dieckmann, Lippert, Glavin, & Rall, 2010).
    • 물론, 프롬프트가 필요하지 않았던 학습자에 비해 아나필락시스 인지 능력(recognition) 점수는 낮을 수 있지만, 이러한 중재는 그 학습자가 상태를 관리할 능력(ability to manage the condition) 을 보여줄(demonstrate) 수 있게 해준다. 마지막으로, 평가가 끝난 후에는 향후 사용 전에 수정이 필요한 SBA의 측면(facets) 에 대해 메모해두는 것이 중요하다.

Score the Assessment (평가 채점하기)

SBA 로부터의 데이터는 수치형(numerical), 범주형(categorical; 예: meets expectations) 또는 질적(qualitative) 일 수 있다. 대부분의 평가 상황에서 시뮬레이션은 훈련된 평가자(trained assessors) 가 학습자를 관찰(observe) 하고 기록(record data) 하며 수행을 판단(judge performance) 하는 방식에 의존한다. 이러한 평가로부터 나온 데이터는 사전 결정된 기준(predetermined standards) 에 근거한 평가 결정(assessment decisions) 을 내리기 위해 수치 점수로 변환(transform into numerical scores) 되거나 적절한 전문가에 의해 해석(interpreted by appropriate experts) 된다.

 

일부 시뮬레이터는 데이터 수집·기록·채점의 자동화(automate data collection, recording, and scoring) 를 제공하여, 과정을 더 빠르고 관찰자 오류(observer error) 에 덜 취약하게 만든다. 자동화 데이터는 다음과 같은 많은 요소에 대해 매우 정확한 정보(highly accurate information) 를 제공할 수 있다:

  • 시술 완료까지의 소요 시간(time to complete a procedure), 손동작 효율성(efficiency of hand motion),
  • 시술 중 주변 해부학적 구조물(anatomic structures) 에 가해진 손상(damage), 또는
  • 동작의 힘과 깊이(strength and depth of motion)(예: 흉부압박(chest compressions)).

평가되는 성과에 따라, 리더십(leadership), 의사소통(communication), 팀워크(teamwork) 처럼 정량화가 쉽지 않은 기술(skills not easily quantified) 을 포함하여 학습자의 전반적 수행을 판단하기 위해 평가자(assessors) 가 시뮬레이터 데이터와 함께(또는 그 대신) 사용된다.

 

고품질 데이터(high-quality data) 를 얻기 위해서는, 체크리스트(checklists) 와 총괄평정척도(global rating scales) 와 같은 목적 적합형(purpose-built) 평가 도구를 특정 임상 시나리오에 맞추어 개발해야 하는 경우가 많다(제9장 참조). 이를 위해서는 임상 전문가(clinical experts) 와 평가 전문가(assessment experts) 를 함께 모을 수 있다.

  • 체크리스트의 경우, 각 항목의 상대적 중요도(weighting) 를 결정해야 하며, 결정적 중요(critical importance) 을 지닌 항목—즉, 이를 빠뜨리거나(missing) 잘못 수행(completing incorrectly) 하면 자동 실패(automatic failure) 로 이어지는 항목—이 있는지도 판단해야 한다.
  • 평가 도구는 시뮬레이션의 특정 속성(specific attributes) 을 고려해야 하며, 파일럿 테스트(pilot testing) 를 통해 정제될 수 있다. 또한 시뮬레이터로부터의 추가 데이터(additional data) 나 시뮬레이션의 산출물(products) 을 체크리스트 및 평정척도 성과와 결합(combine) 할 것인지, 어떻게 결합할 것인지도 결정해야 한다.
    • 예컨대, 고급심장소생술(Advanced Cardiac Life Support, ACLS) 프로토콜(protocol) 준수 능력을 평가할 때, 도움을 호출(called for help), 적절한 심폐소생술 시작(started adequate CPR), 제세동기 부착(attached defibrillator) 등의 단계로 구성된 체크리스트는, 반응형 마네킹(responsive mannequin) 시뮬레이터로부터 얻은 흉부압박의 적절성(adequacy; 예: 속도, 깊이 등) 과 제세동까지의 시간(time to defibrillation) 정보와 결합될 수 있다.
  • 또한 전문 평가자(expert assessor) 가 사용하는 총괄평정척도(global rating scale) 를 통해, 전반적 접근(overall approach), 조직화(organization), 문제해결(problem solving) 등을 포함한 시나리오 내 전반적 수행(overall performance) 에 대한 추가 정보를 수집할 수도 있다(Box 14.4).

 

 

 

SBA 를 팀워크(teamwork) 평가에 사용하는 경우에는 추가적인 도전과제(challenges) 가 발생한다. 평가되는 성과(outcomes assessed) 가 명확해야 하며, 개인 수준 수행(individual-level performance) 과 팀 수준 수행(team-level performance) 을 구분하는 데 유의해야 한다. 리더십(leadership), 의사소통(communication), 상황인식(situation awareness), 상호 지원(mutual support) 등처럼 직접 측정하기 어려운 기술이 흔히 관심 성과(outcomes of interest) 가 된다. 이는 적절한 행동 기준(behavioral anchors) 을 갖춘 평정척도를 사용한 전문가 판단(expert judgments) 등 복수의 측정(multiple measures) 을 필요로 한다(팀워크 각 구성요소에 대한 전반적 수행(overall performance) 평정 포함). 이러한 목적을 위해 Trauma NOTECHS(Steinemann et al., 2012)와 Communication and Teamwork Skills Assessment(Frankel, Gardner, Maynard, & Kelly, 2007) 같은 여러 척도가 개발되었다. 시나리오 설계에서의 EBAT 접근은 팀워크 SBA 에서 특히 가치가 큰데, 이는 시뮬레이션 내 사전 결정된 시점(predetermined time) 에 팀 기반 대응(team-based response) 을 요구하는 중요 사건(critical events) 을 도입하여, 평정자(raters) 가 팀이 기대되는 행동을 보이는지에 집중(focus their attention) 할 수 있게 해주기 때문이다(Rosen et al., 2008). TeamSTEPPS Team Performance Observation Tool 은 Box 14.5 에 제시되어 있다.

 

 

Set Standards for the Assessment (평가 기준 설정하기)

신중한 기준 설정(thoughtful standard setting) 은 신뢰할 수 있는 판단(credible decisions) 을 내리기 위해 필수적이다. 기준 설정(standard setting)은 각 평가 또는 평가 프로그램에 대한 최소 통과 점수(minimum passing score, MPS) 또는 기준(standard) 을 명시하고, 학습자에게 기대 수준(expectations) 을 설정한다는 점에서 중요하다.

 

시뮬레이션 기반 평가(SBAs)의 기준 설정은 일반적인 평가나 다른 수행평가(performance-based tests)와 유사한 고려사항(similar considerations) 을 필요로 하지만(제6장, 제9장 참조), SBA에는 고유한 기준 설정 요소(specific considerations) 가 존재한다.

  • 예를 들어, 환자 안전(patient safety) 의 관점에서, 훈련생이 통과 점수(passing score) 를 받기 위해 반드시 정확히 수행해야 하는 필수 항목(essential items) 을 식별하는 접근법이 필요하다 (Yudkowsky, Tumuluru, Casey, Herlich, & Ledonne, 2014).
  • 또한, 마스터리 학습 모델(mastery learning model) 내에서 SBA를 사용하는 경우, 적절한 최소 통과 기준(minimum passing standard) 을 결정하기 위해서는 엄격한 기준 설정 절차(rigorous standard-setting procedures) 가 요구된다(제18장 참조; Barsuk et al., 2018; Yudkowsky et al., 2015).

기준 설정은 예상되는 학습자 수행(expected learner performance) 에 대한 전문가 판단(expert judgments) 을 체계적으로 수집(systematic collection) 하는 과정에 기반한다 (Downing, Tekian, & Yudkowsky, 2006; Norcini & Guille, 2002). SBA에서는 종종 평가자(assessors) 로서 시뮬레이션 수행(delivery of SBA) 에 숙련된 전문가들이 참여하며, 이들은 동시에 SBA 수행 경험이 풍부한 현장 전문가(experienced SBAs) 인 경우가 많다.

 

또한, SBA로부터 얻은 평가 데이터(assessment data) 를 보다 넓은 평가 프로그램(broader program of assessment) 내에서 어떻게 통합할 것인지(determine incorporation) 를 고려해야 한다 (제16장 참조).

 

SBA에 대한 단일한 최선의 기준 설정 접근법(single best approach) 은 존재하지 않는다. 기준 설정은 평가의 중요도(stakes) 에 맞게 이루어져야 하며, 교수의 시간(faculty time) 등 현실적 제약(practical constraints) 속에서 실행 가능성(feasibility) 을 고려해야 한다. 모든 평가와 마찬가지로, 기준을 설정할 때의 엄격성의 수준(degree of rigor) 은 평가의 중요도(stakes) 에 비례해야 한다.

Standardize Assessment Conditions (평가 조건 표준화하기)

SBA의 조건은 다른 학습자 평가 접근법과 마찬가지로, 최적의 결과(best results) 를 얻기 위해 표준화(standardized) 되어야 한다. SBA에서의 ‘고정된(fixed)’ 조건 은 다음을 포함할 수 있다:

  • (a) 환자(patient) — 마네킹(mannequin) 또는 SP,
  • (b) 훈련된 평가자(trained examiner),
  • (c) 평가 도구(assessment instruments) — 체크리스트(checklist) 또는 평정척도(rating scale),
  • (d) 공간(room or laboratory space),
  • (e) 시간 배분(time allocation).

SP, 가상현실(virtual reality), 반응형 마네킹(responsive mannequins)을 사용하는 동적 시뮬레이션(dynamic simulations) 에서는, 시뮬레이터나 SP가 학습자의 행동(examinee behaviors)에 대해 유연하고 현실적으로(flexibly and realistically) 반응해야 하지만, 이는 반드시 설정된 매개변수(set parameters) 내에서 이루어져야 한다.

 

SBA를 실행할 때는 시뮬레이션이 표준화된 방식으로(administered in a standardized way) 시행되는 것을 보장하는 것도 중요하다.

  • 즉, 각 학습자에게 시뮬레이션이 동일한 방식(same manner) 으로 시작되도록 해야 하며,
  • 모든 장비(equipment)는 동일하게 포장·배치(packaged and placed identically) 되어야 하고,
  • 시뮬레이터와 공모자(confederates) 들은 학습자의 행동에 대해 일관되게(uniformly) 반응해야 한다.

표준화되어야 할 요소들은 7단계 계획(seven-step plan) 을 따름으로써 명확해진다. 평가 데이터의 신뢰도(reliability) 는 불필요한 오류(extraneous error, noise) 를 제거함으로써 확보되며, 이는 곧 시험 조건의 표준화(standardizing test conditions) 에 의해 달성된다. 평가 잡음(assessment noise) 은 두 가지 형태로 구분된다:

  • 1️⃣ 무작위 오차(random error) 또는 비신뢰성(unreliability),
  • 2️⃣ 체계적 오차(systematic error) 또는 구인 무관 분산(construct-irrelevant variance, CIV) (제2장, 제3장 참조).

궁극적인 목표는 두 가지 형태의 잡음(noise) — 즉, 오류(error) — 를 모두 최소화하여,
평가 데이터로부터 도출되는 추론의 타당성(strength of inferences) 을 강화하는 것이다.

THREATS TO VALIDITY OF SIMULATION-BASED ASSESSMENTS (시뮬레이션 기반 평가의 타당도 위협 요인)

SBA의 타당도(validity)에 대한 위협은 표 14.4(Table 14.4) 에 요약되어 있다.

 

1. Construct Underrepresentation (CU) — “Undersampling” (구성개념 과소대표: 과소표집)

문제점

  • 원하는 과제나 그 변형을 충분히 시뮬레이션할 수 있는 시뮬레이터가 존재하지 않을 수 있다.
  • 표준화 환자(Standardized Patient, SP)나 시뮬레이터가 특정 비정상 임상 소견을 재현하지 못할 수 있다.
  • 시뮬레이션이 실제 복잡한 임상 환경에서 과제를 수행하는 도전을 충분히 재현하지 못할 수 있다.
  • 비용 제약으로 인해 SBA(시뮬레이션 기반 평가)를 충분히 포함하기 어렵거나, 신뢰할 만한 평가를 위해 필요한 수의 SBA를 확보하지 못할 수 있다.

해결책 (Remedy)

  • 해당 학습성과(outcomes)를 재검토하여, 다른 평가 방법으로도 충분히 측정 가능한지 확인한다.
  • 시뮬레이션 전문가와 협력하여 기존 장비를 수정하거나, 요구에 부합하는 새로운 장비를 개발한다.
  • 다중 모드 시뮬레이션(multimodal simulation)을 활용할 수 있다. 예를 들어, SP와 비정상 소견을 시연하는 시뮬레이터를 결합하는 방식이다.
  • SBA를 신중히 설계하여 학습자 수준에 적합한 현실감과 도전 수준을 제공하도록 하거나, 실제 환경(in situ)에서 수행되도록 한다.
  • 시뮬레이션 전문가나 기술자가 비용을 절감할 창의적인 방법을 모색할 수 있다(예: 일회용 장비 재사용, 저가 시뮬레이터 제작 등).
  • 리더십을 설득하여, 특정 학습성과를 평가하는 데 SBA가 최적의 방법임을 논리적으로 제시한다.

2. Construct-Irrelevant Variance (CIV) — “Systematic error” (구성개념 무관 분산: 체계적 오차)

문제점

  • 시나리오의 난이도가 학습자의 수준에 적합하지 않을 수 있다.
  • 일부 학습자는 유사한 시뮬레이터나 기술에 대한 사전 경험이 있어 유리하거나 불리할 수 있다.
  • 시뮬레이션 상황에서의 ‘수행 불안(performance anxiety)’이 실제 수행과 다른 결과를 초래할 수 있다.
  • 평가자(rater)의 오류가 개입될 수 있다.

해결책 (Remedy)

  • 시뮬레이션을 교육과정에 통합하여, 모든 학습자가 시뮬레이션 환경 및 장비에 익숙해지도록 한다.
  • 학습자들이 시뮬레이션 평가 상황에 익숙해질 수 있도록 비위협적인(non-threatening) 시뮬레이션 경험을 정기적으로 제공한다.
  • 평가자들에게 충분한 훈련을 제공하고, 시뮬레이션 환경에 대한 사전 친숙화(familiarization)를 포함한다.
  • 시나리오 난이도를 적절히 조정하기 위해 **파일럿 테스트(pilot testing)**를 수행한다.

이 논의에서는 앞선 장들에서 다루었던 주요 위협 요인들—즉, 구인 과소대표(construct underrepresentation, CU) 와 구인 무관 분산(construct-irrelevant variance, CIV) (제2장)—에 초점을 맞춘다. 수행평가(performance tests)에 관련된 CU 와 CIV 문제(제9장)는 SBA에서도 동일하게 적용된다(true in SBAs as well). 또한, 여기에 추가적으로 고려해야 할 사항(additional considerations) 도 함께 다룬다.

 

구인 과소대표(construct underrepresentation) 는 평가에서 충분한 콘텐츠(content) 가 표집되지 않았거나, 선정된 표집이 평가하려는 영역(domain) 을 체계적으로 대표하지 못할 경우(systematically represent) SBA의 타당성을 위협할 수 있다.

  • 예를 들어, 요추천자(lumbar puncture) 부분 과제 훈련기(part-task trainer)가 하나의 해부학적 변이(anatomic variation) 만을 반영한다면, 훈련생이 아동(child), 비만 환자(obese patient), 고령 환자(elderly patient) 등과 같이 다른 해부학적 특성을 가진 환자에게 시술할 수 있는 능력은 평가할 수 없다.

이처럼 해부학적 요소나 과제의 중요한 측면(important aspects of the task) 이 적절히 반영되지 않으면, 평가의 타당도(validity) 가 훼손되고, 목표 성과(desired outcomes) 에 대한 평가가 제한된다.

  • 기술(technology)이 계속 발전함에 따라, 이러한 문제를 해결하고 다양한 임상 상황(a broad range of clinical situations) 을 재현할 수 있는 시뮬레이터(simulators) 가 개발될 것이다. 그때까지는 시뮬레이션 교육자(simulation educators)가 7단계 계획(seven-step plan) 을 다시 검토하여, 다른 방법으로 성과(outcome) 를 평가할 수 있는지 고려해야 한다. 
  • 기존의 시뮬레이터나 장비를 수정(modify) 하여 필요에 맞게 활용할 수도 있다. 대부분의 시뮬레이션 센터에는 숙련된 기술자(technicians) 와 시뮬레이션 전문가(simulation experts) 가 있어, 요구되는 성과를 이끌어내거나 다양성을 창출(desired variation) 하는 시뮬레이터와 시나리오를 창의적으로 설계(devise) 할 수 있다.

SBA 수행으로부터 우리가 도출할 수 있는 추론의 한계(limitations of inferences) 중 하나는, SBA가 종종 실제 임상 환경(real clinical environment)의 모든 맥락적 수행 도전(contextual performance challenges) 을 재현하지 못하는 환경에서 이루어진다는 점이다.

  • 예를 들어, 실제 환자는 과제 훈련기(task trainer) 만큼 움직이지 않거나(still),
  • 표준화 환자(SP) 만큼 의사소통이 용이(easy to communicate) 하지 않을 수 있다.

이러한 문제들은 세심하게 설계된 시뮬레이션—예를 들어 멀티모달(multi-modal) 또는 현장 내(in situ) 시뮬레이션—을 활용함으로써 해결할 수 있다.

 

시뮬레이터(simulators)의 비용(cost) 과 고품질 시뮬레이션 기반 평가(SBAs) 를 수행하기 위해 필요한 시간(time) 과 노력(effort) 은, 타당한 결정을 내리기(valid decisions) 위해 충분한 콘텐츠(content) 를 표집하는 데 있어 장벽(barriers) 이 될 수 있다. 평가의 효용성(assessment utility) 을 결정하는 다양한 요소들—즉, 타당도(validity), 신뢰도(reliability), 교육적 영향(educational impact), 수용성(acceptability), 비용(cost)—을 다시 검토해야 한다 (van der Vleuten, 1996). 그 목적은 SBA의 이점(benefits) 이 다른 평가 방법(other assessment methods) 에 비해 상대적으로 더 높은 비용(potentially higher cost) 을 정당화할 수 있는지를 판단하기 위함이다. 만약 효용성 관점에서 SBA가 최적의 방법(best method) 으로 판단된다면, 시뮬레이션 교육자(simulation educators)와 기술자(technicians)는 의도된 목적(intended purpose) 을 달성하면서도 비용이 낮은 대안(lower-cost alternatives) 을 개발할 수 있다. 그렇지 않다면, 교육 리더십(educational leadership)과 협력하여 필요한 자원(resources) 이 적절히 배정(allocated) 되도록 하는 것이 중요하다.

구인 무관 분산(construct-irrelevant variance, CIV) 또한 SBA에서 발생할 수 있다.

  • 파일럿 테스트(pilot testing) 를 거치지 않은 부실한 시나리오(poorly designed scenarios) 는 목표 학습자 집단(target group of learners)에게 지나치게 쉽거나(to easy) 지나치게 어려운(too difficult) 평가로 작용할 수 있다. 
  • 시나리오에 부적절한 방해 요소(distractors) 가 포함될 경우, 이는 학습자의 주의를 설계 의도와 달리 다른 곳으로 분산시켜 불필요한 인지 부하(extraneous cognitive load) 를 증가시키며, 결국 평가하고자 하는 구인(construct of interest) 이 제대로 평가되지 못하게 한다 (Fraser et al., 2012). 
  • 또한, 시뮬레이션 환경(simulation environment) 에서 수행(performance) 을 보이는 것에 대한 평가 불안(evaluation apprehension) 또는 긴장(anxiety) 역시 수행 평가(performance assessment)에 영향을 미칠 수 있다 (McGaghie, 2018).

CIV 는 또 다른 형태로도 발생할 수 있다 —일부 학습자가 특정 시뮬레이터(simulator) 또는 유사한 장비에 대해 풍부한 사전 경험(extensive prior experience) 을 가진 반면, 다른 학습자들은 전혀 노출되지 않았을 때이다. 이 경우, 평가는 실제로 의도된 구인(construct of interest)을 측정하는 것이 아니라 단순히 친숙도(familiarity) 를 측정하게 된다. 

  • 이러한 문제는 SBA에서 사용할 시뮬레이터를 기존 교육과정(existing curriculum) 에 통합(integrate) 하거나, 최소한 시뮬레이터의 기능(function), 시뮬레이션 환경(simulation environment), 그리고 시뮬레이션 내에서의 기대되는 행동(expected behavior) 에 대해 충분한 오리엔테이션(orientation) 을 제공함으로써 완화할 수 있다. 이러한 사전 브리핑은 프리브리핑(pre-briefing) 으로 불리며 (Rudolph, Raemer, & Simon, 2014), 학습자에게 환경을 익히고 수행 맥락을 이해하도록 돕는다.

마지막으로, SBA에서는 체계적 또는 비일관적 평가 오류(systematic or inconsistency rating errors) 도 발생할 수 있다.

  • 이는 특정 콘텐츠 영역(content area) 에 전문성을 가진 평가자가, 특정 SBA에 관련된 구체적 고려사항—예를 들어, 어떤 행동은 실제와 동일하게 수행되어야 하는지(“as in real life”), 어떤 행동은 시뮬레이션으로 대체 가능한지, 또 시뮬레이터 반응의 한계(limitations of simulator responses)** 등을 충분히 이해하지 못했을 때 발생한다. 
  • 제9장(Chapter 9) 에서 논의된 바와 같이, 이러한 문제를 예방하기 위해서는 평가자 훈련(rater training) 이 필수적이다.

FACULTY DEVELOPMENT NEEDS (교수개발의 필요성)

보건의료 교육(health professions education)에서 시뮬레이션(simulation) 의 사용이 점점 증가하고 있음에도 불구하고, 학습자의 성취(learner achievement)를 촉진하고 학습 성과(learning outcomes)를 평가하기 위해 시뮬레이션 기술(simulation technology)을 효과적으로 사용하는 방법에 대한 교수 훈련 및 개발(faculty training and development) 은 여전히 강화될 필요가 있다 (Holmboe, Ward et al., 2011). 시뮬레이션 기술이 단순(simple)하든 복잡(sophisticated)하든, 보건의료 교육자(health professions faculty)가 시뮬레이션 교육자(simulation educators) 로서 충분히 준비되지 않았다면, 그 기술은 비효과적(ineffective) 이거나 잘못 사용(misused) 될 것이다.

CONSEQUENCES AND EDUCATIONAL IMPACT (결과와 교육적 영향)

저위험(low-stakes) SBA를 교육 프로그램의 일부로 도입하는 것만으로도 학습(learning) 에 상당한 영향(substantial impact) 을 미칠 수 있다. 마스터리 학습(mastery learning) 의 원칙에 근거한 시뮬레이션 기반 훈련(simulation-based training) 및 평가 프로그램(assessment programs) 은, 수행(performance) 이 향상되고, 비용(cost) 이 절감되며, 환자 결과(patient outcomes) 가 개선됨을 보여주었다 (Barsuk, Cohen, Feinglass, McGaghie, & Wayne, 2009; Barsuk, McGaghie, Cohen, O’Leary, & Wayne, 2009; McGaghie et al., 2011; Zendejas et al., 2011). SBA의 활용은 또한 시뮬레이션 기반 보건의료 교육(simulation-based healthcare education, SBHE) 의 광범위한 확산(widespread adoption) 을 촉진하고, 안전(safety) 과 질(quality) 에 관한 교육 및 조직 문화(educational and organizational culture) 전반에 영향을 미칠 수 있다 (Siassakos, Crofts, Winter, Weiner, & Draycott, 2009).

SBA가 총괄평가(summative assessment) 로 사용될 때—비록 그것이 대규모 고위험 평가(high-stakes assessment) 의 일부일 뿐이라도— 시뮬레이션이 학습 도구(learning tool) 로서 갖는 잠재적 영향(potential impact)을 반드시 고려해야 한다. 많은 교육자들은 시뮬레이션을 활용할 때, 학습자가 불안감 없이(non-threatening) 그러나 적절히 도전적인(challenging) 환경에서
불신(suspension of disbelief) 을 내려놓고 몰입(engage fully) 할 수 있도록 하는 데 주력한다. 학습자들은 실수를 할 자유(the freedom to make mistakes) 가 있으며, 그 실수를 통해 배우는 과정에서 지원(supported in learning) 받을 것이고, 창피를 당하거나(ridiculed) 비난받지 않을 것이라는 심리적 안전감(psychological safety) 을 느껴야 한다 (Rudolph et al., 2014). 그러나 “시뮬레이션에서 일어난 일은 시뮬레이션에 남는다(what happens in simulation stays in simulation)”는 원칙이 더 이상 유지되지 않을 때, 이러한 안전한 학습 환경(safe environment for learning) 을 유지하는 것은 훨씬 더 어려워진다. 따라서 교육자들은 시뮬레이션을 학습 도구(learning tool) 로서의 역할과 평가 도구(assessment tool) 로서의 역할 사이에서 최적의 균형(optimal balance) 을 찾아야 한다.

CONCLUSION (결론)

이 장에서는 보건의료 분야 학습자 평가(learner assessment in the health professions)에 활용되는 다양한 시뮬레이션 기술(simulation technologies) 의 사용을 다루었다. 특히, 평가 계획(assessment planning) 과 평가할 성과(outcomes to be assessed) 와 그 성과를 평가할 방법(method chosen to assess them) 간의 정합성(match) 을 확보하여, 시뮬레이션 기술(simulation technology)을 보건과학 교육과정(health science curricula) 에 합리적으로 통합(rational integration) 하는 데 중점을 두었다.

 

저자들은 시뮬레이션이 모든 평가나 교수의 만능 해결책(panacea) 이 아니라고 주장한다. 오히려, 시뮬레이션은 보건의료 교육자들이 사용할 수 있는 다양한 도구 중 하나(one of many tools) 이다. 이러한 도구들을 사려 깊게(thoughtfully) 사용한다면, 교육자와 학습자 모두(educators and learners alike) 가 자신들의 평가 목표(assessment goals) 를 달성할 가능성을 한층 높일 수 있을 것이다.

 

'논문 읽기 (with AI)' 카테고리의 다른 글

[AHSE] 17 학습에 영향을 미치는 평가(ASSESSMENT AFFECTING LEARNING)  (0) 2025.11.02
[AHSE] 16 프로그램 기반 평가(PROGRAMMATIC ASSESSMENT)  (0) 2025.11.02
[AHSE] 11 서술형 평가 (Narrative Assessment)  (0) 2025.10.09
[AHSE] 12 평가 포트폴리오 (Assessment Portfolios)  (0) 2025.10.09
[AHSE] 10 직장 기반 평가 (WORKPLACE-BASED ASSESSMENT)  (0) 2025.10.09

+ Recent posts

티스토리툴바