Med Teach. 2024 Jul;46(7):874-884.  doi: 10.1080/0142159X.2024.2350522. Epub 2024 May 20.

Managing assessment during curriculum change: Ottawa Consensus Statement

 

 

 

커리큘럼 변화 시 평가(Assessment)를 어떻게 잘 관리할까? — 핵심 가이드 정리 🎯

의학교육이나 보건의료전문직 교육(Health Professions Education, HPE)을 하다 보면 커리큘럼 변화가 잦죠.
새로운 지식과 기술이 계속 나오고, 교수·학습 방법도 발전하고, 의료 환경 속에서 우리 졸업생들의 역할도 계속 변하니까요.

그런데 커리큘럼 변경할 때 평가(assessment)를 어떻게 함께 바꾸고 관리해야 할지 고민되신 적 없나요?
사실 이 부분을 놓치면, 좋은 커리큘럼 변화가 제대로 효과를 내지 못할 수 있답니다.

이번에 소개하는 논문은 바로 이 점을 명확히 하면서, 평가와 커리큘럼 변화를 함께 어떻게 다룰지에 대해

 

“Assessment must be central to curriculum change to guide learning effectively and maintain constructive alignment.”
(평가는 학습을 효과적으로 안내하고 구성적 정렬(constructive alignment)을 유지하기 위해 커리큘럼 변화의 중심에 있어야 한다.)라고 말합니다.

1. 커리큘럼과 평가는 ‘삼각대(Tripod)’처럼 함께 움직여야 한다 🪜

커리큘럼은 크게

  • 학습 내용(Content)
  • 교수·학습 방법(Teaching and Learning Methods)
  • 평가(Assessment)

이 세 가지 요소가 함께 어우러져야 해요.
논문에선 이렇게 설명합니다.
“Curriculum content, teaching and learning methods and assessment practices are so closely interwoven that they should always be considered together as part of a curriculum ecosystem.”
(커리큘럼 내용, 교수·학습 방법, 평가 관행은 매우 밀접하게 얽혀 있어 항상 하나의 커리큘럼 생태계의 일부로 함께 고려되어야 한다.)

하나라도 따로 놀면 ‘커리큘럼 크리프(curriculum creep)’라는 부작용이 생길 수 있고, 결국 학생들의 학습 효과가 떨어질 수 있죠.

2. 평가의 목적과 종류를 명확히 하자 📋

커리큘럼 변화는 평가 방식을 다시 점검하고,
“Is the primary goal to guide learning, to demonstrate particular workforce outcomes or to achieve national accreditation status?”
(주요 목표가 학습을 안내하는 것인지, 인력 양성 성과를 보여주는 것인지, 아니면 국가 인증 획득인지)
이걸 분명히 해야 해요.

 

학생들이 무엇을 어떻게 배워야 하는지 알려주고, 그 학습이 잘 되는지 확인하는 게 가장 중요한 평가의 목적입니다.

3. 학습 진행(Progress Decision)은 증거에 기반하고, 일관되어야 한다 📈

‘경계선 점수(Borderline Scores)’를 가진 학생들, 즉 조금 부족해 보이는 학생들을 어떻게 판단하고 지원할지도 매우 중요합니다.
“The goal of assessment is to identify and manage those sources of error so that candidate scores are true measures of ability with as few false positives and negatives as possible.”
(평가의 목표는 오류 요인을 찾아내고 관리하여 학생 점수가 가능한 한 진정한 능력 척도가 되도록 하는 것이다.)

 

특히 의학교육에서는 평가가 정성적(qualitative)·정량적(quantitative) 자료 모두를 활용하는 등 복잡해서, 모든 정보를 경험 많은 평가자들이 함께 심사해 공정한 결정을 내리는 게 필요하죠.

4. 평가 혁신, ‘기술(Technology)’은 도구일 뿐 주인이 아니다! 💻

기술이 평가를 편리하게 도와주지만, “technology should be an enabler, should not dictate assessment design principles”
(기술은 평가 설계 원칙을 좌우해서는 안 되고 도와주는 역할이어야 한다)고 강조합니다.

 

그리고 시스템 장애 같은 예기치 않은 상황에 대비한 계획도 필수라는 점!

5. 학생과 교수진도 평가 변화의 중요한 주체 ✨

학생들은 미래 임상과 교육 인력이고, 교수진은 프로그램의 중추입니다.
학생 참여는 평가 저항을 줄이고, 실행력과 지속 가능성을 높이는 데 도움을 줍니다.
교수진은 바쁘지만 평가 전문가가 참여하고, 역량 개발을 통해 평가 품질을 높여야 한다고 조언합니다.

6. 국가 표준과 졸업생 성과(Graduate Outcomes)에 맞춰라 ⚖️

커리큘럼과 평가 모두 국가 차원의 인증 기준을 따라야 합니다.
“Curriculum changes should adhere to clearly defined national standards for the relevant jurisdiction and profession.”
(커리큘럼 변화는 해당 관할권과 전문직에 대해 명확히 정의된 국가 표준을 준수해야 한다.)

지역적 특성에 따른 추가 목표도 좋지만, 국가 졸업생 성과를 침해해서는 안 됩니다.

마무리하며...

커리큘럼 변화는 단순히 새로운 내용을 넣고 빼는 문제가 아닙니다.
평가(assessment)가 변화와 학습을 연결하는 핵심 매개자이자 가이드 역할을 한다는 사실, 꼭 기억하세요!

이 논문은 이렇게 말합니다.
“Assessment must be central to curriculum change to guide learning effectively and maintain constructive alignment.”
(평가는 학습을 효과적으로 안내하고 구성적 정렬을 유지하기 위해 커리큘럼 변화의 중심에 있어야 한다.)

교수진, 학생, 기관 모두가 함께 참여하고 소통하며, 체계적이고 증거 기반으로 평가를 관리할 때 진정한 교육 혁신이 일어날 수 있습니다.

“모든 평가 문항에는 종종 정답이 될 수 있는 답변이 하나 이상 있다.”
Cees van der Vleuten, 개인 소통, 약 2000년경

서론

학생들이 자신들의 보건의료전문직 교육(Health Professional Education, HPE) 프로그램에 대해 어떻게 이야기하는지 생각해 보자.

  • “우리 프로그램은 대체로 괜찮지만, 우리가 해야 할 일과는 관련 없는 부분들이 있어요.”
  • “일부 임상 경험은 그냥 지켜보기만 할 뿐 직접 하는 게 아니에요. 그런데도 우리는 거의 만나지 않는 사람들에게 많은 것을 승인받아야 해요.”
  • “평가는 연말 시험에 너무 치중돼 있고, 연중 수행하는 활동들은 반영되지 않아요.”
  • “피드백을 거의 받지 못하고, 받은 피드백도 대부분 도움이 안 돼요.”
  • “시험 문제는 우리가 하는 활동과 무관한 무작위 문제들의 모음 같아요.”
  • “X 교수님은 자신의 관심사에 관한 문제만 내시고, 커리큘럼 내용과는 다르니 그의 강의를 들어야 무엇을 공부해야 할지 알 수 있어요.”
  • “새로운 커리큘럼이 도입돼서 과정이 더 최신화되고 흥미로워졌다고 하지만, 평가되는 것에 집중하는 게 더 안전해요.”

이러한 의견들은 무엇을 의미하는가? 왜, 그리고 누가 그렇게 인식하는가? ‘좋은 프로그램’이란 무엇인가? ‘좋다’ 혹은 ‘나쁘다’를 판단하는 가장 적합한 주체는 누구인가?

 

보건의료전문직 교육 프로그램은 대개 복잡하다. 그 이유는 단순한 대학 학위를 넘어서기 때문이다. 졸업생들은 현장에 투입되어 환자를 돌볼 수 있어야 하며, 의대생들은 전문과정 교육을 시작할 자격이 주어진다. 보건의료는 지역사회 전체에 중요하기 때문에, 자금 지원자, 규제 기관, 고용주, 전문직 단체, 학생, 일반 대중 모두 프로그램의 설계와 질에 관심을 가진다.

 

각 프로그램의 핵심은 **커리큘럼(curriculum)**이며, 이는 “내·외부 기관이 설정한 목표를 달성하기 위해 기관에서 제공하는 학습 기회”로 정의된다 (Merriam-Webster 온라인 사전, 2024). 이 목표는 보통 졸업생의 성과(graduate outcomes)로 표현되며, 미래 역할에 대한 준비를 반영한다. 커리큘럼에서 가장 중심이 되는 부분은 학습을 어떻게 평가(assessment)하는가 이다. 왜냐하면 학습자는 평가될 것으로 알려진 커리큘럼 구성 요소에 집중하기 때문이다(Newble and Jaeger 1983; Bezuidenhout and Alt 2011).

 

평가는 종종 학습자의 사고와 행동을 지배한다. 상급 선배들에게 조언을 구하고, 과거 시험지를 찾아보고, 외부 시험은행(subscription)을 이용해 연습하는 모습은 평가에 대한 경쟁적 경향을 드러내며, 이는 졸업생 성과 달성보다는 시험 통과에 학습 초점이 쏠리도록 왜곡할 수 있다. 이러한 경쟁적 경향을 역동적인 보건의료 시스템 내에서 관리하는 것은 어려울 수 있다. 이는 참여자, 교수진, 학생, 그리고 임상 경험의 조합에 따라 달라진다 (Hays et al. 2020). 미묘하거나 작은 차이도 학습자가 속한 집단 내와 집단 간, 그리고 교육 장소별로 학습의 차이를 만들어 내며, 각 프로그램에 고유한 ‘생명’을 부여한다. 특히 국가 간 맥락이 다르면, 문화와 보건의료 시스템의 차이로 인해 사실상 동일해 보이는 커리큘럼도 전달 과정에서 상당히 달라질 수 있다.

 

이전의 오타와 컨센서스(Ottawa Consensus) 논문들은 평가 관행 설계에 관한 지침을 제공해 왔지만(Norcini et al. 2011; 2018; Heenaman et al. 2021; Fuller et al. 2022; Boursicot et al. 2011), 커리큘럼 변화 맥락에서의 논의는 부족했다. 이 논문은 학습 활동이 변할 때 왜, 어떻게, 언제 기존 평가 설계 지침을 적용할 것인가에 관한 전략에 초점을 둔다.

 

따라서 우리는 커리큘럼 설계를 평가 관점에서 접근하며, 학습 변화에 평가가 어떻게 중요한 역할을 하는지 설명한다. 이 논문의 대부분은 주로 의학 학위(primary medical qualifications) 문헌에 기반하며, 다른 보건의료 전문직과 대학원 과정에서는 관련 문헌이 적다는 점을 인정한다. 그러나 모든 상황에 맞는 단일한 ‘정답’ 평가 방식은 존재하지 않더라도, 대부분의 보건의료전문직 교육 프로그램은 유사한 원칙들을 반영할 가능성이 높다.

목적 지향적 교수 설계 (Purposeful instructional design)

우리는 평가(assessment)와 학습(learning) 간의 긴밀한 관계를 설명하는 것으로 시작한다. 보건의료전문직 교육(Health Professions Education, HPE) 프로그램은 단순히 과정이나 프로그램을 완료하기 위해 반드시 배워야 할 항목들의 목록 이상이다. 이는 세 가지 주요 구성요소로 이루어진 복잡하고 역동적인 실체(complex, dynamic entity) 이다:

  • 학습할 “내용(content)”
  • 전달 과정(교수 및 학습 전략, teaching and learning strategies)
  • 학습 성취의 평가(assessment of learning achievement)

이 모든 요소는 계획된 졸업생 성과(graduate outcomes) 에 의해 안내되고, 상당한 보건의료 시스템 경험에 의존한다.

 

내용(content)에는 프로그램에서 새롭게 졸업하는 인재가 기대되는 지식, 기술, 행동 양식(behaviours)이 포함되며, 흔히 이를 교과목(syllabus) 라고 부른다 (Burton and McDonald 2001). 이 내용은 보통 커리큘럼 영역(curriculum domains) 내에 조직되는데, 이는 관련 자료들의 개념적 그룹화(conceptual groupings)로서 (Behar and Ornstein 1994), 학습이 적용되는 전문적 맥락과 달성해야 할 졸업생 성과를 반영한다.

 

영역(domains)은 보통 어느 정도 겹치는데, 이는 졸업생 성과에 따라 커리큘럼 구성 요소들을 다르게 결합하기 때문이다. 졸업생 성과를 달성하려면 모든 커리큘럼 영역에서 만족스러운 성취가 필요하며, 모든 커리큘럼 내용과 중간 학습 성과(intermediate learning outcomes)는 졸업생 성과에 대응(mapping)되어야 한다. 이를 구성적 정렬(constructive alignment) 이라 부른다 (Biggs 1996).

 

평가의 초점은 학습을 위한 평가(for learning), 학습의 평가(of learning), 그리고 학습으로서의 평가(as learning)여야 하며(Dann, 2014), 학생의 학년이 올라가면서 “알고 있다(knows how)”와 “보여준다(shows how)”에서 “실제로 한다(does)”와 “이다(is)”로 이동한다 (개정된 Miller의 피라미드). 또한 “기억한다(remember)”에서 “평가한다(evaluate)”와 “창조한다(create)”로 이동하는 것이 개정된 Bloom의 분류학(Bloom’s Taxonomy)에서의 흐름이다 (Anderson and Krathwohl 2001; Cruess et al. 2016).

 

평가 방법과 형식은 다양하지만, 이러한 진행 과정에서는 역량(competencies)이 어떻게 선택되고 적용되는지를 현장 기반 평가(workplace-based assessment)를 점점 더 많이 활용해야 하며, 이는 특히 졸업 시점과 대학원 교육에서 중요한 개념인 신뢰할 수 있는 전문 활동(entrustable professional activities, EPAs) 의 근간이 된다 (Norcini and Burch 2007; Boursicot et al. 2011; ten Cate et al. 2015).

 

비록 대부분 독립적으로 고려되고, 대부분의 인증(accreditation) 기준 문서에서 별도의 표준으로 나열되지만, 커리큘럼 내용(content), 교수·학습 방법(teaching and learning methods), 평가 관행(assessment practices)은 너무 밀접하게 얽혀 있어서 항상 함께 커리큘럼 생태계(curriculum ecosystem)의 일부로 고려되어야 한다. 개념적으로 이들은 학습자가 “올바른 것을(right things)” “올바른 방식으로(right way)” 배우도록 지원하는 ‘삼각대(tripod)’ 를 구성한다 (Kibbe et al. 1994). 여기에 “적절한 시기(at the right time)”와 “적절한 목적(for the right purpose)”이라는 요소도 추가될 수 있다. 삼각대의 한두 다리만 바뀌어도 균형(balance)에 영향을 미칠 가능성이 크다. 이러한 긴밀한 관계는 그림 1(Figure 1) 에 잘 묘사되어 있다. 이상적으로는 세 가지 커리큘럼 구성 요소 모두가 학습자에게 무엇을 어떻게 배울지에 대해 일관된 메시지를 제공해야 한다. 이는 구성적 정렬(constructive alignment, Biggs 1996) 의 핵심이며, 이 개념은 프로그램의 비전 또는 미션, 특정 유형의 학생 선발, 프로그램 평가까지 확장될 수 있으나, 이 논문에서는 범위에 포함하지 않는다. 구성적 정렬의 중요성은 전체 커리큘럼 생태계에 내재되어야 한다는 점에 있다. 이 논문에서 ‘커리큘럼(curriculum)’이라는 용어는 바로 그 생태계를 의미하지만, 우리의 주된 초점은 학습이 어떻게 평가되는가에 있다.

 

 

 

커리큘럼 생태계(curriculum ecosystem)의 한 부분에만 변화가 생겨도 학습에 의도하지 않은 부작용(unintended consequences) 이 발생할 수 있다. 예를 들어, ‘숨겨진 커리큘럼(hidden curriculum)’ 이 형성될 수 있는데, 이는 임상 경험(clinical experience), 평가(assessment) 또는 둘 다가 커리큘럼 내용(curriculum content)과/또는 졸업생 성과(graduate outcomes)와의 정렬(alignment)에서 벗어나는 현상이다 (Jackson 1968).

 

이것은 학습에 부정적 영향을 미칠 수 있으며, 학습자는 통제하기 어려운 서로 상충하는 압력(competing pressures)에 노출된다.

  • 첫 번째 압력은 직장 내 문화(workplace culture) 로, 이는 학생 학습 전달(delivery)과 성과(outcomes)에 상당한 영향을 미친다 (Lempp et al. 2004). 커리큘럼 문서가 무엇을 명시하든 간에, 학습은 어느 정도 커리큘럼을 어디서, 언제, 어떻게, 누가 경험하는지에 달려 있다.
  • 두 번째는 학습이 어떻게 평가되는가(assessment of learning) 이다. 이는 커리큘럼 내용이나 전달보다 학습에 더 큰 영향을 미칠 수 있다 — 즉, “평가가 학습을 주도한다(assessment drives learning)” (Newble and Jaeger 1983).
    • 더 나아가, 점수가 진도(progress) 결정에 반영되는 경우와 단지 진도에 대한 피드백만 제공되는 경우 학습 접근법이 다를 수 있다 (Rapauch et al. 2013). 구체적인 예로, 표준화된 국가 시험(standardised national examinations)의 영향이 있다. 여러 맥락에서 이 시험들은 실제 이해 및 임상 적용과 같은 고차원 인지 과정(higher cognitive processes)보다 사실적 지식(factual knowledge)을 더 향상시키는 것으로 나타났다 (Bezuidenhout and Alt 2011; Jürges et al. 2012). 이 시험들은 단일 시점 시험(single moment in time examination, “SMITHEX”)에서 모든 응시자가 동일한 기준점(benchmark standard)을 충족한다고 확신을 줄 수 있지만 (Dave et al. 2020), 학생들은 미래 임상 실습을 위한 학습보다는 시험에 “합격하는” 단기 학습에 집중할 수 있다 (예: 면허 취득 자격).
    • 학습 여정(learning journeys)은 장기적이고 점진적(longitudinal and incremental) 이며, 더 중요한 것은 진행(progress)과 궤적(trajectory)을 평가하는 것이다. 이는 계단(steps)보다 경사(slope)에 더 가깝다. 평가는 이러한 학습 진행을 맞추고 촉진해야 한다.
  • 세 번째는 인증 기관(accreditation agencies), 고용주(employers), 자금 지원자(funders)로부터 오는 외부 압력(external pressures)으로, “더 나은” 졸업생과 보다 포괄적인 인력(inclusive workforce)을 만들기 위해 변화를 요구한다. 하지만 이러한 요구에 대한 대응이 반드시 프로그램 전달 수준(programme delivery)까지 도달하지는 않는다. 예로는 전문성(professionalism), 업무 준비성(work readiness), 환자 안전(patient safety)에 대한 강조가 증가하는 것이 있다. 이러한 속성들은 모두 칭찬할 만하지만 평가하기 쉽지 않다. 더 나아가, 졸업에 가까운 학생들의 임상 평가자들은 전통적인 개별 임상 역량(individual clinical competencies)보다 팀워크(teamwork), 안전(safety), 신뢰성(trustworthiness)과 같은 시스템적 요소(system factors)에 초점을 맞출 수 있다는 증거도 있다 (Malau-Aduli et al. 2021).

 

 

보건의료전문직 교육(Health Professional Education, HPE) 프로그램은 정체되어(static) 있어서는 안 된다.

  • 과학적 발전은 끊임없이 이루어지고 있으며, 임상 실무(clinical practice)는 새로운 내용(new content), 새로운 학습 경험(new learning experiences), 그리고 새로운 역할(new roles)에 맞춰 진화한다.
  • 미래 지역사회의 요구와 전문직 역할은 반드시 고려되어야 하며, 이는 자금 지원자(funders), 규제 기관(regulators), 고용주(employers)의 관점을 더 반영하는 경우가 많다.
  • 기술 발전은 학습 자원, 최신 임상 정보, 그리고 새로운 평가 형식(assessment formats)에 대한 접근성을 향상시키지만, 이들은 개발의 주된 동력(main drivers)이 아니라 도구(tools) 로서 기능해야 한다.
  • 커리큘럼의 “유효 기간(shelf life)” 을 측정하는 것은 어렵지만, 모든 보건의료 전문직 커리큘럼은 ‘살아있는(living)’ 문서 로 간주되어야 하며, 최신성을 유지하기 위해 정기적인 검토가 필요하다.
  • 모든 변화는 증거 기반(evidence-based) 이어야 하며, 명확하게 기술되고 평가되어야 한다. 이것이 바로 ‘건강한(healthy)’ 커리큘럼 개발 이다.

모든 커리큘럼 변화가 반드시 ‘건강한’ 것은 아니며, 특히 급하게 시행되는 경우 그렇다. 교수진의 변화는 기존 내용에 다른 관점, 새로운 아이디어와 활력을 불어넣을 수 있지만, 때때로 검증된 필요성(proven needs)보다 개인적 관심(personal interests)에 치우칠 수 있다. 학습자가 더 복잡한 주제에 대한 추가 강의를 요청할 수 있으나, 아마도 학습 자원(learning resources)을 검토하는 것이 강의 수를 늘리는 것보다 더 적절할 수 있다.

 

‘새로운’ 평가 방법이나 형식이 경험적 근거나 광범위한 커리큘럼 생태계(curriculum ecosystem), 그리고 잠재적 의도치 않은 부작용(unintended consequences)에 대한 고려 없이 인기를 얻어 도입될 수도 있다. 예를 들어, 아주 작은 변화라도 ‘커리큘럼 서서히 확장(curriculum creep)’ 으로 이어질 수 있다.

 

모든 커리큘럼 변화는 적절하게 개발되고 프로그램 전반에 걸쳐 균일하게 시행되어야 한다. 더 중대한 변화는 중요한 프로젝트에 대해 교수진을 동기 부여하고 단합시키려는 새로운 리더십(new leadership), 커리큘럼 개혁을 권고하거나 요구하는 인증(accreditation) 보고서, 또는 커리큘럼 전달에 영향을 미치는 중대한 상황 변화(major change in circumstances)로 촉발될 수 있다. 중대한 변화의 예로는 최근의 COVID-19 팬데믹, 국제 분쟁, 그리고 ‘일상적인(normal)’ 보건의료 및 HPE 전달을 방해하는 대규모 자연재해가 있다. 이러한 이유들은 서로 배타적이지 않으며, 내부적(internal) 및 외부적(external) 압력과 모두 관련될 수 있다. 외부 압력은 평판 위험(reputational risk) 때문에 더 긴급하게 여겨질 수 있다.

 

 

커리큘럼 변화 중에 평가를 변경하지 않는 이유로 흔히 사용되는 설명은, 평가가 커리큘럼 변화가 학습자에게 불이익이 없음을 보여주는 품질 보증(quality assurance)의 수단으로 사용될 수 있다는 점이다. Longitudinal Integrated Clerkships (LICs)와 같은 여러 커리큘럼 전달 이니셔티브(delivery initiatives)가 이 접근법을 취해왔다 (Worley et al. 2001; El et al. 2019). 이 주장은 혁신을 지지하는 데 있어 어느 정도 강점이 있지만, 상당한 커리큘럼 변화는 학습을 안내하기 위해 상당한 평가 재설계(substantial assessment re-design)를 필요로 할 수 있다.

 

이 논문에서는 실제 사례(익명 처리된, de-identified 사례)에 기반한 시나리오(scenarios)를 사용하여 (표 1 참조), 이 원칙들이 다양한 맥락에서 어떻게 적용될 수 있는지를 보여준다 (표 2). 이 원칙들은 주로 초등 의학 교육(primary medical education)에 치우친 문헌과, 비록 더 광범위하지만 여전히 의학에 집중된 저자들의 통합 경험(pooled experiences)에 근거한다. 초등 HPE 자격 프로그램(primary HPE qualification programmes)은 더 엄격한 외부 인증 기준과 절차(external accreditation standards and processes)를 갖는 반면, 대학원 프로그램(postgraduate programmes)은 개별 전문직(individual professions)의 손에 더 많이 맡겨져 있어, 커리큘럼과 평가 접근 방식에서 국가 및 전 세계적으로 더 큰 변이가 발생한다. 이러한 한계에도 불구하고, 저자들은 이 원칙들이 모든 보건의료 전문직의 모든 교육 단계에서 유효할 수 있다고 믿으며, 전문 분야(specialty)와 지속적 전문성 개발(continuing professional development) 맥락을 반영한 시나리오도 포함시켰다.

커리큘럼 검토 시 성공적이고 지속 가능한 평가 변화 지침 원칙

리더십, 거버넌스 및 소유권 (Leadership, governance and ownership)

커리큘럼 검토 과정의 준비부터 완료까지 모든 단계를 안내하기 위해서는 명확한 거버넌스 구조와 위임(delegations) 이 필요하다. 변화 관리(change management)는 여기서 자세히 다루지 않지만, 성공을 위해서는 리더십, 참여(engagement), 조직의 준비도(organizational “readiness”), 명확한 결과, 명확한 의사결정, 변화의 근거와 평가를 제공할 데이터 수집이 필수적이다 (Gelaidan et al. 2017; Ford et al. 2021; Law 2022). 리더는 “이해관계(vested interests)”에서 독립적이어야 하며, 팀을 하나로 묶는 활동의 매개체로서 보건의료 결과 개선과 인증 요구사항 충족에 대한 열망(aspirations)에 집중해야 한다. 명확하고 수용 가능하며 명백한 절차는 실행 가능성이 더 높은 의사결정을 촉진한다. 아이디어와 전략을 정교하게 다듬기 위해 존중하는 이견(respectful disagreement) 이 권장되어야 한다.

  • 의사결정은 합의(consensus)나 다수결(majority vote)에 의해 이루어지는가?
  • 그렇다면 모든 참여자가 투표권을 가지고 있는가?
  • 제안된 선택지는 기관 규정(institutional regulations), 전문직 규범(professional norms), 지역사회 기대(community expectations)와 어떻게 부합하는가?

변화를 추적하고 변화 사유를 문서화하기 위한 데이터 수집은 특히 혁신적 변화(innovative changes)의 커리큘럼 근거(provenance)와 영향 평가를 입증하는 데 필수적이다. 대규모 검토 과정에서는 혼란과 불만(disaffection)의 가능성이 있으며, 기존(old) 과정의 학생들이 소외되거나 불이익을 느낄 수 있다. 명확한 메시지 전달을 위해 “기존(old)”과 “신규(new)” 프로그램을 각각 담당하는 두 개의 별도 커리큘럼 및 평가 팀을 두는 것이 현명할 수 있다. 평가 관점에서 핵심 이슈는, 커리큘럼 변화가 평가 관행에 미치는 잠재적 영향을 모니터링할 수 있는 평가 전문성을 갖춘 고위 교수진(senior faculty member) 을 임명하거나 접근할 수 있도록 하는 것이다. 모든 평가 문항에 단 하나의 정답이 없을 수 있지만, 초점은 학습을 안내하고 성취를 측정하는 “더 나은(better)” 방법을 찾는 데 있어야 한다. 커리큘럼이나 평가 변화를 접근할 때는, 표 3에 나열된 우리가 ‘6P’라고 부르는 요소들을 고려해야 한다.

커리큘럼 거버넌스 구조(curriculum governance structures)에는 교수진(faculty members), 상급 학생(senior students), 최근 졸업생(recent graduates), 졸업생 고용주(employers of graduates), 환자 대표(patient representatives)가 포함되어야 하며, 이들은 과정(process)을 감독하고 기여할 기회를 제공해야 한다. 모든 이해관계자(stakeholders)에 대한 “투자 대비 수익(return on investment)” 을 제공하기 위해 상당한 에너지와 노력이 필요하다.

 

초기 단계에서는 특히 서로 다른 관점이 표출되고 상호 이해가 이루어짐에 따라, 때때로 격렬한 토론(debate)이 정상적이다. 존중하는 논의(respectful discussions) 는 참여자들의 전망을 방해해서는 안 되며, 새로운 아이디어는 장려되어야 한다. 다른 의학 프로그램의 동향에 대한 인식을 높일 수 있는 외부 컨설턴트(external consultant)를 초빙하는 것도 도움이 될 수 있다. “외부를 바라보는 것(looking outside)”은 유익한 학습이 될 수 있으므로, 검토팀(review team) 구성원들을 잘 알려진 다른 프로그램에 방문하도록 보내는 것도 고려해 보아야 한다. 특히 학생들과 교수진에게 정기적인 진행 상황 보고(regular progress reports)를 제공하여 참여를 유지하고 피드백을 장려해야 한다. 합의(consensus)가 목표지만 필수는 아니며, 모두가 실행(implementation)을 위해 노력하는 것이 중요하다. 이러한 단계들은 변화의 수용성(acceptability), 달성 가능성(achievability), 그리고 질(quality)을 개선할 것이다. 교수진의 역할은 단순히 학습자에게 정보를 제공하는 것보다 훨씬 더 광범위하다 (Harden and Lilley 2018).

 

교수진은 프로그램에 콘텐츠(content), 맥락(context), 전달(delivery), 평가(assessment) 전문성을 제공한다. 교수의 참여는 성공적인 변화에 필수적이다 (Cintra et al. 2023). 교수진은 어떤 검토 논의(review discussions)에도 참여하고, 이상적으로는 결과(outcomes)에 대한 소유권(ownership)을 가져야 한다. 하지만 교수진은 바쁜 사람들이며, 지속적인 질 향상(Continuous Quality Improvement, CQI)은 보통 직무 기술서에 명시되지 않는다.참여하는 교수진은 이 업무에 전념할 수 있는 전용 시간(dedicated time)이 필요하다. 기존 교수진의 업무 부담을 줄이기 위해 추가 교수진이 필요할 수도 있다. 이는 교육 전문성을 확장하고 경력 전망을 향상시키는 교수 개발 활동(faculty development activities)을 진행하기에 이상적인 시기일 수 있다.

 

학습자의 역할도 단순히 정보를 수신하는 것 이상이다 (Karakitsiou et al. 2012). 학습자는 HPE 프로그램의 초기 ‘소비자(consumers)’이자 미래 임상 및 교육 인력(future clinical and educational workforce)이다. 학생들은 가치 있는 관점을 제공할 수 있으므로 검토팀에 참여해야 한다. 이들의 참여는 새로운 평가 전략이 졸업생 성과 달성을 위한 학습을 장려하고, 저항을 줄이며 실행과 지속 가능성을 촉진하는 데 도움이 될 수 있다. 대규모 검토의 경우, 프로젝트 팀에 한 명 이상의 학생을 모집하는 것(e.g. intercalated HPE project)은 프로그램 변화와 학생의 미래 경력 양쪽 모두에 가치를 더할 수 있다.

 

목적 (Purpose)

목적에는 세 가지 수준이 있다.

전체 프로그램(overall programme)의 목적은 보통 변하지 않으며, 주로 규제 기관(regulator)이 정의한 적절한 보건의료 인력(providing an appropriate healthcare workforce)을 제공하는 데 초점을 맞춘다. 커리큘럼 및/또는 평가에 변화가 제안되는 경우, 각 변화의 목적은 명확해야 한다. 변화가 잠재적으로 서로 다른 평가 방법을 요구하는 경우, 각 평가 방법의 목적도 명확해야 한다. 커리큘럼 변화는 전체 평가 철학(overall assessment philosophy)과 평가 목적을 재검토할 기회이며, 이는 경험적 증거(empirical evidence)에 기반하고 현대적 동향(contemporary trends)을 반영하여 HPE 프로그램을 개선하는 데 도움이 된다. 주요 목표는 학습을 안내하는 것인가, 특정 인력 결과(workforce outcomes)를 입증하는 것인가, 혹은 국가 인증 상태(national accreditation status)를 달성하는 것인가? 모두 중요하지만, 유사한 자원의 적용 방식이 달라질 수 있다.

 

최신 내용을 추가하는 경우이든, 졸업생 성과(graduate outcomes)를 수정하는 경우이든, 전체 커리큘럼 생태계(curriculum ecosystem)에 영향을 미칠 수 있다. 변화의 목표와 목적에 대한명확성(clarity)과 공유된 이해(shared understanding) 가 필요하며, 이는 “무엇(what)”과 “왜(why)”를 넘어 “어떻게(how)”로 나아가도록 돕는다.

  • 이것이 특정 계기(specific trigger)에 대응하는 ‘일상 유지(routine maintenance)’ 인가?
  • 동일한 졸업생 성과를 갖는 병렬 커리큘럼(parallel curriculum; 서로 다른 장소 또는 배치 모델) 도입과 같은 대대적 개편(major overhaul) 인가?
  • 혹은 낮은 통합(lower integration)에서 높은 통합(higher integration)으로(또는 그 반대로) 변경하는 등, 사실상 새로운 프로그램(new programme)인가?

검토가 클수록 더 많은 자원(resources), 교육 전문성(educational expertise), 교수진 전체의 참여(faculty-wide engagement)가 필요하다. 가능하다면 새로운 내용 추가는 커리큘럼 또는 평가 과부하(overload)의 위험 때문에 저지하는 것이 좋으며, 덜 중요하거나 오래된 내용을 대체하는 것이 바람직하다.

구성적 정렬 (Constructive alignment)

구성적 정렬은 목적 지향 설계(purposeful design) 의 핵심이며, 모든 커리큘럼 검토는 학습을 지원·강화하기 위해 프로그램 구성 요소의 일관성(consistency), 균형(balance), 정렬(alignment)을 교정하거나 개선하는 것을 목표로 해야 한다. 특정 문제를 다루는 “사소한(minor)”, 겉보기에는 “고립된(isolated)” 변화조차도 다른 프로그램 구성 요소에 영향을 미칠 수 있다. 특히, 커리큘럼 성과(curriculum outcomes) 및 전달(delivery)에 대한 모든 변화는 평가 전략(assessment strategy)의 개정을 요구할 가능성이 크다. 더 중대한 변화는 프로그램 전체에 걸친 모든 커리큘럼 구성 요소에 대한 검토를 필요로 할 수 있다. 예를 들어, 낮은 수준에서 높은 수준의 커리큘럼 통합으로 변경하는 경우, 커리큘럼 전반에 걸쳐 평가에서도 이에 상응하는 변화가 요구된다.

 

또한, 평가 일정(assessment schedule)의 일부를 검토하는 경우, 정렬과 균형을 유지하기 위해 전체 일정을 검토해야 한다. 평가 청사진(assessment blueprint)과 샘플링(sampling)은 구성적 정렬을 보여주기 위해 커리큘럼 청사진(curriculum blueprint)을 기반으로 해야 한다 (Raymond and Grande 2018).

체계적이고 포괄적인 접근 (Systematic and comprehensive)

커리큘럼의 모든 측면, 즉 모든 영역(domains)에 걸쳐 졸업생 성과(graduate outcomes)에 의해 안내되며, 평가 대상이 되어야 한다 (Schuwirth and Van Der Vleuten 2004). 여기에는 광범위한 인지적(cognitive), 절차적(procedural), 행동적(behavioural) 속성이 포함된다. 평가는 지식 및 시뮬레이션 기술(simulated skills)과 같은 “측정하기 더 쉬운(easier to measure)” 속성에만 의존하는 것을 넘어, 전문성(professionalism)과 자기 관리(self-care)와 같은 다른 중요한 속성들을 포함해야 한다.

 

현재 접근법은 프로그램 전반에 걸쳐 더 자주 평가를 수행하고, 여러 평가자(assessors), 방법(methods), 맥락(contexts)을 활용하여 전체 커리큘럼에서 학습 진행 상황을 “조명(shine a light)”하는 것이다 (Norcini et al. 2018). 더 발전된 모델은 프로그램 평가(programmatic assessment)로, 전체 커리큘럼 연결점(curriculum nexus)을 고려하여 학습에 초점을 맞춘다 (van der Vleuten et al. 2012; Heeneman et al. 2021; Torre et al. 2021).

 

초기 임상 실습(early clinical practice) 요구사항 “우주(universe)”의 일부 샘플만 전달할 수 있듯이, 평가는 프로그램 전반의 평가 청사진(programme-wide assessment blueprint)을 기반으로 커리큘럼의 일부 샘플만 평가할 수 있다. 적절한 샘플링(sampling)은 타당성(validity)을 강화하고, 전체 커리큘럼이 중요하다는 메시지를 학습자와 교사에게 전달한다. 학습 포트폴리오(learning portfolios)는 졸업생의 ‘프로필(profile)’을 구축하는 보완 정보(complementary information)를 수집하기에 적합하지만, 포함된 내용과 증명 방식에 따라 성과가 달라진다. 학습 포트폴리오의 의사결정 역할은 여전히 진행 중인 연구 주제이다 (Buckley et al. 2009; Hong et al. 2021; Tan et al. 2022).

개별 평가 방법의 선택 (Selection of individual assessment methods)

광범위한 평가 방법과 형식이 존재한다. 일반적인 평가 개발과 마찬가지로, 개별 방법의 선택은 목적(purpose) 에 기반해야 한다. 변화하는 커리큘럼의 내용(content), 전달 방법(delivery methods), 맥락(context)을 고려해야 한다. 고려하기 편리한 모델은 개별 방법의 평가 효용(assessment utility)이다 (Schuwirth and Van Der Vleuten 2004). 전통적으로는 높은 신뢰도(reliability)를 가진 방법에 초점이 맞춰졌으나, 전문성(professionalism), 환자 안전(patient safety), 자기 관리(self-care) 등과 같은 “평가하기 더 어려운(harder to assess)” 속성 및 결과에 대해서는, 높은 타당성(validity)과 교육적 영향(educational impact)을 지닌 방법이 중요하다. 학습 진행이 모든 영역(domains)에서 이루어지도록 ‘복합 신뢰도(composite reliability)’ 접근법 을 채택해야 한다 (Moonen-van Loon et al. 2013).

 

새로운 평가 방법을 도입하는 것은 목적 지향적 설계(purposeful design) 의 일부여야 한다. 평가 업무량을 단순히 증가시키지 않도록 주의해야 하지만, 이전에 평가되지 않았던 구성 요소가 포함되는 경우 일정한 융통성(flexibility)은 필요할 수 있다. 평가 방법은 의도하지 않은 중복이나 전체 평가 범위의 축소를 줄이기 위해 “동일한 종류(like for like)”로 대체되어야 한다. 예를 들어, 임상 평가 방법(clinical assessment method)은 다른 임상 평가 방법으로 대체되어야 한다. 만약 현장 기반 평가(workplace-based assessment, WBA)가 객관식 구조화 임상 시험(objective structured clinical examinations, OSCE)에 추가된다면, OSCE 수를 줄이고 동일 청사진(blueprint)을 기반으로 두 방법의 샘플 항목(sample items)을 조정하는 것이 바람직하다. 이때 평가 방법, 개별 문항 품질, 평가자 교육(assessor training)에 집중해야 한다.

 

또한 일부 평가 변화는 상당한 재설계(substantial re-design)를 요구할 수 있다. 예를 들어, 역량(competencies)에서 EPAs(entrustable professional activities)로 이동하는 경우, 이는 직장 역할(workplace roles)과 업무(tasks)에 연결된 맥락화된 “메타 역량(meta-competency)”이므로, 적절한 기간 동안 훨씬 더 광범위하고 다중 방법(multi-method)의 평가가 필요할 수 있다 (ten Cate et al. 2015).

 

 

각 평가가 졸업생 성과(graduate outcomes) 달성에 어떻게 기여하는지에 대해 명확성(clarity) 이 필요하다. 커리큘럼 변화는 제공되는 피드백의 질과 양을 증가시킬 기회이며, 피드백 부족은 학생들의 흔한 불만 사항이다 (Lefroy et al. 2015). 이때 피드백의 주요 동인이 학습을 “위한(for)”, “에 대한(of)”, “로서(as)”의 목적 중 무엇이든 관계없다. 학생들은 각 목적에 따라 다르게 행동할 수 있다. 모든 평가는 학습 “위한(for)” 평가일 수 있으며, 이는 경력 개발에 중심적인 역할을 한다.

 

진급 결정(progress decisions)은 다양한 평가, 다양한 방법, 다양한 평가자들을 폭넓게 고려해야 한다. 일부 평가는 학습 과정 중 단계나 학년 말의 점수 평가 대신 ‘장애물(hurdles)’ 로 설정하는 것을 고려하자. 이렇게 하면 평가 업무량을 분산시키고, 중요하지만 “평가하기 더 어려운(harder to assess)” 속성들도 포함할 수 있다. 확인된 문제를 해결하는 데는 하나 이상의 접근법이 있을 수 있으므로, 다른 변화 옵션들도 탐색해야 한다. 예를 들어, 평가 문항 수와 질을 늘리고, 필기 문항에 임상 시나리오를 추가하며, 임상 평가자 수를 증가시키고, 현행 방법에 대한 평가자 교육을 개선하는 것이 평가 효용(assessment utility)을 더 높일 수 있다. 이는 방법(methods)을 변경하는 것보다 더 효과적일 수 있다 (Schuwirth and Van Der Vleuten 2004; van der Vleuten and Schuwirth 2005).

 

평가에서 기술(technology)의 역할은 이상적으로 교육적 필요(educational needs)에 의해 주도되어야 한다. 기술은 빠르게 발전하며 유용한 평가 도구 및 관리 소프트웨어를 제공하지만, 기술은 평가 설계 원칙을 지배해서는 안 되며(should not dictate assessment design principles), 시스템 장애가 가끔 발생하므로 비상 계획(contingency planning)이 필요하다 (Sen Gupta et al. 2021). 개별 학습 스타일(individual learning styles)의 중요성은 논란이 있지만, 학습자들은 평가 관행(assessment practices)에 반응하여 학습 접근법을 조정할 수 있다 (Newble and Jaeger 1983; Wilkinson et al. 2007). 예를 들어, 임상 실습(clinical rotations)에 대한 객관식 문항(MCQ) 평가 수를 늘리는 결정은 학생들이 임상 실습 기회를 활용하기보다는 교과서 암기에 치중하도록 유도할 수 있다.

 

학생과 교수진 간 세대 차이(generational influences)가 존재하며, 보통 한 세대 차이가 나는 만큼 선호(preferences)와 이해(understanding)의 차이가 있을 수 있다 (Reyes et al. 2020). 다양한 학생들이 보건의료전문직 교육에 참여하는 만큼, 특정 평가 도구가 특정 학생 집단에 불공평하게 불이익을 줄 가능성(unfair disadvantage)에 대한 고려가 필요하다 (de Lisa and Lindenthal 2012; Tai et al. 2023). 현재 의과대학 입학생들은 커리큘럼 내용, 전달 및 평가의 ‘공동 창조(co-creation)’ 에 더 관심이 있을 수 있다 (Plochoki 2019; Twenge 2009). 이러한 관심과 에너지를 잘 활용한다면 변화 과정(change processes)에 자산(asset)이 될 수 있다.

합의된 국가 표준과 졸업생 성과가 평가 범위를 안내해야 한다

커리큘럼 변화는 해당 관할권(jurisdiction)과 전문직(profession)에 대해 명확히 정의된 국가 표준(national standards) 을 준수해야 한다. 의학 분야에서는 주로 규제 기관(regulators), 자금 지원자(funders), 전문직 단체, 광범위한 지역사회(broader community)의 의견에 기반한 졸업생 성과(graduate outcomes)에 초점이 맞춰져 있으며, 이 과정은 규제 기관에 의해 감독된다. 프로그램들은 연구 역량(research proficiency), 업무 준비성(work-readiness), 업무 범위(scope of practice)와 같은 지역적 맥락(local context)이나 브랜드 목적(branding purposes)에 따른 추가 졸업생 성과를 가질 수 있다. 이러한 성과들도 평가되어야 하지만, 국가 졸업생 성과(national graduate outcomes)를 희생해서는 안 된다.

 

미래 지향성(future-orientation)은 중요할 수 있으며, 고려되어야 한다. 예를 들어, 기후 변화(climate change), 지구 건강(planetary health), 졸업생의 변화하는 역할(evolving roles of graduates) 등이 있다. 학생들은 이러한 주제에 관심이 많으며 초대받을 경우 토론에 적극 기여할 수 있지만, 평가하기는 어렵다.

 

평가 프로그램(assessment programme)이 개정된 커리큘럼에서 벗어날 수 있는 또 다른 영역은 각 학년/단계/과정(year/phase/stage)의 학습 성과(learning outcomes)와 관련된다. 이는 신중히 보정(calibrated)되고 졸업생 성과에 연계(mapping)되어야 하며, 특히 진행 결정 지점(progression decision points)을 나타내는 경우 그러하다. 이는 전체 프로그램에서 평가 관행의 일관성(consistency)에 기여한다. 

 

각 평가 방법(assessment method)에 적합한 공식적인 기준 설정 방법(formal standard setting methods) 을 적용해야 한다 (Norcini, 2005). 이 방법들은 완벽하지 않지만, 대체로 사전 합의(pre-hoc consensus judgment)와 사후 심리측정(post-hoc psychometrics)을 결합하여 평가의 정확도(precision)를 향상시킬 수 있다. 특히 항목반응이론(Item Response Theory, IRT)과 같은 강력한 심리측정 기법을 도입할 경우 더 공정한 판단(fairer decisions)이 가능하다 (Schauber and Hecht 2020).

진행 결정 과정은 근거 기반이며 명확하고 일관되어야 한다

“안전한(safe)” 상태와 “안전하지 않은(unsafe)” 상태 사이의 경계선(borderline)에 있는 후보자 관리는 점점 중요해지고 있으나,
이는 커리큘럼 및 평가 변화에 매우 민감할 수 있다. 평가 데이터를 기반으로 의사결정을 변경할 때는 두 가지 상호 보완적 문제를 고려해야 한다.

  • 경계선을 보다 명확히 정의할 수 있는가?
  • 경계선 점수(borderline scores) 근처나 이하에 있는 후보자를 어떻게 더 잘 관리할 수 있는가?

모든 점수에는 오류(error)의 다양한 원인이 존재하며, 이는 학습 진행(progress) 결정이 이루어지는 경계선에서 특히 중요하다.
평가의 목표는 이러한 오류 원인을 식별하고 관리하여, 후보자의 점수가 가능한 한 거짓 양성(false positives)과 거짓 음성(false negatives)을 적게 포함한 진정한 능력의 척도(true measures of ability) 가 되도록 하는 것이다. 오류 최소화는 명확한 합격(pass)과 불합격(fail) 사이의 “회색 지대(grey zone) 감소” 로 요약될 수 있다 (Schauber and Hecht 2020).

 

전통적 접근법은, 여러 방법(methods)에서의 점수를 합산하여 정해진 수치 기준(criterion or norm-referenced)에 도달하면 합격을 부여하며, 이는 p-값(p-values)이나 신뢰 구간(confidence intervals)과 같은 정밀도 척도로 표현된다. 보건의료전문직 교육(HPE)에서는 대부분 고등교육 학위 프로그램보다 상황이 더 복잡하다.

  • 이는 많은 방법과 평가자(assessors)가 사용되고, 평가 데이터에 정량적(quantitative) 및 정성적(qualitative) 정보가 모두 포함되어 단일 수치 점수로 통합할 수 없기 때문이다. 
  • 게다가 HPE에서는 후보자의 경력(careers), 환자의 안전(safety), 고용주의 치료 질(quality of care)이라는 중요한 이해관계가 있으므로 오류 최소화와 정밀도 향상이 매우 중요하다. 평가 문항 품질, 청사진(blueprinting), 샘플링(sampling), 기준 설정(standard setting)에 대한 강조가 증가하고 있다. 수치 점수 결합은 고전 측정 이론(classical measurement theory)을 따라야 하며, 이상적으로는 모든 점수가 “구간(interval)” 측정이어야 한다 (Foulkes et al. 1994).
  • 서사적(narrative)이고 성찰적인(reflective) 구성 요소를 포함한 정성적 정보는 필수적이지만, 전체 진행 결정(overall progress decision)을 내리는 작업을 더 복잡하게 만든다 (Charon 2001; Wald et al. 2012).

이상적으로는

  • 모든 정보가 경험 많은 평가자들의 합의 판단(consensus judgements)을 바탕으로 고려되고, 의견 불일치(discrepancies)는 심의 위원회(panel)에서 논의되어야 한다.
  • 평가 방법이나 문항의 가중치(weighting)는 졸업생 성과(graduate outcomes)에 의해 안내되는 진단(diagnoses) 또는 관리 지도(guidance)를 위해 필요한 바를 반영해야 한다. 
  • 모든 평가 데이터가 어떻게 관리되는지에 대한 명확성(clarity) 이 요구된다. 측정 오차 표준(Standard Error of Measurement)의 사용은 경계선 점수(borderline scores)의 예측 가능성을 향상시킬 수 있다 (Hays et al. 2008).
  • 진도 규칙(rules of progression)은 성공적인 이의 제기(appeals)를 줄이기 위해 대학 전체 규정(university regulations)과 일관되어야 한다 (Hays et al. 2015).
  • 의사결정 과정은 모든 교직원과 학생에게 공개되어야 한다. 비교적 작은 커리큘럼 또는 평가 변화도 의사결정 알고리즘(decision-making algorithms)을 의도치 않게 변경하여, 정렬(alignment)을 감소시키고 약한 후보자에게 관대함(leniency)을 제공할 수 있다.

두 번째 문제는 경계선 점수를 가진 후보자 관리이다. 대부분의 HPE 학습자는 학업적으로 우수하며, 성공할 것이라는 기대와 함께 경쟁이 치열한 HPE 프로그램에 입학한다. 이로 인해 학습자가 예상대로 진도를 나가지 못하는 경우를 확인하고, 이들에게 추가 학습 지원을 제공할 책임이 학습 기관에 더 크게 부여된다. 경계선 후보자(borderline candidates)는 미래 평가에서 실패할 가능성이 높으며, 종종 HPE 프로그램 초기에 식별된다는 증거가 쌓이고 있다 (Cleland et al. 2008). 증가된 학습 지원과 지도 지원(pastoral support)을 제공하는 것이 현재 기대사항이다.

 

HPE에서 학업 진행 부진은 보통 개입 가능할 수 있는 비학업적 압력(non-academic pressures)과 관련된다 (Hays et al. 2011). 접근성(access) 향상은 이전에는 엄격한 선발(selection)과 현장 능력(workplace ability) 요인으로 입학이 제한되었던 학생들을 위한 현재의 ‘핫 토픽(hot topic)’이다. 원래 특수교육(special education)을 위해 개발된 ‘학습을 위한 보편적 설계(universal design for learning, UDL)’ 접근법을 채택하라는 압력이 있다. 이의 칭찬할 만한 목표는 교수 및 평가 방법에서 유연성(flexibility)을 높여 포용성을 개선하는 것이지만 (Rao et al. 2014), HPE 고등교육에서의 적용은 아직 불확실하다.

품질 보증 (Quality assurance)

의학 프로그램이 고등교육과 졸업생들이 봉사할 지역사회를 위한 기준을 충족하는지 확인하기 위해 두 가지 품질 보증(quality assurance, QA) 과정이 있다.

  • 대부분의 보건의료전문직 교육 프로그램(HPE programmes)은 내부 품질 보증 프로세스(internal QA processes)를 통해 모든 교육 프로그램의 질을 유지해야 하는 인증된 고등교육 기관(보통 대학)에서 제공된다. 이 내부 과정은 고위 교수진(senior faculty)이 감독한다.
  • 두 번째 품질 보증 과정은 대부분의 전문직 프로그램에 공통적이며, 대학 외부(external)에 위치한다. 이는 보건 전문직 규제 기관(health professional regulation agencies)이 관리하며, 졸업생의 현대적 역할에 대한 전문직(professional), 규제(regulatory), 고용주(employer), 자금 지원자(funder)의 관점을 포함한다.

두 과정 모두 이해관계자를 대표하며 관련 전문성을 제공하도록 신중히 선발된 심사위원단(panel)에 의한 주기적인 검토(periodic reviews)를 포함한다.

 

내부 품질 보증 (Internal QA)

 

내부 QA는 해당 기관의 통제하에 있다. 검토 위원회(review panel)는 대학 내 다른 교육 프로그램의 대표, 다른 대학의 유사 프로그램 외부 대표, 관련 보건 전문직 및 지역 의료 제공자(local healthcare providers)와 고용주를 포함한다. 주요 초점은 정책, 시스템, 절차에 대한 면밀한 검토(scrutiny), 모범 사례(best practices) 전시, 개선 영역 파악, 그리고 교훈 전파에 있다. 이는 주로 문서의 책상 감사(desk audit)를 통해 이루어지며, 일부 교수진 및 학생과의 인터뷰도 포함된다. 평가는 그 초점의 일부지만, 보건 전문직과 다른 프로그램 간에 평가 방법, 기준 설정(standard setting), 진행 규칙(rules of progression)에 상당한 차이가 존재한다.

 

내부 프로세스는 특히 졸업생의 미래 보건의료 및 지역사회 역할과 관련된 외부 인증 요구사항(external accreditation requirements)을 고려해야 하지만, 커리큘럼 설계의 보다 일반적인 고등교육 기준(generic higher education standards)에 초점을 맞춘다.

 

내부 QA 검토는 보통 외부 인증 과정(external accreditation processes)보다 덜 집중적이다. 내부 QA 보고서는 외부 인증 검토 제출서류에 부록(appendix)으로 제출되어야 하는데, 이는 고등교육 기준 준수 증거를 제공하여 인증 과정이 HPE 기준 준수에 집중할 수 있도록 한다. 내부 및 외부 QA 과정의 쌍방향 정보 교환은 과소평가되었으나 상당한 이점이다. 또한 외부 QA의 자기성찰(self-reflection) 요소는 더 강력한 내부 QA를 장려할 수 있다.

 

대학원 교육 프로그램(postgraduate educational programmes)의 내부 QA도 원칙상 유사하지만 상황(context)은 다르다. 이들 프로그램은 종종 대학에서 제공하지 않으므로 “기관(institution)”이 “전문직(profession)”과 통합된다. 이들은 교육 전문성(educational expertise)에 대한 충분한 자원을 갖추지 못한 작은 단위일 수 있지만, 내부 QA 필요성은 대학 제공 프로그램보다 더 클 수도 있다. 같은 원칙이 적용되어야 한다.

외부 품질 보증 (External QA, accreditation)

인증(accreditation) 과정은 해당 관할권(jurisdiction)의 규제 기관(regulator)의 통제하에 있다. 인증 심사위원단(panels)은 전적으로 다른 HPE 프로그램의 외부 구성원, 규제 기관, 지역사회, 광범위한 전문직 및 최근 졸업생으로 구성된다. 주요 초점은 거버넌스(governance), 자원 지속 가능성(sustainability of resources), 보건의료 시스템 참여(engagement with the health care system)와 같은 문제를 포함하는 정의된 국가 표준(national standards)을 충족하는 데 있다. 커리큘럼, 교수·학습, 평가 기준은 졸업생이 졸업생 성과(graduate outcomes)를 얼마나 잘 달성하고 전문직에 진입할 준비가 되어 있는지 관점에서 면밀히 검토된다.

 

평가 관행은 더 넓은 고등교육 부문과 다르며, 이 점은 대학과 규제 기관 간 겹침과 긴장 관계가 있을 수 있다. 평가를 위한 인증 기준은 의도적으로 폭넓게 설계되어 제공자가 졸업생 성과를 달성하고 근거 기반의 최신 평가 발전을 반영하는 한 혁신을 장려한다. 현재 강조점은 진정성(authenticity), 현장 기반 평가(workplace-based assessment, WBA), 적용 지식(applied knowledge), 전문성(professionalism), 학습을 위한 평가(assessment for learning)와 정기적이고 건설적이며 의미 있는 피드백이다. 구성적 정렬(constructive alignment)은 커리큘럼과 평가 맵핑(mapping)에서 입증되어야 한다.

 

인증 관할권 내 기관 간에 의학교육 및 평가 표현은 다를 수 있으나, 특히 “글로벌 사우스(global south)” 국가의 자원 상황에서 인증 과정이 “글로벌 노스(global north)” 국가와 다를 수 있기 때문에 국가 간 변이가 더 클 수 있다 (Nadarajah et al. 2023). 기관들은 더 큰 자율성을 가질 수 있으며, 지역 요구(local needs)를 충족할 인력을 양성하거나 더 매력적이거나 안전한 국가로 이주할 졸업생을 배출하는 선택을 할 수 있다. 자원이 적은 국가가 반드시 낮은 품질의 프로그램을 갖는 것은 아니며, 지역에서 개발된 혁신적이고 효과적인 프로그램 사례가 많이 존재한다 (Antunes dos Santos and Nunes 2019). 자원이 풍부한 국가에서 자원이 적은 국가로 프로그램을 “이식(transplanting)”한다고 해서 품질이 보장되는 것은 아니다. 커리큘럼 전달은 지역 보건의료 시스템에 의존하는데, 이는 “원 프로그램(parent)”과 상당히 다를 수 있기 때문이다. 전 세계 보건의료 전문 인력 대부분이 글로벌 사우스 국가에서 훈련받고 있음에도 불구하고, 의학교육 관련 출판물 중 20% 미만만 이들 국가에서 나오기 때문에, 해당 맥락에서의 다양성에 대한 이해는 부족하다 (Wondimagegn et al. 2021; Amaral and Norcini 2019).

 

 

결론 (Conclusion)

 

커리큘럼 검토(curriculum review)는 비교적 자주 이루어지며, 계획적이든 비계획적이든 새로운 지식과 기술의 출현, 교수·학습 방법의 발전, 보건의료 시스템 내 새로운 역할을 관리하기 위해 필요하다. 변화는 내부(교수진 또는 학생) 혹은 외부(고용주 또는 규제 기관) 압력에 의해 촉발될 수 있다. 내용(content)이나 전달(delivery)에 관한 논쟁에 가려 평가 관행(assessment practices) 검토가 간과될 수 있는데, 이는 평가가 학습을 안내하는 데 중심적 역할을 한다는 점을 간과하는 것이다. 이로 인해 구성적 정렬(constructive alignment)이 약화되고, 심지어 잘 설계된 중요한 커리큘럼 변화의 영향이 훼손되거나 무효화되는 의도하지 않은 결과(unintended consequences)가 발생할 수 있다.

 

커리큘럼 생태계(curriculum ecosystem)의 어떤 구성 요소라도—졸업생 성과(graduate outcomes), 내용(content), 교수 설계(instructional design), 평가(assessment)—변화가 생기면, 구성적 정렬을 유지하기 위해 전체 연결망(nexus)에 대한 자동 검토가 촉발되어야 한다.

 

커리큘럼 변화를 촉진하는 강력한 외부 동인은 국가 시험(national examinations), 프로그램 인증(programme accreditation), 보건의료 시스템 기대(healthcare system expectations)를 포함한다. 내부 동인으로는 새로운 학습 기술 도입(new learning technologies), 학생 및 교수진의 학습 선호(learning preferences)가 중요하다. 각 평가 프로그램은 고유한 맥락(context) 내에 존재하며, 이는 커리큘럼 및 평가 검토 결과에 영향을 줄 수 있다. 최적이면서도 지속 가능한 결과를 달성하기 위해서는 강력한 거버넌스(governance)와 지원, 이해관계자 참여(stakeholder engagement), 커리큘럼 및 평가 전문성, 내부 품질 보증 과정(internal quality assurance processes) 이 필요하다. 이 컨센서스 논문은 커리큘럼 변화 중 평가 관리에 관한 지침을 제공한다.

 

 

 

Table 1. 평가 변화 고려를 위한 시나리오 (Scenarios for consideration of assessment change)

A. 주요 커리큘럼 변화 (A major curriculum change)
한 신임 학장이 기존에 성공적이었던 의학 프로그램을 현대화하기로 결정했다. 기존의 ‘전통적(traditional)’, 모듈형, 과목 기반의 전임상(pre-clinical)과 임상(curriculum) 커리큘럼을 강한 수평적(horizontal) 및 수직적(vertical) 통합, 초기 임상 기술 교육(early clinical skills teaching)과 조기 환자 접촉(early patient contact)이 포함된 커리큘럼으로 바꾸려 한다. 이 커리큘럼은 튼튼해 보이고 교수진과 학생 모두 도입을 기대하고 있지만, 별도로 운영되는 평가 사무국은 그동안의 개발 과정에서 “시간의 시험을 견뎌냈다(stood the test of time)”는 이유로 기존 평가 방식을 계속 유지할 계획이다. 하지만 완전히 새로운 인증 주기(accreditation cycle)가 필요할 수도 있고, 이에 따른 평판 위험과 상당한 자원 요구가 있다.

B1. ‘사소한(minor)’ 변화

  • 교수진 주도 (Faculty driven)
  • 학생 주도 (Student driven)
  • 전문직 주도 (Profession driven)

예시들:

  • 한 학문 외과 의사가 현장 초음파 기기(point-of-care ultrasound machines, POCUS)를 사용해 왔으며, 모든 의대 졸업생이 이 기술을 익혀야 한다고 믿는다. 그는 자신의 외과 팀에서 이를 시범 적용했으며, 모든 학생이 외과 수술 “합격(pass)” 능력을 입증하기를 원한다.
  • 학생들이 COVID-19 팬데믹 기간 동안 적응한 커리큘럼과 평가 방식에 관한 국제 HPE 컨퍼런스 발표에 영감을 받아 돌아왔다. 당시 온라인 자원은 충분했으나, 상호작용 기술 발전 부재로 젊은 층 참여가 제한되었다. 단순 전달보다는 디자인 변화에 학생들이 관심을 보이며, 프로그램이 과거 방식으로 회귀하지 않고 비슷한 설계 방식을 채택하길 원한다.
  • 치과 위원회가 정한 국가 역량 변화에 대응해, 치과 교수진이 학부 커리큘럼 전달과 평가를 모두 검토했다. 치과 졸업생은 졸업 후 독립적인 진료 허가를 받으므로, 팀은 일상 전문 과업과 연결된 역량 기반 평가에 기반한 신뢰할 수 있는 전문 활동(entrustable professional activities, EPAs)을 학생 주도 치과 실습에서 평가하기로 결정했다.

이 세 가지 사례 모두 커리큘럼 위원회에 제출되어 원칙적으로 승인되었고, 검토 위원회가 구성되어 변화를 관리할 계획을 세웠다. 교수진과 학생도 검토팀에 참여했다. 이 시나리오들은 “하향식(bottom-up)” 창의성이 환영받으며, 거버넌스 구조를 통해 잘 관리된다는 점을 보여준다.

C. 부정적인 외부 인증 보고서 (An adverse external accreditation report)
관련 국가 당국과의 정기 재인증 주기 후, 학장은 커리큘럼 업데이트가 필요하다는 조언을 받았다. 20년 된 커리큘럼은 수년간 국가에서 가장 뛰어난 것으로 간주되었으며, 학생과 지역 고용주 모두에게 현대적이고 혁신적이며 인기 있었다. 하지만 다른 프로그램들이 이제는 그 품질에 “도달했거나(surpassed)” 초과했으며, 이 커리큘럼 변화는 전략적이라기보다는 임시방편(ad hoc)으로 이루어졌고, 대부분 혁신가들은 떠났거나 은퇴했으며, 현 교수진은 ‘성공적(successful)’ 모델에 너무 익숙해져 변화에 저항하고 있다.

D. 새로운 전문 분야 등장 (A new specialty emerges)
기존 전문 분야에서 새로운 그룹이 형성되었으며, 그들은 구성원들이 기존과 다른 훈련이 필요하다고 강하게 믿고 있다. 이들은 전문직 그룹과 규제 기관과 함께 일하며, 이러한 차이에 대해 상세한 제출서류를 요구한다.

E. 임상 실습의 급격한 변화 (A rapid evolution in clinical practice)
1980년대 후반과 1990년대 초반 미국에서, 개복 담낭절제술(open cholecystectomy, OC)이 질병 담낭 제거 표준이었다. 1990년대 후반에 복강경 담낭절제술(laparoscopic cholecystectomy, LC)이 도입되어, 복잡하지 않은 경우 우선 선호 방법이 되었고 이후 다른 복부 수술로 확산되었다. 하지만 실제로는 외과의사들이 복강경 수술 경험이 제한적이었고, 이에 대해 이 수술에 특화된 지속 의학 교육(continuing medical education, CME)의 수요가 증가했다.

필요한 부분 더 있으면 말씀해 주세요!

 

 

 

원칙 (Principles)  주요 커리큘럼 변화 (Major curriculum change)  사소한 커리큘럼 변화 (Minor curriculum change)  부정적인 인증 보고서 (Adverse accreditation report)  새로운 전문 분야 (New specialty)  임상 실습의 급격한 변화 (Rapid change in current practice)
거버넌스 (Governance) 학교/보건 시스템 수준에서 시스템 변화, 리더십 주도 및 이해관계자 지원. 비즈니스 프로세스 재설계(BPR) 고려 교수진 또는 학생 주도로, 커리큘럼 위원회에 보고 및 승인 거버넌스 구조 기반으로 커리큘럼 및 평가 변경에 대한 명확한 문서와 승인 전문 그룹이 규제 기관에 제안서 제출 기술 개발자, 고용주, 자금 지원자로부터 초기 압력. 대표자를 초대해 논의
목적 (Purpose) 국가/글로벌 수준 보건의료 요구와의 효율성과 정렬성 강화. 비용 절감하되 품질 저하 없음 원격 교육 증가를 위한 기술 향상 학습 및 평가에 관한 구체적 아이디어 포함 현재 증거와 실천에 기반해 고품질 프로그램을 만들기 위한 구체적 요구사항과 권고사항 해결 규제 기관, 자금 지원자, 전문직 및 환자에 의해 인정된 새로운 전문 분야 설정 안전을 저해하지 않는 선에서 임상 효율성 향상
구성적 정렬 (Constructive alignment) 커리큘럼 내용, 전달 및 평가가 정렬되도록 새로운 커리큘럼 지도/청사진 작성 커리큘럼 내용, 전달, 평가가 정렬되도록 커리큘럼 지도/청사진 수정 새로운 평가 방법과 전체 평가 전략 정렬을 위해 커리큘럼 및 평가 지도/청사진 수정 역할과 보건의료 실무에 맞춘 새로운 커리큘럼 지도/청사진 작성 새로운 지속적 전문성 개발(CPD) 교육 모듈 개발, 역량 평가 및 전문 분야 훈련 프로그램 도입
체계적이고 포괄적 (Systematic and comprehensive) 졸업생 성과 범위 평가를 위한 모든 영역에 걸친 적절한 방법에 초점 모든 평가를 원격으로 할 수 없으므로 사소한 변화를 포함하되 평가의 균형과 폭 유지 더 많은 방법, 평가자, 빈도를 위해 평가 전략 수정. 더 빈번한 평가와 피드백 고려 커리큘럼 전 영역에 포괄적 평가 필요. 목적 지향 커리큘럼 설계에 포함 특정 절차에 국한되었지만 다른 절차 및 진단 도구 사용에도 영향
방법 (Methods) 효용에 따라 더 많은 방법 고려하며 백지 상태에서 시작 적합한 방법과 기술 검토 자원과 시행 노하우를 갖춘 새로운 평가 방법 도입 훈련 전반에 걸친 지식, 기술, 행동 평가, WBA 강조 직접 관찰 시뮬레이션과 현장 감독 후 역량 평가
기준 (Standards) 국가 기준 준수. “미래 대비(future proof)” 및 수명 연장 고려 보건의료 또는 HPE 기준 준수 규제 위원회가 설정한 모든 기준 준수 유사 전문 분야 기준에 기반 개발 최소 침습 수술이 전문 분야 훈련에 추가되고 기준에 반영
진행 규칙 (Rules of progression) 더 넓은 평가 데이터 포인트에서 근거 기반 최선 실천 도입 기회 개선 및 투명성 제고 기회 공정하고 투명한 방식으로 설정된 기준에 따라 학생 진도 보장 전문직, 새로운 전문 분야 그룹, 고용주 공동 개발 모든 외과의사가 기술 적용 전 훈련 필요
품질 보증 (Quality Assurance) 졸업생 성과 측정 방식에 대한 포괄적 보고 제공으로 인증 지원하는 강력한 내부 QA 프로세스 성공과 졸업, 인력 진입 증거 제공을 위한 데이터 수집 지속적 질 향상 이니셔티브와 함께 종단 평가 근거 제공을 위한 데이터 수집 새로운 전문 분야가 데이터를 수집해야 하며, 보건의료 기관도 마찬가지 주로 보건의료 시스템 내에서 입원 기간, 재입원, 합병증 등 환자 결과 모니터링

 

 

 

 

 

Table 3. 커리큘럼 및 평가 검토 참여에서의 6P (The 6 Ps of engagement in curriculum and assessment review)

Permission (허락)
참여자들은 기존 틀을 벗어나 창의적인 학술 활동에 참여할 명확한 허락(explicit permission)이 필요하다. 주요 커리큘럼이나 평가 변화는 교수 재임 기간 중 한두 번만 있을 수 있기 때문에, 모든 옵션을 고려하는 것이 차이를 만드는 더 나은 결과를 촉진할 수 있다. 명확한 방향 제시와 고위 리더들의 지원이 열정을 불러일으킬 수 있다.

Promise (약속)
변화를 위한 압력이 이해관계(vested interests)에서 나올 수 있지만, 노력은 환자 치료 결과 향상(patient care outcomes)에 부합하는 변화에 집중해야 한다. 모든 참여자는 이 목표를 지지해야 하며, 기존 커리큘럼에 대한 부정적인 태도는 피해야 한다.

Power (권력)
교육 기관과 보건의료 기관은 계층적이며, 대학과 기업의 경영 스타일이 결합되어 있다. 초기 단계에서 권력 역학(power dynamics)에 대한 성찰이 중요하다. 권력의 원천은 명확하지 않고, 개인에서부터 팀이나 파벌에 이르기까지 다양할 수 있다. 평가 영향 모니터링 책임은 존경받는 고위 교수진에게 있어야 한다. 변화가 영향력과 자원 배분에 영향을 미치지 않으면 저항은 줄어든다. 고위 교수진, 초임 교수진, 학생 간 권력 차이는 변화 논의에서 배제되어야 한다.

People (사람)
성공적인 변화는 결과를 중요하게 여기지만 평가 전문성은 없을 수 있는 이해관계자와의 건설적 참여를 필요로 한다. 지역 사회의 목소리와 학생들의 목소리가 점점 중요해지고 있으며, 특히 커리큘럼 변화가 학생 진도에 미치는 영향과 관련된다. 이해관계자들의 명확한 매핑과 그들의 기대, 변화 옵션은 최종 내러티브(narrative) 통합에 대한 투명성을 높이고, 공동 창조(co-creation)를 보여주며 관계를 강화한다. HPE 평가에서 교수 개발에 투자하는 것은 내부 전문성을 높이고 실천으로 옮기는 데 도움을 줄 수 있다.

Practice (실천)
참여자들은 평가 범위(scope)나 맥락(context)의 변화를 위해 기존 평가 관행에 대한 공유된 이해가 필요하다. 관련 교수 개발은 도움이 되지만, 추가 HPE 전문성 접근도 필수적이다. 교수를 다른 존경받는 프로그램에 보내 관찰하게 하는 것은 다양한 접근법이 어떻게 작동하는지에 대한 이해를 증진시킬 수 있다.

Provision of resources (자원 제공)
지속적인 질 향상은 교수진 역할에 암묵적으로 포함될 수 있지만, 보통 직무 계획(job planning)에는 명시되지 않는다. 변화에는 커리큘럼과 평가 개발 모두를 위한 자원이 필요하다. 교수진과 학생은 기존 역할을 희생하지 않고 전담 시간을 확보해야 한다(예: 추가 교수 채용, 백필, 학생을 위한 프로젝트 연도). 상세하고 비용 산정된 프로젝트 계획과 일정은 리더십의 승인을 받아야 한다.

 

'논문 읽기 (with AI)' 카테고리의 다른 글

역량 기반 의료 교육: 의료 분야의 혁신을 촉진하는 촉매제 (Med Teach. 2024)  (0) 2025.06.01
보건 전문직 교육에서 증거에 문제가 있나요? (Acad Med, 2024)  (0) 2025.05.28
의학교육에서의 감성 지능: 직업적 정체성 형성에서의 역할: AMEE Guide No. 186 (Med Teach, 2025)  (0) 2025.05.28
보건 전문직 교육에서 학습 전이를 위한 교수법: AMEE Guide No. 176 (Med Teach, 2024)  (1) 2025.05.28
가설적 추론 코딩: 이론 구축 및 정성적 (재)분석 (Sociological Methods & Research, 2022)  (2) 2025.05.23

+ Recent posts

티스토리툴바