의대에서 교육하고 있습니다.

1

좋은 평가의 기준을 정하는 것은 몇 가지 이유로 중요하다.

2

우선, 다양한 이해 관계자가 평가 및 결과에 관련되거나 영향을 받기 때문이다. 이해 관계자에는 환자, 일반 대중, 보건의료계 고용주, ​​전문직 및 규제 기관, 대학, 의과 대학, 교육 기관, 개별 교사/교수자, 수험자(examinee)가 포함된다. 이해관계자들은 동일한 평가를 서로 다른 용도로 사용하며, 당연히 평가를 판단하는 준거에 대해서도 서로 다른 우선순위를 가지고 있다.

3

좋은 평가의 기준은 평가의 퀄리티 향상 뿐만 아니라 평가의 의도하지 않은 결과를 피하기 위해서도 중요하다. 평가와 교육과정의 불일치는 학생 행동에 바람직하지 않은 영향을 미칠 수 있다. 예를 들어, 교육과정을 강의 중심에서 병동 중심 교육으로 바꾸었더라도, 강의식 수업에서 교재 학습(book learning)에 많은 시간을 쏟게끔 요구한다면 학생들을 병동에서 찾아보기는 점점 더 어려워진다. 즉, 기관 수준에서 본다면 평가 방법이 기관의 사명과 교육 프로그램의 목표를 훼손하고 있다고 볼 수 있다. 이렇든 평가를 교육 실무와 조화시키는 것이 중요하다.

4

가치의 발견(discovering worth)과 품질의 향상(improving quality)라는 두 가지 목표를 달성하기 위해서는 학습의 평가(Assessment of learning)가 중요하다. 교육기관과 교육자들은 평가를 책무성을 위한 도구로만 간주하는 것에서 벗어나, 개선을 위한 방법으로 보기 시작했다.

5

단, 좋은 평가의 기준이 있더라도 하나의 기준이 모든 상황에 똑같이 적용되지 않을 것이다. 오히려 동일한 기준이라도 평가의 목적과 맥락에 따라 중요성이 달라진다. 예를 들어, 의과대학생이 갖춰야 할 지식을 확인할 책무성에 대한 필요성에 따라 설계된 우수한 총괄시험(예: 면허 시험)이, 이와 동시에 미래의 학습이나 교육과정 개혁을 가이드할 상세한 피드백을 줄 것으로 기대할 수 없다.

마찬가지로, 동일한 평가에 대해 여러 기준이 적용될 수 있지만, 이 기준이 모든 이해 관계자에게 동일한 가중치를 갖지 않는다. 예를 들어, 환자에게는 면허 시험의 타당성 및 일관성coherence이 더 중요하며, 면허 시험을 응시하는 학생이나 운영하는 정부에게 얼마나 비용이 드는지는 주된 관심사가 아니다. 이렇듯 기준의 중요성은 이해 관계자의 관점에 따라 달라질 것이다.

6

좋은 평가의 기준은 다음의 일곱 가지가 있다.

(1) 타당성 또는 Coherence.

(1) Validity or coherence.

(2) 재현성 또는 일관성.

(2) Reproducibility or consistency.

(3) 동등성. 동일한 평가는 다른 기관 또는 시험 사이클에서 동등한 점수 또는 결정을 산출해야 한다.

(3) Equivalence. The same assessment yields equivalent scores or decisions when administered across different institutions or cycles of testing.

(4) 적용가능성. 주어진 환경과 상황에서, 평가는 현실적이고 현실적이며 합리적이어야 한다.

(4) Feasibility. The assessment is practical, realistic, and sensible, given the circumstances and context.

(5) 교육적 효과. 평가는 시험을 준비하는 사람에게 교육적 이득이 있어야 한다

(5) Educational effect. The assessment motivates those who take it to prepare in a fashion that has educational benefit.

(6) 촉매 효과. 평가는 교육을 창출하고, 향상시키고, 지원하는 방식으로 결과와 피드백을 제공해야 한다. 미래의 학습을 앞으로 이끌어나가야 한다.  

(6) Catalytic effect. The assessment provides results and feedback in a fashion that creates, enhances, and supports education; it drives future learning forward.

(7) 수용 가능성. 이해 관계자가 평가 프로세스 및 결과를 신뢰할 수 있어야 한다.

(7) Acceptability. Stakeholders find the assessment process and results to be credible.

출처:

Norcini, J., Anderson, B., Bollela, V., Burch, V., Costa, M. J., Duvivier, R., ... & Roberts, T. (2011). Criteria for good assessment: consensus statement and recommendations from the Ottawa 2010 Conference. Medical teacher, 33(3), 206-214.

좋은 평가의 기준으로부터 각 이해관계자를 위한 행동 지침을 아래와 같이 정리해볼 수 있다.

1

피험자(Examinees)

• 수험생은 자신이 받는 평가의 목적을 알아야 한다.

• 수험생은 그들이 받는 평가의 질을 확신해야assured 한다.

• 수험생은 지속적인 학습을 유도하는 피드백을 받아야 한다.

• 수험생은 피드백을 받고 행동하는 데 적극적으로 참여해야 한다.

• 수험생은 적절한 시기에 채점scoring 및 합격선 설정standard setting 과정에 대한 정보를 받아야 한다.

2

환자(Patients)

• 환자의 역할이 환자의 전문성(예 : 의사 소통 기술)과 일치한다면 환자는 평가자로 포함되어야 한다.

• 환자는 역량 및 성과의 여러 측면facet에 대한 나은 이해를 만들어가는 데 기여해야 한다.

• 환자는 trainee가 거쳐가는 평가의 질을 확신assured할 수 있어야 한다.

• 환자가 환자의 전문성 범위 내에서 평가의 교육적 효과에 기여할 있다면, 교육자로 포함되어야 한다.

3

교수자(Teachers)

• 교수자는 학습을 극대화하는 방식으로 평가를 설계해야 한다.

• 교수자는 가르침 속에서 학습 목표를 다루어야 한다.

• 교수자는 평가 결과를 사용하여 미래 학습future learning의 질을 향상시켜야 한다.

4

교육 기관(Educational institutions)

• 교육 기관은 교수자에게 평가를 위한 교육을 제공해야 한다.

• 교육 기관은 평가가 잘 수행되도록 자원(직원 등)을 배정해야 한다.

• 교육 기관은 교육의 퀄리티 모니터링 프로세스의 일환으로 평가의 퀄리티를 분석해야 한다.

• 교육 기관은 자신의 커리큘럼이 평가와 일치하도록consistent 해야 한다.

5

의료 시스템(Healthcare system)

• 의료 시스템은 지속적인 형성평가ongoing formative assessment를 위한 기회를 제공해야 한다.

• 의료 시스템은 형성평가에 대한 대답response to을 장려하는 문화를 촉진해야 한다.

• 의료 시스템은 직무 환경workplace setting에서의 평가 연구를 촉진해야promote 한다.

6

규제 기관(Regulators)

• 규제 기관은 평가의 교육적 효과를 고려해야take account of 한다.

• 규제 기관은 지속적으로 역량을 확인하는 평가(assessments which ensure ongoing competence)를 제공해야 한다.

• 규제 기관은 평가가 교육 및 의료 시스템에 대해 가지는 촉매 효과를 인식해야 한다.

출처:

Norcini, J., Anderson, B., Bollela, V., Burch, V., Costa, M. J., Duvivier, R., ... & Roberts, T. (2011). Criteria for good assessment: consensus statement and recommendations from the Ottawa 2010 Conference. Medical teacher, 33(3), 206-214.