WBA 3

평가자 오차(Rater Errors)는 왜 생기는가?

1 평가자기반평가(Rater-based assessments, RBA)는 평가자가 피험자의 수행을 직접 관찰하고 평가한다는점에서 역량의 단계 중 더 높은 단계를 확인할 수 있다는 장점이 있다. 반면, RBA는 일반적으로 심리측정상의psychometric 약점이 있다. 동일한 수행능력을 관찰하고도, 평정rating의 재생산가능성이나 평가자간 신뢰도가 낮은 문제가 발견된 바 있다. 2 평가자가 심리측정적 문제의 원인이라면, 가장 꾸준히 시도된 해결책은 평가자 훈련이다. 그러나 평가자 훈련으로 얻어진 개선은 미미한 수준이었으며, 일부 연구자들은 애초에 ‘평가자’라는 사람이 훈련으로 바뀌기는 하는 것인지에 대한 의구심을 드러냈다. "일부 평가자는 태생적으로 일관성이 있고, 어떤 평가자는 좀 덜 하다. 이 중 전..

수행 평가: 2020 오타와 컨퍼런스의 합의 및 권고

1 수행평가(Performance assessment)는 학업 또는 직무 상황에서의 기술과 행동에 관한 평가(the assessment of skills and behaviours, both in academic and workplace settings)로 정의하고자 한다. 2 2011년 이후 평가와 관련하여 다음과 같은 변화가 있었다. 첫째, 단순히 개별 도구에만 초점을 맞추는 것이 아니라 평가 시스템을 설계한다는 개념으로 변화하였다. 둘째, 평가의 타당성 기준의 측면에서 OSCE를 넘어 WBA에도 Kane의 Validity framework이 영향력을 주기 시작했다. 셋째, 평가자 인식(rater cognition)의 측면에서, 평가자 분산rater variance은 의미가 있으며, 평가자 간 차이점..

평가: 옳은 질문을, 옳은 방식으로, 옳은 것에 대해서, 옳은 사람에게

1 의학교육은 지난 30년 동안 '측정 가능한 것'을 평가하는 것에서, '중요한 것'을 평가하려는 방향으로 많은 노력을 기울여왔다. 피상적인 [지식의 테스트]에서 [이해, 구성, 해석 테스트]로 바뀌어왔고, Bloom의 분류법과 같이 기술과 태도과 지식만큼 중요하다는 인식을 얻었으며, 심리측정학적으로 평가자 주관성과 사례 특수성을 알게 되었다. 2 하지만 이러한 발전이 [평가를 해체deconstructed]했으며, 일부는 결과적으로 [학습이 해체]되었다는 주장도 있다. 평가할 행동을 하위 구성 요소로 나누거나, 이렇게 나눠진 하위 구성 요소를 샘플링하는 것은 학습자들이 [큰 그림]에 덜 집중하고 ['역량'을 뒷받침하는 (세부)요소]에 집중하게 강제mandated했다는 지적이다. 3 반면, 역량 운동com..