평가 15

밀러의 피라미드에서 제일 윗 층(Does level)의 평가

1 밀러의 피라미드에서 마지막 한 층(Does)의 평가를 보자. 'Does' 수준의 평가는 본질적으로 전문가가 정보에 의존하여 성과를 판단하는 방식이다. 이 때 전문가란, 동기 및 선후배, 동료직원, 상급자, 교수자 등을 비롯하여 피평가자의 업무 또는 교육성과에 대해 잘 아는 사람을 광범위하게 포함하는 단어로 해석해야 한다. 2 Does 평가의 자극 형식은 실제적 맥락Authentic context이며, 비표준화, 비구조화 되어있다. Does 평가의 응답 형식은 다소 일반적generic이며, 특정한 맥락에 따라 재단tailored되어있지 않다. 예를 들어 CanMEDS의 Collaborator와 Communicator 역량이 있다. 이런 역량이 어느 정도 generic할지 몰라도, 평가를 할 때는 맥락-..

수행 평가: 2020 오타와 컨퍼런스의 합의 및 권고

1 수행평가(Performance assessment)는 학업 또는 직무 상황에서의 기술과 행동에 관한 평가(the assessment of skills and behaviours, both in academic and workplace settings)로 정의하고자 한다. 2 2011년 이후 평가와 관련하여 다음과 같은 변화가 있었다. 첫째, 단순히 개별 도구에만 초점을 맞추는 것이 아니라 평가 시스템을 설계한다는 개념으로 변화하였다. 둘째, 평가의 타당성 기준의 측면에서 OSCE를 넘어 WBA에도 Kane의 Validity framework이 영향력을 주기 시작했다. 셋째, 평가자 인식(rater cognition)의 측면에서, 평가자 분산rater variance은 의미가 있으며, 평가자 간 차이점..

수련 교육과정(PGME)의 인증(accreditation)

1 인증은 [의료 공동체와 대중]에게 [교육의 질과 의료 실천과의 관련성]을 보장하는 목적이 있다. 인증은 또한 의료 교육, 의사 관행 및 의료 시스템의 변화를 자극하는 수단이다 2 인증 프로세스(accreditation process)의 일부로 성과(outcome) 데이터를 수집하고 사용하는 것에 대한 관심이 높아지고 있다. 즉, 교육 프로그램의 효과를 측정하는 지표로 의사의 전문직으로서의 행위와 관련된 성과를 사용하는 것이다. 교육 결과를 평가하기 위한 프레임워크는 3 1998년 Donabedian은 의료의 퀄리티에 대해 추론할 수 있는 정보를 '구조', '프로세스', '성과'의 세 가지 범주로 분류한 의료 퀄리티 평가 모델을 제안하였다. 그리고 의학교육의 인증 기준은 오랫동안 ‘구조 요건(예: 교수..

타당도 주장(validity argument): 평가의 의도와 해석에 관한 주장

1 우리가 학습자를 평가할 때, 우리는 주로 '숫자'를 생성한다. 그러나 숫자는 중간과정일 뿐이다. 우리가 진짜로 원하는 것은 그 학습자에 대한 '판단decision'이며, 예컨대 '합격인가?' 하는 것이다. 따라서 궁극적으로 보았을 때, 타당화validation라는 것은 결국 '최종 판단의 방어가능성defensibility를 지지하는 근거'를 수집하는 것이다. 2 임상적 예시를 들어볼 수 있다. PSA검사가 전립선암 진단에 유용한가? 근거를 살펴보면, 재검사에 대한 결과가 reproducible하고 매년 측정한 결과도 그렇다. 그러나 이러한 긍정적 결과에도 불구하고 대부분의 남성에 대해서는 검사를 권고하지 않는다. 불일치의 원인은 PSA에 뒤따르는 추가 검사에서 발생할 수 있는 의도하지 않은 부정적 결..

평가: 옳은 질문을, 옳은 방식으로, 옳은 것에 대해서, 옳은 사람에게

1 의학교육은 지난 30년 동안 '측정 가능한 것'을 평가하는 것에서, '중요한 것'을 평가하려는 방향으로 많은 노력을 기울여왔다. 피상적인 [지식의 테스트]에서 [이해, 구성, 해석 테스트]로 바뀌어왔고, Bloom의 분류법과 같이 기술과 태도과 지식만큼 중요하다는 인식을 얻었으며, 심리측정학적으로 평가자 주관성과 사례 특수성을 알게 되었다. 2 하지만 이러한 발전이 [평가를 해체deconstructed]했으며, 일부는 결과적으로 [학습이 해체]되었다는 주장도 있다. 평가할 행동을 하위 구성 요소로 나누거나, 이렇게 나눠진 하위 구성 요소를 샘플링하는 것은 학습자들이 [큰 그림]에 덜 집중하고 ['역량'을 뒷받침하는 (세부)요소]에 집중하게 강제mandated했다는 지적이다. 3 반면, 역량 운동com..