의대에서 교육하고 있습니다.

1 Scoring inference: 평가는 몇 개의 수행능력을 관찰하는 것으로부터 시작하며, 이로부터 공정/정확/재생산가능한 양적 점수를 생성해내야 한다. 2 Generalisation inference: 일반화를 이해하기 위해서 우리는 '시험 상황'에서의 수행능력과 '실제 상황'에서의 것을 구분할 필요가 있다. 일반화는 '시험 상황'의 수행능력에 대한 것이다. 이론적으로 시험 상황universe of assessment에서 만들 수 있는 문항의 숫자는 거의 무한하다. 따라서 '일반화'란 '얼마나 문항들을 잘 선택했는가'의 문제이다. 이에 대한 답은 크게 두 가지인데, 하나는 test domain 내에서 적절한 표본 선정을 했는지에 관한 것이다(블루프린트 사용, 포화 등). 질적 자료에서 Triangu..

1 우리가 학습자를 평가할 때, 우리는 주로 '숫자'를 생성한다. 그러나 숫자는 중간과정일 뿐이다. 우리가 진짜로 원하는 것은 그 학습자에 대한 '판단decision'이며, 예컨대 '합격인가?' 하는 것이다. 따라서 궁극적으로 보았을 때, 타당화validation라는 것은 결국 '최종 판단의 방어가능성defensibility를 지지하는 근거'를 수집하는 것이다. 2 임상적 예시를 들어볼 수 있다. PSA검사가 전립선암 진단에 유용한가? 근거를 살펴보면, 재검사에 대한 결과가 reproducible하고 매년 측정한 결과도 그렇다. 그러나 이러한 긍정적 결과에도 불구하고 대부분의 남성에 대해서는 검사를 권고하지 않는다. 불일치의 원인은 PSA에 뒤따르는 추가 검사에서 발생할 수 있는 의도하지 않은 부정적 결..