의대에서 교육하고 있습니다.

백종원에 대한 황교익에 대한 비판을 바라봄에 있어서 백종원을 평가자(피드백 제공자), 막걸리집 주인을 피평가자(피드백 수용자)로 보고, (방송 기준) 막걸리집 사장의 태도 변화에 초점을 두어 판단해보자면 백종원의 손을 들어줄 수 밖에 없는데, 이는 평가의 타당도를 평가하는 한 준거인 결과타당도(consequential validity) 때문이다. 결과타당도란 평가가 어떤 의도한(또는 의도하지 않은) 결과를 가져왔느냐를 기준으로 평가의 타당도를 판단하는 것이다. 따라서 (황교익의 주장과 같이) 평가가 다소 허접(?)했더라도 의도한 행동과 인식의 변화를 가져왔다면 그 평가는 결과타당도 측면에서 정당한 것이다. 다르게 말하면, 평가타당도의 관점에서는, 백종원이 막걸리 블라인드 테스트를 완벽하게 설계했고, 막걸..

1 역사적으로 볼 때, 의료에서 규제medical regulation의 주된 관심은 자기 자신을 '의사'라고 부를 수 있는지를 확립하는 것이었다. 과거에는 '미용사'나 '사기꾼'을 배제시키는 것이기도 했다. 규제가 점진적으로 발전해오면서, 의료행위를 시작하는 시점에 대한 관심이 더 높아지게 되었다. 이 시점은 의과대학생이 의사로 이행하는 이 시점이면서, International Medical Graduates (IMG)가 의료인력에 편입되는 순간이기도 하다. 2 의사국가면허시험은 이러한 규제의 한 가지 방법이다. 하지만 모든 국가가 의사국가면허시험을 쓰고 있지는않다. 예를 들어, 영국은 2016년 현재 의사국가면허시험NLE이 없다. 그 대신, 영국은 역사적으로 external examiner에 의존해왔다..

1 Scoring inference: 평가는 몇 개의 수행능력을 관찰하는 것으로부터 시작하며, 이로부터 공정/정확/재생산가능한 양적 점수를 생성해내야 한다. 2 Generalisation inference: 일반화를 이해하기 위해서 우리는 '시험 상황'에서의 수행능력과 '실제 상황'에서의 것을 구분할 필요가 있다. 일반화는 '시험 상황'의 수행능력에 대한 것이다. 이론적으로 시험 상황universe of assessment에서 만들 수 있는 문항의 숫자는 거의 무한하다. 따라서 '일반화'란 '얼마나 문항들을 잘 선택했는가'의 문제이다. 이에 대한 답은 크게 두 가지인데, 하나는 test domain 내에서 적절한 표본 선정을 했는지에 관한 것이다(블루프린트 사용, 포화 등). 질적 자료에서 Triangu..

1 우리가 학습자를 평가할 때, 우리는 주로 '숫자'를 생성한다. 그러나 숫자는 중간과정일 뿐이다. 우리가 진짜로 원하는 것은 그 학습자에 대한 '판단decision'이며, 예컨대 '합격인가?' 하는 것이다. 따라서 궁극적으로 보았을 때, 타당화validation라는 것은 결국 '최종 판단의 방어가능성defensibility를 지지하는 근거'를 수집하는 것이다. 2 임상적 예시를 들어볼 수 있다. PSA검사가 전립선암 진단에 유용한가? 근거를 살펴보면, 재검사에 대한 결과가 reproducible하고 매년 측정한 결과도 그렇다. 그러나 이러한 긍정적 결과에도 불구하고 대부분의 남성에 대해서는 검사를 권고하지 않는다. 불일치의 원인은 PSA에 뒤따르는 추가 검사에서 발생할 수 있는 의도하지 않은 부정적 결..