1
우리가 학습자를 평가할 때, 우리는 주로 '숫자'를 생성한다. 그러나 숫자는 중간과정일 뿐이다. 우리가 진짜로 원하는 것은 그 학습자에 대한 '판단decision'이며, 예컨대 '합격인가?' 하는 것이다. 따라서 궁극적으로 보았을 때, 타당화validation라는 것은 결국 '최종 판단의 방어가능성defensibility를 지지하는 근거'를 수집하는 것이다.
2
임상적 예시를 들어볼 수 있다. PSA검사가 전립선암 진단에 유용한가? 근거를 살펴보면, 재검사에 대한 결과가 reproducible하고 매년 측정한 결과도 그렇다. 그러나 이러한 긍정적 결과에도 불구하고 대부분의 남성에 대해서는 검사를 권고하지 않는다. 불일치의 원인은 PSA에 뒤따르는 추가 검사에서 발생할 수 있는 의도하지 않은 부정적 결과 때문이며, 더 중요하게는 대규모 무작위연구의 결과가 상충했기 때문이다.
3
이 예시의 교훈은 다음과 같다.
첫째, 모든 평가가 다 도움이 되는 것은 아니다. (예: 낮은 점수가 불필요한 재교육활동으로 이어질 수 있다)
둘째, 사람들은 동일한 근거를 두고도 서로 다른 결론에 이를 수 있다.
셋째, 어떤 맥락에서는 유용한 평가가 다른 맥락에서는 그렇지 않을 수 있다 (예: PSA검사의 특성은 연령에 따라 다르다. 교육 시에 체크리스트는 절차적 기술의 평가에는 적합하나, 임상현상의 미묘한 차이를 잡아내지는 못한다.)
넷째, 시험(검사)의 유용성은 목적에 따라 다르다 (예: PSA검사는 일반적으로 암의 재발을 보는데 좋다. mini-CEX는 총괄적 목적보다 형성적 피드백 제공에 유용하다)
다섯째, 평가 행위 자체가 개입intervention이다. 시험-강화 학습Test-enhanced learning이 그 예시이다.
4
평가에 관하여 어떤 근거를 수집하고 어떻게 해석할 것인지는 타당도 주장validity argument에 따라 달라진다. 다만 오직 조각의 근거만으로 결론을 내릴 수 있을 정도로 명백한 경우는 거의 없다. 보통, 타당도 주장에는 각각의 근거는 불완전하더라도, 종합적으로 판단을 내리기에는 충분한 다수의 근거가 필요하다. 법정에 비유하자면, 얼마나 많은 근거가 필요할지는 그 결정의 ‘무게’에 달렸다. Kane은 validation의 과정을 ‘첫째, 의도나 해석에 관한 주장을 기술한다(interpretation/use argument, IUA). 둘째, 이 주장을 평가한다(validity argument)’라고 요약했다. 이와 같은 두 단계 접근법은 일상적으로 연구에서 가설을 검증하는 것과 다르지 않다.
5
가설의 가장 취약한 고리를 찾아내고, 그것을 평가할 검사를 계획해야 한다. 가장 취약한 고리를 찾아내려고 할 때 참고할 수 있는 Kane은 타당도주장에 대한 프레임워크는 다음의 네 단계로 나눠져있다.
(1) 단일한 관찰결과(객관식 문항, OSCE, 포트폴리오)에서 점수를 얻는 과정 (Scoring)
(2) 관찰에 대한 점수를 시험 상황에서의 일반적 수행능력을 대표하는 점수로 일반화 (Generalisation),
(3) 시험 상황에서의 점수를 실제 상황에서의 수행능력으로 추론하는 외삽 (Extrapolation)
(3) 정보를 해석하고, 해석한 의미를 바탕으로 결정을 내리는 것 (Implications)
6
타당도 주장에서 중요한 것은, 여러 단계에 필요한 여러 추론inference을 포괄할 수 있도록 다양한 출처의 근거를 포함하는 것이다. 또한 가장 취약한 고리에 초점을 맞추는 것도 중요하다. 이런 점에서 Kane의 프레임워크가 가지는 장점 중 하나는 심리측정자료psychometric data에 지나치게 의존하지 않기에, 비정량적 평가에도 적용가능하다는 점이다.
출처:
Cook, D. A., Brydges, R., Ginsburg, S., & Hatala, R. (2015). A contemporary approach to validity arguments: a practical guide to K ane's framework. Medical education, 49(6), 560-575.
'논문을 읽고 씁니다.' 카테고리의 다른 글
| Student-as-Teacher 프로그램 도입을 위한 고려사항 (0) | 2022.01.03 |
|---|---|
| 타당도 추론: 채점 → 일반화 → 외삽 → 함의 (0) | 2022.01.02 |
| 구인타당도(construct validity)의 등장 (0) | 2022.01.01 |
| 의학교육에서 통합의 과학과 통합의 실천 (0) | 2022.01.01 |
| 피드백이 잘 안 되는 이유: '공손함' 때문만은 아니다. (1) | 2021.12.31 |