구인타당도(construct validity)의 등장

1

타당도 근거를 수집하고 해석하는 과정을 'validation'이라고 부른다. 지난 100년을 간략히 요약하자면, 초반에는 두 종류의 validity가 있었다. 평가 문항을 만드는 것과 관련된 내용타당도(content validity)와, 동일한 현상을 측정하는 레퍼런스 기준reference standard와 얼마나 상관관계가 있는지에 관한 준거타당도(criterion validity)가 그것이다.

 

2

하지만 내용타당도는 거의 언제나 검사를 지지하는 결과를 보여주었다. 한편 레퍼런스 기준을 찾고 validating하는 것이 매우 어렵다는 것도 알게 되었다. 특히 실체가 없는 특성(예: 프로페셔널리즘)이 그러했다. 명확하게 정의내릴 수 있는 준거가 존재하지 않는 상황에서 대안으로 제시된 것은 '구인타당도'였다. 이는 특정 '구인'의 개념이나 그것과 관련된 이론을 바탕으로, 구인(construct)이라는 실체가 없는 특성은 관찰가능한 특성attributes과 연결될 수 있음을 의미했다. 구인타당도를 도입한다면, 타당도를 검증할 때, 관찰가능한 특성을 측정하고, 이론적인 관계theorised relationship을 평가하면 된다.

 

3

뒤이어 다양한 타당도의 '유형'들은, 신뢰도reliability metrics를 통합하고, 궁극적으로는 구인-관련성(construct-related relationship)을 지지하(거나 반박하)는 공통의 경로commom pathway를 갖음을 깨달았다. 그 결과, '다양한 유형의 타당도’라는 개념을 벗어나, ‘구인타당도(construct validity)가 유일한 타당도’의 지위를 얻게 되었고, 이 구인타당도를 지지하는 '다수의 근거 출처evidence from multiple sources'라는 통합된 프레임워크에 이르게 된다.

 

4

먼저 널리 인정받은 것은 Messick의 프레임워크지만, 여러 다른 출처의 타당도 근거 사이에서 우선순위가 어떠해야 하는지를 정해주지 않았고, 평가에 따라 그 우선순위가 어떻게 달라지는지도 보여주지 못했다. 이런 측면에서 Kane의 프레임워크는 양적 평가, 질적 평가, 평가 프로그램에 모두 적용될 수 있다는 것이 장점이다. 그리고 이러한 다재다능함은 ‘다수의 평가자료가 일상적으로 통합되는 ‘후기-심리측정의 시대post-psychometric era’로 옮겨가게끔 이끌었다.

 

 

출처:

Cook, D. A., Brydges, R., Ginsburg, S., & Hatala, R. (2015). A contemporary approach to validity arguments: a practical guide to K ane's framework. Medical education, 49(6), 560-575.