발달시험 활용

1

발달시험(Progress testing)은 오랜 기간 동안 그것을 발명한 네덜란드의 의과대학(the University of Missouri-Kansas City School of Medicine and Maastricht University in the Netherlands)에서만 사용되어왔으나, 점차 더 국제적인 인기를 얻고 있다. 종단적 평가라는 측면에서, 학생을 반복적으로 평가하고, 결과를 결합하여 미래의 역량 및 수행능력에 대한 예측을 하는 것은 직관적으로도 논리적이다. 마치 아동의 발달 모니터링 프로그램과 비슷하다

 

2

대부분의 발달시험은 주로 학생들의 기능적 지식functional knowledge에 대한 종단적이고 반복적인 평가라는 원칙을 따른다. 문항은 졸업생 수준의 지식을 요구하는 수준에서 출제된다. 개별 시험의 결과를 보상적으로compensatory 결합하여, 학년 말에 진급 결정의 기초자료로 사용한다.

 

3

발달 시험에서 기대되는 것으로는 다음과 같은 것이 있다.

첫째, 시험 스트레스를 줄이는 것이다. 실제로 중등도 이상의 스트레스를 경험하는 학생의 비율은 낮은 편으로 조사된다. 하지만, 한 번의 시험을 망쳤다는 것이 문제가 되지 않는 만큼, 여러 번의 안 좋은 성적을 만회하는 것 역시 어렵다는 특징이 있다.

둘째, 재시험이 불필요하다. 재시험은 조직에 부담이다. 소수의 학생만을 위한 양질의 시험이어야 하기 때문이다. 또한 어차피 재시험이 있을 것이라는 기대를 하면 노력을 덜 할 우려도 있다.

셋째, 학습에 긍정적인 영향을 준다. 여기에는 논쟁의 여지가 없다. 발달시험이 원래 개발되었던 이유이기도하다. 기본적인 지식이 일정 수준 이상으로 유지되었으며, McMaster에서는 더 지속적인 학습이 더 나은 지식 기반의 구축으로, 나아가 국가 면허시험에 성적으로 이어졌다. 다만, Maastricht에서 발달시험을 총괄시험으로 도입하며 블록시험을 형성시험으로 운영했을 때 지속적인 자기주도학습을 하던 것과 달리, 블록시험이 총괄시험이 되자 단기 암기 방식으로 돌아갔다.

넷째, 예측 타당도가 더 낫다. 종단적인 데이터 수집이 일회성 측정보다 미래의 역량 및 수행능력을 더 잘 예측한다는 의미이다. 일차적으로는 난이도를 일정한 수준으로 유지하는 것이 중요하다. 다만, 일련의 이어지는 시험에서 얻어지는 정보를 어떻게 수학적, 통계적으로 결합하는지의 문제가 있다.

다섯째, 의사결정의 신뢰도가 높아진다. 여러 결과를 종단적으로 결합하기 때문이다. 한 번의 큰 시험보다는다수의 200개 문항 시험을 결합하는 것이 나을 것이다. 단, 문항과 시험 횟수는 한 가지 고려사항이다. 한 연구에서는 200개 문항의 시험을 두 번 보는 것이 100개 문항의 시험을 네 번(심지어 다섯 번) 보는 것보다 더 신뢰할 수 있는 결과(낮은 SEM)를 산출함을 보여주기도 했다. 또한 ‘미응답’ 문항에 대한 점수 계산 (formula scoring)도 고려사항이다.

여섯째, 시험 요령이 출중한 학생이라도 대비하기가 어렵다. 시험에서 다루는 내용이 포괄적이기 때문이다. 전략적인 학습도 어렵다. 의학 지식 전체가 시험범위이기 때문이다. 결국 꾸준한 공부만이 최선의 준비가 된다. 하지만 relevant functional knowledge란 무엇인가? 문항의 합목적성에 대한 합의를 위해서 ‘relevance’의 실현가능한 조작화feasible operationalization이 필요할 것이다.

일곱째, 발달시험은 교육과정에 독립적이다. 졸업생 수준에서의 지식을 테스트하기 위한 시험이기 때문에, (여러 기관의) 공동 생산 / 공동 행정 / 공동 연구에 적합하다. 협업이 쉬운 것은 아니다. 평가 자료의 소유권을 포기해야 할 수도 있기 때문이다.

 

4

요약하면 다음과 같다.

• 발달시험은 기능적 지식 또는 역량의 발달을 평가하기 위해 일정 간격으로 시행한 동등화된equivalent 시험에 기초한 종단적 접근법이다.

• 발달시험의 가장 큰 장점은 시험-중심 학습 전략을 최소화한다는 것입니다.

• 반복된 시험의 결과를 결합하면 합격 결정의 신뢰도와 예측 타당도를 모두 높일 수 있습니다.

• 발달시험과 관련된 주요 관심사는 개별 테스트의 동등성을 보장하는 것이다.

• 발달시험의 생산과 관리를 공동으로 하는 경우 비용-효율적일 뿐만 아니라, 지속적인 벤치마킹과 품질 개선을 위한 풍부한 원천이 됩니다.

 

출처: 

Schuwirth, L. W., & van der Vleuten, C. P. (2012). The use of progress testing. Perspectives on medical education, 1(1), 24-30.