의대에서 교육하고 있습니다.

1

의과대학생들에게 이론과 실천의 연계는 중요하다. 이를 위해서는 실제적 학습authentic learning과 이론교육theory instruction의 결합이 필요하다. 포트폴리오는 이 중 Authentic learning을 지도하고 평가하는 중요한 도구이다. 학생은 포트폴리오를 활용하여 체계적으로 자신의 행동을 되돌아보고, 자신의 행동을 이론적 지식을 활용하여 분석하고, 대안적 행동 방법을 찾는다. 이러한 형태의 체계적인 자기 조절을 '성찰'이라 한다.

2

Maastricht 의과대학에서는 포트폴리오를 교육과정 초기에 도입함으로써,

(1) 성찰을 자극하고 개발하는 것 외에도,

(2) 멘토링 시스템에 활용하고,

(3) 학습과 평가에 대한 학생의 책임을 키우고,

(4) 포트폴리오를 공식적인 평가 요소로 도입하여 모든 학생이 피드백을 검토하고 통합하도록 유도하고자 했다.

3

포트폴리오에서 다음의 요소를 고려해야 한다.

첫째, 구조(structuring)이다. 지나치게 많은 요소를 지정해놓는 것도, 구조가 전혀 없거나 거의 없는 것도 둘 다 문제다. 작성해야 하는 내용에 대한 설명서를 제공하는 것도 필요하다. 예를 들어, “The doctor as healthcare worker”라면, 보건의료종사자의 역할이 무엇인지, 여기에 대해서 생각해볼 수 있는 질문은 무엇인지, 어떤 (근거)자료를 포트폴리오에 기록해야 하는지 등을 설명해주는 것이다.

둘째, 멘토링이다. 포트폴리오가 성찰을 자극하는 목적으로 효과적으로 사용되려면 다른 사람과의 정기적인 토론이 필요하다. 멘토는 (1) 학습 요구를 인식하고 학습 계획을 수립하도록 도와주고, (2) 실무적인 측면 외에도 감정적 측면까지 학습 과정의 일부가 되도록 도와주며, (3) 포트폴리오의 타당성을 검증할 수 있다.

셋째, 평가(assessment)이다. 적절한 보상(credits)없이 온전한 포트폴리오를 작성하게 만드는 것은 불가능하다. 하지만 그렇다고 포트폴리오가 그냥 하나의 관례적 절차(ritual)가 되어서도 안 된다. 물론 평가와 성찰의 두 가지 목표를 결합하는 것은 쉬운 일이 아니다. 한 문헌에서는, “시험 목적으로 쓰는 포트폴리오의 타락the corruption of portfolios for testing purposes”이라고 부른다.

신뢰도 향성을 위해서는 (1) 포트폴리오의 표준화, (2) 평가 기준을 통한 객관화, (3) 평가자 수 증가의 세 가지 방법이 있는데, 포트폴리오의 성격을 고려한다면 이론상 세 번째가 효과적이다. 포트폴리오 평가에서 평가자의 '전문적인 판단'이라는 전인적이고 질적인 접근법을 피할 수 없지만, 그러나 어느 정도의 표준화는 도입 될 수 있다. 또한 평가 과정에서 여러 차례의 토론 시간을 도입할 수 있다.

4

포트폴리오가 성찰 능력 향상에 효과가 있는지에 대한 연구는 종종 실망스러운 결과를 보여왔다. 포트폴리오의 효과성을 높이기 위해서는 다음이 필요할 것이다.

• 학생을 지도하는 지지적 멘토 제도

• 학생이 내용과 형태를 결정할 수 있는 명확한 구조

• 자기 성찰을 중심으로 조직화

• 포트폴리오를 초기에, 모호하지 않게 도입

• 성찰을 방해하지 않는 평가 절차

출처: 

Driessen, E., Van Tartwijk, J., Vermunt, J., & van der Vleuten, C. (2003). Use of portfolios in early undergraduate medical training. Medical teacher, 25(1), 18-23.

1

발달시험(Progress testing)은 오랜 기간 동안 그것을 발명한 네덜란드의 의과대학(the University of Missouri-Kansas City School of Medicine and Maastricht University in the Netherlands)에서만 사용되어왔으나, 점차 더 국제적인 인기를 얻고 있다. 종단적 평가라는 측면에서, 학생을 반복적으로 평가하고, 결과를 결합하여 미래의 역량 및 수행능력에 대한 예측을 하는 것은 직관적으로도 논리적이다. 마치 아동의 발달 모니터링 프로그램과 비슷하다

2

대부분의 발달시험은 주로 학생들의 기능적 지식functional knowledge에 대한 종단적이고 반복적인 평가라는 원칙을 따른다. 문항은 졸업생 수준의 지식을 요구하는 수준에서 출제된다. 개별 시험의 결과를 보상적으로compensatory 결합하여, 학년 말에 진급 결정의 기초자료로 사용한다.

3

발달 시험에서 기대되는 것으로는 다음과 같은 것이 있다.

첫째, 시험 스트레스를 줄이는 것이다. 실제로 중등도 이상의 스트레스를 경험하는 학생의 비율은 낮은 편으로 조사된다. 하지만, 한 번의 시험을 망쳤다는 것이 문제가 되지 않는 만큼, 여러 번의 안 좋은 성적을 만회하는 것 역시 어렵다는 특징이 있다.

둘째, 재시험이 불필요하다. 재시험은 조직에 부담이다. 소수의 학생만을 위한 양질의 시험이어야 하기 때문이다. 또한 어차피 재시험이 있을 것이라는 기대를 하면 노력을 덜 할 우려도 있다.

셋째, 학습에 긍정적인 영향을 준다. 여기에는 논쟁의 여지가 없다. 발달시험이 원래 개발되었던 이유이기도하다. 기본적인 지식이 일정 수준 이상으로 유지되었으며, McMaster에서는 더 지속적인 학습이 더 나은 지식 기반의 구축으로, 나아가 국가 면허시험에 성적으로 이어졌다. 다만, Maastricht에서 발달시험을 총괄시험으로 도입하며 블록시험을 형성시험으로 운영했을 때 지속적인 자기주도학습을 하던 것과 달리, 블록시험이 총괄시험이 되자 단기 암기 방식으로 돌아갔다.

넷째, 예측 타당도가 더 낫다. 종단적인 데이터 수집이 일회성 측정보다 미래의 역량 및 수행능력을 더 잘 예측한다는 의미이다. 일차적으로는 난이도를 일정한 수준으로 유지하는 것이 중요하다. 다만, 일련의 이어지는 시험에서 얻어지는 정보를 어떻게 수학적, 통계적으로 결합하는지의 문제가 있다.

다섯째, 의사결정의 신뢰도가 높아진다. 여러 결과를 종단적으로 결합하기 때문이다. 한 번의 큰 시험보다는다수의 200개 문항 시험을 결합하는 것이 나을 것이다. 단, 문항과 시험 횟수는 한 가지 고려사항이다. 한 연구에서는 200개 문항의 시험을 두 번 보는 것이 100개 문항의 시험을 네 번(심지어 다섯 번) 보는 것보다 더 신뢰할 수 있는 결과(낮은 SEM)를 산출함을 보여주기도 했다. 또한 ‘미응답’ 문항에 대한 점수 계산 (formula scoring)도 고려사항이다.

여섯째, 시험 요령이 출중한 학생이라도 대비하기가 어렵다. 시험에서 다루는 내용이 포괄적이기 때문이다. 전략적인 학습도 어렵다. 의학 지식 전체가 시험범위이기 때문이다. 결국 꾸준한 공부만이 최선의 준비가 된다. 하지만 relevant functional knowledge란 무엇인가? 문항의 합목적성에 대한 합의를 위해서 ‘relevance’의 실현가능한 조작화feasible operationalization이 필요할 것이다.

일곱째, 발달시험은 교육과정에 독립적이다. 졸업생 수준에서의 지식을 테스트하기 위한 시험이기 때문에, (여러 기관의) 공동 생산 / 공동 행정 / 공동 연구에 적합하다. 협업이 쉬운 것은 아니다. 평가 자료의 소유권을 포기해야 할 수도 있기 때문이다.

4

요약하면 다음과 같다.

• 발달시험은 기능적 지식 또는 역량의 발달을 평가하기 위해 일정 간격으로 시행한 동등화된equivalent 시험에 기초한 종단적 접근법이다.

• 발달시험의 가장 큰 장점은 시험-중심 학습 전략을 최소화한다는 것입니다.

• 반복된 시험의 결과를 결합하면 합격 결정의 신뢰도와 예측 타당도를 모두 높일 수 있습니다.

• 발달시험과 관련된 주요 관심사는 개별 테스트의 동등성을 보장하는 것이다.

• 발달시험의 생산과 관리를 공동으로 하는 경우 비용-효율적일 뿐만 아니라, 지속적인 벤치마킹과 품질 개선을 위한 풍부한 원천이 됩니다.

출처: 

Schuwirth, L. W., & van der Vleuten, C. P. (2012). The use of progress testing. Perspectives on medical education, 1(1), 24-30.